IDSIA: künstliche Intelligenz in Lugano seit 1988

Angelo Dalle Molle und seine Institute

Die älteste der in diesem Kapitel beschriebenen Forschungseinrichtungen wurde von einem privaten Gönner gegründet, acht Jahre bevor der Kanton eine Universität hatte. Angelo Dalle Molle (1908–2002) war ein italienischer Unternehmer aus dem Veneto, der sein Vermögen mit dem Artischockenlikör Cynar gemacht hatte und einen grossen Teil davon der Förderung der Forschung über die Lebensqualität und über das Verhältnis zwischen Mensch und Maschine widmete.¹ Er errichtete in der Schweiz einen Trust zur Finanzierung von Forschung ausserhalb der herkömmlichen universitären Strukturen und schuf drei Institute: das IDSIA in Lugano, das IDIAP in Martigny und das ISSCo in Genf. Alle drei sind heute in ihre örtlichen akademischen Institutionen integriert.² Das Istituto Dalle Molle di studi sull'intelligenza artificiale (IDSIA, Dalle-Molle-Institut für künstliche Intelligenz) wurde 1988 in Lugano gegründet. Dalle Molle hatte, in den Worten des Instituts, «eine Welt vor Augen, in der technischer Fortschritt und menschliche Entwicklung gemeinsam die Lebensqualität steigern».³ An der Feier zum 35-jährigen Bestehen des Instituts im September 2023 wurde seine Vision mit dem Ziel umschrieben, dass Maschinen den Menschen verstehen sollten, damit die Menschen nicht mehr in Binärcode mit Computern kommunizieren müssten.⁴ Das IDSIA begann als privates, von der Dalle-Molle-Stiftung finanziertes Institut. Im Jahr 2000 wurde es zu einem öffentlichen Forschungsinstitut, das sowohl der USI als auch der SUPSI angegliedert ist. Seither wirkt es als «Brücke» zwischen den beiden Institutionen, arbeitet «von der Grundlagen- bis zur angewandten Forschung» und überträgt sein Wissen in Anwendungen.⁵ Seine Büros befinden sich auf dem Campus Est von USI und SUPSI in Lugano-Viganello. 2023 beschäftigte das Institut 130 Personen. Geleitet wurde es von einem Direktor, Andrea Emilio Rizzoli, und drei wissenschaftlichen Direktoren, Jürgen Schmidhuber, Marco Zaffalon und Cesare Alippi.⁶ Die Forschung des Instituts umfasst maschinelles Lernen, neuronale Netze, Robotik, Computer Vision, probabilistisches Schliessen, Optimierung, rechnergestützte Mathematik, Cybersicherheit und Mensch-Computer-Interaktion.⁷

Long Short-Term Memory und die Geschichte des Deep Learning

Der wissenschaftliche Ruf des IDSIA beruht vor allem auf der Arbeit von Jürgen Schmidhuber und seiner Gruppe über rekurrente neuronale Netze. 1997 veröffentlichten Sepp Hochreiter und Jürgen Schmidhuber in der Zeitschrift Neural Computation den Artikel «Long Short-Term Memory». Der Artikel beschrieb eine Architektur rekurrenter neuronaler Netze mit Speicherzellen und Gates, die Abhängigkeiten über lange Datensequenzen lernen konnte – ein Problem, das frühere rekurrente Netze nicht lösen konnten, weil die im Training verwendeten Fehlersignale mit der Zeit entweder verschwanden oder explodierten.⁸ Hochreiter hatte die Analyse des Problems der verschwindenden Gradienten 1991 in seiner Diplomarbeit an der Technischen Universität München entwickelt, wo Schmidhuber damals sein Betreuer war. Die LSTM-Architektur wurde in den folgenden Jahren am IDSIA von Schmidhubers Doktoranden und Mitarbeitern, unter ihnen Felix Gers, Alex Graves und andere, weiterentwickelt, die das «Forget Gate» hinzufügten und Trainingsmethoden für die Sequenzmarkierung entwickelten.⁹

Der praktische Durchbruch kam Ende der 2000er-Jahre. Nach Schmidhubers eigener Darstellung wurde ein mit der Methode der Connectionist Temporal Classification seines Teams trainiertes LSTM 2009 das erste rekurrente neuronale Netz, das internationale Wettbewerbe in der Mustererkennung gewann, und zwar in der Erkennung verbundener Handschrift. 2011 wurde ein auf Grafikprozessoren trainiertes tiefes Feedforward-Netz seines Teams, DanNet, das erste Netz seiner Art, das Wettbewerbe in Computer Vision gewann, und erzielte in einem Wettbewerb zur Erkennung von Verkehrszeichen eine Leistung, die die Gruppe als übermenschlich bezeichnete. Im Mai 2015 veröffentlichte die Gruppe das Highway Network, ein sehr tiefes Feedforward-Netz mit Hunderten von Schichten, von dem das im Dezember 2015 von Forschern bei Microsoft veröffentlichte Residual Network (ResNet) nach Schmidhubers Beschreibung eine Version mit offenen Gates ist.¹⁰ Zwischen 2009 und 2012 gewannen die am Institut entwickelten neuronalen Netze acht internationale Wettbewerbe in Mustererkennung und maschinellem Lernen.¹¹

LSTM wurde zu einer der meistverwendeten Architekturen neuronaler Netze der 2010er-Jahre. Schmidhubers Seite nennt ihren Einsatz für die Spracherkennung auf Android-Smartphones, für die maschinelle Übersetzung durch Google Translate und Facebook, für Apples Siri und QuickType und für die Antworten von Amazons Alexa.¹² Diese Angaben stammen vom Urheber der Methode. Sie stimmen mit den Veröffentlichungen der betreffenden Unternehmen überein, die Mitte der 2010er-Jahre LSTM-basierte Systeme in ihren Sprach- und Übersetzungsprodukten beschrieben, bevor die 2017 eingeführte Transformer-Architektur rekurrente Netze in den meisten Sprachanwendungen ablöste.¹³ Die Zuschreibung von Verdiensten in der Geschichte des Deep Learning ist umstritten. Schmidhuber ist ein prominenter Teilnehmer der Debatte über die Priorität von Ideen. Für die Zwecke dieses Buches genügt die Feststellung, dass einige der Methoden, auf denen das moderne maschinelle Lernen beruht, in Lugano entwickelt wurden und dass die Arbeit des Instituts in den Standarddarstellungen des Fachgebiets zitiert wird.¹⁴

Anmerkungen

1. Wikipedia (italienisch), «Angelo Dalle Molle», https://it.wikipedia.org/wiki/Angelo_Dalle_Molle (nur ersatzweise herangezogen) (geboren in Mestre; Schöpfer des Artischockenaperitifs Cynar 1952; Gründer der Dalle-Molle-Stiftung in Lugano für Forschung über künstliche Intelligenz). Der Artikel nennt 2001 als Todesjahr, während die eigene Seite des Instituts 1908–2002 angibt (unten). ↩
2. SUPSI, IDSIA, «Istituto» (oben); USI, «Istituto Dalle Molle di studi sull'intelligenza artificiale (IDSIA USI-SUPSI)», https://search.usi.ch/it/unita-organizzative/351. ↩
3. SUPSI, IDSIA, «Istituto» (oben) (1988 in Lugano von Angelo Dalle Molle, 1908–2002, gegründet). ↩
4. «I 35 anni dell'IDSIA», laRegione, 27. September 2023, https://www.laregione.ch/cantone/ticino/1700339/servizi. ↩
5. SUPSI, IDSIA, «Istituto» (oben) (seit 2000 der USI und der SUPSI angegliedert); USI, Seite der Einheit IDSIA (oben) («bridge»; «from fundamental to applied research»). Die Umwandlung in ein öffentliches Forschungsinstitut im Jahr 2000 wird auch genannt in Wikipedia, «Dalle Molle Institute for Artificial Intelligence Research», https://en.wikipedia.org/wiki/Dalle_Molle_Institute_for_Artificial_Intelligence_Research (nur ersatzweise herangezogen). ↩
6. laRegione, 27. September 2023 (oben). ↩
7. USI, Seite der Einheit IDSIA (oben), mit mehr als achtzig Kompetenzbereichen. ↩
8. Sepp Hochreiter und Jürgen Schmidhuber, «Long Short-Term Memory», Neural Computation 9 (1997), Nr. 8, 1735–1780, zitiert nach Jürgen Schmidhubers Seite über die meistzitierten neuronalen Netze, https://people.idsia.ch/~juergen/most-cited-neural-nets.html (Referenz [LSTM1]). ↩
9. Felix A. Gers, Jürgen Schmidhuber und Fred Cummins, «Learning to Forget: Continual Prediction with LSTM», Neural Computation 12 (2000), Nr. 10, 2451–2471 (Referenz [LSTM2] auf derselben Seite, oben); A. Graves, S. Fernández, F. Gomez und J. Schmidhuber, «Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks», ICML 2006, Pittsburgh, zitiert nach Jürgen Schmidhuber, «Annotated History of Modern AI and Deep Learning» (2022), https://people.idsia.ch/~juergen/deep-learning-history.html, wo auch Hochreiters Diplomarbeit von 1991 an der TU München unter Schmidhubers Betreuung beschrieben wird. Diplomarbeit und Betreuung werden auch genannt in Wikipedia, «Jürgen Schmidhuber», https://en.wikipedia.org/wiki/J%C3%BCrgen_Schmidhuber (nur ersatzweise herangezogen). ↩
10. Jürgen Schmidhuber, persönliche Homepage am IDSIA, https://people.idsia.ch/~juergen/ («In 2009, the CTC-trained Long Short-Term Memory (LSTM) of his team was the first recurrent NN to win international pattern recognition competitions»; «In 2011, the DanNet of his team was the first feedforward NN to win computer vision contests, achieving superhuman performance»; Highway Net vom Mai 2015 und ResNet vom Dezember 2015). ↩
11. Wikipedia, «Dalle Molle Institute for Artificial Intelligence Research» (oben) («won eight international competitions in pattern recognition and machine learning», 2009–2012). ↩
12. Schmidhuber, Homepage (oben). ↩
13. H. Sak, A. Senior, K. Rao, F. Beaufays und J. Schalkwyk (Google Speech Team), «Google voice search: faster and more accurate», Google Research Blog, September 2015, zitiert nach Schmidhuber, «Annotated History» (oben), wo auch der Einsatz von LSTM in Google Translate auf 2016 und der Transformer-Artikel von Ashish Vaswani et al., «Attention Is All You Need», auf 2017 datiert werden. ↩
14. Vgl. etwa Jürgen Schmidhuber, «Deep Learning in Neural Networks: An Overview», Neural Networks 61 (2015), 85–117 (Referenz [DL1] in Schmidhuber, «Annotated History», oben), sowie die «Annotated History» selbst, in der er seine Sicht auf die Prioritätsstreitigkeiten darlegt. ↩

Nur zur allgemeinen Information. Dieser Beitrag ist keine Rechts- oder Steuerberatung, ersetzt nicht die Beratung im Einzelfall und begründet kein Mandatsverhältnis. Rechtsstand: 10/2026.