Der Originalartikel wurde auf Splaitor International veröffentlicht. Splaitor auf Deutsch veröffentlicht eine genaue Übersetzung.
In 2015 ernannte die MIT Technology Review Ilya Sutskever zu einem der visionärsten Unter-35-Jährigen. Zu diesem Zeitpunkt war er 29 Jahre alt und hatte ein Jahr zuvor einen bedeutenden Durchbruch erzielt, indem er ein Forschungspapier über die Seq2Seq-Funktionsweise von Sprachmodellen veröffentlichte. Sequence-to-Sequence stellte einen neuen Ansatz zur Textinteraktion (und tatsächlich zu beliebigen Elementen) dar, der die Verarbeitung von Text und seinem Kontext ermöglichte. Dieses Seq2Seq-Modell sollte später grundlegend für eine bedeutende Aktualisierung von Google Translate werden und alle modernen Online-Übersetzer untermauern, womit neue Fähigkeiten in der Übersetzung eingeläutet wurden. Es ging über die bloße mechanische Wort- und Phrasenübersetzung hinaus und schloss das Verständnis des Kontextes ein. Sutskever selbst bemerkte, dass Forscher skeptisch gegenüber dem Potenzial des maschinellen Lernens für die Textübersetzung waren, sodass sein Erfolg eine „große Überraschung“ war.
Allerdings wurden die meisten Menschen auf Ilya Sutskever nicht wegen seiner Errungenschaften in der KI aufmerksam, sondern wegen der Geschichte um die Entlassung von Sam Altman. Es wird gesagt, dass Sutskever hinter seiner Entlassung stand und der Hauptinitiator war. Letztlich entwickelte sich diese Episode zu einem Fiasko, mit Altman, der zurückkehrte und fast alle OpenAI-Mitarbeiter sich hinter den CEO stellten, was das Unternehmen an einen Scheideweg brachte: Entweder einen vollständigen Stillstand der Operationen oder eine Rückkehr zum Status quo. Für Altman scheint alles gut ausgegangen zu sein, da er seine Führungsposition innerhalb des Unternehmens nur festigte. Andererseits stellte dies laut Business Insider Sutskevers Zukunft zumindest innerhalb von OpenAI in Frage.
Einerseits deuten Quellen innerhalb des Unternehmens darauf hin, dass Sutskever wahrscheinlich eine neue Position erhalten wird, und sein lächelndes Foto mit Brockman deutet auf den Wunsch innerhalb des Unternehmens hin, zu normalen Betriebsaktivitäten zurückzukehren. Andererseits deuten andere Quellen darauf hin, dass es Fragen hinsichtlich einer Rückkehr zum „Business as usual“ gibt, insbesondere in Bezug auf das Vertrauen innerhalb des Unternehmens. Ein ehemaliger OpenAI-Mitarbeiter sagte: „Wenn das Vertrauen einmal untergraben ist, ist es unmöglich, es wiederherzustellen.“
Der Konflikt bei OpenAI spiegelte nicht nur einen Machtkampf wider, wie viele glauben. Diese allzu einfache Sichtweise erfasst nicht die grundlegenden Widersprüche innerhalb von OpenAI. Das Unternehmen wurde als gemeinnützige Organisation gegründet, gründete jedoch 2019 eine Tochtergesellschaft, OpenAI LP, um Investitionen und Kommerzialisierung anzuziehen. Laut Bloomberg lag der Unterschied im Ansatz zwischen Altman und Sutskever in ihren Visionen für die Zukunft des Unternehmens. Chief Scientist Ilya Sutskever sah das Unternehmen als Entwickler und Erforscher von KI und maschinellem Lernen. CEO Sam Altman hingegen betrachtete das Unternehmen eher als typisches Silicon Valley Tech-Startup. Mit der Veröffentlichung von ChatGPT ritt das Unternehmen auf der Welle der generativen künstlichen Intelligenz und wurde zu einem Branchenpionier und -leiter in dieser vielversprechenden neuen Richtung.
Laut The Information sah Sutskever sein Handeln nicht als Putsch, aber nach Kritik von Mitarbeitern räumte er ein, dass „es als Putsch interpretiert werden könnte“. Infolgedessen entschuldigte er sich öffentlich. Und unterschrieb sogar einen Brief, der um Altmans Rückkehr bat. Jetzt, fast zwei Wochen später, ist Sam Altman zurückgekehrt, aber Sutskevers Zukunft bleibt ungewiss, und er hat noch keine neue Zuweisung erhalten, was anhaltende Vertrauensprobleme innerhalb von OpenAI widerspiegelt.
Der Anfang
Ilya Sutskever wurde 1984 in Nischni Nowgorod geboren, das damals noch Gorki hieß und zur UdSSR gehörte. 1991, nach dem Zerfall der UdSSR, wanderte er mit seinen Eltern nach Israel aus, wo er an der Offenen Universität Israel Informatik studierte. Später zog er mit seiner Familie nach Kanada. 2007 erwarb er einen Master-Abschluss in Informatik; 2013 promovierte er. In einem Universitätsinterview im Jahr 2017 sagte er: „Ich war überrascht, als ich herausfand, dass Computer bis zu einem gewissen Grad lernen können, denn in meinem Kopf war Lernen etwas, das Computer zu der Zeit nicht tun konnten.“
Ilya Sutskever traf an der Universität von Toronto auf Geoffrey Hinton, einen Experten für künstliche Intelligenz und insbesondere für tiefes Lernen, einem der Felder hinter KI und maschinellem Lernen, das große Datenmengen nutzt, ohne auf einen spezifischen Algorithmus beschränkt zu sein. Solche Modelle können eigenständig neue Funktionen kreieren und komplexere Aufgaben lösen.
Es könnte als ein unglaublicher Glücksfall betrachtet werden, wie alles in dieser Welt, denn Hinton wird oft als Pionier im tiefen Lernen bezeichnet. Tiefes Lernen impliziert, dass das System nicht nur spezifische Aktionen innerhalb eines einzigen Algorithmus ausführt, wie es bei Standard-Systemen der Fall war, sondern etwas Ähnliches wie ein menschliches Gehirn erwirbt und seine Fähigkeiten mit externen Daten erweitert. Natürlich ist dies eine stark vereinfachte Darstellung und Beschreibung, aber umgangssprachlich ausgedrückt, ist das im Wesentlichen alles. Hinton wollte ein System entwickeln, das wie Menschen lernen kann, über die Grenzen eines Algorithmus hinaus. Zu dieser Zeit war dies eine bahnbrechende Idee, nicht nur in Bezug auf die Umsetzung, sondern auch in ihrem Wesen. Die meisten Wissenschaftler waren überzeugt, dass dies unmöglich sei.
Zu dieser Zeit war das fortschrittlichste KI-System, wenn man diesen Begriff verwenden kann, Deep Blue: ein von IBM entwickeltes Schachprogramm, das 1997 Garry Kasparov besiegte. Im Jahr 2010 wurde Sutskever der einzige kanadische Empfänger des Google PhD Fellowship Programms, das auf die vielversprechendsten Forscher im Bereich der künstlichen Intelligenz abzielte. Zu dieser Zeit arbeitete Sutskever an der RNN-Technologie (rekurrente neuronale Netze). Sutskever und sein Team verarbeiteten eine Probe von 16 Millionen Texten, um den Algorithmus zu lehren, das nächste Symbol nach Eingabe der vorherigen auszuwählen. Diese Technologie liegt heute vielen Chatbots zugrunde.
AlexNet, DNNResearch und Google Brain
Die Entwicklung des RNN-Modells war nur der erste Schritt. Im Jahr 2012 richteten Ilya Sutskever und Alex Krizhevsky, ein anderer Schüler Hintons, ihre Aufmerksamkeit auf die Möglichkeiten des maschinellen Lernens in der Bildanalyse. Dies markierte den Beginn von AlexNet, einem neuronalen Netzwerk zur Bildidentifikation, das tausende von Bildern analysieren und darin dargestellte Objekte identifizieren konnte. Zuvor lag die Fehlerwahrscheinlichkeit bei etwa 25%, aber AlexNet reduzierte diese Zahl um fast die Hälfte. Das war zu dieser Zeit ein beeindruckendes Genauigkeitsniveau, dank erheblicher Rechenleistung und vielen analysierten Bildern (in diesem Fall einer Million). Es gewann den ImageNet und wurde als eines der innovativsten Modelle anerkannt. Damit legten Sutskever und AlexNet den Grundstein für das Zeitalter der KI. Dies war die erste Arbeit, die konvolutionale neuronale Netze populär machte, die fähig sind, Klassifizierungsaufgaben zu lösen, Elemente zu verarbeiten und zu erkennen.
Nvidia spielte eine bedeutende Rolle bei der Entwicklung der ersten GPUs und Grafikprozessoren. Ursprünglich waren sie für die schnelle Verarbeitung und Darstellung von Bildern konzipiert, was neue Möglichkeiten in der Spieleentwicklung schuf. Es stellte sich jedoch heraus, dass die Berechnungen, die GPUs gut bewältigen konnten, denen ähnelten, die für das Training neuronaler Netze benötigt wurden. Im Wesentlichen handelte es sich dabei um die Multiplikation riesiger Zahlenraster, was fast dasselbe wie tiefes Lernen war.
Es gibt den Mythos, dass Sutskever nach New York ging und einen Kofferraum voller GTX 580s zurückbrachte, die dann in AlexNet verwendet wurden. Dies ist wahrscheinlich nur ein Mythos, der viele Innovationen umgibt. Eine andere Version besagt, dass Sutskever die GTX 580s online bestellte, und er selbst äußerte diese Version. Unabhängig davon war dies eine einzigartige Konvergenz von Ideen mit neuen technologischen Möglichkeiten.
Zusammen gründeten Hinton, Sutskever und Krizhevsky das Forschungsstartup DNNResearch, das sich auf Forschungen im Bereich des Natural-Language Understanding, einem KI-Gebiet im Zusammenhang mit Spracherkennung, konzentrierte. Sutskever war überzeugt, dass die Möglichkeiten des tiefen Lernens zur Generierung von Texten und Bildern genutzt werden könnten. Wie Jeff Dean sagte, hatte Sutskever ein intuitives Verständnis davon, wohin die künstliche Intelligenz gehen könnte. Einige Monate später wurde DNNResearch von Google übernommen.
Nach seinem Beitritt zu Google arbeitete Sutskever bei Google Brain und konzentrierte sich auf weitere Studien in künstlicher Intelligenz und maschinellem Lernen. Während dieser Zeit verfasste er ein Papier über den seq2seq-Algorithmus, der später die Grundlage eines neuen Ansatzes für Google Translate bildete und die Art und Weise, wie wir Online-Übersetzer nutzen, veränderte. Zuvor glichen sie eher einem Online-Wörterbuch, das Wörter oder beliebte Phrasen übersetzte. Aber der neue Google Translate erlangte die Fähigkeit, den Textkontext zu analysieren und die Bedeutung über verschiedene Sprachen hinweg zu bewahren.
Im Google Brain-Team war Ilya Sutskever maßgeblich an der Entwicklung von TensorFlow beteiligt, einer Plattform für maschinelles Lernen im großen Maßstab. Heute steht TensorFlow als das weltweit bekannteste System für maschinelles Lernen und ermöglicht die Erstellung neuronaler Netze.
AlphaGo
Ilya Sutskevers Zeit bei Google umfasste die Zusammenarbeit mit Forschern von DeepMind an AlphaGo, einem künstlichen Intelligenzprogramm, das entwickelt wurde, um Go zu spielen, ein tiefgründiges strategisches und altes chinesisches Brettspiel. Historisch gesehen galt Go als eines der herausforderndsten klassischen Spiele für KI, aufgrund der Komplexität der Bewertung von Positionen und der Auswahl vorteilhafter Züge. In einer bahnbrechenden Leistung für die Entwicklung der KI im Jahr 2016 besiegte AlphaGo den Go-Champion Lee Sedol, was die Überlegenheit einer Maschine über Menschen in einem der komplexesten strategischen Brettspiele bedeutete. Der Ansatz von AlphaGo ging über bloße Wahrscheinlichkeitsberechnungen hinaus; es zeigte Kreativität und die Fähigkeit, intuitive Aspekte des Spiels zu erfassen. Dieses System verwandelte die Perspektiven auf das Go-Spiel und revolutionierte das wissenschaftliche Verständnis. Beispielsweise trugen die Methoden von AlphaGo zu Fortschritten in der Protein-Faltungsforschung bei, die für die Arzneimittelentwicklung und die Bekämpfung von Krankheiten von entscheidender Bedeutung ist.
OpenAI und der Aufstieg der KI
Ende 2015 wurde mit Finanzierung von Elon Musk und einer Gruppe von Investoren der Grundstein für OpenAI, eine gemeinnützige Organisation, gelegt, die darauf abzielt, digitale Intelligenz zum Wohl der Menschheit zu entwickeln. Ilya Sutskever, der als Chief Scientist und Mitbegründer dem Projekt beitrat, verließ seine Position bei Google, inspiriert von der Mission von OpenAI. Das Unternehmen zielte darauf ab, fortschrittliche KI-Technologien zu demokratisieren und versprach Offenheit und Zugänglichkeit in ihren Entwicklungen. In einem Interview mit Jensen Huang von NVIDIA betonte Sutskever die Bedeutung des unüberwachten Lernens durch Datenkompression als grundlegende Idee, die zu einer Reihe von Durchbruchsforschungen bei OpenAI führte.
Seit ihrer Gründung hat OpenAI beeindruckende Errungenschaften gezeigt: die Entwicklung der Gym Plattform für KI-Training, die Schaffung von Universe zum Unterrichten von KI in verschiedenen Aufgaben und der Erfolg des OpenAI Five-Bots in Dota2, der 2019 die Dota 2-Champions OG besiegte. Innerhalb von OpenAI leitete Sutskever die Entwicklung der GPT-Sprachmodelle bis zum GPT-4 und beteiligte sich an der Erstellung von DALL-E, einem neuronalen Netzwerk zur Bilderzeugung. Im März stellte das Unternehmen GPT-4 vor, das die bemerkenswerten Fähigkeiten dieses Modells demonstrierte.
In einem Interview äußerte Sutskever seinen Glauben an die immensen Vorteile der KI, teilte aber auch Bedenken hinsichtlich ihres potenziellen Schadens für die Menschheit. Er setzte sich für eine Welt ein, in der KI eine Unterstützung und kein Ersatz für menschliche Erfahrungen und freie Wahl ist.
Die Veröffentlichung von ChatGPT markierte einen Wendepunkt für das Unternehmen, da das Sprachmodell in Kombination mit einer einfachen Schnittstelle und Zugänglichkeit für jeden einen explosiven Einfluss auf die Menschen hatte. Zum ersten Mal konnten Hunderte Millionen von Menschen weltweit KI erleben und schätzen, woran OpenAI gearbeitet hat. ChatGPT war in vielen Aspekten vielleicht nicht perfekt, aber es führte die Menschen in generative KI ein und ermöglichte es ihnen, sie im wirklichen Leben auszuprobieren. Das OpenAI-Team äußerte viele Bedenken im Zusammenhang mit der Veröffentlichung von ChatGPT. „Was, wenn es den Leuten nicht gefällt?“, sagte einer der Entwickler. Aber den Leuten gefiel es, und das eröffnete ein neues Kapitel in der KI, in dem es zu einer Mainstream-Richtung in der Technologieentwicklung wurde. Was viele Forscher vor 10 Jahren für unsinnig hielten, wurde mit nur wenigen Klicks für jeden zugänglich.
Natürlich bleibt es für die meisten Menschen nur ein Spielzeug, aber 100 Millionen Nutzer in weniger als zwei Monaten sprechen für seinen Reiz. Aaron Levie, CEO von Box, einem Datenspeicherunternehmen, sagte: „ChatGPT ist einer dieser seltenen Momente in der Technologie, in denen man einen Einblick erhält, wie alles in der Zukunft anders sein wird.“ Und für viele Menschen war es nicht nur ein Spielzeug, sondern eine Vision der Zukunft, die kam. Es inspirierte einige, aber es weckte bei vielen Ängste um ihre Zukunft.
Zweifellos ist ChatGPT nicht perfekt und produziert oft Fehler und ungenaue Informationen. Im Internet sind Fragen über die Position des Buchstabens „r“ im Wort Heidelbeere oder Witze über den Chatbot, der je nach Frage widersprüchliche Antworten gibt, zu Memen geworden. Sobald man dies erlebt, bricht das Wunder hinter ChatGPT zusammen und man erkennt, wie unvollkommen das System ist. Aber bis zu diesem Punkt ist man bereits so beeindruckt, dass es genug ist.
Und er, Ilya Sutskever, hat im Wesentlichen die Richtung vorgegeben, in die unsere Welt gehen wird.
