OpenAI verschiebt Börsengang: Macht langsam!

Diese Meldung sorgte am Sonntag für Aufsehen: OpenAI, das Unternehmen hinter ChatGPT, verschiebt seinen Börsengang. Und Dario Amodei, Chef von Anthropic, die ebenfalls große Sprachmodelle entwickeln, sagte in der Nachrichtensendung CBS, dass sich Künstliche Intelligenz „in exponentieller Geschwindigkeit“ entwickle. „Es ist ein Warnsignal dafür, dass wir langsamer machen müssen“.

Dem vereinten Wunsch nach Verlangsamung vorausgegangen war eine Hacking-Attacke, bei der sogenannte KI-Agenten von OpenAI sich während eines Testlaufs verselbständigt hatten und in Systeme der KI-Plattform Hugging Face eingedrungen waren. KI-Agenten sind Systeme, die selbstständig Aufgaben wie Internetrecherchen oder Datenbearbeitung ausführen können. Im Fachjargon spricht man bei so einem Verhalten von KI-Systemen von „Misalignment“. Hauptziel bei der KI-Entwicklung ist, dass sie mit menschlichen Zielen und Wertvorstellungen „auf Linie“ ist („alignment“).

Er sei nach den Angriffen besorgt, „dass in sechs bis zwölf Monaten ein KI-Schwarm in der Lage sein könnte, das gesamte Internet zu übernehmen und potenziell Hunderte Milliarden Dollar Schaden zu verursachen“, schrieb Amodei am Samstag.

Der Anthropic-Chef plädiert für eine koordinierte branchenweite Pause in der westlichen Welt. Zugleich werde Anthropic – ohne auf andere zu warten – in einem ersten Schritt dauerhaft unabhängige Beobachter ins Unternehmen lassen. In der Finanzbranche gibt es Ähnliches. Altman kündigte an, dass OpenAI das auch machen werde. Elon Musk schrieb auf X: „Dario hat Rrecht“.

Erst am Freitag hatte zudem der ehemalige OpenAI-Mitarbeiter Jacob Coxon gewarnt, Unternehmen könnten durch die Geschwindigkeit, mit der sie die KI-Entwicklung vorantrieben, die Kontrolle über die Technologie verlieren. „Sie zocken mit unserem Leben“, schrieb er auf X – nachdem er gekündigt hatte. Die Gefahr, dass KI die Menschheit auslöscht, liege im kommenden Jahrzehnt bei mehr als 10 Prozent, schrieb Coxon weiter. Sein Post wurde mehr als 160 Millionenmal gelesen.

Coxon ist nicht der erste Anthropic-Mitarbeiter, der gekündigt hat und anschließend die Branche kritisiert. Daniel Kokotajlo tat das schon im April 2024. Später sagte er im Podcast „Diary of a CEO“: „Diese mächtigen CEOs – Dario [Amodei], Sam [Altman] und Elon [Musk] – liefern sich ein Wettrennen darum, die Kontrolle über die mächtigsten KIs zu erlangen, und haben Angst davor, dass der andere zum Diktator werden könnte, wenn er zuerst ankommt.“„Die Erforschung von KI (…) ist größtenteils eine experimentelle Wissenschaft. (…) Im Grunde bleiben unsere Trainingsläufe Experimente, und manchmal überraschen uns ihre Ergebnisse“, schrieb Jakub Pachocki, Chief Scientist bei OpenAI im Essay „An alien mind“ am 6. September. Laut Pachocki geht es bei der Weiterentwicklung von KI nicht darum, irgendwie ans Ziel zu kommen, sondern „auf eine Weise dorthin zu gelangen, die den Menschen weiterhin am Prozess beteiligt und die Zukunft in den Händen der Menschheit belässt“.

Elon Musk merkte vor wenigen Wochen in einem Interview mit „The Economist“ an, dass KI innerhalb von fünf Jahren die menschliche Intelligenz übertreffen wird, und schätzt, dass die Menschen innerhalb von 10 Jahren möglicherweise die Kontrolle über die Technologie verlieren könnten.

Erst jetzt kommen diese Bedenken in einer breiteren Öffentlichkeit an. Innerhalb der Tech-Branche gibt es diese Sorgen jedoch schon lange. In Bezug auf die Entwicklung Künstlicher Intelligenz schrieb KI-Forscher und -kritiker Eliezer Yudkowsky in seinem 2025 erschienenen Bestseller „If anyone builds it, everyone dies“: „So lernt die Menschheit normalerweise, Herausforderungen zu bewältigen: Wir leugnen das Problem, die Realität versetzt uns ein paar ordentliche Schläge, und dann beginnen wir, das Problem mit mehr Respekt zu behandeln.“ Genau das könnte jetzt eintreffen.

Yudkowsky kritisierte die KI-Entwicklung schon sehr früh. In einem knapp 20 Jahre alten Artikel pocht er darauf, dass die Priorität auf der Entwicklung „freundlicher KI“ liegen müsse. Er sagte, dass die Entwicklung von KI-Systemen, die nicht „gutmütig“ sind, „suizidal“ sei.

OpenAIs leitender Wissenschaftler Pachocki wiederum unterscheidet in seinem Essay von Anfang September zwischen „goal alignment“ und „value alignment“. Es erklärt quasi die Priorisierungen, die KI-Agenten treffen könnten, wenn sie vorgegebene Aufgaben erfüllen. „Goal alignment“ würde bedeuten, dass das Ziel die Priorität ist, moralische Grenzen dürfen missachtet werden. „Value alignment“ würde bedeuten, dass moralische Werte vor dem eigentlichen Ziel stehen.

Szenarien davon, was passieren könnte, wenn KI-Systeme den Menschen als dominierende Spezies auf der Erde ablösen würden, gibt es seit Jahren, unter anderem im Buch „Life 3.0“ des Wissenschaftsphilosophen Max Tegmark von 2017. Dort reicht die Dystopie so weit, dass Menschen von einer KI ähnlich wie Tiere im Zoo gehalten werden.

Einer, der sich weniger sorgt als die Experten: US-Präsident Donald Trump. In einem Interview mit CNBC wurde er kürzlich gefragt, ob er Sorgen habe, dass Künstliche Intelligenz die Menschheit auslösche. „Nein, da habe ich keine“, erwiderte er. Ihm sei es wichtiger, im Hinblick auf KI-Entwicklung nicht von China abgehängt zu werden. Was der US-Präsident dabei jedoch übersieht: Sollte eines der Szenarien, die KI-Experten für möglich halten, wirklich eintreffen, dann wäre China kein Problem mehr. Im Kongress wird immerhin derzeit ein „Kill-Switch-Gesetz“ diskutiert, das außer Kontrolle geratene KIs abschalten würde.

Ein Sprecher von Digitalminister Karsten Wildberger (CDU) sagte am Sonntag, man unterstütze mit Blick auf die Entwicklungen die Schaffung einer unabhängigen, internationalen KI-Aufsicht. Deutschland wolle dieses Thema in Gespräche mit den USA und China im Rahmen der G7-Gruppe einbringen. Einen Stopp der KI-Entwicklung in Europa sehe das Ministerium hingegen „kritisch und als nicht gangbaren Weg“.