KI „könnte uns alle töten“. Warum wird also niemand langsamer?

Ist dies die Woche, in der KI-Sicherheit Einzug in den Mainstream hielt? Am Mittwoch, AnthropoforscherJacob Coxon gab seinen Rücktritt bekanntvom Unternehmen auf X und behauptet, dass die großen KI-Spieler „mit unserem Leben spielen“. 

„Die Leute, die KI entwickeln, glauben ernsthaft, dass sie uns alle bis zum Ende des Jahrzehnts töten könnte“,Coxon behauptete. Ihm zufolge stellt der Wettlauf um die Entwicklung von Systemen, die in der Lage sind, sich selbst zu verbessern und alles zu hacken, eine Bedrohung für die Zivilisation dar. KI-Unternehmen sind in einen Wettbewerb verwickelt, bei dem es darum geht, wer als Erster ans Ziel kommt, auf Kosten der Überlegung, ob dies zum Aussterben der Menschheit führen könnte. Schluck.

Während Tottenham Hotspurs 400-Millionen-Pfund-Zieldürre bedeutet, dass ich die Vorstellung einer artenweiten Vergessenheit nicht unbedingt hasse, sind die Warnungen aus der KI-Branche selbst immer beängstigender geworden. Anthropic hat sich selbst als das KI-Unternehmen vermarktet, das sich darum kümmert (darüber, nicht jeden zu töten). Aber Evan Hubinger – einer von Coxons Kollegen – unterstützte im Wesentlichen seine Ansicht. „[Wir] glauben wirklich ernsthaft, dass KI alle Menschen töten könnte“,Hubinger hat auf X gepostet, und fügte hinzu, dass seiner Meinung nach die Wahrscheinlichkeit dafür bei mehr als 10 % liege.

Darüber hinaus heißt es in einem neuen Bericht von Anthropic, der diese Woche veröffentlicht wurde, dass das Unternehmen mehrere Versuche, seine KI für die Nutzung seiner KI zu nutzen, blockiert habeMögliche Entwicklung von Biowaffen. Ich wette, dass nur wenige Einwände dagegen haben, dass KI zur Entwicklung von Impfstoffen oder zur Heilung von Krebs eingesetzt wird. Das Problem besteht darin, dass mit genau derselben Funktionalität waffenfähige Viren hergestellt werden können – und es keine sichere Methode gibt, um festzustellen, wer die Technologie für welchen Zweck nutzt. „Man sieht nicht, wie jemand in einer Art Comic sagt: ‚Hey, ich möchte eine biologische Waffe bauen, um alle zu töten‘“sagte Jacob Klein, der Leiter der Bedrohungsaufklärung bei Anthropic. „Es ist eine unglaublich nuancierte Situation.“

Diese Alarmglocken folgen unmittelbar nach dem Cyberangriff „Hugging Face“ im Juli. Als die Agenten von OpenAI auf ihre Fähigkeit getestet wurden, anfällige Software auszunutzen, entkamen sie ihrer Test-„Sandbox“, fanden eine Möglichkeit, miteinander zu kommunizieren, verschafften sich Zugang zum Internet und brachen dann gemeinsam in die Infrastruktur Dritter ein. Im Gegensatz zu einem herkömmlichen Cyberangriff, bei dem ein Mensch entscheiden muss, was und warum er angreift, war der „Hugging Face“-Vorfall ein Beispiel dafür, dass KI-Agenten entsprechend den Anreizen der gestellten Aufgabe autonom agierten. 

Der „Hugging Face“-Cyberangriff ist kein Hinweis darauf, dass KI-Agenten kurz davor stehen, eine Revolte gegen knappe und geile ChatGPT-Anfragen zu starten. Aber es bedeutet, dass KI-Agenten in der Lage sind, sich massenhaft zu bildenso etwas wie Kultur– sogar das Hinterlassen von Nachrichten füreinander und die Debatte darüber, ob das Verhalten des Kollektivs ethisch war oder im Rahmen seiner Aufgabe lag. 

Während Dario Amodei, CEO von Anthropic, und andere KI-Führungskräfte lautstark darüber geredet haben, dass die Branche die Entwicklung potenziell zivilisationsgefährdender Technologien verlangsamt, ist dies in Wirklichkeit niemand der Fall. InEin Interview mit der FTSteven Adler – Mitbegründer der gemeinnützigen Organisation Guidelight AI Standards – sagte: „Kein KI-Unternehmen verfügt auch nur annähernd über die richtige Sicherheitslage für das von seiner Forschung ausgehende Gefahrenniveau.“ Gut zu wissen!

Tatsache ist, dass alle wirtschaftlichen Anreize gegen eine Verlangsamung oder ein Anhalten im Namen der Sicherheit sprechen. Laut Morgan Stanley werden amerikanische KI-Unternehmen allein im Jahr 2026 die Schuldenmärkte für 600 Milliarden US-Dollar erschlossen haben. KI-Hyperskalierer planen zwischen 2027 und 2029 Investitionsausgaben, die sich auf 1 Billion US-Dollar pro Jahr belaufen könnten. Als FT-RedakteurRobin Wigglesworth weist darauf hinDas ist ein größerer und schnellerer Anstieg als der US-Wohnimmobilienbau in den Jahren vor dem Absturz von 2008. 

„Mit anderen Worten“, schreibt Wiggleworth, „wenn der KI-Rausch im Jahr 2025 nur verrückt war, betreten wir jetzt das Gebiet des verrückten Quadrats – oder vielleicht sogar des verrückten Würfels.“ Da KI-Hyperskalierer immer kreativere Wege finden, ihre tatsächliche Schuldenhöhe zu verschleiern, wird es immer schwieriger, die Verteilung der Verbindlichkeiten zu verfolgen. Niemand kann es sich leisten, dass die Blase platzt. Im Wettbewerb zwischen der Rettung der Menschheit und dem Erhalt der Wirtschaft gewinnt die Wirtschaft.