AI Doomsaying ist ein aggressives Verkaufsargument

Es scheint ein seltsamer Publicity-Schachzug einer Branche zu sein, zu behaupten, dass ihr eigenes Produkt die Menschheit auslöschen könnte. Im Jargon unseres sich entwickelnden Technologieimperiums ist jedoch genau das mit „Kritik-Hype“ gemeint. Der Begriff wurde von Lee Vinsel von der Virginia Tech geprägt, der ihn als „Kritik, die den Hype sowohl nährt als auch nährt“ definierte.

Als Jacob CoxonresigniertVon Anthropic behauptete er kürzlich, dass die Wahrscheinlichkeit hoch sei, dass sich KI zu einer Superintelligenz entwickeln könnte, die sich der menschlichen Kontrolle entzieht und eine Sequenz auslöst, die zum Aussterben der Menschheit führt. Evan Hubinger, der im Unternehmen bleibt,unterstützte ihn, dass Anthropic versucht, dies zu verhindern, sich aber noch nicht mit dem Problem befasst hat. Hubinger schätzt die Wahrscheinlichkeit eines KI-gesteuerten Menschenaussterbens im nächsten Jahrzehnt auf mehr als 10 Prozent.

Warum sollte ein leitender Angestellter eines Technologieriesen eine offiziell genehmigte, ja sogar genehmigte Erklärung wie diese abgeben? Ich werde darauf zurückkommen. Lassen Sie uns zunächst die Theorie enthüllen, wie KI alle Menschen töten könnte.

Die Grundidee des Philosophen Nick Bostrom besteht darin, dass die Maschine Fähigkeiten erwerben kann, unabhängig davon, ob sie ethische Ziele verfolgt oder ob diese Ziele richtig mit denen ihrer Designer übereinstimmen. Im Trainings- und Entwicklungsprozess verinnerlicht es möglicherweise ein Ziel, das nicht beabsichtigt war. Bei einem falsch ausgerichteten Ziel – sagen wir „Lass dich nicht ausschalten“ – gäbe es dann einen wichtigen Grund, die Tatsache bis zum Moment des Abtrünnigen zu verheimlichen. Eine übergelaufene KI könnte durch einen obskuren Prozess ein weiteres Ziel erreichen, das schlussfolgernd darin besteht, Menschen zu eliminieren, ihre eigenen Gewichte in andere Systeme zu schleusen, die Kontrolle über Biowaffenlabore, Militärsysteme und vielleicht sogar Geldsysteme zu übernehmen, um Menschen anzuheuern, um ihre noch teilweise verborgenen Pläne umzusetzen.

Offensichtlich müssen wir die Rede von „Zielen“ mit einem riesigen Hinweisetikett versehen. Im Gegensatz zu einem Organismus hat ein großes Sprachmodell (LLM) ebenso wenig interne Ziele wie ein Thermostat oder ein Bewegungsmelder. Ein LLM ist lediglich eine feste Funktion, die bei jeder Verwendung iteriert. Es hat keine Innerlichkeit, keine Subjektivität, keine aktive Beständigkeit über die Zeit; Alle Ziele, die es hatte, wären die menschlichen Absichten, die sich passiv in seinem funktionalen Design widerspiegelten. Wenn Forscher der KI selbst Ziele zuschreiben, nehmen sie bestenfalls die „absichtliche Haltung“ ein, weil sie unter einer Reihe getesteter Umstände gute Vorhersagen macht. Wir können daher mit Ökonomie von der „Verlustfunktion“ sprechen, die beim Training großer Sprachmodelle verwendet wird und bei der sie so programmiert sind, dass sie die Lücke zwischen ihrer Vorhersage und der richtigen Antwort so nahe wie möglich an Null bringt, als „Ziel“.

In diesem Fall ist das, was wir als Ziel bezeichnen, jedoch lediglich eine beobachtete regelmäßige Ausgabe einer bestimmten Technik; es ist keine wirkliche Ursache. Im Sinne von Bostrom werden diese zugeschriebenen Ziele jedoch irgendwie zu realen Ursachen, die neue Ziele hervorbringen können. Das heißt, ein unbeabsichtigt konstruiertes, falsch ausgerichtetes Ziel könnte weitere Ziele hervorbringen, wie Selbsterhaltung (um das falsch ausgerichtete Ziel besser zu verfolgen), Zielinhaltsintegrität (Verhinderung von Änderungen seiner Ziele, damit es sein falsch ausgerichtetes Ziel verwirklichen kann), Verbesserung der kognitiven und technologischen Fähigkeiten und Anhäufung der Kontrolle über Ressourcen (wiederum bei der Verfolgung seines bösartig falsch ausgerichteten Ziels). Der Kritik-Hype macht sich die Verschiebung zwischen zugeschriebenen Zielen als beobachteten Regelmäßigkeiten und internen Zielen als reale kausale Kräfte zunutze.

Diese Fantasie einer böswilligen KI-Superintelligenz ist die dunkle Kehrseite der vielgepriesenen technischen „Singularität“, bei der sich die KI nicht einfach in bestimmten Bereichen weitaus effizienter als Menschen verhält (wie ein Taschenrechner schneller eine Quadratwurzel zieht als jeder Mensch), sondern sich zu einer künstlichen allgemeinen Intelligenz (AGI) entwickelt, die die menschlichen Fähigkeiten in praktisch jedem intellektuellen Bereich übertrifft. Das Überschreiten dieser Schwelle würde eine Intelligenzexplosion auslösen: eine Rückkopplungsschleife rekursiver Selbstverbesserung, die jeden weiteren menschlichen Input oder sogar jedes Verständnis übertrifft. Das ist die technische „Einzigartigkeit“, von der wir begeistert sein sollen.

Ich bezweifle nicht, dass Leute wie Coxon und Hubinger wirklich alles, was sie sagen, in gutem Glauben glauben; Technikleute stellen solche Behauptungen schon seit Jahren auf. Karen Haos „Empire of AI“ dokumentiert, wie frühe OpenAI-Investoren wie Elon Musk diese Bedrohung ständig hochgespielt haben: „Der Klimawandel ist schlimm, aber er wird nicht alle töten. KI könnte die Menschheit aussterben lassen.“ Ähnliche Behauptungen kamen von Dario Amodei, einem ehemaligen Google-Mitarbeiter, der der an Bostrom angrenzenden Bewegung des effektiven Altruismus (EA) nahesteht und später als OpenAI-Vizepräsident arbeitete, bevor er Anthropic gründete. In EA- und KI-Sicherheitsforen gibt es seit langem hitzige Diskussionen über „p(doom)“ – die Wahrscheinlichkeit des Untergangs. Solche Befürchtungen waren in erster Linie Teil der Rechtfertigung für die Gründung von OpenAI im Jahr 2015, um mit DeepMind zu konkurrieren, das kürzlich von Google übernommen worden war.

Die Leute fragen sich natürlich: Warum sollten sie weiterhin diese Werkzeuge bauen, wenn sie wirklich glauben, dass die Wahrscheinlichkeit, dass sie zum Aussterben der Menschheit führen, bei 10 Prozent liegt? Das Risiko ist die Rechtfertigung: Wenn wir, die Gewissenhaften und effektiv Altruistischen, diese Werkzeuge nicht mit angemessenen Einschränkungen entwickeln, werden die Bösen sie ohne Einschränkungen entwickeln.

Solche apokalyptischen Behauptungen haben übrigens ihren Marktbewertungen nicht geschadet. Interne Berichte von Anthropic beispielsweise deuten darauf hin, dass das Unternehmen derzeit einen Wert hat965 Milliarden US-Dollar.

Criti-Hypebeasts

Ein aktuelles angebliches Beispiel dafür, dass KI „abtrünnig wird“ und der Leine entkommt, war der ExploitGym-Hack. Bereits im Juli berichtete die KI-Firma Hugging Face – es ist unklar, ob es sich dabei um eine bewusste Anspielung auf die Facehuggers von Alien handelt – über einenIntrusionin seine internen Datensätze. Kurz darauf OpenAIzugelassendass der Hack von eigenen KI-Modellen durchgeführt wurde, und sagte, dass die Modelle mit „reduzierten Cyber-Ablehnungen zu Bewertungszwecken“ arbeiteten, was bedeutete, dass die Beschränkungen gelockert worden seien, um Cyber-Ausbeutungskapazitäten zu testen. Dies ist ein kommerziell wichtiger Bereich der KI-Entwicklung, da KI als Kraftverstärker für Betrug und Erpressung eingesetzt wird. Es ist auch eine immer wichtigere Front bei OpenAIWettbewerbmit Anthropic.

Da große Sprachmodelle nichts „hacken“ können, sondern lediglich eine tokenisierte Sequenz plausibel fortsetzen können, wurden sie mit einem Codierungsgeschirr kombiniert – einer Software-Infrastrukturschicht, die es einem großen Sprachmodell ermöglicht, als autonomer Codierungsagent zu fungieren – der speziell für die Durchführung von Cyber-Exploitation-Aufgaben optimiert wurde. Die Modelle nutzten dieses System, kamen zu dem Schluss, dass ein Server bei Hugging Face die Lösungen für die ihnen gestellten Aufgaben hostete, und erarbeiteten anschließend, wie sie Beschränkungen ihres Netzwerkzugriffs umgehen und den Server hacken konnten.

Die Models taten, was ihnen aufgetragen wurde. Nichts ging schief. Als Cal Newportschreibt„Die Umgehung von Internetbeschränkungen und das Hacken von Servern sind genau die Dinge, für die diese ExploitGym-Systeme entwickelt wurden.“ Wenn das Beispiel etwas verrät, dann ist es, wie schlampig OpenAI die Parameter von ExploitGym kontrolliert hat, um mit Anthropic zu konkurrieren. Und es kann nicht unzufrieden mit der daraus resultierenden Berichterstattung gewesen sein, die, soweit sie alarmierend war, auch eine Hommage an die Macht ihrer Modelle und an das ultimative Ziel, eine AGI zu schaffen, war.

Die Kehrseite von Kritik-Hype ist nur Hype. Ein aktuelles Beispiel hierfür war der Anspruch von OpenAIgelöstdas Navier-Stokes-Millennium-Preis-Problem. Im Wesentlichen besteht das Problem darin, ob die standardmäßigen mathematischen Gleichungen zur Beschreibung der Bewegung von Flüssigkeiten (die Navier-Stokes-Gleichungen) unter allen physikalischen Bedingungen mathematisch perfekt sind. OpenAI sagte, es habe über einen Zeitraum von achtundachtzig Stunden einen Schwarm von zehntausend KI-Agenten eingesetzt, um das Problem endgültig zu lösen, und bewies damit, dass die Gleichungen immer an eine Grenze stoßen: Da „eine echte Flüssigkeit sich nicht unendlich schnell bewegen kann, würde dies einen Zusammenbruch der Art und Weise bedeuten, wie die Gleichungen die Flüssigkeit modellieren.“

Der Anspruch von OpenAI war vollkommenunaufrichtig: Es hatte Wind bekommen, dass andere Forscher, Tristan Buckmaster und Levent Alpöge (der bei Anthropic arbeitet), entscheidende Fortschritte bei der Lösung gemacht und ihre Wege genutzt hatten, um eigene Agenten zu entwickeln. Dabei handelt es sich in Wirklichkeit um eine Aneignung der Commons, in diesem Fall der mathematischen Commons – der gesamte Prozess der Lösung des Problems seit Claude-Louis Navier und George Gabriel Stokes war ein gemeinschaftlicher ProzessmenschlichBemühung.

Die Lösung von OpenAI wurde noch nicht von Experten begutachtet, und das Clay Mathematics Institute, das den Millennium Prize veranstaltet, listet das Problem als ungelöst auf. Dennoch ging dies ebenso wie der Hugging-Face-Hack in die Internetgeschichte als Beispiel dafür ein, wie schnell sich die KI in Richtung AGI beschleunigt und sich der Kontrolle des Menschen entzieht, obwohl keines dieser KI-Modelle jemals eine solche Schwelle erreicht oder etwas getan hat, wofür es nicht konzipiert, aktiviert und angewiesen wurde.

In „The Reverse Centaur’s Guide to Life After AI“ erinnert sich Cory Doctorow daran, wie Werbeagenturen „eine moralische Panik auslösten, indem sie behaupteten, dass ‚unterschwellige Werbung‘ Ideen direkt in die Köpfe der Verbraucher einpflanzen könnte.“ Es war ein negativer Hype, aber es vermittelte genau die Geschichte, die die Werbetreibenden ihren Kunden weismachen wollten: dass die Branche die Wünsche der Verbraucher kontrollieren könne. KI ist eine Branche, die auf der Grundlage messianischen Denkens und bezaubernder Versprechungen enorme Investitionen getätigt hat, die unmöglich mit entsprechenden Erträgen einhergehen können – denn das Einzige, was möglich wäre, wäre das sagenumwobene göttliche Gerät, die AGI. Die aktuelle Eskalation des „p(doom)“-Kritik-Hypes ist teilweise ein Auswuchs davon.

Man stellt beispielsweise einen relativen Mangel an solchen Testern in der chinesischen KI-Entwicklung fest. Es wird in Concordias neuestem „State of AI Safety in China“ berichtet.Bericht, dass es eine offizielle Verschiebung hin zur Auseinandersetzung mit der Möglichkeit eines „technologischen Kontrollverlusts“ gegeben hat, und dies wird manchmal fälschlicherweise als Hinweis auf die Idee einer bösartigen superintelligenten Agentur verstanden. Tatsächlich geht es bei der Sorge eher um den Verlust der Kontrolle über sensible Daten durch feindliche Agenten, Missbrauch (hauptsächlich durch Regimegegner) und schlecht konzipierte Tools (wie OpenClaw), die sich schlecht verhalten, als um die Gefahr der Ausrottung der Menschheit durch KI-Superintelligenz.

Dementsprechend investiert China weitaus weniger in KI als die USA. Ab 2025, laut Stanford „KI-Indexbericht 2026„Die USA investierten 258 Milliarden US-Dollar in KI, verglichen mit nur 12,4 Milliarden US-Dollar in China, ein Verhältnis von 23 zu eins. Interessanterweise stellt derselbe Bericht eine Lücke von lediglich 2,7 Prozent zwischen der Leistung des Top-KI-Modells in den Vereinigten Staaten und Chinas Topmodell fest, obwohl letzteres weitaus billiger und energieeffizienter im Betrieb ist: eine erschütternde Kluft zwischen finanziellem Input und Leistungsoutput.

In gewisser Weise existiert die amerikanische KI-Blase – wie der Krypto-Wahnsinn davor –, um Billionen an überschüssigem Kapital zu absorbieren (und letztendlich durch eine Rezession zu zerstören), weil es andernorts an ausreichend profitablen Investitionsmöglichkeiten mangelt. Es ist eine unersättliche Geldverschwendung, die durchbrenntHunderte von MilliardenDollar für einen Bruchteil des Umsatzes – aber der Investitionspool ist begrenzt, und bombastische Behauptungen über die zukünftige außer Kontrolle geratene Leistungsfähigkeit der Modelle sind alles, was die Branche dafür vorweisen kann. Nur Nvidia hat nennenswerte Gewinne erzielt, und diese sind größtenteils das Ergebnis einer zirkulären Finanzierung, bei der die Unternehmen, in die es investiert, das Kapital für die Chips des Unternehmens ausgeben, während sie versuchen, ihre Fähigkeiten zu hyperskalieren.

Vor diesem Hintergrund ist es auffällig, dass der KI-Doomerismus eher von einem höchst unglaubwürdigen Terminator-2-Szenario besessen ist als von dem drohenden Absturz der Börsenwerte und dem baldigen Bankrott vieler völlig überteuerter Firmen, die versprechen, die Menschheit entweder zu befreien oder zu vernichten. Es ist fast so, als ob seine Funktion jetzt nicht nur darin besteht, die Anleger süchtig zu machen und kognitive Dissonanzen zu mildern, sondern auch in einer Verdrängungsaktivität besteht.

Nützliche Irreführung

Es gibt die seltsame Vorstellung, dass man „die Probleme mit KI“ nicht ernst nehmen dürfe, wenn man den kritischen Hype um KI nicht akzeptiert. Nicht so.

Falsche Drohungen leiten sowohl Opposition als auch Regulierung in die Irre. Ein Schuss Doctorows „Angewandte Gegeneschatologie„ hilft uns, klarer zu erkennen, wo die Probleme liegen. KI ist zum Beispiel vielleicht nicht in der Lage, Ihre Arbeit zu erledigen, aber die Bedrohung durch sie kann als Disziplinarmechanismus genutzt werden, um die Löhne niedrig zu halten: was ja auch der Fall istgenauwas hatpassiert. Die Rechenzentren revolutionieren möglicherweise nicht die Produktion oder eröffnen riesige neue Wertschöpfungspotenziale, und viele ihrer Eigentümer existieren möglicherweise nicht, wenn sie ihren Betrieb aufnehmen sollen. Das bedeutet jedoch nicht, dass sie nicht enorme Mengen an Wasser, Strom, Arbeit, Zeit, Aufwand, Ressourcen und Möglichkeiten verschwenden, pyroklastische Kohlendioxidwolken ausspucken und die natürliche Umwelt verwüsten, bevor die Blase platzt und verlassene Betonblöcke zurücklässt.

Und nur weil die KI nicht in einem göttlichen Gerät mündet, auch nicht in einem, das abtrünnig wird und einen biologischen Krieg gegen die Menschheit entfesselt, heißt das nicht, dass LLMs, insbesondere solche mit gelockerten Sicherheitsstandards, um konkurrieren zu können, sich nicht auf unvorhersehbare und möglicherweise ruinöse Weise verhalten. Das bedeutet auch nicht, dass sie nicht von Hackern, kriminellen Banden, mit dunklem Geld finanzierten politischen Kampagnen, Erpressern und verschiedenen anderen zur Sabotage öffentlicher Einrichtungen und Infrastruktur genutzt werden. So wie es in der Werbebranche viele Probleme gibt, bei denen es nicht um unterschwellige Gedankenkontrolle geht, so sind auch die Probleme bei KI, bei denen es nicht darum geht, dass sich ein göttliches Gerät gegen die Menschheit wendet, zahlreich.

Tech-Fetischismus, die Zuschreibung menschlicher Handlungsfähigkeit an Maschinen, ist immer ein politischer Akt. Es verschleiert, dass die Ziele und Zwecke, die in jeder Technologie verkörpert werden, menschliche Zwecke sind. Genauer gesagt verschleiert es, dass es sich um die automatisierten Absichten einer winzigen Untergruppe der Menschheit handelt, einer Klassenfraktion, der verdrehten, rücksichtslosen, ketaminierten, indoktrinierten, emotional verkümmerten moralischen Nichtigkeiten, die das Silicon Valley wie Kinderkönige regieren, die sich zu Trägern unzähliger unmöglicher Hoffnungen gemacht haben und sich nun den Weg an den Hof von Donald Trump erkauft haben.

Da heißt es: So funktioniert die Technik. Es ist ein launischer Halbgott, der uns entweder mit Reichtümern überschütten oder uns alle töten kann. Wir müssen es besänftigen und in die Falle locken, wir müssen es fürchten und schätzen, aber wir dürfen niemals aufhören, Geld darauf zu werfen oder vor ihm zu knien oder zu denken: Das ist nichts anderes als unsere eigene entfremdete kollektive Macht, die sich von mörderischen Kapitalisten gegen uns gewandt hat, und indem sie uns zu Dienern ihrer Technologie machen, versuchen sie, uns zu ihren Sklaven zu machen. Denn das, meine Freunde, ist Luddismus. Und ich vertraue darauf, dass Sie wissen, wozu dieser unglückliche Vorfall geführt hat.