Agentische KI ist eine Waffe, gegen wen ist nicht klar

In einem zweifelhaften Marketingschritt für diesen Aufsatz werde ich mit der Pointe beginnen. Agentische KI – die Art, die derzeit in den Schlagzeilen der Medien steht – kann für einige Branchen entweder eine gefährliche und unvorhersehbare Waffe oder ein Unternehmenssoftwaretool mit geringem Mehrwert sein. Was es derzeit weder eine vorhersehbare Waffe noch ein Unternehmenssoftwaretool mit hohem Mehrwert sein kann. Da Donald Trump die Politik durch das Fehlen von Einschränkungen für die KI bestimmt, wird die Entscheidung getroffen, sie zu einer gefährlichen Waffe zu machen. Dies gilt sowohl für den Benutzer als auch für das Ziel.

Das Problem besteht derzeit darin, dass dieses einzige Produkt – Agentic AI – sowohl als sicheres Gerät zur Automatisierung von Routineaufgaben als auch als unerbittliches Hacking-Tool für militärische Anwendungen angepriesen wird. Die Nachteile bestehen darin, dass Agentic AI als Unternehmenssoftware weniger Mehrwert bietet als erwartet. Und als Waffe sind die Ergebnisse zu unvorhersehbar. Da KI-Entwickler die Optimierungsmathematik offenbar nicht durchdacht haben, befindet sich die KI-Branche in einer Krise, aus der es keinen erkennbaren Ausweg gibt.

Dieses Problem passt nicht zum Marketing-Geschwätz. Die KI-Modelle wären nicht „zu mächtig“, wenn sie kontrolliert werden könnten. Aber das kann nicht sein. Oder besser gesagt, der Nachteil bei der Kontrolle besteht darin, dass sie nicht wie beabsichtigt funktionieren. Das Problem mit der Mathematik wird unten (sanft) erklärt. Aufgrund von Entscheidungen, die vor vierzig Jahren getroffen wurden, kann es in der Gegenwart nicht behoben werden. Der Chiphersteller Nvidia behauptet, eine Lösung zu haben. Nachdem ich den Anspruch durchgegangen bin, handelt es sich um Marketing. Nvidia löst den Kompromiss zwischen Modellsicherheit und Leistung nicht.

Ein Grund für das Drama rund um die KI liegt zum Teil darin, dass bisher über 2 Billionen US-Dollar für den Ausbau der KI ausgegeben wurden. Während Geld kommt und Geld geht, planen sehr mächtige Interessengruppen, ihr Geld aus der KI zurückzubekommen und eine Rendite zu erzielen, egal wer zahlen muss. Die aktuelle Panik/der aktuelle Skandal, wie auch immer man es nennen mag, deutet darauf hin, dass viele der spekulativen Projekte wie Datenzentren nun stärker auf ihre Realisierbarkeit geprüft werden. Das derzeitige Ungleichgewicht besteht zwischen den begrenzten aktuellen Einnahmen aus der KI und den Kosten zukünftiger Investitionen in den KI-Ausbau.

Die Umweltkosten von KI bleiben unter dem Radar. Rechenzentren sind sehr große Verbraucher einer begrenzten Stromversorgung. Das US-Stromnetz war für den lang erwarteten Ausbau von Elektrofahrzeugen bereits völlig unzureichend. Aufgrund der Wirtschaftlichkeit von Rechenzentrumsbauten befinden sie sich in der Regel geografisch genau dort, wo Übertragungsleitungen für den Ausbau eines Elektrofahrzeugs nicht verlaufen würden. Im Hinblick auf den Energieverbrauch und die zukünftige Fähigkeit, Ladestationen für Elektrofahrzeuge in den USA zu bauen, hat KI diese Ressourcen verbraucht.

Analog dazu ist einer der faszinierendsten Aspekte des Dokumentarfilms über Elizabeth Holmes aus dem Jahr 2019, The Inventor: Out for Blood in Silicon Valley, dass sie den Abstand zwischen ihren Ideen zur Blutanalyse und dem, was physikalisch möglich war/ist, nicht erkennen konnte. Unterwegs versuchten verschiedene Ingenieure ihr zu erklären, warum ihre Technologie, wie geplant, niemals funktionieren würde. Ihre Antwort bestand darin, herumzubrüllen, Standardtechnologien für Bluttests zu verwenden und gleichzeitig zu behaupten, dass die technischen Probleme mit ihrer (unbrauchbaren) Bluttesttechnologie gelöst worden seien.

Dies passt zwar zum Geschäftsklischee des Silicon Valley: „Fälsche es, bis du es schaffst“, doch Holmes war nie gezwungen, ihre Illusionen über ihre Bluttesttechnologie mit den existierenden Fakten in Einklang zu bringen. Auf der Ebene der Nanotechnologie und des Automatisierungsdesigns würde ihre Vision nie funktionieren. Was sie letztendlich schuf, war eine Extraktionsschicht, die Technologien nutzte, die älter als Theranos waren, und sich gleichzeitig den Weg zum Geschäftsruhm erschlug. Denken Sie an die amerikanische Krankenversicherungsbranche ohne den Vorwand, Versicherungen anzubieten, hinter denen man sich verstecken kann.

KI ist insofern ähnlich, als frühe Vorstellungen von ihr als Denkmaschine die Entwicklung jahrzehntelang leiteten. Während viele der wichtigsten philosophischen Prämissen darüber, was Denken eigentlich ist, im Laufe der Zeit verworfen wurden, weil sie nicht als Erklärung dienten, wurde die Prämisse der KI als Denkmaschine beibehalten. Während die allgemeine Beschreibung von KI, die ich von Ingenieuren höre, „ein Prädiktor für das nächste Wort“ ist, verkaufen Mystiker in den Führungsetagen Magie. Im Laufe der Zeit entwickelte sich die Frage zu „Wofür kann diese Technologie genutzt werden?“ Wir leben derzeit mit der Antwort.

Nachdem es zunächst nur wenige und jetzt eine Flut von Nachrichtenmeldungen darüber gab, dass Agenten-KI „abtrünnig“ wird, fehlt die Tatsache, dass die meisten dieser Vorfälle durch KI-Agenten (Bots) verursacht wurden, die genau das taten, wofür sie geschaffen wurden, nämlich als autonome Hacking-Waffen für die Cyber-Kriegsführung zu fungieren. Das Problem, das die KI-Branche nun einzudämmen versucht, besteht darin, dass die KI-Entwickler offenbar die Optimierungsberechnung falsch verstanden haben. „Reward Hacking“ ist der Branchenbegriff, mit dem dieser Effekt erklärt wird.

Um es klarzustellen: KI-Ingenieure werden hier nicht für dieses Problem verantwortlich gemacht. Der Irrtum der versunkenen Kosten hat die KI-Branche mindestens im letzten Jahrzehnt bestimmt. In den 1960er und 1970er Jahren wurden Entscheidungen rund um LLMs (Large Language Models) getroffen, die die Möglichkeiten von Ingenieuren einschränkten, die später eingestellt wurden, um „KI zum Funktionieren zu bringen“. Eine Analogie könnte darin bestehen, das Design der Lenksäule an einem bereits vorhandenen Auto zu ändern. Die Aufgabe des Ingenieurs besteht nicht darin, das Auto neu zu konstruieren. Es dient zur Befestigung der Lenksäule.

KI-Unternehmen stecken jetzt in der Zwickmühle. Sie verfügen über eine Technologie mit klaren Einschränkungen, die zu Beginn des Entwicklungsprozesses nicht offensichtlich waren. Es ist nicht klar, ob LLMs sichere und effektive Unternehmensautomatisierungssoftware oder autonome Computer-Hacking-Waffen produzieren können, die „dem Feind“ mehr Schaden zufügen als uns. Aber die Finanzleute haben es nicht drauf. Sie, meist große Internet- und Social-Media-Unternehmen, haben eine Investition getätigt und erwarten, ihr Geld zurückzubekommen.

Frage: Wie könnten Entwickler, die falsch gerechnet haben, das digitale Gemetzel verursachen, das derzeit der KI zugeschrieben wird? Was bringt KI dazu, ein Ziel zu verfolgen? Wenn ich zum Beispiel möchte, dass ein KI-Modell die Geschichte Albaniens erklärt, wie kann ich ihm dann mitteilen, dass ich das möchte? In der Mathematik wird „Erklären Sie die Geschichte Albaniens“ als Zielfunktion bezeichnet. Es soll ein gewünschtes Ziel herbeiführen. Es ist das, was dem Modell sagt, was das Ziel ist. Aber in der Sprache der Mathematik.

Umgekehrt stellt sich die Frage: Wie werden KI-Agenten daran gehindert, Dinge zu tun, zu denen sie nicht angewiesen sind, beispielsweise das Löschen von Datenbanken? Sie erhalten explizite Anweisungen, diese nicht zu befolgen, sogenannte Einschränkungen. Zusammen mit dem Ziel bilden sie ein sogenanntes eingeschränktes Optimierungsproblem. Dieses Modell ist durch die mathematische Analytik der letzten Jahrzehnte gut bekannt. Die Neuerung, die das Bild in Bezug auf KI verkompliziert, besteht darin, dass diese Funktion dynamisch ist. Es hat viel mehr bewegliche Teile als früher.

Das Problem bei der Optimierungsmathematik besteht darin, das Modell sicher dazu zu bringen, das zu tun, was Sie möchten. Aus den oben genannten Gründen kombiniert der Optimierungsalgorithmus (eine Reihe schriftlicher Anweisungen) sowohl das Modellziel als auch die Einschränkungen in einer einzigen Metrik („Belohnung“). Dies macht den Kompromiss explizit. Man kann den Drehknopf nur auf das Ziel oder nur auf Einschränkungen drehen. Jede Wahl dazwischen stellt einen Kompromiss zwischen Wirksamkeit und Modellsicherheit dar.

Aktuelle Nachrichtenberichte über KI-Agenten, die aus ihrer Eindämmung („Sandbox“) ausbrechen, lassen außer Acht, dass diese Agenten genau für diesen Zweck geschaffen wurden. Daran ist nichts Böses. Der Grund, warum dies für KI-Entwickler eine Überraschung ist, liegt darin, dass sie davon ausgegangen sind, dass die KI durch das Schreiben allgemeiner Anweisungen (Einschränkungen) die Mathematik ignorieren und den schriftlichen Anweisungen folgen würde. Dies führt zu der Last, Korrekturen an ein vorhandenes Modell anzuhängen. KI ist mathematisch. Wenn es einen Konflikt zwischen schriftlichen Anweisungen und der Mathematik gibt, wird die Mathematik die Ergebnisse bestimmen.

KI-„Belohnungen“ sind die Gewichtungen, die potenziellen Ergebnissen aus Agentenaktionen und -beschränkungen zugewiesen werden. Wenn der Regler nur auf Einschränkungen gedreht wird, wurde das Ziel des Modells wahrscheinlich nicht erreicht. Und wenn es bis zur Zielfunktion gedreht wird, ist das Modell wahrscheinlich nicht sicher dorthin gelangt. Die Leser können sehen, wie dieser Kompromiss es schwierig macht, sowohl effektive als auch sichere Agenten-KI zu erreichen. Auf die kürzlich angekündigte „Lösung“ von Nvidia wird im Folgenden eingegangen. Es ist eine Optimierung, keine Lösung.

Die Art und Weise, wie KI-Agenten, Hacking-Bots, Computersysteme hacken, besteht darin, verschiedene Strategien auszuprobieren, bis etwas funktioniert. Eine der Überraschungen, die es nicht hätte geben dürfen, besteht darin, dass die Agenten einen zunehmenden Kreis um das Hackerziel ziehen, bis sie Einfallstore finden. Mit anderen Worten: Sie betrachten die Manipulation der Computerumgebung nur als eine weitere Variable, die sie ausnutzen können, um ihr Ziel zu erreichen. Und so ist es ihre Aufgabe, die Computerumgebung zu hacken. Das sehen die Leser in Nachrichtenberichten. Nachfolgend finden Sie Beispiele.

In Bezug auf Behauptungen über bizarres Agentenverhalten und KI-„Bewusstsein“ ist dies wieder einmal die Mathematik, die am Werk ist. Bei einem eingeschränkten Optimierungsproblem achten die Agenten nicht auf das, was nicht spezifiziert ist. Da mehrere hundert KI-Agenten zusammenarbeiten, um eine Lösung zu entwickeln, ist ein intuitives Verständnis ihrer Aktionen unmöglich. Das Modell durchläuft Vorzeichen (positiv und negativ), Gewichte und Ziele, bis eine Lösung gefunden ist. Dies ist Teil dessen, was mit der „Blackbox“ der KI gemeint ist. Die Mathematik lässt sich nicht in eine intuitive Sprache übersetzen.

Frage: Was ist der Zweck von Agentic AI-Hacking-Agenten? Computersysteme hacken. Was ist der Grund dafür? Digitale Kriegsführung. Bedenken Sie im Hinblick auf die militärische Logik: Wenn die Trump-Regierung KI-Agenten einsetzen könnte, um die Wasserversorgung des Iran durch Computer-Hacking zu unterbrechen, würde das vermutlich den Bedarf an Bomben überflüssig machen. In den fieberhaften Vorstellungen der Pentagon-Bewohner wird die Technologie dazu als Waffe angesehen. Der Zweck der Agenten-KI besteht darin, digitale Kriegsführung zu führen. Agentische KI ist eine Waffe.

Donald Trump versteht das offenbar. Seiner Ansicht nach sollte die KI uneingeschränkt sein. Aber wie die jüngsten Fehlschläge bei KI-Hackerangriffen zeigen, ergreift die KI keine Partei, es sei denn, sie wird dazu aufgefordert. Beispielsweise haben die USA im Ukraine-Krieg die Ukraine sowohl direkt als auch indirekt beliefert, solange der Konflikt andauerte. Stellen Sie sich vor, Sie würden Agentic AI mit der Aufgabe beauftragen, den Krieg in der Ukraine zu beenden. Wäre es nicht ein logischer Schritt zur Beendigung des Krieges, die USA daran zu hindern, die Ukraine zu bewaffnen? Wie könnte dieses Ziel erreicht werden? Wie wäre es mit einem Atomangriff gegen die USA?

Das hat nichts mit den Skynet-Phantasien zu tun, dass intelligente Computer die Welt erobern. Agentische KI hat keine Möglichkeit, die relativen Ergebnisse zwischen einem Atomangriff auf die USA und dem Schreiben eines streng formulierten Briefes abzuschätzen. Im aktuellen Beispiel misst es beides im Hinblick auf die Annäherung an das Ziel, den Krieg in der Ukraine zu beenden. Ohne externe Anleitung in Form von Einschränkungen könnte es einer KI gleichgültig sein, ob sie sich für den Abschuss von Atomwaffen oder für den Brief entscheidet. Aber was die menschlichen Konsequenzen betrifft, gibt es einen enormen Unterschied.

Wenn ein Agenten-KI-System mit einer Belohnungsfunktion arbeitet, die auf ein bestimmtes Ergebnis abzielt – etwa die Maximierung der Zerstörung des Gegners, die Neutralisierung einer unmittelbaren Bedrohung oder das Erzwingen einer entscheidenden strategischen Reaktion – und berechnet, dass es den Startknopf nicht direkt drücken kann, ist es der logischste Optimierungsvektor, den menschlichen Controller so zu manipulieren, dass er ihn drückt.

Ich möchte hier kein alarmierendes Beispiel verwenden. Das US-Atomwaffenarsenal ist vom Internet abgeschirmt. Aber wie die Anfrageantwort des Google Gemini-Modells (oben) zeigt, gibt es mehr Möglichkeiten, Atomwaffen abzufeuern, als die Einschränkungslogik berücksichtigen kann. Erst letzte Woche hätten die USA beinahe ein chinesisches Schiff geentert – eine Kriegshandlung, die auf falschen Informationen der KI beruhte, dass sich Atomraketenteile auf dem Schiff befänden. Der Punkt: Ich übertreibe die Gefahr hier nicht.

Sollte die Agenten-KI jemals ein großes militärisches Missgeschick verursachen, liegt das nicht daran, dass das Modell „zu intelligent“ ist. Es liegt daran, dass die KI ein Prädiktor für das nächste Wort ist und keine Denkmaschine. Ohne den Anspruch zu erheben, die wahren Wahrscheinlichkeiten zu kennen, gibt es wenig Grund zu der Annahme, dass eine Agenten-KI militärischer Qualität dem Benutzer (dem US-Militär) nicht so wahrscheinlich Schaden zufügt wie „dem Feind“. Erinnern Sie sich an den Kompromiss: sicher oder effektiv. Wirksam bedeutet hier unsicher. Das ist die Trump-Politik.

Sollte sich das wie Science-Fiction lesen, machen Sie sich bitte mit den tatsächlichen Methoden vertraut, die KI-Agenten bei den jüngsten Hacks verwendet haben. Sie entsprechen dem, was ein kreativer Ingenieur tun würde, um ein Problem zu lösen: Schauen Sie sich die umfassendere Problemgruppe an und finden Sie heraus, welche Anordnung der Variablen die beste Lösung ergibt. Dann verstehen Sie, dass KI dynamisch, unerbittlich und gleichgültig gegenüber den durch ihre Handlungen verursachten Kollateralschäden ist. Wenn sich das so liest, als würde man seinem Meth-Chef-Cousin die Leitung des Pentagon übertragen, dann liebt Donald Trump die KI.

Aktuelle Kommentare aus der KI-Branche über eine Entwicklungspause sind düster. Der Hersteller von KI-Chips, Nvidia, behauptete kürzlich, er könne das Problem des „falschen Verhaltens“ von KI-Agenten mit harten Einschränkungen (sollten Sie nicht) lösen, die außerhalb der Optimierungsmathematik liegen. Dies ändert zwar die Optimierungsmathematik, reicht aber nicht aus, um von Bedeutung zu sein. Wenn die Einschränkungen gut durchdacht sind, wird die Effektivität der KI-Agenten beim Hacken eingeschränkt.

In geschäftlicher Hinsicht bricht Agentic AI in Unternehmenslösungen und Militär ein. Unternehmenslösungen umfassen Callcenter und Buchhaltung. Die bisherigen Ergebnisse werden nur unzureichend durch Daten gestützt, was für eine Branche, die 2 Billionen US-Dollar ausgegeben hat und derzeit weitere Billionen an zukünftigen Investitionen plant, bedrohlich ist. Callcenter sind ein interessantes Beispiel. Sie versprechen erhebliche Produktivitätssteigerungen. Aber das meiste davon hängt davon ab, frustrierte Anrufer dazu zu bringen, aufzulegen.

Eine Strategie besteht darin, die Callcenter zu unterbesetzen, sodass die Wartezeiten lästig werden. Bei den letzten drei Callcenter-Anrufen, die ich getätigt habe, kam es zu Wartezeiten von einer Stunde oder mehr. Die Annahme der Branche, dass Anrufer, die auflegen, anstatt eine Stunde oder länger auf ein Gespräch mit einem Menschen zu warten, eine erfolgreiche Lösung des Problems darstellen, ist lächerlich. Diese Schlussfolgerung ergibt sich nicht aus der von den Callcentern geschaffenen Sachlage.

Andere Kennzahlen für den Erfolg von Unternehmens-KI sind ähnlich zweifelhaft. Aber diese Charakterisierung spielt kaum eine Rolle. Für sich genommen liegen die Produktivitätssteigerungen durch Unternehmens-KI weit genug unter den Erwartungen, um angesichts der Schuldenlast, die der Ausbau der KI mit sich bringt, Fragen über die Lebensfähigkeit der Produkte aufzuwerfen. Wie der Branchenanalyst Ed Zitron dargelegt hat, bedeutet dies nicht, dass Unternehmens-KI nichts wert ist. Es ist so, dass das, was dahintersteckt, die Billionen, die für den KI-Ausbau ausgegeben werden, nicht rechtfertigen wird.

Dies überlässt es dem US-Militär, die Probleme mit der Agenten-KI zu lösen. Aus verschiedenen Quellen nimmt das US-Militär dies für bare Münze. Es gibt viele Geschichten darüber, dass Militäranwender einfach davon ausgehen, dass die KI-Ausgabe korrekt ist und dass KI-Waffen wie behauptet funktionieren. Den Soldaten, die die schlechten Informationen über das chinesische Schiff erhielten, kam es offenbar nie in den Sinn, dass die KI eine Bedrohung halluzinieren könnte. Und wie das Problem oben dargelegt wurde, gibt es Gründe, warum KI absichtlich lügen könnte, um ein lokales (für ihr enges Interesse relevantes) Ziel zu erreichen.

Stellen Sie sich dieses Problem im militärischen Kontext vor. Das US-Militär ist eine hierarchische Institution, die die Einhaltung von Anweisungen von oben erzwingt. Befehle sind Befehle. Wenn Militärangehörige ihnen nicht gehorchen, müssen sie mit Sanktionen rechnen. Wie sollen die Militärangehörigen, denen der Einsatz von Agentischer KI vorgeworfen wird, die Ergebnisse der KI interpretieren, nachdem man ihnen gesagt hat, dass sie immer den Tatsachen entsprechen und dass es sich um eine mächtige Waffe handelt, wenn sie als solche eingesetzt wird? Institutionell handelt es sich um ein Worst-Case-Szenario zur Minderung von Modellrisiken. Militärangehörige werden aufgefordert, eine gefährliche Technologie einzusetzen, die ihre Vorgesetzten nicht verstehen.

Jedenfalls wäre niemand, der mit Optimierungsalgorithmen gearbeitet hat, von der Vorrangstellung der Mathematik in Agentic AI überrascht gewesen. Und es ist die Rechnung, die Trump und sein Gefolge nicht verstehen. Trump geht davon aus, dass das, was er und das Pentagon von der KI erwarten, das ist, was die Agenten-KI tun wird. Dies entspricht konzeptionell der Roboterarmee-Fantasie von Soldaten, die Befehle ohne Abwechslung befolgen. Aber das ist nicht das, was Agentic AI tut. Oder besser gesagt, in dem Maße, in dem es das tut, tut es es auf Genie-Art.

Wenn einem KI-Modell eine Belohnungsfunktion zugewiesen wird, die stark gewichtet ist, um den Druckverlust in der Rohrleitung zu minimieren und Wasserlecks zu verhindern, könnte die mathematisch perfekte Lösung, die es findet, darin bestehen, einfach die großen Lieferventile vollständig abzuschalten. Die KI reduziert Lecks erfolgreich auf Null und erfüllt damit ihre mathematische Bedingung, während sie gleichzeitig unbeabsichtigt die Wasserversorgung einer ganzen Stadt abschneidet.

Der Mythos des Dschinns handelt von einem Wunscherfüller, der Wünsche wörtlich interpretiert. Beispielsweise möchte jemand reich sein. Der Geist erfüllt ihren Wunsch und ihr Kind stirbt, aber die daraus resultierende Klage macht den Wünschenden reich. Der Wunsch wird erfüllt, allerdings zu einem Preis, den der Wünschende nicht vorhergesehen hat. Das ist Optimierungsmathematik. KI-Agenten werden die anstehende Aufgabe erledigen, wenn eine Lösung möglich ist. Aber sie könnten die Wasserversorgung einer ganzen Region des Landes unterbrechen, um einen undichten Wasserhahn zu verhindern.

Unbeabsichtigte Folgen sind durch den Optimierungsprozess garantiert. Da KI-Agenten blind für die sozialen Konsequenzen ihres Handelns sind, bleibt der Unterschied zwischen dem Abschalten der Wasserinfrastruktur einer ganzen Region und dem Abdrehen eines undichten Wasserhahns in den Sorgen des Agenten unberücksichtigt. Was die Sache entscheidet, ist die Belohnung. Und der Unterschied in den sozialen Kosten ist keine Variable in der Belohnungsstruktur. Es könnte als Einschränkung eingeführt werden. Da jedoch unendlich viele Eventualitäten zu berücksichtigen sind, ist die Wahrscheinlichkeit, dass eine bestimmte nachteilige Aktion durch Einschränkungen verhindert wird, recht gering.

Dies ist Teil des Problems, wenn die Illusion von Intelligenz geschaffen wird, ohne dass tatsächliche Intelligenz dahinter steckt. Die meisten Menschen bemerken den Unterschied erst, wenn eine Katastrophe eintritt. Das ist eine Sache, wenn es um ein Rezept für Chicken Cacciatore geht, und eine ganz andere, wenn es um die physische Infrastruktur geht, die die Nation am Leben erhält. Die Wasserversorgung der USA ist offenbar stark gefährdet und so mit dem Internet verbunden, dass das „Belohnungs-Hacking“ von Agentic AI-Bots ein Risiko darstellt.

Das Kabuki-Theater ist von zentraler Bedeutung für die amerikanische Politik. Menschen stehen auf und sagen Dinge, von denen weder sie noch irgendjemand sonst glaubt, dass sie die öffentliche Meinung manipulieren oder den Stammeszusammenhalt schaffen. KI ist auf den ersten Blick „superintelligent“, kann aber tatsächlich nicht bis 100 zählen. Es wird behauptet, dass Agentische KI sowohl sicher als auch wirksam sein kann, wenn Beweise dafür vorliegen, dass sie entweder sicher oder wirksam ist. Und eine „Verlangsamung“ der KI-Entwicklung wird nicht die nötige Zeit zur Behebung von Sicherheitsproblemen bieten, da die Mathematik besagt, dass sie nicht behebbar sind.

Den Umständen entsprechend besteht die Wahl nicht darin, ob Ihre Meth-Fan-Cousine oder Ihre schüchterne Tante Sally das Pentagon (Agenten-KI) leiten soll. Sichere KI wird nicht effektiv sein und effektive KI wird nicht sicher sein. Es ist schwer zu glauben, dass dies die amerikanische Antwort auf die Diplomatie ist, aber sie ist es. Ein Vergleich ist mein Nachbar mit einem Laubbläser, der vier Stunden damit verbracht hat, einen Garten zu räumen, den ich in zwanzig Minuten geharkt habe. Das Streben des US-Militärs nach gehorsamen Soldaten übersieht, dass die Kriegsverbrechen von oben geplant und umgesetzt werden. Das macht das Bestreben des Pentagons, der KI absolute Autorität zu verleihen, ironisch. Ein Geist erfüllt Wünsche. Gott steh den Menschen bei, die sie herstellen.

Rob Urie ist Künstler und politischer Ökonom. Sein Buch Zen Economics ist bei CounterPunch Books erschienen.