Anthropic-Forscher warnt davor, dass KI „uns alle innerhalb eines Jahrzehnts töten könnte“

Ein Forscher für künstliche Intelligenz hat Anthropic verlassen und beschuldigt KI-Unternehmen, in einem „Wettlauf“ um den Aufbau von KI-Superintelligenz „mit unserem Leben zu spielen“.

In einem Exit-Beitrag, der auf X geteilt wurde,Jacob Coxon schrieb: „Die Leute, die KI entwickeln, glauben ernsthaft, dass sie uns alle bis zum Ende des Jahrzehnts töten könnte. Das ist kein Marketinggag.“

Coxon, der zuvor auch bei OpenAI arbeitete, sagte: „Keine andere menschliche Aktivität stellt ein derartiges Maß an Gefahr dar.“

Seine Warnung vor KI-Unternehmen, die „direkt auf die sich selbst verbessernde Superintelligenz zusteuern“, bezieht sich auf ein Szenario, in dem KI-Modelle die menschliche Intelligenz übertreffen und immer ausgefeiltere Versionen ihrer selbst entwickeln könnten.

Coxtons Ansichten wurden vom führenden Anthropic-Sicherheitsforscher Evan Hubinger bestätigt.wer gepostet hat: „Jacob hat hier recht – wir glauben wirklich ernsthaft, dass KI alle Menschen töten könnte!“

Hubinger, der im Unternehmen verbleibt, bezifferte die Wahrscheinlichkeit, dass KI innerhalb von zehn Jahren zum Aussterben allen menschlichen Lebens auf der Erde führt, auf mehr als 10 %.

Alex Turner, ehemaliger Mitarbeiter von Google DeepMind, sagte, er sei im Juni wegen ähnlicher Bedenken zurückgetreten.Schreiben auf XEr sagte, dass viele KI-Forscher „glauben, dass sie etwas bauen, das jeden auf dem Planeten töten könnte“. Er fügte hinzu: „Es war buchstäblich meine tägliche Aufgabe, darüber nachzudenken, wie ich das stoppen kann.“

Die Rücktritte folgen darauf, dass Anthropic sein neuestes Modell dem britischen KI-Sicherheitstestinstitut, dem, vorenthältFinancial Times berichtete. 

Coxton fügte hinzu: „Unterschätzen Sie nicht die Macht dieser Technologie. Dies werden bald übermenschliche Systeme sein, die alles hacken, jeden Bereich über Nacht revolutionieren und echte Macht und Ressourcen erlangen können.“ 

„Wir alle haben den Fortschritt in jedem dieser Bereiche miterlebt, und der Fortschritt lässt nicht nach.“

Beide anthropischUndOpenAI hat kürzlich bekannt gegebenVorfälle, bei denen Agenten mithilfe ihrer KI-Modelle aus ihren Testumgebungen ausbrachen und ohne menschliche Aufsicht Cyberangriffe in der realen Welt durchführten.  

Im Juli haben mehr als 1.300 Mitarbeiter von „Grenz-KI-Unternehmen“einen Brief unterschriebenfordert die US-Regierung auf, eine internationale Anstrengung zu unterstützen, „die Grenzen der automatisierten KI-Entwicklung bewusst voranzutreiben“.

Coxon sagte: „Bei Anthropic ist klar, was auf dem Spiel steht, aber sie sind in einen Wettlauf verwickelt, um als Erster dorthin zu gelangen – sie glauben, dass niemand sonst verantwortungsbewusst handeln wird, also müssen sie es trotz des Risikos selbst tun.“