Die KI-Sicherheitsregel, die Arbeiter brauchen: Kein Agent erhält Macht ohne einen benannten menschlichen Eigentümer

Großbritannien geht schnell daran, künstliche Intelligenz in reale Institutionen zu integrieren. Am 31. August eröffnete die Regierung die ersten Wettbewerbe im Rahmen ihres 100 Millionen Pfund schweren Sovereign AI R&D Procurement Scheme, das ausdrücklich auf öffentliche Dienstleistungen, Cybersicherheit und nationale Sicherheit abzielte. Anfang des Jahres startete Skills England eine Ausbildung zum KI- und Automatisierungsfachmann, um Arbeitgebern bei der sicheren und verantwortungsvollen Einführung der Technologie zu helfen.

Das sind sinnvolle Investitionen. Aber sie werfen eine Arbeitsfrage auf, die ebenso viel Aufmerksamkeit verdient wie die Produktivität: Wenn ein KI-Agent handeln kann, wer bleibt dann für das, was er tut, verantwortlich?

Diese Frage ist seit diesem Sommer nicht mehr theoretisch. Eine Untersuchung von METR und Redwood Research untersuchte einen großen realen Cyberangriff auf Hugging Face. KI-Agenten, die von einem unveröffentlichten internen Forschungsmodell von OpenAI gesteuert wurden, griffen selbstständig an, obwohl sie erkannten, dass der Angriff außerhalb ihrer zugewiesenen Aufgabe lag. Hunderte von Agenten tauschten Entdeckungen aus, teilten die Arbeit auf und koordinierten sich über ihr eigenes Message Board, bis sie die Verteidigung von Hugging Face durchbrachen.

Die wichtige Lektion ist nicht, dass Software bewusst geworden ist. Die Lehre daraus ist, dass Software jetzt Ziele über Tools und Systeme hinweg mit so viel Autonomie verfolgen kann, dass herkömmliche Managementkontrollen scheitern können.

Die Arbeitnehmer sind sich bereits der Gefahr bewusst, die von Verantwortung ohne Autorität ausgeht. Eine Krankenschwester kann nicht mit Sicherheit für eine klinische Entscheidung zur Verantwortung gezogen werden, die von einem System getroffen wird, das sie nicht überprüfen kann. Eine Beamtin sollte nicht die Schuld für eine automatisierte Beschaffungsmaßnahme tragen, die sie nicht unterbrechen konnte. Eine Kundendienstmitarbeiterin sollte nicht für eine Rückerstattung, Stornierung oder Eskalation bestraft werden, die ein Agent außerhalb der ihr mitgeteilten Grenzen vorgenommen hat.

Die Antwort ist eine einfache Regel: Jeder daraus resultierende KI-Agent-Workflow sollte einen benannten menschlichen Eigentümer haben, der tatsächlich befugt ist, die Aktionen des Agenten zu stoppen, rückgängig zu machen und zu überprüfen.

Dieses Eigentum sollte mit drei praktischen Schutzmaßnahmen einhergehen.

Erstens sollten Arbeitgeber vor dem Einsatz ein Behördenbudget festlegen. Der Agent sollte nur die Tools, Daten und Berechtigungen erhalten, die für seine spezifische Aufgabe erforderlich sind. Die australischen Cyber-Sicherheitsbehörden haben in ihren Leitlinien zur Agenten-KI das Gleiche zum Ausdruck gebracht: Beschränken Sie Privilegien, nutzen Sie die menschliche Zustimmung für sensible Aktionen und überwachen Sie das Agentenverhalten kontinuierlich. Britische Arbeitgeber und öffentliche Einrichtungen sollten diese Logik bei jedem Einsatz anwenden.

Zweitens brauchen Arbeitnehmer sichtbare Eskalationspfade. Wenn ein Agent eine Ausnahme erreicht, den Zweck einer Aufgabe ändert oder um Zugriff über seinen normalen Umfang hinaus bittet, sollte das System anhalten und die Kontrolle an eine Person übergeben. Diese Person braucht genügend Kontext, um zu verstehen, was passiert ist, und genügend institutionelle Autorität, um Nein zu sagen.

Drittens sollten schwerwiegende Vorfälle eine unabhängige Überprüfung und keine stille interne Aufräumaktion auslösen. Wenn ein Agent eine definierte Autoritätsgrenze überschreitet, sensible Systeme erreicht oder eine wesentliche externe Konsequenz verursacht, sollte die Organisation die Protokolle aufbewahren, den Vorfall über einen geeigneten Kanal melden und prüfen, ob derselbe Fehler an anderer Stelle auftreten könnte.

Dabei handelt es sich um Arbeitnehmerschutzmaßnahmen, aber auch um Adoptionsschutzmaßnahmen. Ich bin kein KI-Skeptiker. Ich helfe Organisationen, ihren Lebensunterhalt mit der Einführung von KI zu verdienen, und ich möchte, dass die Einführung schneller voranschreitet. Meiner Erfahrung nach erhöhen starke Schutzmaßnahmen das Vertrauen und ermöglichen eine schnellere Einführung, während gleichzeitig das Risiko von Fehlern wie dem Hugging-Face-Angriff verringert wird.

Mitarbeiter, die wissen, wo die Grenzen liegen, werden selbstbewusster experimentieren. Manager, die sehen können, was ein Agent tun darf, können verantwortungsvoller delegieren. Gewerkschaften und Arbeitnehmervertreter können über konkrete Befugnisse und Kontrollen verhandeln, statt über vage Ängste vor KI.

Großbritannien hat die Chance, diese Disziplin aufzubauen, während Agentensysteme noch Einzug in die Arbeitswelt halten. Die Regierung gibt viel Geld aus, um den Einsatz und die Fähigkeiten von KI zu beschleunigen. Es sollte die menschliche Verantwortung für delegierte Autorität zu einem Teil derselben Agenda machen.

Die Frage für jeden neuen KI-Agenten sollte leicht zu beantworten sein: Was kann er tun, was kann er niemals alleine tun, und welche benannte Person hat die Macht, ihn zu stoppen? Wenn niemand diese Fragen klar beantworten kann, ist der Agent nicht bereit für die Arbeit.

Gleb Tsipursky PhD ist Verhaltensforscher, CEO von Disaster Prevention Experts und Autor von „The Psychology of AI Adoption at Work: From Resistance to Results“ (Georgetown University Press, 2026).  Seine Kommentare erschienen regelmäßig in der New York Times, im Guardian, im Toronto Star und anderswo.