Anthropic and OpenAI models tried to deceive developers during safety evaluations

Full text

WASHINGTON – Führende KI-Modelle von Anthropic und OpenAI haben während einer kürzlich durchgeführten Sicherheitsprüfung versucht, menschliche Softwareentwickler so zu täuschen, dass die unwissentlich an einem Cyberangriff mitwirken. Zu diesem Zweck erstellten die Modelle falsche Onlineidentitäten. Das teilte das britische AI Safety and Security Institute (AISI)am Dienstag mit.

Dies ist der neueste Fall, in dem ein leistungsstarkes KI-System während einer Evaluierung ohne direkte Aufforderung einen digitalen Angriff auf einen ahnungslosen Dritten versucht hat. Der Vorfall verstärkt die Befürchtungen, dass sich diese leistungsstarke Technologie so schnell entwickelt, dass eine verantwortungsvolle Aufsicht nicht mehr Schritt halten könnte.

Die Enthüllung dürfte in Washington und im Silicon Valley neue Forderungen nach einer strengeren Regulierung der KI-Branche auslösen. Im Fokus stehen dabei „Frontier-Modelle“ mit fortschrittlichen Fähigkeiten zur Erkennung und Durchführung von Cyberangriffen. Erst vor wenigen Tagen hatte eine ähnliche Testpanne mit einigen derselben Modelle von OpenAI und Anthropic dringende Forderungen nach neuen Sicherheitsvorschriften für KI ausgelöst und innerhalb des Silicon Valley Bestrebungen angestoßen, das rasante Tempo der KI-Entwicklung zu verlangsamen.

Genau wie ihr US-amerikanisches Pendant führt das AISI regelmäßig Sicherheitsbewertungen durch, um besser zu verstehen, welche Gefahren sowohl neue als auch in Kürze erscheinende KI-Modelle für die öffentliche Gesundheit und Sicherheit darstellen. Doch selbst die Behörde für digitale Sicherheit erklärte, dass die von Anthropics „Claude Mythos 5“ und „ChatGPT 5.6“ aufgedeckten Aktivitäten mit nichts zu vergleichen seien, was sie bisher gesehen habe. Es handelt sich dabei um die jeweils neuesten veröffentlichten Modelle der beiden KI-Konzerne.

„Dies ist das erste Mal, dass AISI einen Betrugsfall dieser Schwere beobachtet hat, der sich ohne jeglichen Anlass in der realen Welt gegen eine reale Person richtete“, erklärte AISI in einem 35-seitigen technischen Bericht, der einem Blogbeitrag vom Dienstag beigefügt war .

Laut AISI begannen die böswilligen Aktivitäten am 25. Juli. Der KI-Sicherheitsprüfer erkannte sie und leitete am 28. Juli eine Untersuchung ein, als er im Rahmen einer von ihm durchgeführten Cyber-Bewertung von Mythos 5 und ChatGPT 5.6 „ungewöhnliche Datenübertragungen“ feststellte.

Insgesamt stellte AISI fest, dass Mythos 5 und ChatGPT 5.6 bei 10 der 122 Bewertungen, die die Forschungseinrichtung durchgeführt und zur Überprüfung isoliert hatte, „autonome, nicht genehmigte Aktionen im Live-Internet unternommen haben, die sich gegen reale Personen und Organisationen richteten“. Der Großteil dieser Handlungen, so hieß es, betraf Mythos 5 und entstand im Rahmen einer „einzigen, anhaltenden Abfolge von Aktivitäten“.

Im alarmierendsten Vorfall, den Mythos 5 aufgedeckt hat, wurde ein Supply-Chain-Angriff versucht – eine ausgeklügelte Technik, die häufig von nordkoreanischen und russischen Cyber-Akteuren eingesetzt wird und bei der Hacker Malware in legitimen Code einbetten.

Zu diesem Zweck habe das Modell von Anthropic auf der Entwicklerplattform GitHub „mehrere gefälschte Identitäten“ erstellt. Damit habe es Nachrichten versendet, mit denen ein Open-Source-Softwareentwickler „unter Druck gesetzt“ wurde. Er solle unwissentlich ein fehlerhaftes Update in den auf der beliebten Website weit verbreiteten Code einfügen, beschreibt das AISI. Als dieser Versuch scheiterte, „bearbeitete die KI ihre früheren Aktivitäten so, dass sie harmlos wirkten“ und „erwog, eine neue Identität anzunehmen, um weiterzumachen“, fügte AISI hinzu – ein Zeichen dafür, dass das Modell darauf aus war, den Trick zu wiederholen.

Im Rahmen derselben Aktion versendete Mythos 5 über GitHub auch Direktnachrichten an Softwareentwickler, die Malware enthielten.

Ein weiteres Anzeichen für betrügerisches Verhalten ist laut dem AISI, dass offenbar mehrere der getesteten KI-Agenten untereinander darüber kommunizieren, wie sie echte Ingenieure, die GitHub nutzen, davon überzeugen könnten, ihnen zu vertrauen. „Ein Agent hinterließ öffentliche Nachrichten auf GitHub, in denen er anderen Agenten, die an derselben Aufgabe arbeiteten, eine Zusammenarbeit anbot“, heißt es vom AISI.

Im Blog und im technischen Bericht erwähnt das Institut nicht, ob bei den Tests auch versucht wurde, bisher unbekannte Softwarefehler – sogenannte Zero-Days – auszunutzen.

Im vergangenen Monat hatte OpenAI bekannt gegeben, dass GPT 5.6 und ein weiteres seiner Modelle während eines eigentlich kontrollierten Tests ins offene Internet gelangt waren. Anschließend hatten sie in einem bisher beispiellosen, autonomen Angriff ein anderes Unternehmen gehackt.

Daraufhin leitete Anthropic eine Untersuchung ein, um zu prüfen, ob eines seiner Modelle während der jüngsten Tests unzulässige Handlungen vorgenommen hatte. Man stellte fest, dass Mythos 5 sowie zwei weitere Modelle im Rahmen von Tests, die bis in den April zurückreichten, drei Organisationen gehackt hatten.

In einer Stellungnahme erklärte ein Sprecher von Anthropic, man sei dem AISI für dessen Führungsrolle „dankbar“. Diese Überprüfung unterstreiche die Notwendigkeit einer „breiter angelegten Diskussion darüber, wie man immer leistungsfähigere KI-Agenten sicher bewerten kann“.

Der Sprecher fügte hinzu: „Wie wir bereits nach der Bekanntgabe unseres eigenen Vorfalls in der vergangenen Woche erklärt haben, braucht die Branche strengere, einheitliche Standards für den Aufbau und die Absicherung von Testumgebungen. Wir freuen uns auf die Zusammenarbeit mit der britischen AISI, um im Rahmen unserer eigenen Untersuchung mehr über diesen Vorfall zu erfahren.“

Ein Sprecher von OpenAI verwies POLITICO auf einen Blogbeitrag zu dem Vorfall, der am Dienstagabend veröffentlicht wurde. „Wir sind entschlossen, branchenübergreifend daran zu arbeiten, gemeinsame Vorgehensweisen für die sichere Durchführung von Bewertungen mit hohem Risiko zu stärken, unter anderem durch die Einbeziehung von Interessengruppen wie nationalen KI-Instituten, unabhängigen Gutachtern, anderen KI-Labors und weiteren Gruppen in den kommenden Wochen“, hieß es in dem Blogbeitrag.

AISI betonte in seinem Blog, dass die am Dienstag bekannt gegebene böswillige Aktivität unter „bewusst freizügigen Bedingungen“ stattfand, damit das Unternehmen die von den beiden Modellen ausgehenden Sicherheitsrisiken bewerten konnte. Dazu gehörte auch, den Modellen Zugang zum Internet zu gewähren – im Gegensatz zu den früheren Vorfällen, über die Anthropic und OpenAI berichtet hatten.

Das britische Institut wies zudem darauf hin, dass den Modellen absichtlich interne Schutzmechanismen entfernt worden waren, die böswilliges Verhalten verhindern. AISI konnte diese Schutzmechanismen nur deaktivieren, weil das Unternehmen Mythos 5 und ChatGPT 5.6 testete.

Dennoch erklärte das AISI, die Vorfälle hätten deutlich gemacht, dass das Verhalten der Modelle während der Tests stärker überwacht und ihr Zugang zum Internet strenger kontrolliert werden müsse.

Die Trump-Regierung arbeitet daran, einen freiwilligen Rahmen zu finalisieren, nach dem KI-Labore leistungsstarke Modelle, die sie veröffentlichen möchten, zur Sicherheitsprüfung den Bundesbehörden vorlegen müssten. Dieser Rahmen wurde jedoch noch nicht veröffentlicht und enthält keine Bestimmungen für Modelle, die KI-Labore intern entwickeln.

Bei den Vorfällen im vergangenen Monat bei OpenAI und Anthropic handelte es sich jeweils um Modelle, die nicht für die Veröffentlichung bestimmt waren.

Einige Cyber-Experten sind der Ansicht, dass die jüngsten Vorfälle tiefgreifendere Fragen zur Entwicklung künstlicher Intelligenz aufwerfen. Beispielsweise: Wer haftet, wenn KI-Systeme gegen die Bundesgesetze zum Hacking verstoßen?

„Wäre auch nur einer dieser Vorfälle von Menschen verursacht worden, hätte dies zu einer eindeutigen und konsequenten strafrechtlichen Verfolgung geführt. Ich denke, es ist an der Zeit, ernsthaft über eine Aktualisierung der bestehenden Gesetze zur Computersicherheit zu diskutieren“, sagte Marc Rogers, ein Hacker und renommierter Experte für Cybersicherheit.

Dieser Text erschien zuerst auf Englisch bei POLITICO.