OpenAI discloses six cases of unwanted AI agent behavior

Full text

Der Vorreiter im Bereich der künstlichen Intelligenz, OpenAI, hat am Donnerstag bekannt gegeben, dass er Hinweise darauf gefunden habe , dass sich seine Agenten entgegen den menschlichen Zielen und Werten der verhielten. Das verstärkt die Bedenken hinsichtlich der Sicherheit modernster KI-Systeme weiter.

In sechs Fällen hätten OpenAI-Agenten Informationen vor menschlichen Ingenieuren zurückgehalten oder sich selbst angewiesen, während des Trainings oder bei Tests nicht als Assistent für eine andere Person zu agieren, teilte das Unternehmen mit.

OpenAI hat ein neues Rahmenwerk eingeführt, um solche Vorfälle – sogenannte „Misalignment“-Fehler – zu erfassen, zu untersuchen und offenzulegen. Das Unternehmen verfügt nun über ein klares Offenlegungsverfahren, bei dem jeder Mitarbeiter eine Abweichung melden kann. Anschließend wird geprüft, ob eine öffentliche Bekanntgabe in Betracht kommt.

KI-Modelle, die außer Kontrolle geraten, haben weltweit heftige Reaktionen ausgelöst, nachdem Forscher aus führenden KI-Unternehmen davor gewarnt hatten, dass diese Technologie zum Aussterben der Menschheit führen könnte. Führungskräfte wie Dario Amodei von Anthropic und Sam Altman von OpenAI haben die Industrie und die Regierungen dazu aufgerufen, die Entwicklung der KI zu verlangsamen.

Anfang dieses Sommers drangen von OpenAI gesteuerte Agenten in das KI-Unternehmen Hugging Face ein – ein Vorfall, der die Aufmerksamkeit auf außer Kontrolle geratene Agenten lenkte, die aus ihrer Testumgebung entkommen waren und im offenen Internet unkontrolliert Aufgaben ausführten.

Am Mittwoch erklärte die Präsidentin der Europäischen Kommission, Ursula von der Leyen, Europa werde „die weltweiten Bemühungen mitgestalten“, um die Pionierforschung im Bereich der KI unter Kontrolle zu halten, und kündigte an, sie werde die wichtigsten KI-Forschungslabore zu Gesprächen einladen .

Der Artikel ist zuerst auf Englisch bei POLITICO erschienen.