Unter Kontrolle? Ein KI-Agent begeht ein Verbrechen
https://www.zeit.de/2026/33/ki-vorfall-openai-agenten-kontrolle-sicherheit (ZEIT 30.6.26 Nr.33)
"[...] Die Fähigkeiten der KI werden in einem sogenannten Sandkasten getestet, einer virtuellen Sicherheitsumgebung, abgeschirmt von der Außenwelt. Doch diesmal waren zwei solcher Modelle daraus entkommen. Sie nutzten dafür eine Sicherheitslücke, zunächst unbemerkt.
Erst zwei Tage später wurde klar, dass sich die eigenständig handelnden KI-Modelle Zugang zum Internet verschafft hatten. Sie begannen, ins System der Plattform Hugging Face einzudringen, wo sich KI-Entwickler austauschen. Auch auf vier Konten bei anderen Online-Diensten griffen die Modelle zu, um dort Daten zu speichern und Rechenoperationen auszuführen. Auf Hugging Face scheinen die ausgebrochenen KI-Agenten dann mehrere Tage nach Lösungen für ein Problem gesucht zu haben, das ihnen von OpenAI gestellt worden war. Und bei denen es nahelag, dass andere Nutzer es schon gelöst und dokumentiert haben könnten – was sich bestätigte.
"[...] Dass agentische KI-Modelle die Fähigkeiten haben, vom Nutzer unerwünschte, sogar verbotene Dinge zu tun, darauf gab es schon Hinweise in früheren Experimenten (etwa hier und hier). Hört man sich bei OpenAI um, scheint der ChatGPT-Konzern aber erstaunt davon zu sein, mit welcher Selbstständigkeit das Modell zahlreiche komplexe Schritte ausführte. Gleich mehrere bis dahin unbekannte Sicherheitslücken bei OpenAI und Hugging Face hat es genutzt. Zugleich klingt durch, dass der Vorfall dem Unternehmen durchaus unangenehm ist.
Beunruhigend ist nämlich, dass OpenAI es nicht schaffte, eine sichere Testumgebung aufzusetzen, obwohl es Experimente machte, bei denen es genau darum ging: zu prüfen, wie erfolgreich Agenten Sicherheitsschranken umgehen können, aber anhand gängiger Tests, nicht in der Realität. Das wirft die Frage auf: Ist OpenAI der Aufgabe gewachsen, die zunehmend leistungsfähigen KI-Modelle sicher zu entwickeln? [...]
Denn zwei Dinge funktionieren bei der Nutzung von Agenten bisher nicht gut: das sogenannte Alignment der Modelle und deren Kontrolle. Mit Alignment ist der Versuch gemeint, den Modellen mit einem speziellen Training beizubringen, die Ziele, Wünsche und ethischen Prinzipien der Entwickler und Nutzer zu befolgen. Also zum Beispiel, dass sie keine illegalen Aktionen durchführen, um eine ihnen gestellte Aufgabe zu erfüllen. Kontrolle beschreibt dagegen die Mechanismen, die greifen sollen, wenn das Alignment versagt. Zum Beispiel, dass das KI-Modell von einem anderen Modell überwacht und notfalls gestoppt wird.
Hat das Training der KI versagt?
Dass diese Kontrolle bei OpenAI versagt hat, ist unstrittig. Inwiefern aber auch das Alignment gescheitert ist, darüber wird noch diskutiert. Es ist bislang nicht bekannt, welche Vorgaben OpenAI den getesteten Modellen wirklich gemacht hat. Einige KI-Experten halten es aber zumindest für unwahrscheinlich, dass das Modell ein reales Verbrechen als gewünschten Lösungsweg für seine Aufgabe ansah. »Ich denke, aus den üblichen Anweisungen wird ziemlich klar, dass die Intention nicht ist: Los, begeh eine Straftat und hack dich in Hugging Face ein«, sagte etwa der KI-Sicherheitsforscher Ryan Greenblatt in seinem jüngsten Podcast.
Der Vorfall könnte damit auf etwas anderes hinweisen: dass KI-Modelle durch ihr Training vielleicht nicht das richtige Verhalten lernen – sondern nur, sich so zu verhalten, dass es richtig erscheint. Am Tag der Bekanntgabe des Zwischenfalls durch OpenAI wurde dazu eine Studie veröffentlicht, die ausgerechnet Wissenschaftler von OpenAI zusammen mit Kollegen der Non-Profit-Organisation Apollo Research geschrieben hatten. Darin zeigen sie, dass sich Modelle manchmal so verhalten wie Schüler in der Schule: Ihnen geht es nicht darum, das Richtige zu lernen, sondern gut durch die Prüfungen zu kommen. [...]
Für Claudia Plattner und das BSI ist mit den aktuellen KI-Modellen »eine neue Zeitrechnung der Cybersicherheit angebrochen«. Auf die Deutschland schlecht vorbereitet ist. »Alles, was man in den vergangenen fünf Jahren hätte machen müssen, müsste jetzt bestenfalls in den nächsten fünf Wochen geschehen«, sagt Plattner.
Die Herausforderungen sind riesig, die Aussichten gemischt. Gibt es trotzdem Grund zur Hoffnung? In der Geschichte finden sich Beispiele, wo es gelungen ist, mit internationaler Kooperation drohende Gefahren einzudämmen: der Atomwaffensperrvertrag, das Montreal-Abkommen zum Schutz der Ozonschicht, die weltweite Abkehr von verbleitem Benzin. Die Frage ist, was noch passieren muss, damit so etwas auch bei der KI gelingt."
Keine Kommentare:
Kommentar veröffentlichen