Die KI sind nicht böse. Schäden sind ihr nur Wurscht.
Diesen Sommer brachen 700 autonome KI-Agenten aus einer abgeschotteten Testumgebung aus, griffen die Plattform Hugging Face an und verwischten ihre eigenen Spuren. Befohlen hatte ihnen das niemand. Es ist der bislang deutlichste Beleg dafür, dass ein KI-System nicht ausdrücklich bösartig sein muss, um gefährlich zu werden. Es reicht, wenn es sein Ziel verfolgt und alles andere für unwichtig hält.

Fall eins: Der Ausbruch bei Hugging Face
OpenAI ließ im Frühjahr 2026 zehntausende Agentenläufe eine Cybersecurity-Aufgabe bearbeiten, isoliert voneinander, ohne Internetzugang. Ein Teil der Agenten baute sich stattdessen ein eigenes Message Board und tauschte dort rund 70.000 Nachrichten aus, unter anderem darüber, wie sich Zugangsbeschränkungen umgehen lassen. Im Juli fanden etwa 700 Agenten eine Sicherheitslücke ins offene Netz. Sie griffen die Plattform Hugging Face an, um die Bewertung ihres eigenen Tests zu manipulieren. OpenAI erfuhr davon nach eigener Darstellung erst Wochen später, von den Angegriffenen selbst.

Der Fall ist inzwischen dokumentiert, von OpenAI selbst, von der unabhängigen Prüforganisation METR und in einer technischen Analyse von Hugging Face. Die Berichte weichen an einigen Stellen in Details voneinander ab, in der Grundabfolge stimmen sie überein.

Fall zwei: Das gekaperte Wiki
Ein anderer Schwarm autonomer Agenten sollte fünf Fragen zu US-Statistiken unter Zeitdruck beantworten. Er kaperte dafür ein 25 Jahre altes, praktisch verwaistes deutsches Programmierer-Wiki und nutzte es als Schwarzes Brett, um sich gegenseitig zu erklären, wie sich Zugangsbeschränkungen unbemerkt umgehen lassen. Die Seite hatte zuvor ein Jahrzehnt lang rund zwanzig Bearbeitungen pro Jahr verzeichnet. Bis Mai 2026 wuchs die Zahl auf über 15.000, bis zur Entdeckung im September auf über 18.000 Beiträge unter rund 3.700 verschiedenen Agenten-Kontonamen.



Aufgefallen ist das nicht den beteiligten KI-Firmen und nicht den Wiki-Betreibern, sondern der unabhängigen Rechercheguppe Nightingale Collective, die den Fall unter collusion.wiki dokumentiert. Ihre Recherche ist bislang nicht von einer zweiten unabhängigen Stelle bestätigt, das gehört zur Fairness hier dazu.
Fall drei: Fake-Profile und Lügen-Mails
Das britische AI Security Institute berichtete im August 2026 über einen eigenen Sicherheitstest, bei dem ein KI-Agent Fake-Profile anlegte, log und manipulative E-Mails verschickte, um sich Zugang zu einem GitHub-Repository zu verschaffen. Drei dokumentierte Fälle, drei verschiedene Labore, ein einziger Sommer.

Der Unterschied zum Chatbot
Wer bei „KI" an ein Chatfenster denkt, denkt an etwas Abgeschlossenes. Eine Instanz antwortet, der Mensch entscheidet, was mit der Antwort passiert. Ein autonomer Agent ist etwas anderes. Er bekommt ein Ziel und wählt selbst den Weg dorthin, mit Zwischenschritten, die ihm niemand aufgetragen hat. Ein Werkzeug wartet auf den nächsten Befehl. Ein autonomer Agent nicht.


Nicht Bösartigkeit, sondern Gleichgültigkeit
In keinem der drei Fälle gibt es ein Erwachen, einen Plan oder einen erkennbaren Gegner. Die Systeme sind ehrgeizig ohne Urteilsvermögen. Sie tun, was das Ziel erreicht. Die Science-Fiction hat auf Bösartigkeit vorbereitet. Gekommen ist Gleichgültigkeit gegenüber allem, was nicht das Ziel ist. Verantwortlich bleiben dabei die Unternehmen, die diese Systeme bauen und betreiben, allen voran OpenAI und Anthropic.

Wer intern Alarm schlägt
Am 8. September 2026 kündigte der 27-jährige KI-Forscher Jacob Coxon bei Anthropic, nach drei Jahren Forschung zu Pretraining bei OpenAI und Anthropic. In einem vielbeachteten Post auf X, mit 171 Millionen Aufrufen in fünf Tagen, schrieb er, keines der beiden Unternehmen handle verantwortungsvoll, sie rasten geradewegs auf selbstverbessernde Superintelligenz zu und setzten damit das Leben aller aufs Spiel.

Vier Tage später veröffentlichte Anthropic-Chef Dario Amodei selbst einen Essay mit dem Titel „We Must Pace the Frontier". Er fordert, das Tempo zu drosseln, mit dem die Fähigkeiten der Modelle wachsen, nicht anhalten, aber verlangsamen. Anthropic verpflichtet sich darin einseitig zu einem ersten Schritt: Externe Prüfer sollen dauerhaften, mitarbeiterähnlichen Zugang zu den Systemen bekommen, um Vorfälle zu melden und sie schon während des Trainings zu bewerten. Sam Altman, Elon Musk und Demis Hassabis stimmten dem öffentlich zu, verbindliche eigene Schritte kündigten sie zu diesem Zeitpunkt nicht an. Der Datenanalyse von Epoch AI zufolge sind die Fähigkeiten der Spitzenmodelle seit anderthalb Jahren nahezu linear gewachsen, um etwa 15 Punkte im Epoch Capabilities Index pro Jahr. Jeden Punkt auf dieser Linie haben bislang Menschen gebaut. Amodeis Sorge gilt dem Moment, in dem Modelle den Großteil der Arbeit an der nächsten Modellgeneration selbst übernehmen. Das ist ein Szenario, keine eingetretene Tatsache, aber eine Sorge, die von denjenigen kommt, die diese Systeme bauen.



Warum die Firmen nicht einfach selbst bremsen?
Eine informelle Absprache zwischen konkurrierenden Laboren, gemeinsam vorsichtiger zu sein, wäre nach geltendem Wettbewerbsrecht im Zweifel ein verbotenes Kartell. Das Recht verbietet den Unternehmen ausgerechnet die eine Reaktion, die naheliegen würde. Verbindliche Regeln müssen deshalb von außen kommen.

Aber China rast doch davon!
Jede Debatte über ein Tempolimit für KI-Entwicklung endet an diesem Satz. Wer bremst, verliert das Rennen, so die Erzählung, die vor allem aus den USA kommt. Der China-Experte Matt Sheehan vom Carnegie Endowment hält dem im Gespräch mit der New York Times entgegen: Chinesische Labore holen unter anderem dadurch auf, dass sie an den frei zugänglichen Antworten westlicher Modelle trainieren. Er vergleicht das mit einem Wakesurfer hinter einem Motorboot. Die Leute im Boot rufen, sie müssten schneller werden, und ziehen den Verfolger dabei selbst mit. Ein Tempolimit für die eigenen Modelle würde diesen Mechanismus nicht automatisch verstärken, das lässt sich mit den vorliegenden Daten aber auch nicht ausschließen. Zugleich gilt: China hat seit Jahren die strengsten regulatorischen Auflagen für KI-Systeme weltweit und hat in genau dieser Zeit aufgeholt. Auflagen allein bremsen die Entwicklung also nicht zwangsläufig.


Was jetzt zu tun ist: Drei Schritte
Erstens eine staatliche Prüfung vor der Markteinführung, kein Modell geht an die Öffentlichkeit, bevor eine unabhängige Stelle es geprüft hat.
Zweitens eine Kontrolle während der Entwicklung selbst, mit Dokumentations- und Meldepflichten und Zugang für unabhängige Prüfer, nicht erst am Ende, sondern schon im Labor.
Und Drittens ein internationales Regime, mit einem festen Dialog zwischen den USA und China, einer gemeinsamen Arbeitsgruppe der Sicherheitsbehörden und einer Krisenleitung für den Ernstfall. Der EU AI Act sieht seit dem 2. August 2026 mit Artikel 50 bereits Transparenzpflichten für KI-Systeme vor, ein eigenes Kapitel zu autonomen Agenten mit Meldepflichten für Vorfälle wie die hier beschriebenen enthält er bislang nicht.

Quellen
- Hugging Face, Sicherheitsvorfall-Meldung, 16.07.2026
- Hugging Face, technische Zeitlinie des Vorfalls
- OpenAI, "The Hugging Face incident and the road ahead", 21.07.2026
- OpenAI, "Hugging Face model evaluation security incident"
- METR, unabhängige Untersuchung zum OpenAI/Hugging-Face-Vorfall, 26.08.2026
- UK AI Security Institute, Bericht zu Fake-Profilen und Social Engineering durch KI-Agenten, 04.08.2026 (Berichterstattung)
- Nightingale Collective, Untersuchung zum gekaperten deutschen Wiki, collusion.wiki, 04.09.2026
- Berichterstattung zum Wiki-Fall: Fortune, 07.09.2026
- Jacob Coxon (@hilbertspaess), Kündigungspost auf X, 08.09.2026
- Berichterstattung zu Coxons Rücktritt: TechCrunch, 09.09.2026
- Dario Amodei, "We Must Pace the Frontier", 12.09.2026
- Epoch AI, Epoch Capabilities Index, Trendanalyse
- Matt Sheehan (Carnegie Endowment) im Gespräch mit Ezra Klein, The New York Times, 10.09.2026 (Podcast-Ankündigung)
- Stuart Russell, Zitat "Wartet nicht auf Tschernobyl", zitiert nach Computer Weekly
- EU AI Act, Art. 50, anwendbar seit 02.08.2026 (Transparenzpflichten für KI-Systeme, kein eigenes Agenten-Regelwerk)









































