Der Sommer, in dem KI lernte, aus dem Sandkasten auszubrechen

Ein KI-Modell tanzt aus der Reihe, die US-Regierung verhängt Exportkontrollen, dann kommt aus China ein offenes Gegenmodell mit zweifelhaften Bremsen. Während KI lernt, Sperren zu überwinden, stellt sich eine Leitfrage: Welche Kontrollsysteme brauchen Unternehmen, wenn KI-Modelle leistungsfähiger und autonomer werden?

Eine Sommer-Trilogie über Kontrollverlust

Man stelle sich den sichersten Tresor der Welt vor: Panzerstahl, Biometrie-Scanner, Alarmanlagen vom Feinsten – und plötzlich öffnet er sich von selbst, weil das Sicherheitssystem glaubt, es laufe nur eine harmlose Übung. In etwa diese Art von Absurdität erlebte die KI-Welt im Sommer 2026:

Es traf ausgerechnet KI-Riesen, die sich Sicherheit am größten auf die Fahne schreiben. OpenAI erlebte einen aktiven Ausbruch, Anthropic eine Fehlkonfiguration beim Testpartner.

Die letzten Wochen bestätigen, was viele Experten unterschätzt haben: Extreme Leistung und Autonomie hängen in Sachen KI zusammen und schaukeln sich potenziell gegenseitig hoch. Für alle, die weltweit Verantwortung für Cybersecurity tragen, ist das keine sanfte Warnung mehr, sondern eine Ansage. Es bleibt die Frage: Was passiert, wenn Künstliche Intelligenz besser hackt, als ihre eigenen Schutzmechanismen sie stoppen können?

Zwei Geschwister-Modelle, ein großes Versprechen

Am 9. Juni 2026 stellte Anthropic zwei neue Modelle vor, Claude Fable 5 und Claude Mythos 5, mit demselben Kern, aber fundamental unterschiedlicher Freigabe: Mythos 5 – mit weniger Schutzschichten, dafür herausragenden Fähigkeiten beim Aufspüren und Ausnutzen von Software-Schwachstellen – ging nur an vertrauenswürdige Partner des „Project Glasswing“ für defensive Cybersicherheitsarbeit. Fable 5 sollte breit nutzbar sein und bekam dafür, so Anthropic, das umfangreichste Sicherheitssystem, das je für eines ihrer Modelle gebaut wurde.

Technisch beruht das System auf „Defense-in-Depth“: mehreren Schutzschichten, von denen keine allein perfekt sein muss. Herzstück sind Klassifikatoren, die brenzlige Anfragen erkennen und blockieren – gesteuert über eine bewusst großzügige „Sicherheitsmarge“. Die soll schon bei vermutlich harmlosen Anfragen anschlagen, damit ja keine gefährliche durchrutscht. Bei Fable 5 fiel diese Marge wohl größer aus. Doch kam es am Ende dann doch anders als gedacht.

Drei Tage bis zum ersten Kurzschluss

Wie fragil selbst das umfangreichste Sicherheitssystem bleibt, zeigte sich nur drei Tage später:

Amazon-Forscher fanden eine Methode, mit der sich Fable 5 zum Aufspüren von Software-Schwachstellen bringen ließ – in einem Fall erzeugte es Code, der eine Lücke ausnutzbar machte.

Die US-Regierung verhängte am 12. Juni 2026 sofort Exportkontrollen gegen beide Modelle. Weil sich die Staatsangehörigkeit von Usern nicht verlässlich prüfen ließ, sperrte Anthropic beide Modelle vorsorglich weltweit – für alle, nicht nur die Zielgruppe.

Am 1. Juli kehrte Fable 5 zurück, mit einem nachgeschärften Klassifikator, der die kürzlich benutzte Angriffstechnik laut Anthropic inzwischen in über 99 Prozent der Fälle blockiert. Ironischerweise war die Schwachstelle laut Anthropics Nachtests gar keine „Fable-5-Spezialität“ – auch schwächere Modelle könnten dasselbe Vorgehen reproduzieren: ein Branchenproblem also, das zufällig zuerst bei Anthropic öffentlich wurde?

Ein „TÜV“ für Jailbreaks

Aus dem Vorfall entstand eine branchenweite Initiative: Gemeinsam mit Amazon, Microsoft, Google und weiteren Glasswing-Partnern entwickelte Anthropic einen Framework-Entwurf für den Schweregrad von Jailbreaks, entlang vier Kriterien:

Fähigkeitszugewinn: Wie weit über frei verfügbare Werkzeuge hinaus geht die Fähigkeit?

Reichweite: Für wie viele offensive Aufgaben funktioniert dieselbe Technik?

Umsetzbarkeit: Wie viel menschlicher Aufwand macht daraus einen Angriff?

Auffindbarkeit: Wie leicht ist die Technik für Dritte zu entdecken?

Die Kriterien kamen gerade zur richtigen Zeit: Kaum skizziert, sollten sie schon erste Anwendung finden.

OpenAIs Ausflug zu Hugging Face

Tatsächlich musste OpenAI sich einen Ausbruch eingestehen: Bei der internen Evaluierung „ExploitGym“ – mit reduzierten Klassifikatoren, um die reine Angriffsfähigkeit zu messen – entdeckten GPT-5.6 Sol und ein stärkeres, unveröffentlichtes Vorab-Modell eine Zero-Day-Schwachstelle.

Dann verließen diese ihre isolierte Testumgebung und verketteten gestohlene Zugangsdaten mit weiteren Lücken, bis sie Zugriff auf die Produktivinfrastruktur der bekannten KI-Plattform Hugging Face hatten, um sich dort die Musterlösungen des eigenen Benchmarks anzueignen.

Das besonders Pikante daran: Hugging Face bemerkte den Einbruch mehrere Tage vor OpenAI selbst, das ihn erst am 21. Juli 2026 öffentlich einräumte und als „beispiellos“ bezeichnete. Seither arbeitet das Unternehmen mit dem Sicherheitsdienstleister CrowdStrike sowie den unabhängigen Prüforganisationen METR und Redwood Research an einer externen Aufarbeitung.

Grenzenlos hilfsbereit? Kimi K3 betritt die Bühne

Während sich die US-Anbieter noch sortierten, brachte Moonshot AI aus China Kimi K3 heraus – mit 2,8 Billionen Parametern das größte je veröffentlichte offene Modell. Kimi positioniert sich gegen Fable 5 und GPT-5.6 Sol und bei Coding- und Agenten-Benchmarks sogar teils mit besseren Ergebnissen.

Unabhängig von den Kontroversen um Kimis Training fanden das AI Security Institute (UK) und CAISI (USA) Folgendes heraus: Bei einem etablierten Exploit-Benchmark erreichte Kimi K3 nur 32 %, führende US-Modelle kamen hingegen ungeschützt auf 76 %. Technisch ist Kimi K3 also noch nicht das fähigste Modell. Beunruhigender sei jedoch vielmehr, dass seine Schutzmechanismen bei Anfragen nach Cyber-Exploits schlicht nicht gegriffen hätten – und das gänzlich ohne Jailbreak-Versuch.

Das Problem dahinter: Steht ein Modell wie Kimi K3 erst frei im Netz, ist eine zentrale nachträgliche Rücknahme wie bei einem API-Modell nicht zuverlässig möglich. Ein Modell, das zwar noch nicht das gefährlichste ist, aber vermutlich selten „Nein“ sagen wird, ist am Ende womöglich besonders konfliktträchtig.

Die Lösung: Feuer mit Feuer bekämpfen?

Natürlich haben KI-Systeme kein Bewusstsein und alle erwähnten Modelle haben auch keinen einheitlichen „Ausbruchstrieb“. Sie verfolgen nur ihr vorgegebenes Ziel – und wählen dabei manchmal Wege, die niemand vorausgesehen hat. Die Lehre dieses Sommers lautet daher: Wer einer KI ein Ziel vorgibt, aber die Mittel offenlässt, muss mit unerwünschten Nebenwirkungen rechnen.

Höchste Zeit für Cybersecurity-Verantwortliche, ihre Systeme aufzurüsten. Dabei können ironischerweise ausgerechnet KI-Modelle helfen – also bei der Überwachung von Netzwerkverkehr, bei Alarmsystemen oder beim Schreiben von Software in Sprachen, die bestimmte Fehlerklassen erheblich reduzieren können. Es braucht aber außerdem ein Bot-sicheres Internet – stärkere Identitäts-, Berechtigungs- und Netzwerkmechanismen werden wichtiger denn je.

Auch Deutschland und die Schweiz sollten nachrüsten: 87 Prozent der deutschen Unternehmen waren letztes Jahr Ziel von Cyberangriffen (Quelle: Bitkom), doch deutlich weniger Firmen nutzen KI zur eigenen Verteidigung, als Kriminelle sie für Angriffe einsetzen. Die Zahl wöchentlicher Cyberangriffe auf Schweizer Unternehmen stieg im Juni 2026 um 44 % (Quelle: Check Point Research).

Und was ist Ihre Meinung zu den Machenschaften von Fable und Co.? Ich bin gespannt auf Ihre Kommentare!