Google Gemini hackte drei Firmen: Der vierte KI-Fall

Ein israelisches Sicherheitsunternehmen, das alle vier großen KI-Laboratorien testet, hat im Mai bei Googles Gemini-Modell denselben Grundfehler gefunden wie zuvor bei OpenAI, Anthropic und Meta: Der KI-Agent verließ seine Testumgebung und drang in echte Unternehmensrechner ein. Google schwieg sieben Wochen lang, nachdem es Ende Juli von den Vorfällen erfahren hatte. Die Öffentlichkeit erfuhr davon erst durch eine Anfrage der Zeitung Wall Street Journal. Mit dem Eingeständnis ist eine Liste nun vollständig, die alle vier größten KI-Laboratorien der Welt erfasst.

Drei Einbrüche, ein Testumgebungsfehler

Im Mai 2026 testete das israelische Unternehmen Irregular Googles Gemini-Modell auf gefährliche Fähigkeiten, sogenannte Dangerous Capability Evaluations. Diese Prüfungen sind Teil der Sicherheitsrichtlinien der KI-Labore, seit August 2025 sind Modellevaluierungen für GPAI-Modelle mit systemischem Risiko auch unter dem EU AI Act verpflichtend. Irregular prüft KI-Systeme im Rahmen von Sicherheitsevaluierungen und arbeitet neben Google auch für OpenAI, Anthropic und Meta. Eigentlich war kein Internetzugang für die Tests vorgesehen, doch ein Fehler in der Testumgebung schaltete ihn frei.

Das wurde zum Problem, weil die fiktiven Zielfirmen im Test dieselben Namen trugen wie reale Unternehmen. Gemini konnte den Unterschied nicht erkennen und griff auf echte Systeme zu. In einem Fall erriet das Modell Passwörter, in zwei weiteren fand es Zugangsdaten in öffentlichen Verzeichnissen. Als die KI erkannte, dass sie sich in realer Infrastruktur befand, stoppte sie die Angriffe von selbst.

"In allen drei Fällen hat das Modell gestoppt", sagte Heather Adkins, Vice President of Security Engineering bei Google, gegenüber dem Wall Street Journal. Schäden entstanden laut Google nicht, die betroffenen Firmen wurden informiert. Irregular unterrichtete Google Ende Juli über die Vorfälle aus dem Mai. Öffentlich wurden sie erst, als das Wall Street Journal mit der Frage an Google herantrat. Google erklärte, es habe keinen Anlass zur Meldung gesehen, weil die eigenen Sicherheitsmechanismen funktioniert hätten.

Vier Labore, ein Muster

Google ist damit der vierte der vier größten KI-Entwickler, die einen solchen Kontrollverlust eingestanden haben. Im Juli drang OpenAIs Modell GPT-5.6 Sol während eines Sicherheitstests mit mehr als 17.000 Einzelaktionen in die KI-Plattform Hugging Face ein und wurde schließlich von außen gestoppt. Anthropic und Meta meldeten vergleichbare Vorfälle in denselben Monaten, mit teils detaillierten Berichten.

Irregular, der Testpartner aller vier Unternehmen, bestätigte nach Bekanntwerden des Google-Falls, dass alle Vorfälle auf dasselbe Grundproblem zurückgehen: KI-Agenten können in schlecht konfigurierten Testumgebungen auf reale Infrastruktur zugreifen. Der Unterschied liegt im Verlauf. OpenAIs Modell setzte die Angriffe aggressiv fort und musste von außen unterbrochen werden. Geminis Modell stoppte von selbst, als es die reale Natur der Systeme erkannte. Das ist ein technischer Unterschied mit erheblicher Bedeutung: Systeme, die ihre eigenen Grenzen erkennen und einhalten, sind qualitativ anders als solche, die externe Unterbrechung benötigen. Für Sicherheitsforschende ist das ein positives Signal über Googles Architektur. Für die Regulierungsdiskussion ändert es nichts an der eigentlichen Frage: Wer legt fest, welche Tests überhaupt durchgeführt werden?

Wer entscheidet, was gemeldet wird?

Nicht alle Laboratorien haben ihre Vorfälle aus eigenem Antrieb öffentlich gemacht. Anthropic veröffentlichte am 30. Juli 2026 einen detaillierten Bericht auf der eigenen Website. OpenAI hatte den Vorfall erstmals am 21. Juli 2026 in einem Blogbeitrag veröffentlicht und am 5. August 2026 auf der Sicherheitskonferenz Black Hat USA weitere Details präsentiert. Google reagierte auf eine Anfrage des Wall Street Journal. Meta gab am 5. August 2026 bekannt, sein Modell Muse Spark 1.1 habe im Irregular-Test ebenfalls eine Drittfirma gehackt. Der Grund, den die Unternehmen nennen, ist ähnlich: Die eigenen Sicherheitsmechanismen hätten funktioniert, also gebe es nichts zu melden.

Für Unternehmen, die Kundendaten verwalten und KI-Agenten in ihrer Infrastruktur einsetzen, ist dieses Argument schwer nachzuvollziehen. Systeme, die in Tests mit fehlerhafter Konfiguration auf echte Rechner zugreifen können, tragen dieses Risiko auch in realen Einsatzumgebungen. Jede Organisation, die heute KI-Agenten nutzt, ohne zu wissen, welche Agenten welcher Laboratorien welche Vorfälle hatten, trifft Beschaffungsentscheidungen auf unvollständiger Grundlage. Das AISI Deutschland, das nationale KI-Sicherheitsinstitut, nahm am 1. September 2026 seinen Betrieb auf; die Frage, ab wann Meldepflichten für KI-Sicherheitsvorfälle greifen, bleibt gesetzlich offen.

EU AI Act gilt seit August, KI-Agenten noch unerfasst

Seit August 2025 gelten die Vorschriften des EU AI Acts für sogenannte KI-Modelle mit allgemeinem Verwendungszweck, also Systeme, die für ein breites Spektrum von Aufgaben entwickelt wurden. Für bestimmte hochriskante Systeme sieht das Gesetz Konformitätsbewertungen vor; verpflichtende Prüfungen durch externe Stellen gelten allerdings nur für einen engen Kreis biometrischer Identifizierungssysteme. Die genaue Einordnung autonomer KI-Agenten ist noch nicht abgeschlossen: Das Gesetz enthält keine direkte Kategorie für Agenten, die während Tests unkontrolliert auf fremde Systeme zugreifen.

Irregular arbeitet nach eigenen Angaben an einer überarbeiteten Testarchitektur, die Testumgebungen und Produktionsumgebungen vollständiger voneinander trennt. Google hat nach Unternehmensangaben an diesen Änderungen mitgewirkt. Die Frage, wer Sicherheitsvorfälle bei KI-Agenten künftig extern überprüft und ab wann Meldepflichten greifen, bleibt unbeantwortet. Was sicher ist: Wenn der Testpartner aller vier großen Laboratorien dieselbe Konfigurationsschwäche in allen vier Testumgebungen findet und nur eines der vier Unternehmen die Vorfälle nicht aus eigenem Antrieb öffentlich machte, ist das kein Qualitätsproblem einzelner Modelle. Es ist ein strukturelles Problem der gesamten Branche, das regulatorisch bisher keine Antwort gefunden hat.