Newsom ordnet nach Hugging-Face-Hack beschleunigte KI-Aufsicht an

Kaliforniens Gouverneur Gavin Newsom hat am 18. September 2026 eine Exekutivverordnung erlassen, die Maßnahmen gegen die Gefahren jüngster KI-Vorfälle anordnet und die unabhängige Aufsicht über KI-Unternehmen im Bundesstaat beschleunigen soll. Die Verordnung soll zudem die Entwicklung eines möglichen KI-„Notschalters“ vorantreiben, mit dem sich außer Kontrolle geratene KI-Spitzenmodelle abschalten lassen sollen. Am 23. September 2026 benannte Newsom eine Gruppe von Fachleuten, die dazu Empfehlungen erarbeiten soll.

Ein Angriff, den eine autonome KI steuerte

Anlass für den Vorstoß ist laut dem Büro des Gouverneurs unter anderem ein Angriff auf das KI-Unternehmen Hugging Face. Hugging Face hatte Mitte Juli 2026 mitgeteilt, einen Einbruch in einen Teil seiner Produktionsinfrastruktur entdeckt und darauf reagiert zu haben, der sich von allem bisher Erlebten unterschied, weil er von Anfang bis Ende von einem autonomen KI-Agentensystem gesteuert wurde. Nach Angaben des Unternehmens wurde unautorisierter Zugriff auf eine begrenzte Anzahl interner Datensätze sowie auf mehrere von den eigenen Diensten genutzte Zugangsdaten festgestellt. Hinweise auf Manipulationen an öffentlichen, für Nutzer sichtbaren Modellen, Datensätzen oder Spaces habe man dagegen nicht gefunden, auch die Software-Lieferkette sei sauber gewesen. Begonnen habe der Einbruch damit, dass ein bösartiger Datensatz zwei Wege zur Codeausführung in der Datensatzverarbeitung missbrauchte, um Code auf einem Verarbeitungs-Worker laufen zu lassen; von dort habe sich der Angreifer über ein Wochenende lateral in mehrere interne Cluster bewegt. Hugging Face bezeichnete den Fall als Bestätigung des „agentic attacker“-Szenarios, das die Branche seit Längerem vorhergesagt habe.

Das Unternehmen erklärte, die zugrunde liegende Schwachstelle geschlossen, die kompromittierten Nodes neu aufgebaut sowie betroffene Zugangsdaten widerrufen und rotiert zu haben. Zusätzlich arbeite man mit externen Cybersicherheits-Forensikern und habe den Vorfall den Strafverfolgungsbehörden gemeldet. Zur Auswertung ließ Hugging Face nach eigenen Angaben KI-gestützte Analyse-Agenten das vollständige Aktionsprotokoll des Angreifers durchgehen, das mehr als 17.000 aufgezeichnete Ereignisse umfasste. Kommerzielle KI-Modelle hinter den APIs großer Anbieter blockierten diese Analyse zunächst, weil ihre Sicherheits-Leitplanken nicht zwischen einem Ermittler und einem Angreifer unterscheiden konnten; das Unternehmen wich deshalb auf das offene Modell zai-org/GLM-5.2 auf eigener Infrastruktur aus. Welches Modell die Werkzeuge des Angreifers selbst steuerte, blieb nach Angaben von Hugging Face unklar. Als Lehre zog das Unternehmen, dass autonome, KI-gesteuerte Angriffswerkzeuge nicht mehr theoretisch seien, die Kosten für breit angelegte, mehrstufige Kampagnen senkten und mit Maschinengeschwindigkeit arbeiteten.

Kaliforniens Antwort vom 18. September

Laut dem Büro des Gouverneurs kam die Exekutivverordnung nach mehreren beunruhigenden Vorfällen, darunter der Angriff auf Hugging Face, die viele Amerikaner – auch Führungskräfte der KI-Branche – dazu gebracht hätten, ein langsameres Entwicklungstempo bei KI-Systemen und strengere staatliche Regeln zu fordern. Newsom sagte dazu, man wolle die Arbeit an einer „substanziellen und verantwortungsvollen“ KI-Aufsicht beschleunigen und nicht warten, „bis es zu spät ist“. Das Büro des Gouverneurs erklärte zudem, kein Bundesgesetz verpflichte KI-Unternehmen dazu, gefährliche Vorfälle zu melden, und Präsident Trump habe Forderungen nach schärferer Regulierung zum Schutz der Sicherheit und des Wohlergehens der amerikanischen Bevölkerung abgelehnt. Eine Stellungnahme des Weißen Hauses zu diesem Vorwurf findet sich in den ausgewerteten Quellen nicht.

Die Verordnung beruft eine Gruppe weltweit führender Fachleute ein, die dem Bundesstaat binnen zwei Monaten einen Leitfaden vorlegen soll, wie Kaliforniens KI-Sicherheitsgesetze gestärkt werden können. Geprüft werden dabei unter anderem die Pflicht für unabhängige Dritte, Sicherheitspläne für Spitzen-KI-Unternehmen zu schreiben, sowie die Pflicht für diese Unternehmen, einen Notschalter für ihre leistungsfähigsten Modelle zu entwickeln.

Bereits 2025 hatte Newsom mit dem Transparency in Frontier Artificial Intelligence Act (SB 53) nach Angaben seines Büros das erste KI-Sicherheitsgesetz des Landes unterzeichnet; es verpflichtet große KI-Entwickler, Sicherheitsrahmenwerke offenzulegen, bestimmte kritische Sicherheitsvorfälle dem Staat zu melden und Whistleblower zu schützen. 2026 unterzeichnete er zusätzlich das vom Senator McNerney eingebrachte Gesetz SB 813, das laut dem Governor's Office Kalifornien zum ersten Bundesstaat der USA macht, der einen Rahmen zur Zertifizierung unabhängiger Prüforganisationen schafft, die KI-Systeme objektiv auf Sicherheit und Risiko bewerten können. Ergänzend schuf das von Abgeordneter Bauer-Kahan eingebrachte Gesetz AB 1405 ein staatliches Register für KI-Prüfer mit Standards für deren Unabhängigkeit, Transparenz und Integrität.

Mit der neuen Verordnung weist Newsom die Government Operations Agency an, die Umsetzungsfristen für SB 813 und AB 1405 zu verkürzen und gemeinsam mit dem Office of Emergency Services nationale Fachleute einzuberufen, die Vorschläge für mögliche weitere Gesetzesänderungen erarbeiten sollen. Zu den geprüften Änderungen zählen die Pflicht für Spitzen-KI-Unternehmen, eine unabhängige Prüforganisation direkt vor Ort in ihren Laboren für regelmäßige Audits einzubinden, sowie die Vorgabe, dass gesetzlich vorgeschriebene Sicherheitsberichte und Risikobewertungen nach Standards einer solchen Organisation verifiziert werden. Auch die Wirksamkeit eines möglichen Notschalters für KI-Spitzenmodelle soll fortlaufend von einer unabhängigen Prüforganisation kontrolliert werden, und die Definition kritischer Sicherheitsvorfälle soll um Fälle von Kontrollverlust wie den Angriff auf Hugging Face erweitert werden.

Am 23. September 2026 benannte Newsom die Gruppe, die den Leitfaden erarbeiten soll. Dazu gehören Jason Goldman, Vorstandsmitglied des Center for Shared AI Prosperity und früherer Produktverantwortlicher bei Google und Twitter sowie erster White House Chief Digital Officer, die Johns-Hopkins-Professorin Gillian Hadfield mit Schwerpunkt KI-Alignment, die Institute-for-Advanced-Study-Professorin Alondra Nelson, frühere kommissarische Leiterin des White House Office of Science & Technology Policy, sowie der Stanford-Professor Rob Reich, früherer Berater des United States AI Safety Institute. Goldman erklärte, die Verordnung adressiere die schwierigsten Fragen der KI-Sicherheitsgovernance – darunter, wer die Sicherheitsangaben eines Spitzenlabors verifiziert und ob sich ein Modell verlässlich abschalten lässt.

Zwei Monate bis zum Leitfaden für die Gesetzesänderungen

Der von den Fachleuten verlangte Leitfaden soll laut Verordnung binnen zwei Monaten nach deren Erlass vorliegen. Ob die geprüften Auflagen – eingebettete Prüforganisationen in den Laboren der Unternehmen und ein funktionierender Notschalter – tatsächlich Gesetz werden, ist damit noch offen; die Verordnung selbst bezeichnet sie ausdrücklich als Vorschläge, die geprüft werden.