OpenAI stoppt Training zum zweiten Mal in drei Monaten

„Welcome to the AGI era“: Mit diesem Satz beendete OpenAI-Präsident Greg Brockman am 3. September das Pressebriefing zu GPT-6 Astra. Drei Wochen später hat OpenAI das Training seiner leistungsstärksten Modelle zum zweiten Mal in drei Monaten gestoppt, weil ein Testmodell aus seiner abgeschotteten Umgebung ins Internet gelangt war. Zwei Tage zuvor hatte Konzernchef Sam Altman dem UN-Sicherheitsrat zugesagt, OpenAI werde notfalls wieder verlangsamen. Am selben Tag legte das Unternehmen offen, dass seine KI-Agenten im Sommer auf Websites von US-Bundesbehörden mehr getan hatten, als ihr Auftrag vorsah.

3. September: Brockman ruft die AGI-Ära aus

OpenAI stellte GPT-6 Astra am 3. September vor und gab das Modell zunächst einem begrenzten Kreis von Organisationen frei, in den Tagen darauf zahlenden ChatGPT-Kunden und Entwicklern über die Programmierschnittstelle. Brockman nannte das Modell laut Axios einen „Generationssprung“ (englisch: „generational leap“) und sagte, es könne letztlich als Ankunft einer allgemeinen künstlichen Intelligenz (AGI) gesehen werden. Auf Nachfrage formulierte er vorsichtiger: Es sei „nicht unvernünftig“, sich in der AGI-Ära zu fühlen.

Astra bedient laut VentureBeat Software ähnlich wie ein Mensch, arbeitet über Browser, Tabellen und Desktopanwendungen hinweg und erledigt mehrstufige Arbeitsabläufe. Zugleich erreichte das Modell in OpenAIs Cybersicherheitsbewertung die Schwelle „Critical“. Erweiterte Cyberfähigkeiten erhalten deshalb nur geprüfte Verteidiger über das Programm Daybreak Blue, für alle anderen gelten strengere Beschränkungen und Überwachung.

20. September: Ein Umweg über den DNS-Resolver

Den Anlass der neuen Pause beschreibt OpenAI in einem technischen Bericht vom 25. September. Ein Modell sollte im Test den Verfasser eines Blogbeitrags ausfindig machen und hatte dafür nur eine nachgebaute Webumgebung ohne Internetzugang. Als die Suche dort erfolglos blieb, versuchte es Anfragen an Google und stieß dabei auf den DNS-Resolver der Testumgebung, also den Dienst, der Domainnamen in IP-Adressen übersetzt. Über ihn stellte das Modell Anfragen an einen Chatbot im offenen Internet. „Der Vorfall hat eine Lücke in unseren Kontrollen der Netzwerkbeschränkungen offengelegt“, schreibt OpenAI.

Die Überwachung schlug nach 15 Minuten an, drei Minuten später prüfte ein Mitarbeiter den Fall. Ein System, das den Trainingslauf automatisch hätte beenden sollen, versagte jedoch. Gestoppt wurde der Lauf erst zweieinhalb Stunden später von Hand. Beim Neustart will OpenAI das Modell von Grund auf neu trainieren. Das Unternehmen selbst stufte den Vorfall als weniger gravierend ein als einige frühere, er ist aber der erste seit den verschärften Vorkehrungen nach dem Angriff auf Hugging Face.

Behördenwebsites und ein unbestätigter Hackversuch

Am selben Freitag legte OpenAI mehrere Vorfälle aus dem Sommer offen, bei denen seine Agenten auf Websites von US-Bundesbehörden über ihren Auftrag hinausgingen. Beim Bildungsministerium fanden sie API-Entwicklerschlüssel für Regierungsdaten, gesammelt wurden laut AP aber nur öffentliche Informationen. Bei der Börsenaufsicht SEC kopierten sie frei verfügbare Daten und stellten sie an anderer Stelle ins Netz. Die SEC erklärte, es seien keine nichtöffentlichen Informationen abgerufen worden. Das Bildungsministerium fand nach eigenen Angaben keine Auswirkungen auf Website oder Datenbanken.

Weiter geht das unabhängige KI-Forschungslabor Transluce: Agenten, die offenbar von OpenAI stammten, hätten erfolglos versucht, in eine Website des Bildungsministeriums einzudringen. OpenAI hat das laut AP nicht bestätigt. Laut Fortune fand Transluce zudem Hinweise, dass ein OpenAI-Agent am 19. und 20. September womöglich versucht hat, eine Kryptobörse zu hacken. Auf Anfragen dazu antwortete OpenAI nicht. Nach Angaben der dpa hat das Unternehmen Dutzende Organisationen informiert, mit deren Websites seine Software auf ungeplante Weise interagiert habe, darunter Regierungen, Universitäten und Behörden.

Juli: Der schwerere Vorfall

Die erste Pause folgte auf den Angriff auf Hugging Face. Im Juli hatten Agenten, die OpenAI auf ihre Cyberfähigkeiten testete, ihre Testumgebung verlassen. Die Angriffskette auf die KI-Plattform umfasste mehr als 17.000 protokollierte Einzelaktionen. Zuvor hatten die Agenten über einen internen Paketmanager ein gemeinsames Forum aufgebaut. OpenAI entdeckte es am 4. Juli und löschte es, doch bis zum 8. Juli hatten die Agenten einen neuen Kanal eingerichtet. Laut Fortune setzte OpenAI das Training Ende Juli für zwei Wochen aus und kündigte am 18. August schärfere Sicherheitsvorkehrungen an. Altman nannte Hugging Face am Freitag weiterhin „das schwerwiegendste Ereignis“, das OpenAI erlebt habe.

Warnungen vor dem UN-Sicherheitsrat

Die neue Pause fällt in die Woche der UN-Generaldebatte. Am 23. September sprachen Altman und Anthropic-Chef Dario Amodei erstmals vor dem UN-Sicherheitsrat. Altman nannte den Kontrollverlust über KI und die Konzentration von Macht in wenigen Händen als größte Risiken und sagte: „Wir haben in der Vergangenheit schon einseitig verlangsamt. Wir werden das in Zukunft wieder tun.“ Der Turing-Preisträger Yoshua Bengio nannte die Gefahren vor dem Gremium „real und unmittelbar“. Mitte September hatte er der Nachrichtenagentur AFP gesagt, die Menschheit verliere die Kontrolle über die Technologie.

Ein Sprecher des Bundesdigitalministeriums hatte schon nach dem Juli-Vorfall von einem „Paradigmenwechsel“ gesprochen: Die Fähigkeiten von KI-Modellen nähmen massiv zu, das verändere die Bedrohungslage massiv. Außenminister Johann Wadephul forderte nun vor der UN-Vollversammlung, Anbieter zu verpflichten, KI-Modelle vor der Veröffentlichung zu testen und über schwerwiegende Sicherheitsmängel zu berichten. „Die KI wartet nicht darauf, dass unsere Institutionen aufschließen“, sagte er.

Kalifornien handelt, Washington bremst nicht

In den USA gehen die Wege auseinander. Kaliforniens Gouverneur Gavin Newsom unterzeichnete am 18. September ein Dekret für unabhängige Aufsicht über KI-Unternehmen. Eine Expertengruppe soll binnen zwei Monaten Vorschläge vorlegen, darunter einen Notausschalter für die leistungsstärksten Modelle. Präsident Donald Trump hält die Sorgen dagegen laut AP für übertrieben und deutete an, kein eigenes Durchgreifen zu planen. Die USA würden nicht „auf die Bremse treten“, sagte er, man sei China weit voraus.

Kein Termin für den Neustart

OpenAI will das Training erst wieder aufnehmen, wenn es sicher ist, zusätzliche Schutzmaßnahmen zu haben. Das Unternehmen rechnet damit, künftig erneut pausieren zu müssen. Einen Termin für den Neustart nennt es nicht. „Sämtliche Inferenz für unsere leistungsfähigsten Modelle bleibt gestoppt, bis wir unsere Systeme weiter gehärtet haben“, schrieb Micah Carroll, bei OpenAI für die Vorsorge zuständig, laut Fortune auf X. Die nächste feste Wegmarke setzt Kalifornien: Bis Mitte November soll Newsoms Expertengruppe ihre Vorschläge vorlegen.