Harvards Antwort auf das Overfitting-Rätsel der KI

Das größte ungelöste Rätsel der KI-Grundlagenforschung: Warum überanpassen Sprachmodelle mit Hunderten Milliarden Parametern nicht, obwohl klassische Lerntheorie genau das vorhersagt? Drei Physiker der Harvard University haben im Frühjahr 2026 eine Antwort publiziert. Die Werkzeuge dafür stammen aus der Physik von Phasenübergängen, jener Wissenschaft, die erklärt, warum Wasser zu Eis wird und Eisen zum Magneten.

Das Overfitting-Paradox

Jedes maschinelle Lernmodell hat Parameter, interne Zahlen, an denen das Training schraubt. Ein klassisches statistisches Modell mit mehr Parametern als Datenpunkten "überanpasst": Es lernt die Trainingsdaten auswendig, statt sie zu verstehen und scheitert bei neuen Beispielen vollständig. GPT-4 hat nach offiziellen Schätzungen 1,8 Billionen Parameter. Es wurde auf einigen Billionen Wörtern trainiert. Theoretisch müsste ein Modell dieser Größe auf neuen Texten versagen.

Das tut es nicht. Das ist das Paradox, das Grundlagenforscher seit mindestens einem Jahrzehnt beschäftigt. Es gibt Beobachtungen, Hypothesen und Näherungen, aber bis 2025 keine mathematisch saubere Erklärung. Alexander Atanasov, Jacob Zavatone-Veth und Cengiz Pehlevan von der Harvard University haben das geändert.

Warum ein Physikwerkzeug die Antwort liefert

Die drei Forscher griffen zur Renormierungstheorie, einem Konzept, das der Physiker Kenneth Wilson in den 1970er Jahren für etwas anderes entwickelt hatte: um zu erklären, wie komplexe physikalische Systeme nahe einem Phasenübergang funktionieren. Ein Phasenübergang ist der Moment, in dem Wasser zu Eis wird, Eisen seine magnetischen Eigenschaften entwickelt oder ein Supraleiter seinen elektrischen Widerstand verliert. Wilson erhielt dafür 1982 den Physik-Nobelpreis.

Was alle Phasenübergänge verbindet: Auf mikroskopischer Ebene herrscht Chaos und Zufall, aber auf makroskopischer Ebene entsteht stabiles, vorhersagbares Verhalten. Die Renormierungstheorie erklärt, wie diese Stabilität aus Unordnung entsteht: Zufällige Fluktuationen auf kleinen Ebenen mitteln sich heraus und verstärken auf größerer Ebene stabile Muster. Genau diesen Mechanismus haben die Harvard-Physiker auf neuronale Netze übertragen.

Was das Harvard-Team konkret gezeigt hat

Atanasov, Zavatone-Veth und Pehlevan arbeiteten laut ihrer Publikation mit einem vereinfachten neuronalen Netz, das klein genug ist, um mathematisch exakt analysierbar zu sein. Sie zeigten: Die statistischen Schwankungen in den Trainingsdaten verhindern das Überanpassen, statt es zu verursachen. Das klingt kontraintuitiv, folgt aber exakt dem Muster der Renormierungstheorie. Fluktuationen auf der Ebene der Trainingsdaten mitteln sich heraus auf dieselbe Weise, wie physikalische Fluktuationen stabile makroskopische Ordnung erzeugen.

Die Arbeit erschien 2026 im "Journal of Statistical Mechanics: Theory and Experiment", einer der Fachzeitschriften an der Schnittstelle von Physik und Informationstheorie. Der arXiv-Preprint trägt die Kennnummer 2405.00592. Für die KI-Forschungsgemeinschaft ist die Publikation bedeutsam, weil sie das erste Mal ist, dass das Überanpassungs-Paradox mit einem mathematisch rigorosen Mechanismus erklärt wird, nicht nur empirisch beobachtet.

Was das für KI-Entwicklung bedeutet

Die unmittelbarste Konsequenz: Trainingsdesigner wissen nun, dass Rauschen in den Daten kein Fehler ist, sondern ein Mechanismus. Das öffnet die Frage, ob gezielt eingeführte statistische Streuung Modelle robuster machen könnte. Diese Intuition gab es schon, etwa in der Technik des Dropouts (zufälliges Deaktivieren von Neuronen während des Trainings), aber ohne theoretische Begründung. Die Harvard-Arbeit liefert sie nach.

Für das Skalieren zukünftiger Modelle bedeutet das: Es gibt jetzt eine theoretische Grundlage dafür, warum noch größere Modelle nicht notwendigerweise schlechter werden. Die empirische Erfahrung der Labors von OpenAI, Anthropic und Google DeepMind, die jahrelang beobachtet haben was funktioniert ohne zu wissen warum, wird damit auf ein physikalisches Fundament gestellt. Für Unternehmen, die Milliarden in Modelltraining investieren, ist das keine akademische Randnotiz.

NeurIPS im Dezember: Erste Praxistests erwartet

Die wichtigsten Konferenzen der KI-Grundlagenforschung, NeurIPS im Dezember 2026 und die ICLR im Frühjahr 2027, werden zeigen, wie rasch die Fachgemeinschaft das neue Fundament aufgreift. Erste auf der Renormierungstheorie basierende Trainingsarchitekturen hält die Harvard-Gruppe laut dem publizierten Preprint für die nächsten 12 bis 18 Monate für realistisch. Eine praktische Anwendung in kommerziellen Modellen ist frühestens 2027 zu erwarten.

Der Weg von der theoretischen Physik zum Produktivmodell ist lang. Aber er führt nun nicht mehr durchs Dunkel: Für drei Jahrzehnte haben Ingenieure Modelle gebaut, die funktionierten ohne zu wissen warum. Das ändert sich gerade.