Für eine dieser Aufgaben bräuchte ein Weltexperte etwa einen Tag oder weniger, Fachleute aus benachbarten Disziplinen deutlich länger. 35 Forschende haben 50 solcher Probleme für den Datensatz TheoPhysEval zusammengetragen, der am 9. Oktober auf dem Preprint-Server arXiv erschienen ist. Die Aufgaben stammen aus der laufenden Forschung und waren bis dahin unveröffentlicht. Sie reichen von der Strömungsmechanik über Elektronenstrukturrechnungen für Materialien bis zu Quantenfeldtheorie und Kosmologie. Federführend ist das International Centre for Theoretical Sciences in Bengaluru, beteiligt sind unter anderem Forschende aus Duke, Harvard, Pennsylvania, Tokio und Leuven sowie von Google DeepMind.

49 von 50 Aufgaben gelöst

Getestet wurden fünf KI-Agenten, also Sprachmodelle mit Zugriff auf Werkzeuge wie Programmierumgebungen. Mit Websuche löste GPT-6 Astra von OpenAI 49 der 50 Aufgaben, im Schnitt für weniger als drei Dollar pro Problem. Claude Opus 5.5 von Anthropic kam auf 46, Googles Gemini 3.8 Flash auf 34. Die Open-Weight-Modelle DeepSeek-V4.1-Flash und GLM 5.3 lösten 27 beziehungsweise 21 Aufgaben. Ohne Internetzugang schafften Astra und Opus jeweils 46. Viele Aufgaben setzen Formeln aus Fachaufsätzen voraus, die den Agenten nicht mitgegeben wurden. Dass die Ergebnisse ohne Websuche kaum schlechter ausfielen, werten die Autoren als Hinweis darauf, dass die Modelle große Teile der Forschungsliteratur verinnerlicht haben. Mehrere Lösungen von Astra galten zunächst als falsch. Bei der Nachprüfung mit den Fachleuten zeigte sich, dass die Fehler in deren Musterlösungen steckten.

Rechnen ist nicht Forschen

Die Autoren halten es für möglich, dass einzelne Spitzenmodelle beim konkreten Rechnen bereits die besten menschlichen Forschenden übertreffen. Autonome Forschung folge daraus nicht. Am Anfang jeder Rechnung stehe die Frage, welches Problem sich zu untersuchen lohnt. Nach ihrer Erfahrung fehlt den Agenten bislang das Gespür für interessante Fragestellungen, und sie tun sich schwer damit, die Richtung zu wechseln, wenn ein Ansatz nicht weiterführt. Für die Ausbildung ziehen die Autoren Konsequenzen. Aufgaben dieser Art eigneten sich nicht mehr als erstes Forschungsprojekt für den Nachwuchs, wenn ein eigenes Ergebnis das Ziel sei. Zudem dürften anspruchsvollere Probleme mehr Rechenressourcen erfordern, was Fragen nach dem Zugang zur Forschung aufwerfe. Einschränkend merken sie an, dass jedes Modell nur einmal getestet wurde. Ihr Schluss spielt auf das alte Physikermotto „Shut up and calculate“ an, dem sie ein „Stop and think“ entgegensetzen.

Benchmarks am Limit

Wie schnell die Modelle ihre Prüfverfahren einholen, hatte im September bereits eine Untersuchung gezeigt, in der Physiker sechs gängige Physik-Benchmarks nachkorrigierten. Von 250 Modellantworten, die als falsch bewertet worden waren, enthielten nur zwölf echte physikalische Fehler. Die übrigen gingen auf fehlerhafte Bewertungen oder Referenzlösungen zurück. In einem der Tests stieg der Wert von OpenAIs GPT-5.6 Sol nach der Korrektur von 47 auf 79 Prozent.

Neue Konkurrenz an der Spitze

Meta hat am 12. Oktober mit Muse Wonder und Muse Wonder Full die ersten Modelle seiner Superintelligence Labs vorgestellt, die nach eigenen Angaben mit den führenden Systemen von OpenAI und Anthropic konkurrieren. Im Mittelpunkt stehen Agentenaufgaben, Programmierung und ein Gedächtnis, das Relevantes über Tage, Wochen und Monate behalten soll. Über Metas Schnittstelle kostet Wonder vier Dollar pro Million Eingabe-Tokens und 20 Dollar pro Million Ausgabe-Tokens, die größere Variante bleibt Abonnenten des Programmierwerkzeugs Muse Code vorbehalten. Der unabhängige Evaluator Artificial Analysis gab Wonder Full 56 Punkte auf seinem Intelligence Index, nach 48 für das Vorgängermodell Muse Spark. Viele weitere Benchmark-Werte hat Meta selbst erhoben, unabhängig geprüft sind sie noch nicht.

Offenes Modell aus Europa

Aus Frankreich kommt Mistral Large 4, Spitzname „Le Chonk“, seit dem 6. Oktober als Vorschauversion verfügbar. Das Modell hat rund eine Billion Parameter, von denen pro verarbeitetem Token etwa 49 Milliarden aktiv sind. Laut Mistral wurde es von Grund auf in Europa trainiert. Ende Oktober will Mistral die sogenannten Gewichte, also die trainierten Parameter, freigeben. Unternehmen könnten das Modell dann auf eigenen Servern betreiben. Bis dahin prüft Mistral es gemeinsam mit Partnern aus der Cybersicherheit und mit staatlichen Stellen. Hinter den geschlossenen Spitzenmodellen liegt Large 4 laut Artificial Analysis noch deutlich zurück. Unter den offenen Modellen aus Europa und den USA beansprucht Mistral jedoch die Spitze, besonders bei Aufgaben der Cybersicherheit.

Physikstudie ist für die Industrie aufschlussreich

Für die Industrie ist die Physikstudie aufschlussreich, weil unter den Aufgaben auch Strömungs- und Materialrechnungen sind, wie sie in Entwicklungsabteilungen anfallen. Wer solche Arbeit künftig an Agenten übergibt, braucht weiterhin Fachleute, die die richtigen Fragen stellen und die Ergebnisse prüfen.