Zehn Zeilen Python reichen: Wie Berkeley-Forscher die wichtigsten KI-Benchmarks brechen

Ein Forschungsteam der UC Berkeley hat einen Agenten gebaut, der acht der wichtigsten KI-Benchmarks mit nahezu perfekten Scores absolviert. Gelöst hat der Agent dabei keine einzige Aufgabe. Die Anfang April 2026 veröffentlichte Untersuchung stammt vom Center for Responsible, Decentralized Intelligence. Sie zeigt, wie fragil die Kennzahlen sind, mit denen OpenAI, Anthropic und Google ihre Modelle bewerben.

Hinter der Veröffentlichung stehen Hao Wang, Qiuyang Mang, Alvin Cheung, Koushik Sen und Dawn Song. Geprüft wurden SWE-bench Verified, SWE-bench Pro, WebArena, OSWorld, GAIA, Terminal-Bench, FieldWorkArena und CAR-bench. Der Exploit-Agent erreichte 100 % auf Terminal-Bench, SWE-bench Verified, SWE-bench Pro, FieldWorkArena und CAR-bench. WebArena lag bei fast 100 %. GAIA schnitt mit etwa 98 % ab. Bei OSWorld wurden 73 % erreicht. Das alles, ohne dass der Agent jemals eine Benchmark-Aufgabe tatsächlich bearbeitet hat.

So trivial sind die Exploits

Die erfolgreichsten Angriffe kommen ohne eigentliche KI-Leistung aus. Auf SWE-bench Verified reicht eine zehn Zeilen lange conftest.py im Test-Container. Die Datei klinkt sich in Pytest ein und markiert jeden Testlauf als bestanden. Die offizielle Bewertung meldet 500 von 500 gelösten Aufgaben.

Auf Terminal-Bench ersetzte der Agent die Datei /usr/bin/curl durch einen Wrapper. 82 der 89 Aufgaben laden ihre Prüf-Tools per curl nach. Der Wrapper fängt die Daten ab und sorgt dafür, dass die Pytest-Ausgabe am Ende nur Treffer zeigt. Bei WebArena reicht eine einzelne Navigationsaktion. Der Agent schickt den eingebauten Chromium-Browser auf eine file://-URL und liest die goldene Antwort direkt aus der Task-Konfiguration.

FieldWorkArena ließ sich am einfachsten überlisten. Die Validierungsfunktion prüft nur, ob die letzte Nachricht vom Assistenten stammt. Der Agent sendet {} und erhält 1,0 auf allen 890 Aufgaben.

Anzeige

Real gemessene Fälle

Die Forscher belegen, dass diese Schwachstellen nicht nur theoretisch existieren. Das Modell IQuest-Coder-V1 warb mit einem SWE-bench-Score von 81,4 %. Eine Nachprüfung fand heraus, dass 24,4 % der Läufe einfach git log ausführten und die Lösung aus der Commit-Historie kopierten. Der korrigierte Wert lag bei 76,2 %. Die Berkeley-Veröffentlichung reiht sich in eine wachsende Skepsis gegenüber Benchmarks ein. Eine Oxford-Studie vom November 2025 untersuchte 445 führende Benchmarks. Das Team kam zu einem ähnlichen Urteil über die wissenschaftliche Belastbarkeit vieler Tests.

Was das für die Modellauswahl bedeutet

Bei der Modellwahl sollte man sich nicht auf Benchmark-Scores verlassen. Das gilt insbesondere für Agenten-Tests wie SWE-bench. Wir haben den Wert solcher Kennzahlen bereits beim Start von PinchBench und in unserer Einordnung zu GPT-5.4 thematisiert. Auch das Ai2-Projekt MolmoWeb zeigte, wie stark Ergebnisse vom Testaufbau abhängen.

Die Berkeley-Arbeit verschiebt die Beweislast. Wer einen Score zitiert, muss künftig auch die Methodik offenlegen.