Dein KI-Modell ist schlau. Aber kann es auch arbeiten? PinchBench testet was wirklich zählt

PinchBench ist der erste Benchmark, der KI-Modelle in der Rolle der Steuerlogik eines OpenClaw-Agenten anhand von 23 realen Aufgaben testet. Die Rangliste mit 48 Modellen überrascht. Claude Sonnet 4.6 schlägt das größere Opus-Modell, GPT-4o fällt weit zurück. Wer das passende Modell für seinen KI-Agenten sucht, braucht andere Maßstäbe als MMLU oder HumanEval.

Was ist PinchBench?

Ein Benchmark ist ein standardisierter Test, der Leistung vergleichbar macht. Bei Sprachmodellen läuft das normalerweise so ab: Das Modell bekommt eine Frage, gibt eine Antwort, ein Skript prüft das Ergebnis. PinchBench geht einen anderen Weg. Statt isolierte Fragen zu stellen, lässt der Benchmark KI-Modelle als Steuerungseinheit eines OpenClaw-Agenten arbeiten.

Brendan O’Leary, Developer Relations Engineer beim Open-Source-KI-Coding-Agenten Kilo Code, hat den Benchmark entwickelt und auf GitHub veröffentlicht.

PinchBench umfasst 23 Aufgaben in Kategorien wie Coding, Kalender, Recherche, Dateiverwaltung und Datenanalyse. Die Bewertung erfolgt automatisiert. Zusätzlich beurteilt ein zweites Sprachmodell die Ergebnisqualität. Alle Aufgaben und Bewertungskriterien sind auf dem offiziellen GitHub-Repository öffentlich einsehbar.

Anzeige

Warum MMLU und HumanEval das Falsche messen

MMLU ist ein Test mit tausenden Multiple-Choice-Fragen aus über 50 Fachgebieten, vergleichbar mit einer Universitätsprüfung. HumanEval misst, ob ein Modell funktionierende Code-Schnipsel schreiben kann. Beide Tests prüfen einzelne Disziplinen isoliert voneinander. Für Chatbots reicht das. Für KI-Agenten nicht.

Ein Agent muss Werkzeuge mit den richtigen Parametern aufrufen, mehrstufige Pläne ausführen, mit unklaren Anweisungen umgehen und Fehler eigenständig korrigieren. Klassische Benchmarks bilden keine dieser Anforderungen ab. Ein Modell kann bei MMLU in den oberen 5 % landen und trotzdem bei echten Aufgaben scheitern. Etwa weil es eine Kalender-API nicht korrekt anspricht oder bei mehrstufiger Dateiverarbeitung den Überblick verliert.

PinchBench misst gezielt, was für Agenten entscheidend ist: zuverlässige Werkzeugaufrufe, mehrstufiges Planen und den Umgang mit unvollständigen Informationen. Am Ende zählt nicht die richtige Antwort auf eine Wissensfrage. Am Ende zählt, ob die Datei erstellt, die E-Mail verschickt oder das Meeting eingetragen wurde.