GLM 5.2 schlägt Claude: Das steckt hinter dem Cyber-Benchmark
KI-generiert mit ChatGPT
Das chinesische Modell GLM 5.2 hat in einem Benchmark von Semgrep das Modell Claude Code bei der Schwachstellensuche übertroffen. Dabei kostete GLM 5.2 nur einen Bruchteil. Das berichtet das Sicherheitsunternehmen Semgrep in einem eigenen Blogbeitrag. Der Vorsprung gilt aber nur für eine einzelne Aufgabe unter festen Bedingungen. Genau diese Einschränkung trennt die Schlagzeilen von der Substanz.
Was Semgrep gemessen hat
Semgrep testete, wie gut verschiedene Modelle eine bestimmte Art von Sicherheitslücken finden. Es ging um sogenannte IDOR-Schwachstellen. Bei einer IDOR-Lücke kann ein Nutzer auf fremde Daten zugreifen, indem er eine Kennnummer in der Webadresse ändert. Ein Beispiel ist der Wechsel von Rechnung 123 auf Rechnung 124. GLM 5.2 erreichte in diesem Test einen F1-Wert von 39 %. Der F1-Wert ist ein Maß für die Treffergenauigkeit, das gefundene und übersehene Lücken zusammenfasst.
In der Ergebnistabelle von Semgrep landet Claude Code dahinter. Besagte Tabelle weist 37 % für Opus 4.6 und 28 % für Opus 4.8 aus. Im Fließtext nennt Semgrep für Claude Code abweichend 32 %, ohne diese Zahl in der Tabelle aufzuführen. Andere offene Modelle fielen deutlich ab, darunter MiniMax M3 mit 23 % und Kimi K2.7 Code mit 22 %.
Der eigentlich bemerkenswerte Punkt sind die Kosten. GLM 5.2 fand eine Schwachstelle für rund 0,17 US-Dollar. Das entspricht rund 17 % der Kosten, die bei teuren Spitzenmodellen pro gefundener Schwachstelle anfallen.
GLM 5.2 stammt vom chinesischen Unternehmen Zhipu, das unter dem Namen Z.ai auftritt. Die Modellgewichte sind öffentlich verfügbar. Dass mittlerweile mehrere Spitzenmodelle aus China kommen, zeigen die Daten zu den im OpenClaw-Ökosystem genutzten Modellen.
AnzeigeDas Sternchen, das Semgrep selbst betont
Semgrep ordnet die Zahlen vorsichtig ein. Der Titel des Blogbeitrags spielt ironisch auf das von Anthropic zurückgehaltene Modell Mythos an. Selbst Kommentatoren in der Diskussion stellten klar, dass hier niemand ein eigenen Mythos zu Hause habe.
Der wichtigste Vorbehalt betrifft die Methode. Laut Semgrep zählt das Gerüst um das Modell mehr als das Modell selbst. Den größten Unterschied machte nicht die Wahl des Modells, sondern ob das System die zu prüfenden Endpunkte vorab kannte. Hinzu kommt, dass der Test auf einer einzigen Aufgabe, einem einzigen Datensatz und einem einzigen Durchlauf beruht. Die Erkennung von IDOR-Lücken liefert zudem nicht bei jedem Lauf dasselbe Ergebnis.
Auch die Gesamtwertung relativiert das Bild. Die hauseigene Verarbeitungskette von Semgrep gewinnt den Vergleich klar, mit 53 bis 61 %. Welcher Wert es ist, hängt davon ab, ob Opus 4.8 oder GPT-5.5 dahintersteht. Auf den Standard-Coding-Benchmarks liegt GLM 5.2 zudem noch knapp hinter Claude Opus 4.8. Auf Terminal-Bench 2.1 stehen 81,0 zu 85,0 Punkten.
Eine Aussage, ein Modell sei generell besser als ein anderes, lässt sich aus dem Test nicht ableiten. Belastbare Vergleiche zwischen KI-Agenten sind schwierig. Das zeigt auch unser Blick auf PinchBench, den ersten Benchmark für KI-Agenten im Praxistest.
Warum der Test trotzdem zählt
Die Stärke des Ergebnisses liegt weniger im Vorsprung bei der Treffergenauigkeit als im Preis. Ein offenes Modell, das brauchbare Ergebnisse zu einem Sechstel der Kosten liefert, verändert die Rechnung. Für viele Aufgaben in der Schwachstellensuche zählt nicht das absolut beste Modell, sondern das beste Verhältnis aus Treffern und Kosten.
Während westliche Spitzenmodelle zunehmend unter Auflagen stehen, erscheinen chinesische Modelle mit offenen Gewichten ohne vergleichbare Schranken. Diesen Kontrast haben wir bei der Sperre von Fable 5 und Mythos 5 durch die US-Regierung beschrieben.
Server, KI-Modelle und Recherche kosten Geld. ClawNews ist unabhängig — hilf mit, dass das so bleibt.
