Anthropic-Studie: KI-Hilfe schwächt den Lerneffekt beim Programmieren

KI-Assistenten sollen Entwickler schneller machen und beim Lernen helfen. Eine kontrollierte Studie von Anthropic stellt genau dieses Versprechen infrage. Teilnehmer, die mit Claude eine neue Programmierbibliothek lernten, schnitten im anschließenden Wissenstest 17 % schlechter ab als die Vergleichsgruppe ohne KI. Schneller waren sie ebenfalls nicht. Damit liefert Anthropic selbst ein Argument gegen den unbedachten Einsatz ihrer eigenen Werkzeuge.

Die Arbeit von Judy Hanwen Shen und Alex Tamkin erschien als Preprint und wurde von Anthropic in einem Forschungsbeitrag zusammengefasst. Sie trifft einen Nerv. Die Studie kommt zu einem ungünstigen Zeitpunkt. Vibe Coding verspricht gerade das Gegenteil: mehr Tempo, weniger Arbeit, kein Vorwissen nötig. Menschen sollen Software bauen können, indem sie einer KI in normaler Sprache sagen, was sie wollen.

claw://TOOLS

Was ist Vibe Coding? Warum plötzlich jeder ohne Programmierkenntnisse Apps bautVibe Coding steht für einen Ansatz, bei dem Software in natürlicher Sprache beschrieben wird und ein KI-Modell den Code generiert. Statt echten Programmcode zu schreiben,…31. März 2026

Was hat Anthropic untersucht?

Die Forscher rekrutierten 52 überwiegend jüngere Softwareentwickler. Alle programmierten seit mindestens einem Jahr regelmäßig in Python und kannten KI-Programmierhilfen aus eigener Erfahrung. Keiner von ihnen hatte je mit Trio gearbeitet, einer Python-Bibliothek für asynchrone Programmierung. Asynchron bedeutet, dass ein Programm nicht warten muss, bis eine Aufgabe fertig ist, bevor die nächste gestartet werden kann.

Die Teilnehmer wurden zufällig in zwei Gruppen aufgeteilt. Beide erhielten dieselbe Aufgabe, die gleichen Anleitungen und durften zudem im Web suchen. Eine Gruppe bekam zusätzlich einen KI-Assistenten zur Seite gestellt, der den kompletten Lösungscode auf Wunsch direkt liefern konnte. Als Modell diente GPT-4o. Nach der Programmieraufgabe folgte für alle ein Wissenstest, bei dem niemand mehr KI nutzen durfte.

Der Test war kein Tippspiel. Die 14 Fragen waren mit 27 Punkten gewichtet und prüften drei Fähigkeiten, die für die Aufsicht über KI-Code zentral sind. Entwickler mussten fremden Code lesen und verstehen, Fehler erkennen und das Konzept der Bibliothek begreifen.

Anzeige

17 % Unterschied, kein Zeitgewinn

Das Ergebnis fiel deutlich aus. Die Gruppe ohne KI erreichte im Schnitt 67 % der Punkte. Bei der Gruppe mit KI lag das Ergebnis bei 50 %. Das entspricht laut Anthropic fast zwei Notenstufen. Der erwartete Ausgleich blieb aus. Wer mit KI arbeitete, war nur rund zwei Minuten schneller fertig. Statistisch war dieser Vorsprung nicht belastbar. Damit blieb auch der mögliche Vorteil aus. Die KI-Gruppe verstand weniger und gewann zudem keinen messbaren Zeitvorteil.

Den größten Abstand stellten die Forscher ausgerechnet bei den Debugging-Fragen fest, also beim Aufspüren von Fehlern. Genau diese Fähigkeit entscheidet darüber, ob jemand erkennt, wann KI-generierter Code falsch ist und warum dieser scheitert. Ausgerechnet hier waren die KI-Nutzer am schwächsten.

Die Arbeitsweise erklärt einen Teil des Ergebnisses. Die KI-Gruppe stieß während der Aufgabe auf deutlich weniger Fehler. Pro Teilnehmer war es typischerweise nur ein Fehler, in der Kontrollgruppe waren es drei. Wer selbst codet, stolpert öfter über Fehlermeldungen und löst diese eigenständig. Das Ringen mit dem Problem ist offenbar kein Zeitverlust, sondern genau der Punkt, an dem Verständnis entsteht.