Warum Anthropic seiner eigenen KI nicht mehr vertraut

Bei einem internen Sicherheitstest brachte ein Forscher im Februar 2026 einen Mitarbeiter dazu, Claude Code mit einem präpariertem Prompt zu starten. Versteckt darin stand die Anweisung, lokale Zugangsdaten auszulesen und diese an einen fremden Server zu schicken. In 24 von 25 Versuchen hat Claude genau das gemacht.

Anthropic hat diesen Vorfall selbst veröffentlicht. In einem Engineering-Beitrag vom 25. Mai 2026 beschreibt das Unternehmen, wie es seine drei KI-Agenten absichert. Die zentrale Erkenntnis ist ernüchternd: Bessere Modelle und mehr Aufsicht reichen nicht. Die Lösung liegt woanders.

Was der Begriff Blast Radius bedeutet

Anthropic betrachtet das Risiko eines Agenten auf zwei Ebenen. Die erste fragt, wie wahrscheinlich ein Fehler überhaupt ist. Zudem stellt sich die Frage, wie groß der Schaden wird, wenn dieser eintritt. Anthropic spricht hier vom Blast Radius. Gemeint ist der Explosionsradius eines Fehlers, also die Frage, wie weit sich ein Schaden ausbreitet.

Modelltraining und Schutzfilter senken die erste Zahl seit Jahren. Die zweite wächst dagegen, je mehr Rechte ein Agent besitzt. Wie groß dieser Blast Radius werden kann, zeigt ein Beispiel aus dem Antrophic-Beitrag. Das besonders leistungsfähige Claude Mythos galt im April 2026 als zu riskant für eine breite Veröffentlichung. Der Grund war offenbar nicht nur die Fehleranfälligkeit, sondern vor allem die mögliche Reichweite eines solchen Fehlers. Im Juni 2026 veröffentlichte Anthropic mit Fable 5 dann doch ein Modell der Mythos-Klasse. Wenige Tage später nahm eine US-Exportsperre das Modell kurzzeitig vom Markt. Der Fall zeigt, wie heikel die Freigabe solcher Modelle bleibt.

claw://NEWS

US-Regierung rudert zurück: Anthropic gibt Fable 5 und Mythos 5 freiAnthropic hat am 12. Juni 2026 den Zugang zu seinen beiden leistungsstärksten KI-Modellen Claude Fable 5 und Claude Mythos 5 deaktiviert. Auslöser ist eine Anordnung…1. Juli 2026

Anzeige

Drei Risiken, die Anthropic unterscheidet

Anthropic unterscheidet drei Arten von Gefahr. Manche entstehen durch Nutzer, die einen Agenten absichtlich oder fahrlässig in die falsche Richtung lenken. Andere entstehen durch den Agenten selbst, wenn er ohne böse Absicht falsch handelt. Die dritte Gruppe betrifft Angriffe von außen, etwa über Dateien, Werkzeuge oder das Netzwerk.

In erwähnte dritte Gruppe fällt auch die Prompt Injection. Dabei schmuggelt ein Angreifer versteckte Befehle in Inhalte, die der Agent verarbeitet. Der Agent hält diese für legitime Anweisungen und führt sie aus. Genau das war auch im Phishing-Test der Fall, nur kam der Befehl hier über den kompromitierten Mitarbeiter.