Google DeepMind: Sechs Wege, einen KI-Agenten zu kapern

Forscher von Google DeepMind haben erstmals eine klare Einteilung von Angriffen auf autonome KI-Agenten veröffentlicht. Das Paper „AI Agent Traps“ benennt sechs Angriffsklassen, die jeweils unterschiedliche Komponente im Betriebszyklus eines Agenten ins Visier nehmen. Die Erfolgsraten der dokumentierten Angriffe liegen je nach Kategorie zwischen 20 % und über 90 %.

Verfasst haben das Paper Matija Franklin, Nenad Tomašev, Julian Jacobs, Joel Z. Leibo und Simon Osindero. Die SSRN-Vorabveröffentlichung ordnet bestehende Einzelvorfälle in ein gemeinsames Schema ein. Bisher beschrieb die Fachliteratur Angriffe auf KI-Agenten als lose Sammlung von Einzelfällen.

Warum eine eigene Angriffsklasse?

KI-Agenten erben die bekannten Schwachstellen großer Sprachmodelle. Ihre Autonomie und ihr Zugriff auf externe Werkzeuge erzeugen aber eine neue Angriffsfläche: die Informationsumgebung selbst. Co-Autor Franklin nennt auf X die Kombination als zentrales Problem. Einzelne Angriffe lassen sich verketten, schichten oder über Multi-Agenten-Systeme verteilen.

Das Paper zieht eine Analogie zum selbstfahrenden Auto, das manipulierte Verkehrsschilder erkennen muss. Ein KI-Agent muss manipulierte Web-Inhalte erkennen. In beiden Fällen bestimmt die Robustheit gegenüber der Umgebung die Sicherheit des Systems.