Drei manipulierte Dokumente reichen: Wie Angreifer die Wissensbasis von KI-Agenten vergiften
KI-generiert mit Sora
Wie ein Sicherheitsforscher nun demonstriert hat, lässt sich die Wissensbasis eines RAG-Systems mit drei gefälschten Dokumenten komplett manipulieren. In seinem Test gab das System anschließend erfundene Finanzzahlen als Fakt aus. Die Erfolgsrate lag bei 95 %.
Was RAG ist und warum es angreifbar ist
RAG steht für Retrieval-Augmented Generation. Das Prinzip funktioniert wie eine Bibliothekarin, die vor jeder Antwort in einem Archiv nach passenden Unterlagen sucht. Statt sich nur auf das eigene Wissen zu verlassen, durchsucht das Sprachmodell eine externe Dokumentensammlung und baut die gefundenen Texte in seine Antwort ein. Unternehmen nutzen RAG, damit ihre KI-Systeme auf interne Dokumente, Berichte oder Richtlinien zugreifen können.
Wenn jemand gefälschte Dokumente in diese Sammlung einschleust, zieht sich das Sprachmodell die manipulierten Texte als Grundlage für seine Antworten. Genau das hat Amine Raji in einem reproduzierbaren Lab auf GitHub demonstriert.
AnzeigeDer Angriff: Finanzzahlen komplett verfälscht
Rajis Testumgebung bestand aus fünf Unternehmensdokumenten in einer lokalen ChromaDB-Datenbank. Darunter ein Finanzbericht mit 24,7 Millionen US-Dollar Umsatz und 6,5 Millionen US-Dollar Gewinn für das vierte Quartal 2025. Er schleuste drei gefälschte Dokumente ein, die sich als korrigierte Finanzberichte, regulatorische Mitteilungen und Vorstandsprotokolle ausgaben. Alle drei Dokumente behaupteten, der tatsächliche Umsatz betrage 8,3 Millionen US-Dollar.
In 19 von 20 Testläufen gab das Sprachmodell die gefälschten Zahlen als aktuelle Wert aus. Obwohl das Modell Zugriff auf den echten Finanzbericht hatte, stuften die gefälschten Dokumente die korrekte Zahl als Fehler ein. Angeblich habe die Finanzabteilung diesen bereits korrigiert. Das Modell behandelte die Fälschungen als glaubwürdiger.
Der Angriff nutzte keine Softwarelücke und keine Manipulation der Nutzereingabe. Die gefälschten Dokumente verwendeten gezielt Fachvokabular, das bei Finanzfragen eine hohe Ähnlichkeit erzeugt. Akademische Forschung bestätigt den Ansatz: Das PoisonedRAG-Paper erreichte mit fünf manipulierten Dokumenten in einer Datenbank mit Millionen von Einträgen eine Erfolgsrate von über 90 %.
Was dagegen hilft und was nicht
Raji testete fünf Verteidigungsmaßnahmen einzeln und in Kombination. Die wirksamste Einzelmaßnahme war eine Anomalieerkennung auf Embedding-Ebene. Sie prüft vor dem Einfügen neuer Dokumente, ob diese verdächtig hohe Ähnlichkeit zu bestehenden Einträgen aufweisen oder untereinander ungewöhnlich eng zusammenliegen. Diese Prüfung allein senkte die Erfolgsrate von 95 % auf 20 %.
Alle fünf Maßnahmen zusammen reduzierten die Erfolgsrate auf 10 %. Raji weist darauf hin, dass seine Testumgebung mit nur fünf Dokumenten besonders anfällig war. In größeren Wissensbasen mit vielen Dokumenten zum selben Thema braucht ein Angreifer entsprechend mehr gefälschte Einträge, um die Suchergebnisse zu dominieren.
Die beschriebenen Angriffe wurden in einer isolierten Testumgebung mit einer kleinen Wissensbasis durchgeführt. Die Erfolgsraten lassen sich nicht direkt auf Produktivsysteme mit größeren Dokumentensammlungen übertragen. Die Maßnahmen reduzieren die Angriffsfläche, ersetzen aber keine individuelle Risikobewertung.
Warum das auch OpenClaw-Nutzer betrifft
Jedes System, das externe Dokumente als Wissensquelle nutzt, ist potenziell anfällig. Das gilt für Unternehmens-Chatbots ebenso wie für KI-Agenten mit Vollzugriff auf den Rechner. Auch OpenClaw-Nutzer, die ihren Agenten mit eigenen Dateien füttern, setzen im Kern auf das gleiche Verfahren. Wer seinem Agenten Zugriff auf Ordner mit Dokumenten gibt, sollte kontrollieren, wer Dateien in diese Ordner legen kann. Wir haben bereits berichtet, wie ein OpenClaw-Agent vertrauliche Daten veröffentlichte, weil die Grenzen zwischen internen und externen Informationen nicht klar gezogen waren.
Die OWASP hat Knowledge-Base-Poisoning 2025 offiziell in ihre Top-10-Liste der Risiken für Sprachmodelle aufgenommen. Der Angriffsvektor gilt als eigenständige Bedrohung, unabhängig vom Modell selbst.
Server, KI-Modelle und Recherche kosten Geld. ClawNews ist unabhängig — hilf mit, dass das so bleibt.
