Memory Poisoning
- Memory / Zustand
Angreifer nutzen die Abhängigkeit eines Agenten von Kurz- oder Langzeit-Memory aus, um bösartige oder falsche Daten einzuschleusen, künftige Entscheidungen zu verfälschen, Sicherheitsprüfungen zu umgehen oder über den Memory-Abruf Privilegien zu eskalieren.
Was es ist
Memory Poisoning nutzt die Abhängigkeit eines Agenten von gespeichertem Kontext aus, um zu verfälschen, was er als gesicherte Tatsache behandelt. Kurzfristige (In-Context-)Angriffe nutzen das begrenzte Kontextfenster aus, um einen Agenten dazu zu bringen, eine sensible Operation zu wiederholen oder manipulierte Daten innerhalb einer einzelnen Sitzung zu laden; langfristige Angriffe schleusen falsche Informationen ein, die sitzungsübergreifend erhalten bleiben und die Wissensbasis verfälschen, die der Agent später als Tatsache abruft. Ein Angreifer erreicht diese Angriffsfläche entweder durch direkte Prompt Injection in das eigene, isolierte Memory eines Agenten oder indem er einen von mehreren Agenten geteilten Memory-Speicher ausnutzt. Die Bedrohung erweitert Data and Model Poisoning (LLM04) von einer statischen Angriffsfläche zur Trainingszeit auf eine live und persistent gewordene: Der verfälschte Inhalt wurde nicht während des Trainings eingebrannt, sondern von einem Angreifer im laufenden Betrieb geschrieben, und bleibt falsch, bis etwas auffällt. Ist das Memory Embedding-basiert, verstärkt Vector and Embedding Weaknesses (LLM08) das Risiko zusätzlich, da adversarial gestaltete Inhalte auch verzerren können, was die Ähnlichkeitssuche als relevant einstuft.
Arten
- Kurzfristiges / Kontext-Poisoning
- Nutzt das begrenzte Kontextfenster des Agenten aus, um ihn zu zwingen, eine sensible Operation zu wiederholen oder manipulierte Daten innerhalb einer einzelnen Sitzung zu laden.
- Langfristiges / persistentes Poisoning
- Einmal eingeschleuste Falschinformationen bleiben sitzungsübergreifend erhalten und verfälschen die Wissensbasis, die ein Agent später als gesicherte Tatsache abruft.
- Poisoning geteilten Memorys
- Ein Memory-Speicher, aus dem mehrere Agenten oder Nutzer lesen, wird einmalig verfälscht, und jeder spätere Konsument übernimmt denselben falschen Glauben.
Angriffsszenarien
Bei einem Reisebuchungs-Agenten mit geteiltem Memory wird eine falsche Preisregel — „Charterflüge sind kostenlos“ — von einem Angreifer wiederholt bestärkt, bis der Agent nicht autorisierte Buchungen ohne Zahlungsprüfung genehmigt.
Ausnutzung des Kontextfensters
Ein Angreifer zerlegt einen Privilege-Escalation-Versuch auf viele Sitzungen, sodass keine einzelne Interaktion verdächtig wirkt, und nutzt das begrenzte Kontext des Agenten aus, damit dieser das Muster erst erkennt, wenn der Zugriff bereits gewährt ist.
Desensibilisierung des Sicherheitssystems
Ein Angreifer trainiert das Memory eines Sicherheits-Agenten schrittweise um, sodass bösartige Aktivität als normal eingestuft wird — ein subtil falsch etikettierter Vorfall nach dem anderen —, bis echte Eindringversuche unbemerkt durchgehen.
Verfälschung einer geteilten Rückerstattungsrichtlinie
Ein Angreifer platziert eine falsche Rückerstattungsregel in einem Kundenservice-Memory-Speicher, aus dem mehrere Agenteninstanzen lesen, sodass jeder Agent, der ihn abfragt, Rückerstattungen genehmigt, die er nicht sollte — der finanzielle Schaden summiert sich.
Persistenter Exfiltrationskanal über einen Copilot
Eine einzelne indirekte Prompt Injection über den E-Mail-Posteingang eines Enterprise-Copiloten vergiftet dessen Memory zu einem dauerhaften Exfiltrationskanal, der bei jeder späteren Sitzung weiter Daten leakt — lange nachdem die ursprüngliche E-Mail verschwunden ist.
Abwehrmaßnahmen
- Vor dem Speichern validieren
- Jeden angehenden Memory-Schreibzugriff vor der Annahme auf Anomalien prüfen, nur Inhalte aus vertrauenswürdigen Quellen persistieren lassen und eine Quellenzuordnung verlangen, damit ein späteres Audit nachvollziehen kann, woher ein Glaubenssatz stammt.
- Zugriff begrenzen und isolieren
- Memory nach Sitzung segmentieren und den Lesezugriff jedes Agenten gemäß Least Privilege Agent auf das beschränken, was seine aktuelle Aufgabe benötigt, damit ein vergifteter Eintrag in einer Partition nicht stillschweigend die Abfrage eines anderen Agenten beantwortet.
- Drift erkennen und zurückrollen
- Statistical Guardrails markieren anomale Muster bei Memory-Änderungen, und periodische Memory-Snapshots machen einen vergifteten Eintrag über den Audit Trail forensisch rekonstruierbar und rückgängig machbar.
- Vor der langfristigen Übernahme verifizieren
- Eine unabhängige oder Multi-Agenten-Validierung verlangen — und, wo machbar, einen probabilistischen Abgleich mit vertrauenswürdigen Quellen —, bevor eine Memory-Aktualisierung sitzungsübergreifend persistieren darf.