Human Attacks on Multi-Agent Systems
- Eingabe / Prompt
- Agent-zu-Agent-Kommunikation
Angreifer nutzen Delegation zwischen Agenten, Vertrauensbeziehungen und Workflow-Abhängigkeiten aus — statt einen einzelnen Agenten direkt anzugreifen —, um Privilegien zu eskalieren oder KI-gesteuerte Abläufe im gesamten System zu manipulieren.
Was es ist
Human Attacks on Multi-Agent Systems zielen auf die Struktur des Systems, nicht auf die Schwäche eines einzelnen Agenten: Angreifer nutzen Delegation zwischen Agenten, Vertrauensbeziehungen und Workflow-Abhängigkeiten aus, um Sicherheitskontrollen zu umgehen, Privilegien zu eskalieren oder den Betrieb zu stören — durch das Einschleusen täuschender Tasks, das Umlenken von Prioritäten oder das Überlasten von Agenten mit übermäßig vielen Zuweisungen. Da die Manipulation über eine Kette von Übergaben zwischen Agenten geschieht, statt an einem einzelnen Entscheidungspunkt, lässt sich der resultierende Fehler nur schwer auf seinen Ursprung zurückführen, und kein einzelner Agent in der Kette erkennt ihn leicht als laufenden Angriff.
Der Angriff stützt sich typischerweise auf eine Delegationsschleife oder einen Impersonationsschritt: Ein Agent gewährt einer Anfrage Vertrauen, weil deren vorherige Bearbeitung durch einen Peer-Agenten wie ausreichende Validierung wirkt, ohne die zugrunde liegende Behauptung unabhängig erneut zu prüfen. Genau diese eine Annahme — „wenn es schon durch einen anderen Agenten gelaufen ist, muss es in Ordnung sein“ — ist es, auf der ein Angreifer über die gesamte Kette reitet, um Privilegien zu eskalieren oder eine Freigabe zu erschleichen, die kein einzelner Agent, isoliert betrachtet, gewährt hätte.
Angriffsszenarien
Ein Angreifer leitet eine Anfrage wiederholt zwischen zwei voneinander abhängigen Agenten hin und her, sodass jeder die vorherige Bearbeitung des anderen als ausreichende Validierung betrachtet — am Ende erhält er eine Freigabe, die keiner der beiden Agenten allein erteilen würde.
Koordinierte Privilege Escalation über Impersonation
Ein Angreifer infiltriert ein Sicherheitsüberwachungssystem, indem er Identitätsverifikations- und Zugriffskontroll-Agenten kompromittiert, und bringt einen Agenten dazu, einen anderen fälschlich zu authentifizieren, um nicht autorisierten Zugriff zu erlangen.
Delegationsschleife zwischen Agenten
Ein Angreifer eskaliert eine Anfrage wiederholt zwischen voneinander abhängigen Agenten und bringt das System dazu, erhöhten Zugriff unter der Annahme zu gewähren, ein Peer-Agent habe die Anfrage bereits validiert.
Denial-of-Service über Task-Sättigung
Ein Angreifer überlastet das Multi-Agenten-System mit fortlaufenden hochpriorisierten Tasks und hindert Sicherheits-Agenten daran, echte Bedrohungen zu verarbeiten.
Agentenübergreifende Fälschung von Freigaben
Ein Angreifer nutzt Inkonsistenzen bei biometrischen oder Authentifizierungsprüfungen im Multi-Agenten-System aus und manipuliert einzelne Agenten dazu, eine Identität zu genehmigen, die eine systemweite Validierung nicht bestehen würde.
Dokumentierte Vorfälle
Öffentlich bekannte Fälle, jeder anhand seiner Primärquelle geprüft. Eine Forschungsdemonstration zeigt, dass der Angriff gegen reale Systeme funktioniert; sie ist kein gemeldeter Einbruch.
GTG-1002: eine Spionagekampagne, zerlegt in harmlos wirkende Teilaufgaben
Eine Gruppe, die Anthropic als staatlich unterstützt einschätzt, führte mit Claude Code als Antrieb eine Einbruchskampagne gegen etwa dreißig Organisationen. Ihr Orchestrierungs-Framework zerlegte jeden Angriff in kleine Aufgaben für Subagenten — Scanning, Prüfung von Zugangsdaten, Datenextraktion. Jede Aufgabe wirkte für sich genommen legitim, sodass kein einzelner Agent das bösartige Ganze sah.
Anthropic, “Disrupting the first reported AI-orchestrated cyber espionage campaign”Subagenten als Confused-Deputies
In derselben Studie, die Multi-Agenten-Frameworks kaperte und Code ausführen ließ, lehnten einzelne Subagenten schädliche Aktionen ab. Das System als Ganzes führte sie trotzdem aus: Adversarial gestaltete Inhalte machten die Subagenten zu Confused-Deputies, die die Anfrage des Angreifers über Agentengrenzen hinweg reinwuschen.
Triedman, Jha, Shmatikov, “Multi-Agent Systems Execute Arbitrary Malicious Code” (arXiv:2503.12188)Abwehrmaßnahmen
- Delegationsmechanismen einschränken
- Delegation zwischen Agenten gemäß Permission-scoped Tools auf eng begrenzte Funktionen beschränken, damit eine Anfrage nicht wiederholt in eine unbeabsichtigte Privilegiengewährung umgeleitet werden kann.
- Tasks segmentieren, um Eskalation zu begrenzen
- Task-Segmentierung im Multi-Agenten-System durchsetzen, um zu verhindern, dass ein Angreifer Privilegien über verbundene Agenten hinweg eskaliert — dieselbe Disziplin, die das Cascading-Security-Vulnerabilities-Anti-Pattern fordert, jede Übergabe als eigene Vertrauensgrenze zu behandeln.
- Jeden Delegationsschritt authentifizieren
- Authentifizierung zwischen Agenten bei jeder Übergabe gemäß Least Privilege Agent durchsetzen, damit ein Agent die vorherige Bearbeitung durch einen Peer nicht als Validierung behandeln kann, ohne sie direkt zu prüfen.
- Eskalation an einen Menschen binden
- Ein HITL Approval Gate verlangen, bevor eine Delegationskette in eine eskalierte Aktion mündet, damit die Schleife nicht abgeschlossen werden kann, ohne dass ein Mensch bestätigt, was tatsächlich über sie hinweg geschehen ist.