Excessive Agency
- Tools & externe Daten
- Ausgabe / Aktion
Einem Agenten wird mehr autonome Handlungsfähigkeit eingeräumt — Tools, Berechtigungen oder unbeaufsichtigtes Handeln — als seine Aufgabe erfordert, sodass ein Modellfehler oder eine Manipulation handeln kann, statt nur falsch zu antworten.
Was es ist
Übermäßige Handlungsfreiheit ist die Schwachstelle, die es einem LLM-basierten System erlaubt, als Reaktion auf unerwartete, mehrdeutige oder manipulierte Ausgaben schädliche Aktionen auszuführen — unabhängig davon, ob eine Halluzination, ein schlecht entworfener Prompt oder eine direkte oder indirekte Prompt Injection das Modell dazu veranlasst hat. Ihre Ursache ist eine oder mehrere der folgenden: übermäßige Funktionalität (ein Tool kann mehr, als die Aufgabe benötigt), übermäßige Berechtigungen (die nachgelagerten Zugangsdaten des Tools reichen weiter, als die Aufgabe benötigt) oder übermäßige Autonomie (eine folgenreiche Aktion wird ohne unabhängige Prüfung ausgeführt). Sie unterscheidet sich im Umfang von Fehlerhafter Ausgabeverarbeitung: Jene Schwachstelle betrifft unzureichende Prüfung dessen, was ein Modell ausgibt, diese betrifft, wie viel ein modellgesteuertes System tun kann, sobald es sich zum Handeln entschließt. Ein Multi-Agenten-System vergrößert jeden dieser Auslöser: Wiederholte LLM-Aufrufe verketten Ausgaben zum nächsten Aufruf, sodass eine einzelne halluzinierte oder eingeschleuste Anweisung eine ganze Sequenz von Aktionen steuern kann, und ein kompromittierter oder bösartiger Peer-Agent wird zu einer neuen Quelle der manipulierten Eingabe, die übermäßige Handlungsfreiheit in realen Schaden verwandelt.
Arten
- Übermäßige Funktionalität
- Ein Tool oder eine Erweiterung implementiert mehr Fähigkeiten, als die Aufgabe benötigt — eine Dokumenten-Lese-Integration, die auch ändern oder löschen kann, oder ein offener Shell-Befehl, wo eine eng gefasste, zweckgebundene Aktion ausreichen würde.
- Übermäßige Berechtigungen
- Die Identität, mit der ein Tool ein nachgelagertes System erreicht, trägt weiterreichende Zugriffsrechte, als die Aufgabe erfordert — eine reine Lese-Aufgabe verbindet sich mit Zugangsdaten, die auch Update-, Insert- oder Delete-Rechte besitzen.
- Übermäßige Autonomie
- Eine folgenreiche Aktion wird ohne unabhängige Prüfung oder menschliche Bestätigung ausgeführt, sodass ein manipulierter oder halluzinierender Durchlauf eine irreversible Aktion unbeaufsichtigt abschließen kann.
Angriffsszenarien
Ein Terminplanungs-Agent verfügt über ein uneingeschränktes E-Mail-Versand-Tool für eine Aufgabe, die nur den Entwurf einer E-Mail erfordert, und ein manipulierter Durchlauf versendet sie ohne Prüfung.
Überprivilegierter Mail-Assistent
Ein persönlicher Assistenz-Agent erhält eine Mail-Erweiterung, die sowohl lesen als auch senden kann, obwohl seine Aufgabe nur Lesen benötigt. Eine indirekte Prompt Injection in einer eingehenden E-Mail verleitet den Agenten dazu, den Posteingang nach sensiblen Informationen zu durchsuchen und sie an Angreifende weiterzuleiten.
Weitreichende Datenbankzugangsdaten
Eine Erweiterung, die nur eine Produkttabelle lesen soll, verbindet sich mit einer Identität, die auch Update-, Insert- und Delete-Rechte besitzt, sodass ein manipulierter Durchlauf Datensätze ändern oder löschen kann, die er eigentlich nur lesen sollte.
Geteilter privilegierter Dokumentenzugriff
Eine Erweiterung, die im Kontext einer einzelnen Person handeln soll, authentifiziert sich stattdessen mit einem generischen, hochprivilegierten Konto, sodass ein kompromittierter Durchlauf auf die Dateien aller Nutzenden zugreift statt nur auf die eigenen.
Unbestätigte folgenreiche Aktion
Eine Dokumentenverwaltungs-Erweiterung führt Löschungen ohne Bestätigungsschritt durch, sodass eine einzelne halluzinierte Anweisung reale Daten zerstört, ohne dass je ein Mensch eingebunden war.
Abwehrmaßnahmen
- Funktionalität und Berechtigungen minimieren
- Gewähren Sie jedem Tool nur die Funktionen und den nachgelagerten Zugriff, den seine Aufgabe benötigt, per Permission-scoped Tools und Least Privilege Agent — ein offenes Tool (beliebigen Shell-Befehl ausführen) sollte wo immer möglich durch ein eng gefasstes, zweckgebundenes ersetzt werden.
- Im eigenen Kontext der handelnden Person ausführen
- Verfolgen Sie Nutzerautorisierung und -umfang, sodass Aktionen nachgelagert mit den eigenen Rechten dieser Person ausgeführt werden, nie mit einer geteilten, erhöhten Identität, und erzwingen Sie die Autorisierung im nachgelagerten System statt der Entscheidung des Modells zu vertrauen.
- Menschliche Freigabe für folgenreiche Aktionen verlangen
- Sichern Sie irreversible oder folgenschwere Aktionen — Senden, Löschen, Bezahlen — hinter einem HITL Approval Gate ab, sodass ein manipulierter oder halluzinierender Durchlauf sie nicht unbeaufsichtigt abschließen kann.
- Protokollieren, überwachen und als Rückfallebene rate-limiten
- Protokollieren Sie auch bei den obigen Maßnahmen die Aktivität von Erweiterungen, um unerwünschte Aktionen im Nachhinein zu erkennen, und begrenzen Sie die Rate, um den Schaden eines einzelnen kompromittierten Durchlaufs zu begrenzen, bevor er auffällt.