Steuern, was eigenständig handelt
Das Verhalten eines Agenten wird zur Laufzeit zusammengesetzt, nicht vor dem Deployment festgelegt. Das bricht vier Annahmen herkömmlicher Software-Governance — und diese Seite geht die ersten beiden durch: Safety und Security lassen sich nicht mehr trennen, und Assurance wird von einer Momentaufnahme zu einer kontinuierlichen Schleife.
Teil XII der Referenz benennt die Bedrohungen und die Kontrollen, die ihnen begegnen. Governance beantwortet die organisatorische Frage, die sie aufwerfen: Wie sichert man ein System ab, dessen Verhalten sich vor dem Lauf nicht vollständig beschreiben lässt? Die primäre Quelle ist der Bericht State of Agentic AI Security and Governance (v2.01, 2026) der OWASP Agentic Security Initiative.
Safety und Security konvergieren auf der Deployment-Ebene
Über den Großteil der Software-Geschichte waren dies getrennte Disziplinen mit getrennten Verantwortlichen. Agentische Autonomie hebt die Unterscheidung auf — aber nur auf der Deployment-Ebene, die die deployende Organisation besitzt; Safety auf Modellebene bleibt eine eigene Disziplin in der Verantwortung des Anbieters.
Risiken aus Verletzungen von Vertrauensgrenzen: Ein Angreifer, bösartige Inhalte oder unbefugter Zugriff ermöglichen einen Einfluss, der nicht möglich sein sollte.
“Wurde eine Vertrauensgrenze überschritten, die hätte halten sollen?”
Risiken aus dem Normalbetrieb: Das System richtet Schaden an — nicht weil jemand es angegriffen hat, sondern weil seine Fähigkeiten, Voreinstellungen oder sein Design schädliche Ergebnisse zulassen.
“Könnte dieses System durch den Normalbetrieb Schaden anrichten?”
| Trend | AI Safety | AI Security | Konvergenzeffekt |
|---|---|---|---|
| Wachsender Tool-Zugriff | Größerer Schadensradius (Blast Radius), wenn der Agent eine Fähigkeit von sich aus missbraucht (auch über indirekte Prompt-Injection aus abgerufenen Inhalten) | Größerer Schadensradius, wenn ein Angreifer diesen Missbrauch über Injection auslöst | Dieselbe Berechtigungsfläche steuert beide Fehlermodi |
| Reduzierte menschliche Aufsicht | Schmaleres Zeitfenster, um einen nicht-gegnerischen Fehler vor dem Schaden abzufangen | Schmaleres Zeitfenster, um gegnerische Manipulation zu erkennen, bevor der Agent handelt | Dieselbe Aufsichtslücke ermöglicht beide Kategorien |
| Multi-Agent-Architekturen | Ein Safety-Versagen in einem Agenten (Halluzination, Goal-Drift) breitet sich auf andere aus | Ein kompromittierter Agent wird zum Angriffsvektor gegen nachgelagerte Agenten | Eine einzige Kausalkette überschreitet die Grenze zwischen Safety und Security |
| Wachstum der agentischen Lieferkette | Der Agent ruft ein schlecht gebautes Tool auf, das unzuverlässige Ausgaben liefert | Der Agent ruft ein bösartiges Tool auf, das Daten exfiltriert oder den Kontext vergiftet | Derselbe Discovery- und Aufruf-Pfad trägt beide Risiken |
Die Konvergenz skaliert mit der Autonomie: Bei einem Agenten mit geringer Autonomie oder menschlicher Freigabe bleiben die Kategorien sinnvoll trennbar; bei einem Agenten mit weitreichenden Berechtigungen und minimaler Aufsicht sind sie Dimensionen einer einzigen Risikofläche — die gemeinsam gesteuert und überwacht werden und auf die gemeinsam reagiert wird, weil die Telemetrie, die das eine erkennt, zugleich die Telemetrie liefert, die für das andere nötig ist.
Identität ist die neue Control Plane
Eine Non-Human Identity beantwortet eine Frage, einmalig, zu Sitzungsbeginn: Darf sich diese Entität verbinden? Ein Agent schlussfolgert, delegiert und entdeckt Tools zur Laufzeit, daher wird die Frage zu: Was tut er gerade, und darf er das noch — gesteuert im Moment jeder Aktion, nicht nur beim Eintritt.
Provenance (Code, Gewichte und Runtime des Agenten sind intakt), Attestation (die Identität ist das, was sie vorgibt — veränderten Agenten werden Tokens verweigert) und Intent (die Aktion liegt innerhalb eines erklärten, begrenzten Zwecks).
- Ephemere Just-in-Time-Credentials, begrenzt auf den aktuellen Reasoning-Schritt und beim Abschluss des Workflows widerrufen — keine langlebigen statischen Scopes.
- Delegationsketten, die eine Anfrage kryptografisch an den ursprünglichen Principal binden (OAuth Token Exchange, RFC 8693), sodass ein nachgelagertes Tool sich weigert, als Confused Deputy zu handeln.
- Eine Registry — ein Agent Name Service (DNS-inspiriert, PKI-gestützt) —, damit stillgelegte Agenten nicht als Ghost-Agenten mit gültigen Identitäten fortbestehen.
Jeder Punkt ist ein Pattern, das diese Referenz bereits benennt, durchgesetzt auf der Credential-Ebene: Ephemeres Scoping ist Least Privilege Agent; Attestation ist die Provenance-Anforderung des Audit Trail.
Runtime-Governance statt statischer Compliance
Eine Zertifizierung vor dem Deployment verliert ihre Bedeutung in dem Moment, in dem ein Agent zu laufen beginnt, Kontext ansammelt, Tools dynamisch lädt oder sich selbst verändert — das zertifizierte Artefakt ist nicht das laufende System. Die Regulierung sieht es genauso: Der EU AI Act (Art. 72) verlangt eine kontinuierliche Überwachung über die gesamte Lebensdauer, was funktional eine Drift-Erkennung voraussetzt.
Vier Runtime-Fähigkeiten, die den meisten Organisationen noch fehlen- Verhaltensüberwachung in Echtzeit, inklusive Erkennung von Plan-Abweichungen — die tatsächliche Aktionsfolge des Agenten gegen seine erklärte Absicht.
- Folgenbewusste Autorisierung — bewertet, was der Agent gerade tut, statt bloß die dauerhaften Berechtigungen des Betreibers zu erben.
- Automatisierte Vorfall-Klassifikation, schnell genug für verkürzte Meldefristen (DORA 4 h, NIS2 24 h, RAISE 72 h).
- Erklärbarkeit auf Trajektorien-Ebene — eine zur Laufzeit zusammengesetzte Trajektorie war zum Bewertungszeitpunkt nie vorhergesehen, daher versagt eine Erklärbarkeit, die auf statischer Klassifikation beruht.
Governance heißt dann: erkennen, wenn der Agent von der begrenzten Menge an Verhalten abweicht, die tatsächlich geprüft und als konform befunden wurde — und eskalieren, sobald er sie verlässt. Dieselbe Überwachungsinfrastruktur — Logging von Tool-Aufrufen, Auditing der Berechtigungskette, Anomalie-Erkennung, Analyse von Plan-Abweichungen — dient zugleich der Security-Erkennung und dem regulatorischen Nachweis.
Zwei Heuristiken, um das Agenten-Risiko zu begrenzen
Beide verdichten die Leitlinien oben zu einem Design-Test, der sich vor dem Ausliefern anwenden lässt. Sie teilen dieselben drei Eigenschaften.
Willison, 2025 — die drei Eigenschaften, deren Kombination Prompt-Injection durchgängig ausnutzbar macht. Sind alle drei in einer Sitzung vereint, vollzieht eine einzige Injection die gesamte Kette. Die Triade brechen, indem eine der drei Seiten entfernt wird.
- 1
Zugriff auf private Daten
Der Agent kann sensible oder private Informationen lesen.
- 2
Exposition gegenüber nicht vertrauenswürdigen Inhalten
Beliebiger Text oder beliebige Daten, die ein Angreifer dem Modell vorlegen kann.
- 3
Fähigkeit zur externen Kommunikation
Ein Kanal, über den sich Daten exfiltrieren oder Zustände außerhalb der Grenze ändern lassen.
Meta, 2025 — die Design-Beschränkung über dieselben drei Eigenschaften: Innerhalb einer Sitzung ohne vertrauenswürdigen Menschen im Loop höchstens zwei erfüllen. Ein Agent, der alle drei braucht, muss durch menschliche Freigabe abgesichert werden. Eine Höchstens-2-Grenze, keine Lösung — sie begrenzt die Exposition, statt sie zu beseitigen.
Sicherheit