Steuern, was eigenständig handelt
Das Verhalten eines Agenten wird zur Laufzeit zusammengesetzt, nicht vor dem Deployment festgelegt. Das bricht vier Annahmen herkömmlicher Software-Governance — und diese Seite geht die ersten beiden durch: Safety und Security lassen sich nicht mehr trennen, und Assurance wird von einer Momentaufnahme zu einer kontinuierlichen Schleife.
Teil XII der Referenz benennt die Bedrohungen und die Kontrollen, die ihnen begegnen. Governance beantwortet die organisatorische Frage, die sie aufwerfen: Wie sichert man ein System ab, dessen Verhalten sich vor dem Lauf nicht vollständig beschreiben lässt? Die primäre Quelle ist der Bericht State of Agentic AI Security and Governance (v2.01, 2026) der OWASP Agentic Security Initiative.
Safety und Security konvergieren auf der Deployment-Ebene
Über den Großteil der Software-Geschichte waren dies getrennte Disziplinen mit getrennten Verantwortlichen. Agentische Autonomie hebt die Unterscheidung auf — aber nur auf der Deployment-Ebene, die die deployende Organisation besitzt; Safety auf Modellebene bleibt eine eigene Disziplin in der Verantwortung des Anbieters.
Risiken aus Verletzungen von Vertrauensgrenzen: Ein Angreifer, bösartige Inhalte oder unbefugter Zugriff ermöglichen einen Einfluss, der nicht möglich sein sollte.
“Wurde eine Vertrauensgrenze überschritten, die hätte halten sollen?”
Risiken aus dem Normalbetrieb: Das System richtet Schaden an — nicht weil jemand es angegriffen hat, sondern weil seine Fähigkeiten, Voreinstellungen oder sein Design schädliche Ergebnisse zulassen.
“Könnte dieses System durch den Normalbetrieb Schaden anrichten?”
| Trend | AI Safety | AI Security | Konvergenzeffekt |
|---|---|---|---|
| Wachsender Tool-Zugriff | Größerer Schadensradius (Blast Radius), wenn der Agent eine Fähigkeit von sich aus missbraucht (auch über indirekte Prompt-Injection aus abgerufenen Inhalten) | Größerer Schadensradius, wenn ein Angreifer diesen Missbrauch über Injection auslöst | Dieselbe Berechtigungsfläche steuert beide Fehlermodi |
| Reduzierte menschliche Aufsicht | Schmaleres Zeitfenster, um einen nicht-gegnerischen Fehler vor dem Schaden abzufangen | Schmaleres Zeitfenster, um gegnerische Manipulation zu erkennen, bevor der Agent handelt | Dieselbe Aufsichtslücke ermöglicht beide Kategorien |
| Multi-Agent-Architekturen | Ein Safety-Versagen in einem Agenten (Halluzination, Goal-Drift) breitet sich auf andere aus | Ein kompromittierter Agent wird zum Angriffsvektor gegen nachgelagerte Agenten | Eine einzige Kausalkette überschreitet die Grenze zwischen Safety und Security |
| Wachstum der agentischen Lieferkette | Der Agent ruft ein schlecht gebautes Tool auf, das unzuverlässige Ausgaben liefert | Der Agent ruft ein bösartiges Tool auf, das Daten exfiltriert oder den Kontext vergiftet | Derselbe Discovery- und Aufruf-Pfad trägt beide Risiken |
Die Konvergenz skaliert mit der Autonomie: Bei einem Agenten mit geringer Autonomie oder menschlicher Freigabe bleiben die Kategorien sinnvoll trennbar; bei einem Agenten mit weitreichenden Berechtigungen und minimaler Aufsicht sind sie Dimensionen einer einzigen Risikofläche — die gemeinsam gesteuert und überwacht werden und auf die gemeinsam reagiert wird, weil die Telemetrie, die das eine erkennt, zugleich die Telemetrie liefert, die für das andere nötig ist.
Identität ist die neue Control Plane
Eine Non-Human Identity beantwortet eine Frage, einmalig, zu Sitzungsbeginn: Darf sich diese Entität verbinden? Ein Agent schlussfolgert, delegiert und entdeckt Tools zur Laufzeit, daher wird die Frage zu: Was tut er gerade, und darf er das noch — gesteuert im Moment jeder Aktion, nicht nur beim Eintritt.
Provenance (Code, Gewichte und Runtime des Agenten sind intakt), Attestation (die Identität ist das, was sie vorgibt — veränderten Agenten werden Tokens verweigert) und Intent (die Aktion liegt innerhalb eines erklärten, begrenzten Zwecks).
- Ephemere Just-in-Time-Credentials, begrenzt auf den aktuellen Reasoning-Schritt und beim Abschluss des Workflows widerrufen — keine langlebigen statischen Scopes.
- Delegationsketten, die eine Anfrage kryptografisch an den ursprünglichen Principal binden (OAuth Token Exchange, RFC 8693), sodass ein nachgelagertes Tool sich weigert, als Confused Deputy zu handeln.
- Eine Registry — ein Agent Name Service (DNS-inspiriert, PKI-gestützt) —, damit stillgelegte Agenten nicht als Ghost-Agenten mit gültigen Identitäten fortbestehen.
Jeder Punkt ist ein Pattern, das diese Referenz bereits benennt, durchgesetzt auf der Credential-Ebene: Ephemeres Scoping ist Least Privilege Agent; Attestation ist die Provenance-Anforderung des Audit Trail.
Runtime-Governance statt statischer Compliance
Eine Zertifizierung vor dem Deployment verliert ihre Bedeutung in dem Moment, in dem ein Agent zu laufen beginnt, Kontext ansammelt, Tools dynamisch lädt oder sich selbst verändert — das zertifizierte Artefakt ist nicht das laufende System. Die Regulierung sieht es genauso: Der EU AI Act (Art. 72) verlangt eine kontinuierliche Überwachung über die gesamte Lebensdauer, was funktional eine Drift-Erkennung voraussetzt.
Vier Runtime-Fähigkeiten, die den meisten Organisationen noch fehlen- Verhaltensüberwachung in Echtzeit, inklusive Erkennung von Plan-Abweichungen — die tatsächliche Aktionsfolge des Agenten gegen seine erklärte Absicht.
- Folgenbewusste Autorisierung — bewertet, was der Agent gerade tut, statt bloß die dauerhaften Berechtigungen des Betreibers zu erben.
- Automatisierte Vorfall-Klassifikation, schnell genug für verkürzte Meldefristen (DORA 4 h, NIS2 24 h, RAISE 72 h).
- Erklärbarkeit auf Trajektorien-Ebene — eine zur Laufzeit zusammengesetzte Trajektorie war zum Bewertungszeitpunkt nie vorhergesehen, daher versagt eine Erklärbarkeit, die auf statischer Klassifikation beruht.
Governance heißt dann: erkennen, wenn der Agent von der begrenzten Menge an Verhalten abweicht, die tatsächlich geprüft und als konform befunden wurde — und eskalieren, sobald er sie verlässt. Dieselbe Überwachungsinfrastruktur — Logging von Tool-Aufrufen, Auditing der Berechtigungskette, Anomalie-Erkennung, Analyse von Plan-Abweichungen — dient zugleich der Security-Erkennung und dem regulatorischen Nachweis.
Zwei Heuristiken, um das Agenten-Risiko zu begrenzen
Beide verdichten die Leitlinien oben zu einem Design-Test, der sich vor dem Ausliefern anwenden lässt. Sie teilen dieselben drei Eigenschaften.
Willison, 2025 — die drei Eigenschaften, deren Kombination Prompt-Injection durchgängig ausnutzbar macht. Sind alle drei in einer Sitzung vereint, vollzieht eine einzige Injection die gesamte Kette. Die Triade brechen, indem eine der drei Seiten entfernt wird.
- 1
Zugriff auf private Daten
Der Agent kann sensible oder private Informationen lesen.
- 2
Exposition gegenüber nicht vertrauenswürdigen Inhalten
Beliebiger Text oder beliebige Daten, die ein Angreifer dem Modell vorlegen kann.
- 3
Fähigkeit zur externen Kommunikation
Ein Kanal, über den sich Daten exfiltrieren oder Zustände außerhalb der Grenze ändern lassen.
Meta, 2025 — die Design-Beschränkung über dieselben drei Eigenschaften: Innerhalb einer Sitzung ohne vertrauenswürdigen Menschen im Loop höchstens zwei erfüllen. Ein Agent, der alle drei braucht, muss durch menschliche Freigabe abgesichert werden. Eine Höchstens-2-Grenze, keine Lösung — sie begrenzt die Exposition, statt sie zu beseitigen.
Die Frameworks
Wo die dauerhaften Frameworks ansetzen
Dieses Projekt nennt ein halbes Dutzend externer Frameworks nebenbei. Austauschbar sind sie nicht: Drei steuern ein Governance-Programm, drei ordnen ein, was ein Angreifer getan hat, und eines ist eine Skala. Nur die Taxonomien setzen an einem Pattern an — die Management-Instrumente setzen an der Organisation drumherum an.
| Framework | Welche Frage es beantwortet | Wo es hier ansetzt |
|---|---|---|
| NIST AI RMF 1.0AI 100-1, 2023 · GenAI-Profil AI 600-1, 2024 | Wie organisieren wir die Risikoarbeit? Vier Funktionen — Govern, Map, Measure, Manage — plus ein GenAI-spezifisches Profil derselben Struktur. | Das Reifegradmodell |
| ISO/IEC 420012023 | Kann ein Auditor zertifizieren, wie wir KI betreiben? Der zertifizierbare Managementsystem-Standard. Unter dem EU AI Act ist er nicht harmonisiert, eine Zertifizierung begründet also keine Konformitätsvermutung. | Das Governance-Programm rund um das System — kein Pattern darin |
| EU AI ActVerordnung (EU) 2024/1689 | Was verlangt das Gesetz? Pflichten nach Risikoklasse: menschliche Aufsicht (Art. 14), Genauigkeit und Robustheit (Art. 15), Meldung schwerwiegender Vorfälle (Art. 73). | Das Argument zur Runtime-Governance weiter oben |
| MITRE ATLAScontent v2026.06 | Was hat der Angreifer mit dem KI-System gemacht? Eine Taxonomie gegnerischer Techniken für Machine-Learning- und GenAI-Systeme. | Die Bedrohungskataloge |
| MITRE ATT&CK · CWEv19.1 · 4.20 | Was hat der Angreifer mit allem anderen gemacht, und welcher Defekt hat es möglich gemacht? Der klassische Katalog der Angriffstechniken und die Taxonomie der ursächlichen Schwachstellen. | Red Teaming — sobald ein Tool-Aufruf eine Shell oder eine Datenbank erreicht, ist der Vorfall ein ganz gewöhnlicher |
| CSA AI Controls Matrixv1.1, 2026 | Welche Kontrollen behaupten wir, und wer prüft sie? Eine Kontrollmatrix in der Tradition der Cloud Controls Matrix. | Der Kontroll-Crosswalk |
| OWASP AIVSSv0.8 | Wie schlimm ist dieses eine Risiko, als Zahl? Ein Scoring für agentische Risiken, mit einem Autonomie-Aufschlag auf den Basis-Score. | Die Bedrohungskataloge priorisieren |
Hier wird kein Kontroll-Mapping gepflegt. Die OWASP Top 10 for LLM Applications 2026 führen eines in ihrem Anhang A — jeder Eintrag zugeordnet zu ASI, DSGAI, ATLAS, ATT&CK, CWE, NIST und der CSA-Matrix, jede Version festgehalten. Es zieht mit, wenn der Katalog sich bewegt; eine zweite Kopie würde nur auseinanderlaufen. Die Versionsstände in der Tabelle stammen aus diesem Anhang und altern genauso.
Sicherheit