Operative Kategorie
Governance
Wo Menschen die Kontrolle behalten.
HITL Gate
Pausieren, bevor etwas Irreversibles geschieht.
Kritische Schritte werden von einem Menschen überprüft und freigegeben, bevor sie ausgeführt werden. Das System pausiert, persistiert den Zustand, stellt eine strukturierte Frage und setzt fort, sobald der Mensch antwortet. Am besten als abgestufte Autonomie konzipiert — Überwachung pro Aktionsklasse nach Tragweite gesetzt (Vollautomatisierung bei geringer Tragweite, überwacht bei mittlerer, menschengeführt bei hoher Tragweite) und nicht als einfaches Ein-/Ausschalter-Gate.
Abwägung Höhere Kontrolle wird auf Kosten langsamerer Betriebsabläufe erreicht.
Sandbox Execution
Code dort ausführen, wo er nicht entkommen kann.
Vom Modell generierter oder vom Agenten ausgewählter Code läuft in einer isolierten Umgebung — einem Container, einer MicroVM (z. B. Firecracker) oder einer gehosteten Code-Sandbox — ohne Zugriff auf Host-Dateisystem, Netzwerk oder Anmeldedaten über das hinaus, was die Aufgabe ausdrücklich benötigt.
Abwägung Sichere Ausführung wird auf Kosten von Infrastruktur- und Performance-Overhead erreicht.
Audit Trail
Jeder Schritt, signiert und mit Zeitstempel.
Entscheidungen, Tool-Aufrufe, Ein- und Ausgaben sowie Genehmigungen werden in einen append-only geführten Datensatz geschrieben, in dem Manipulationen erkennbar sind, sodass jede Aktion eines Laufs im Nachhinein rekonstruiert und zugeordnet werden kann.
Abwägung Nachverfolgbarkeit wird auf Kosten von Datenschutz-, Speicher- und Governance-Overhead erreicht.
Output Validation / Schema Enforcement
Fehlerhafte Modellausgabe ablehnen, bevor sie den nächsten Schritt kontaminiert.
Modellantworten werden vor der Verwendung gegen Schemas, Typen oder Geschäftsregeln validiert, und eine fehlgeschlagene Prüfung löst eine Ablehnen-und-neu-prompten-Schleife aus, statt die fehlerhafte Ausgabe nachgelagert weiterfließen zu lassen.
Abwägung Höhere Zuverlässigkeit wird auf Kosten von Einschränkungen der Ausdrucksfreiheit gewonnen.
Least Privilege Agent
Jeder Agent sieht die kleinste Welt, die ihn seine Arbeit erledigen lässt.
Jeder Agent erhält nur die Tools, Daten und Berechtigungen, die seine spezifische Aufgabe erfordert — das Prinzip der geringsten Rechte auf Agenten angewandt, sodass ein kompromittierter oder falsch gelenkter Agent nur seinen eigenen Schadensradius (Blast Radius) statt das gesamte System erreichen kann.
Abwägung Eine reduzierte Angriffsfläche wird auf Kosten höheren Aufwands für Rollen- und Berechtigungsverwaltung gewonnen.
Controller
Prüft die Aktionen des Agenten während des Durchlaufs gegen Richtlinien.
Überwacht kontinuierlich das Verhalten des Agenten und richtet es transparent an ethischen Grundsätzen und Compliance-Regeln aus. Realisiert im größeren Maßstab als Governance-Agent (der auf Richtlinienverstöße achtet) oder Sicherheits-Agent (der anomales Verhalten markiert), der andere Agenten überwacht und nur beim Auslösen einer Regel an einen Menschen eskaliert.
Abwägung Strengere Compliance wird auf Kosten von Betriebsaufwand und komplexer Regeldefinitionen gewonnen.
Integrator
Die Eingangsdaten bereinigen, bevor das Reasoning sie berührt.
Ein Validierungsmuster — ein dediziertes Gate, das alle eingehenden Informationen auf Qualität und Widerspruchsfreiheit prüft, bevor sie das Modell erreichen.
Abwägung Höhere Datenkonsistenz wird auf Kosten zusätzlicher Latenz bei der Wahrnehmungsverarbeitung gewonnen.
Multimodal Guardrails
Modalitätsspezifische Filter auf jede Eingabe und Ausgabe, die der Agent berührt.
Text-, Bild-, Audio- oder Video-Eingaben und -Ausgaben werden von modalitätsspezifischen Sicherheitsklassifikatoren auf dem Hin- und dem Rückweg geprüft, da ein reiner Textfilter blind für schädliche Inhalte ist, die in anderen Modalitäten kodiert sind.
Abwägung Bessere Sicherheit in Medienflüssen wird auf Kosten zusätzlicher Latenz und Fehlklassifikationen gewonnen.
Statistical Guardrails
Nach Zahlen ablehnen: Kosinus-Abstands-Drift und Token-Entropie-Konfidenz.
Quantitative, modell-agnostische Prüfungen sitzen zwischen einem nicht-deterministischen Agenten und dem Nutzer und lehnen Ausgaben auf Basis statistischer Signale ab statt auf Basis von Schema oder Regeln: semantische Drift-Erkennung (Kosinus-Abstands-Z-Score von einer sicheren Baseline) und Confidence Gating (Shannon-Entropie der Token-Wahrscheinlichkeiten).
Abwägung Ein günstiges, modell-agnostisches Sicherheitsnetz wird auf Kosten von Schwellenwert-Kalibrierungsaufwand und falsch-positiven Ergebnissen gewonnen – eine neuartige, aber korrekte Antwort kann als Drift gelesen werden, und eine selbstsichere, falsche Antwort kann das Entropie-Gate passieren.
Wohin als Nächstes