Überwacht kontinuierlich das Verhalten des Agenten und richtet es transparent an ethischen Grundsätzen und Compliance-Regeln aus. Realisiert im größeren Maßstab als dedizierter Governance-Agent (der auf Richtlinienverstöße achtet) oder Sicherheits-Agent (der anomales Verhalten markiert), der andere Agenten überwacht und nur beim Auslösen einer Regel an einen Menschen eskaliert.
In der PraxisEin Finanzberatungs-Agent leitet jeden Empfehlungs-Entwurf durch einen Compliance-Controller, der sie gegen ein Regelwerk prüft, den Durchlauf anhält und einen Prüfer benachrichtigt, wenn eine Regel ausgelöst wird.
Ohne esOhne einen Controller werden Richtlinienverstöße autonomer Agenten in sensiblen Bereichen erst nach den Konsequenzen sichtbar – einer Strafe, einer schädlichen Offenlegung oder einem Regulierungsverstoß – und nicht am Punkt der beanstandeten Aktion.
Wann man dazu greift
Wann es nach hinten losgeht
Die Abwägung
Strengere ethische Compliance wird auf Kosten von Betriebsaufwand und komplexer Regeldefinitionen gewonnen.
Ein Controller prüft Aktionen gegen Richtlinien.
Der Controller lehnt einen Aufruf ab, gibt aber einen generischen Fehler zurück. Der Agent behandelt ihn als vorübergehenden Fehler und wiederholt mit derselben Nutzlast.
Lösung · Ablehnungen als richtlinien-endgültig oder vorübergehend klassifizieren. Richtlinien-endgültige Ablehnungen müssen als typisiertes Signal erscheinen, auf das der Agent reagieren kann – nicht als wiederholbarer Fehler.
Der Controller umschließt die Haupt-Tool-Aufrufe, aber ein Seitenpfad – ein direkt aufgerufenes Tool, ein Sub-Agent, eine gecachte Aktion – erreicht die Außenwelt, ohne ihn zu passieren. Der eine ungeschützte Pfad ist genau der, an dem der Vorfall passiert.
Lösung · Den Controller an einem einzigen Engpass erzwingen, den jede seiteneffektbehaftete Aktion durchlaufen muss, statt Aufrufstellen einzeln zu dekorieren; fail-closed, wenn eine Aktion ungeroutet ankommt.
Weitermachen
Patterns, Frameworks und Seiten durchsuchen.