/pattern/statistical-guardrails/
Quantitative, modell-agnostische Prüfungen sitzen zwischen einem nicht-deterministischen Agenten und dem Nutzer und lehnen Ausgaben auf Basis statistischer Signale ab statt auf Basis von Schema oder Regeln: semantische Drift-Erkennung (Kosinus-Abstands-Z-Score von einer sicheren Baseline) und Confidence Gating (Shannon-Entropie der Token-Wahrscheinlichkeiten).
In der PraxisEin Medizininformations-Agent leitet jede generierte Antwort durch einen Kosinus-Abstands-Drift-Detektor; Antworten, die semantisch von der sicheren Antwort-Baseline abweichen, werden markiert und vor der Auslieferung an einen menschlichen Prüfer geleitet.
Ohne esOhne statistische Guardrails erreicht eine schema-valide, aber semantisch abgedriftete Antwort den Nutzer unmarkiert, weil strukturelle Validatoren nichts Falsches sehen und die Drift erst sichtbar wird, wenn eine Beschwerde sie aufdeckt.
Wann man dazu greift
Wann es nach hinten losgeht
Die Abwägung
Ein günstiges, modell-agnostisches Sicherheitsnetz wird auf Kosten von Schwellenwert-Kalibrierungsaufwand und falsch-positiven Ergebnissen gewonnen – eine neuartige, aber korrekte Antwort kann als Drift gelesen werden, und eine selbstsichere, falsche Antwort kann das Entropie-Gate passieren.
Ausgaben außerhalb statistischer Grenzen werden markiert.
Die Z-Score-Baseline wurde aus sicheren Antworten des letzten Quartals aufgebaut. Der Produktumfang hat sich erweitert, legitime neue Themen lesen sich jetzt als Drift, und der Guardrail lehnt korrekte Ausgaben ab.
Lösung · Baseline-Korpus bei Umfangsänderungen auffrischen und bei Spitzen der Ablehnungsrate alarmieren, damit eine abdriftende Schwelle erkannt wird, bevor sie echten Traffic blockiert.
Niedrige Token-Entropie liest sich als hohe Konfidenz, aber eine flüssige Halluzination ist genau das – selbstsicher und falsch. Das statistische Gate lässt sie passieren, weil Konfidenz nicht Korrektheit ist.
Lösung · Niedrige Entropie niemals als Wahrheitssignal behandeln. Confidence Gating mit einer Grounding- oder Verifikationsprüfung koppeln (Retrieval, ein Faktenprüf-Tool oder LLM-as-Judge), bevor der Ausgabe vertraut wird.
Weitermachen
Patterns, Frameworks und Seiten durchsuchen.