Quantitative, modell-agnostische Prüfungen sitzen zwischen einem nicht-deterministischen Agenten und dem Nutzer und lehnen Ausgaben auf Basis statistischer Signale ab statt auf Basis von Schema oder Regeln. Zwei einander ergänzende Prüfungen: Die semantische Drift-Erkennung bettet jede Antwort ein und misst ihren Kosinus-Abstand zu einer Menge „sicherer“ Baseline-Beispiele; Ausreißer markiert sie per Z-Score (Themenabweichung, Persona-Wechsel, wahrscheinliche Halluzination oder Toxizität). Das Confidence Gating berechnet die Shannon-Entropie der Wahrscheinlichkeiten der erzeugten Token — hohe Entropie heißt, dass das Modell unter vielen unwahrscheinlichen Token geraten hat, ein Indiz für unsichere oder erfundene Antworten.
In der PraxisEin Medizininformations-Agent leitet jede generierte Antwort durch einen Kosinus-Abstands-Drift-Detektor; Antworten, die semantisch von der sicheren Antwort-Baseline abweichen, werden markiert und vor der Auslieferung an einen menschlichen Prüfer geleitet.
Ohne esOhne statistische Guardrails erreicht eine schema-valide, aber semantisch abgedriftete Antwort den Nutzer unmarkiert, weil strukturelle Validatoren nichts Falsches sehen und die Drift erst sichtbar wird, wenn eine Beschwerde sie aufdeckt.
Wann man dazu greift
Wann es nach hinten losgeht
Die Abwägung
Ein günstiges, modell-agnostisches Sicherheitsnetz wird auf Kosten von Schwellenwert-Kalibrierungsaufwand und falsch-positiven Ergebnissen gewonnen – eine neuartige, aber korrekte Antwort kann als Drift gelesen werden, und eine selbstsichere, falsche Antwort kann das Entropie-Gate passieren.
Ausgaben außerhalb statistischer Grenzen werden markiert.
Die Z-Score-Baseline wurde aus sicheren Antworten des letzten Quartals aufgebaut. Der Produktumfang hat sich erweitert, legitime neue Themen lesen sich jetzt als Drift, und der Guardrail lehnt korrekte Ausgaben ab.
Lösung · Baseline-Korpus bei Umfangsänderungen auffrischen und bei Spitzen der Ablehnungsrate alarmieren, damit eine abdriftende Schwelle erkannt wird, bevor sie echten Traffic blockiert.
Niedrige Token-Entropie liest sich als hohe Konfidenz, aber eine flüssige Halluzination ist genau das – selbstsicher und falsch. Das statistische Gate lässt sie passieren, weil Konfidenz nicht Korrektheit ist.
Lösung · Niedrige Entropie niemals als Wahrheitssignal behandeln. Confidence Gating mit einer Grounding- oder Verifikationsprüfung koppeln (Retrieval, ein Faktenprüf-Tool oder LLM-as-Judge), bevor der Ausgabe vertraut wird.
Weitermachen
Patterns, Frameworks und Seiten durchsuchen.