Wann man dazu greift
- Menschliche Evaluation skaliert werden muss.
- Qualitätskriterien sprachlich formuliert werden können.
- Regressionen in Agentenantworten erkannt werden müssen.
LLM-as-Judge.
Ein LLM bewertet ein anderes LLM.
Ein Modell bewertet Ausgaben anhand von Kriterien, Rubriken oder vergleichenden Beispielen — entweder eine Ausgabe nach der anderen (pointwise) oder die bessere von zweien (pairwise, robuster gegen Skalendrift). Die Bewertung als Chain-of-Thought-Begründung vor einem formularbasierten Score zu strukturieren (das G-Eval-Paradigma) verbessert die Übereinstimmung mit menschlichen Urteilen.
In der PraxisEine Kundenservice-Plattform lässt nächtlich ein GPT-4o-Judge-Modell über eine Stichprobe von 5 % der Agentenantworten laufen und kennzeichnet Antworten, die eine Ton-und-Genauigkeits-Rubrik nicht erfüllen, bevor sie im wöchentlichen Qualitätsbericht erscheinen.
Ohne esOhne automatisiertes Judge-Modell häufen sich semantische Regressionen — Antworten, die inhaltlich falsch, aber strukturell gültig sind — unerkannt an, da Schema-Validatoren und Log-Monitore keine Rubrik für Korrektheit oder Ton haben. Zum Anti-Pattern →
Wann es nach hinten losgeht
- Objektive Tests verfügbar sind.
- Das evaluierende Modell denselben Bias wie der Generator hat.
- Hohe rechtliche Bindungskraft erforderlich ist.
Die Abwägung
Skalierbare Evaluation wird auf Kosten von Unsicherheit und Kalibrierungsbedarf gewonnen.
Was es tatsächlich tut.
Ein Modell bewertet die Ausgabe eines anderen Modells.
Drei Wege, wie dieses Pattern Probleme verursachen kann.
Judge-Bias — das Evaluationsmodell teilt die Trainingsdaten des Generators
Das Judge-Modell wurde auf demselben Korpus wie der Generator trainiert. Es belohnt Antworten, die korrekt klingen, statt korrekt zu sein.
Lösung · Eine andere Modellfamilie für die Evaluation verwenden oder Scores auf überprüfbaren Tests (Testfälle, Regex, Datenbankabfragen) gründen.
Korrelierte Fehler — das Judge-Modell stimmt derselben Halluzination zu
Sowohl Generator als auch Judge-Modell halluzinieren denselben falschen Fakt. Das Judge-Modell vergibt eine hohe Punktzahl für eine falsche Antwort.
Lösung · Ein menschliches Kalibrierungsset ergänzen. Wenn Judge-Modell und Mensch nicht übereinstimmen, die Rubrik neu trainieren oder zu einem Nicht-LLM-Verifikator wechseln.
Positions-, Wortfülle- und Selbstpräferenz-Bias verzerren die Scores
Beim paarweisen Bewerten bevorzugt das Modell die zuerst genannte Antwort und belohnt längeren, selbstsicher klingenden Text; schlimmer noch, es bewertet die eigenen Generierungen höher als Menschen (Selbstpräferenz, korreliert mit Selbsterkennung).
Lösung · Beide Reihenfolgen mitteln, um Positions-Bias auszugleichen, auf Länge normalisieren und mit einer anderen Modellfamilie als der Generator bewerten. Gegen ein menschlich bewertetes Set kalibrieren.
Wo LLM-as-Judge nativ ist.
LangSmithLLM-as-Judge-Evaluatoren über DatensätzeNativ
OpenAI EvalsGrader + Eval-HarnessNativ
Microsoft Agent Frameworkeingebaute EvaluationNativ