02 · WorkflowGenerator-CriticCritique and ReviseEvaluate-Improve

Evaluator-Optimizer.
Generieren. Bewerten. Verbessern. Wiederholen.

Ein Generator produziert ein Ergebnis, ein Evaluator bewertet es anhand spezifischer Kriterien, und der Generator optimiert es auf Basis des Feedbacks.

Wann man dazu greift

Qualitätskriterien explizit formuliert werden können.
Iterative Verbesserung messbar ist.
Kreative Ausgaben eine rigorose Prüfung benötigen.

Wann es nach hinten losgeht

Der Evaluator keine zuverlässigen Signale liefern kann.
Schema-Validierung ausreicht.
Das Budget keine mehrfachen Durchläufe erlaubt.

Die Abwägung

Bessere Ausgabequalität wird gegen zusätzliche Evaluierungskomplexität und Latenz erkauft.

Das mentale Modell

Eine Form, die du auf eine Serviette zeichnen kannst.

Ein Optimizer generiert Entwürfe; ein externer Evaluator bewertet und gibt Feedback, bis der Schwellenwert erreicht ist.

Fallstricke

Zwei Wege, wie dieses Pattern Probleme verursachen kann.

Evaluator und Optimizer teilen denselben blinden Fleck

Beide Modelle übersehen denselben Sachfehler. Die Schleife konvergiert zu einer polierten, aber falschen Antwort.

Lösung · Eine andere Modellfamilie für den Evaluator verwenden oder die Bewertung auf externe Prüfungen stützen (Tests, Regex, Datenbankabfragen).

Optimierungsmetrik weicht von der Nutzerintention ab

Der Evaluator optimiert für BLEU-Score oder Länge, nicht für die tatsächlichen Qualitätskriterien des Nutzers. Die Ausgabe sieht gut aus, verfehlt aber den Punkt.

Lösung · Das Bewertungsraster des Evaluators mit Nutzeranforderungen abgleichen. Vor dem Einsatz mit menschlichen Bewertungen kalibrieren.