Operative Kategorie
Observability
Wie man sieht, was passiert ist.
LLM-as-Judge
Ein LLM bewertet ein anderes LLM.
Ein Modell bewertet Ausgaben anhand von Kriterien, Rubriken oder vergleichenden Beispielen — entweder eine Ausgabe nach der anderen (pointwise) oder die bessere von zweien (pairwise, robuster gegen Skalendrift). Die Bewertung als Chain-of-Thought-Begründung vor einem formularbasierten Score zu strukturieren (das G-Eval-Paradigma) verbessert die Übereinstimmung mit menschlichen Urteilen.
Abwägung Skalierbare Evaluation wird auf Kosten von Unsicherheit und Kalibrierungsbedarf gewonnen.
Distributed Tracing
Spans über die gesamte Agentenschleife.
Agentenläufe, Tool-Aufrufe und Teilprozesse werden als zusammenhängende End-to-End-Traces sichtbar gemacht. Der herstellerübergreifende Standard sind die OpenTelemetry-GenAI-Semantikkonventionen (gen_ai.*-Span-Attribute), sodass ein einmal instrumentierter Lauf über Observability-Backends hinweg portabel ist; eine übliche Sampling-Strategie behält alle Fehler-Traces und nur einen kleinen Bruchteil der erfolgreichen.
Abwägung Tiefe Diagnosefähigkeit wird auf Kosten von Telemetrie- und Datenschutzverwaltungsaufwand erreicht. In Produktion unverzichtbar: Anbieter wie Praktiker berichten übereinstimmend von deutlich kürzeren mittleren Diagnosezeiten, sobald durchgängige Traces vorhanden sind.
Token / Cost Tracking
Token und Kosten, pro Durchlauf, pro Agent, pro Knoten.
Token-Verbrauch, Modellkosten und toolbezogene Ausgaben werden pro Durchlauf, Agent oder Workflow gemessen. Die Metrik ist nur nützlich, wenn etwas darauf reagiert: ein Kill-Switch (eine harte Budget-Obergrenze, die einen außer Kontrolle geratenen Durchlauf beendet) und das Caching von Zwischenergebnissen überführen die Messung in ein Steuerungsinstrument. Variable Ausführungspfade erschweren die Kostenprognose, und ein einzelner Randfall, der eine Retry-Kette auslöst, kann ein Vielfaches eines normalen Durchlaufs kosten — die Obergrenze ist deshalb eine Absicherung, keine Optimierung.
Abwägung Bessere Budget-Kontrolle wird auf Kosten zusätzlichen Mess- und Aggregationsaufwands gewonnen.
Integration Tests for Agents
Wiederholbare End-to-End-Szenarien – Fixtures, Traces, Evals.
Agenten werden über realistische Szenarien, Tools, Speicher und Kontrollflüsse getestet. Da die Ausgabe nicht-deterministisch ist, prüfen Assertionen Verhaltenseigenschaften ('das Rückerstattungs-Tool höchstens einmal aufgerufen', 'im Budget geblieben', 'die außerhalb des Umfangs liegende Anfrage abgelehnt') statt exakter Ausgabe-Zeichenketten. Im größeren Maßstab wächst das zu einer Simulationsumgebung: Tausende synthetischer Szenarien werden gegen den Agenten abgespielt, um Randverhalten sichtbar zu machen, das eine Handvoll handgeschriebener Testfälle nie erreicht.
Abwägung Höhere operative Sicherheit wird auf Kosten teurer Testdaten, Mocks, Simulationsgerüste und Evaluationslogik gewonnen.
Wohin als Nächstes