Operative Kategorie
Observability
Wie man sieht, was passiert ist.
LLM-as-Judge
Ein LLM bewertet ein anderes LLM.
Ein Modell bewertet Ausgaben anhand von Kriterien, Rubriken oder vergleichenden Beispielen — entweder eine Ausgabe nach der anderen (pointwise) oder die bessere von zweien (pairwise, robuster gegen Skalendrift). Die Bewertung als Chain-of-Thought-Begründung vor einem formularbasierten Score zu strukturieren (das G-Eval-Paradigma) verbessert die Übereinstimmung mit menschlichen Urteilen.
Abwägung Skalierbare Evaluation wird auf Kosten von Unsicherheit und Kalibrierungsbedarf gewonnen.
Distributed Tracing
Spans über die gesamte Agentenschleife.
Agentenläufe, Tool-Aufrufe und Teilprozesse werden als zusammenhängende End-to-End-Traces sichtbar gemacht. Der herstellerübergreifende Standard sind die OpenTelemetry-GenAI-Semantikkonventionen (gen_ai.*-Span-Attribute), sodass ein einmal instrumentierter Lauf über Observability-Backends hinweg portabel ist; eine übliche Sampling-Strategie behält alle Fehler-Traces und nur einen kleinen Bruchteil der erfolgreichen.
Abwägung Tiefe Diagnosefähigkeit wird auf Kosten von Telemetrie- und Datenschutzverwaltungsaufwand erreicht. In Produktion unverzichtbar.
Token / Cost Tracking
Token und Kosten, pro Durchlauf, pro Agent, pro Knoten.
Token-Verbrauch, Modellkosten und toolbezogene Ausgaben werden pro Durchlauf, Agent oder Workflow gemessen. Die Messung ist nur nützlich, wenn etwas darauf reagiert: ein Kill-Switch (eine harte Budget-Obergrenze, die einen außer Kontrolle geratenen Durchlauf beendet, bevor ein Retry-Sturm die Rechnung vervielfacht) und das Caching von Zwischenergebnissen überführen die Metrik in ein Steuerungsinstrument.
Abwägung Bessere Budget-Kontrolle wird auf Kosten zusätzlichen Mess- und Aggregationsaufwands gewonnen.
Integration Tests for Agents
Wiederholbare End-to-End-Szenarien – Fixtures, Traces, Evals.
Agenten werden über realistische Szenarien, Tools, Speicher und Kontrollflüsse getestet. Da die Ausgabe nicht-deterministisch ist, prüfen Assertionen Verhaltenseigenschaften ('das Rückerstattungs-Tool höchstens einmal aufgerufen', 'im Budget geblieben', 'die außerhalb des Umfangs liegende Anfrage abgelehnt') statt exakter Zeichenketten, und skalieren im größeren Maßstab zu einer Simulationsumgebung, die Tausende synthetischer Szenarien wiedergibt.
Abwägung Höhere operative Sicherheit wird auf Kosten teurer Testdaten, Mocks und Evaluationslogik gewonnen.
Wohin als Nächstes