04 · ProductionObservability & EvaluationAgent TracingEnd-to-End TraceSpan-based Observability

Distributed Tracing.
Spans über die gesamte Agentenschleife.

Agentenläufe, Tool-Aufrufe und Teilprozesse werden als zusammenhängende End-to-End-Traces sichtbar gemacht. Der herstellerübergreifende Standard sind die OpenTelemetry-GenAI-Semantikkonventionen (gen_ai.*-Span-Attribute), sodass ein einmal instrumentierter Lauf über Observability-Backends hinweg portabel ist; eine übliche Sampling-Strategie behält alle Fehler-Traces und nur einen kleinen Bruchteil der erfolgreichen.

In der PraxisEin mehrstufiger Recherche-Agent emittiert OpenTelemetry-Spans für jeden Tool-Aufruf und Sub-Agenten-Aufruf, sodass ein Bereitschaftsingenieur genau feststellen kann, welcher Abrufschritt eine P99-Latenzspitze verursacht hat.

Wann man dazu greift

  • Mehrere Komponenten zu einer Antwort beitragen.
  • Fehlerursachen und Latenzen analysiert werden müssen.
  • Produktionsbetrieb kontinuierliches Monitoring erfordert.

Wann es nach hinten losgeht

  • Das System minimal und lokal bleibt.
  • Trace-Daten ungeschützte Datenschutzrisiken erzeugen.
  • Telemetriekosten den Nutzen übersteigen.

Die Abwägung

Tiefe Diagnosefähigkeit wird auf Kosten von Telemetrie- und Datenschutzverwaltungsaufwand erreicht. In Produktion unverzichtbar: Anbieter wie Praktiker berichten übereinstimmend von deutlich kürzeren mittleren Diagnosezeiten, sobald durchgängige Traces vorhanden sind.

Die Wirkung

Was es tatsächlich tut.

Jeder Schritt sendet einen Span in einen durchgehenden Trace.

spantracespan 1span 2span 3
Fallstricke

Zwei Wege, wie dieses Pattern Probleme verursachen kann.

Token-überflutete Traces

Jeder LLM-Aufruf schreibt seinen vollständigen Prompt und die Antwort in den Trace. Speicherkosten explodieren und die Trace-Ansicht wird unbrauchbar.

Lösung · Vollständige Payloads bei 1 % samplen. Für den Rest nur Token-Anzahl, Latenz und Modellname protokollieren. Prompts bei Bedarf zusammenfassen.

Trace-IDs überleben Tool-Grenzen nicht

Der Agent übergibt eine Trace-ID an ein Tool, aber das Tool ruft einen anderen Dienst auf, der eine eigene ID generiert. Der verteilte Trace bricht ab.

Lösung · Trace-Kontext über Standard-Header (z. B. W3C traceparent) weitergeben. Tools ablehnen, die die Trace-ID nicht weiterleiten.

Framework-Unterstützung

Wo Distributed Tracing nativ ist.

OpenAI Agents SDKeingebautes TracingNativ
LangSmith / LangGraphRun-Trees + Span-ExportNativ
Microsoft Agent FrameworkOpenTelemetry-ExportNativ
AWS X-RayDistributed-Trace-BackendNativ
Google Cloud Traceverwaltetes Trace-BackendNativ

Suche

Patterns, Frameworks und Seiten durchsuchen.