Wann man dazu greift
- Kosten begrenzt oder zugeordnet werden müssen.
- Agenten autonom Schleifen ausführen.
- Optimierung von Modellen und Patterns erforderlich ist.
Token / Cost Tracking.
Token und Kosten, pro Durchlauf, pro Agent, pro Knoten.
Token-Verbrauch, Modellkosten und toolbezogene Ausgaben werden pro Durchlauf, Agent oder Workflow gemessen. Die Messung ist nur nützlich, wenn etwas darauf reagiert: ein Kill-Switch (eine harte Budget-Obergrenze, die einen außer Kontrolle geratenen Durchlauf beendet, bevor ein Retry-Sturm die Rechnung vervielfacht) und das Caching von Zwischenergebnissen überführen die Metrik in ein Steuerungsinstrument.
In der PraxisEin autonomer Recherche-Agent sendet bei jedem LLM-Aufruf Token- und Kostentelemetrie und eine harte Pro-Durchlauf-Budget-Obergrenze beendet den Durchlauf, bevor ein selbst initiierter Retry-Sturm die Tagesrechnung verdreifacht.
Wann es nach hinten losgeht
- Prototypen ohne Budgetrelevanz laufen.
- Metriken nicht handlungsrelevant sind.
- Kosten außerhalb des Systems nicht erfasst werden können.
Die Abwägung
Bessere Budget-Kontrolle wird auf Kosten zusätzlichen Mess- und Aggregationsaufwands gewonnen.
Was es tatsächlich tut.
Jeder Modellaufruf wird an einem Budget gemessen.
Zwei Wege, wie dieses Pattern Probleme verursachen kann.
Kosten erst nach Erhalt der Rechnung entdeckt
Der Verbrauch wird am Monatsende aus der Anbieter-Rechnung berechnet. Eine außer Kontrolle geratene Schleife hat bereits ein Wochenbudget verbraucht, bevor jemand es bemerkt.
Lösung · Kosten bei jedem Span sofort emittieren. Harte Pro-Durchlauf-Obergrenzen im Harness setzen; das Überschreiten der Obergrenze als Korrektheitsfehler behandeln, nicht als Abrechnungsanliegen.
Kosten, die sich über gemeinsame Sub-Agenten nicht zuordnen lassen
Ein Supervisor verteilt auf Spezialisten und Tools, die alle auf ein Konto abrechnen. Die Summe ist sichtbar, aber man kann nicht sagen, welcher Agent, Mandant oder welches Feature die Ausgaben verursacht hat — also kann man nicht darauf reagieren.
Lösung · Jeden Modellaufruf am Span mit Durchlauf-, Agenten- und Mandanten-Kennungen versehen und Kosten entlang dieser Dimensionen aggregieren — nicht nur einen einzigen globalen Zähler.
Wo Token / Cost Tracking nativ ist.
OpenAI Usage APIsVerbrauch + Kosten pro AufrufNativ
LangSmithToken- + Kosten-Rollups pro DurchlaufNativ
Microsoft Agent FrameworkNutzungstelemetrieNativ
Google Cloud MonitoringKosten- + Nutzungs-DashboardsNativ
Weitermachen