Wann man dazu greift
- Das Anfragevolumen hoch ist und gemischte Schwierigkeiten aufweist.
- Kosten eine erstrangige Einschränkung sind.
- Ein günstigeres Modell einen nennenswerten Anteil des Traffics ohne Qualitätsverlust bewältigt.
Resource-Aware Optimization.
Nach Schwierigkeit routen. Für das bezahlen, was die Aufgabe braucht.
Ein Router bewertet die Komplexität jeder Anfrage und leitet sie an das günstigste Modell weiter, das die Qualitätsschwelle noch erfüllt — unter expliziten Token-, Zeit- und Kostenbudgets, mit Prompt-Caching und Modell-Kaskaden.
Wann es nach hinten losgeht
- Jede Aufgabe das beste Modell benötigt.
- Das Komplexitätsraster instabil ist — Fehlrouting-Kosten übersteigen die Einsparungen.
- Die Latenz eines zusätzlichen Routing-Hops inakzeptabel ist.
Die Abwägung
Große Kosteneinsparungen werden gegen den Aufwand des Abstimmens und kontinuierlichen Validierens des Komplexitätsrasters erkauft.
Eine Form, die du auf eine Serviette zeichnen kannst.
Ein Router bewertet die Anfragekomplexität und leitet an das günstigste Modell weiter, das die Qualitätsschwelle erfüllt; eine fehlgeschlagene Qualitätsprüfung kaskadiert zu einem stärkeren Modell hoch.
Drei Wege, wie dieses Pattern Probleme verursachen kann.
Routing auf Basis der eigenen Konfidenz des Modells
Das LLM nach 'wie sicher bist du, 1–10?' zu fragen, um das Routing zu entscheiden, ist halluzinationsanfällig und instabil; der Router selbst wird zum schwächsten Glied.
Lösung · Komplexität mit einem deterministischen/statistischen Klassifizierer bewerten (Länge, Aufgabentyp, historische Schwierigkeit) und Routen gegen ein Qualitätssignal statt selbst gemeldeter Konfidenz validieren.
Stille Qualitätserosion auf dem günstigen Pfad
Sobald der Großteil des Traffics an das günstige Modell weitergeleitet wird, bleiben Regressionen dort unbemerkt — niemand überwacht den günstigen Pfad.
Lösung · Ausgaben des günstigen Pfads kontinuierlich sampeln und evaluieren (Golden Tests / LLM-as-judge) und auf das starke Modell zurückfallen, wenn die Qualitätsschwelle verfehlt wird.
Ein Raster, das mit der Modellflotte veraltet
Ein Komplexitätsraster, das für ein Modellpaar abgestimmt wurde, leitet stillschweigend falsch weiter, sobald ein neues, günstigeres Modell dem alten teuren entspricht — oder eine Preisänderung die Kostenrechnung umkehrt.
Lösung · Das Raster an einem festen Evaluierungsset verankern und bei jeder Änderung der Modellflotte oder der Preise neu benchmarken; das Raster als versionierte Konfiguration behandeln, nicht als Konstante.
Wo Resource-Aware Optimization nativ ist.
RouteLLMpräferenztrainierter Router über ein Paar aus günstigem und starkem ModellNativ
OpenRouterModell-Routing auf Gateway-EbeneAnpassbar
Weitermachen