/perspective/determinism/

Grundlagen · Das Determinismus-Problem

Nochmal ausführen. Andere Antwort.Gleiche Eingabe. Keine Garantien.

Ein einzelner LLM-Aufruf ist ein Würfelwurf — dieselbe Rechnung zweimal eingegeben, einmal sauberes JSON, einmal kaputt, und nichts unterscheidet sie. Die Konsole unten ist echt. Ausführen — dann die Prüfung ergänzen.

Live-Konsole

Live · gleiche Eingabe, wiederholt×10 ausführen und zusehen, wie sich die Rate bei ca. 42 % einpendelt
Rechnung extrahieren · gleiche Eingabe, wiederholt

Eingabe · rechnung.txt

Rechnungsnr. INV-2024-0042, vom 12. März 2024. Gesamtbetrag: 1.234,50 EUR. Vielen Dank für Ihren Einkauf!

Zielschema

{ invoice_no, date (ISO), total (number), currency }

Modell-Ausgabe

// Ausführen drücken, um diesen Modus zu testen
bereit
0gültig
0ungültig
0 Läufe · Rate
beim ersten Versuch gültigungültig ausgeliefertnach Wiederholung gültig
SYMPTOM

Es klappt — dann nicht mehr

Die Demo lief durch, also wurde es ausgeliefert. Dann liefert dieselbe Eingabe etwas Kaputtes und die Produktion fällt an einem Dienstag aus.

URSACHE

Die Regeln stecken in der Prosa

Das Schema sitzt im Prompt, also entscheidet das Modell es bei jedem Aufruf neu — und nichts nachgelagert prüft das Ergebnis.

BabysitterEin Mensch muss dauerhaft im Loop bleiben.PrüferJedes Ergebnis braucht nachträgliche Kontrolle.Blind vertrauenAusgaben werden ungeprüft akzeptiert.
Die Lösung

Prüfen, wiederholen, dann ausliefern.

Den Würfel kann man nicht deterministisch machen — also hört man auf, einem einzelnen Wurf zu vertrauen. Konsole oben auf „+ Validator & Retry“ umschalten und erneut ausführen: jeder ungültige Wurf wird abgefangen und erneut geprompted, und die Rate klettert auf 100 %. Hier ist diese Schleife, eine Anfrage nach der anderen.

ONE REQUEST · REQUEST IN → VALID OUTPrompt✦ LLMKandidat →← Fehler zurückgespielt⚙ Prüfung (Code)senden
Bereit — Anfrage senden drücken, um den Ablauf zu beobachten.
Limit: 3 Versuche, dann Fehler melden
Hinweis

Dies ist kein Multi-Agenten-System. Die Prüfung ist ein paar Zeilen deterministischer Code — kein zweites Modell, keine Agenten, keine Übergaben. Es ist schlicht das Kleinstmögliche, das ein unzuverlässiges Modell in ein zuverlässiges Ergebnis verwandelt: generieren, prüfen, wiederholen.

Suche

Patterns, Frameworks und Seiten durchsuchen.