/ladder/l4/

L4 · Produktion

Memory, Tools, Runtime, Governance, Evals.

Dies ist der Boden, auf dem jede andere Sprosse bereits stand. Wir präsentieren L4 zuletzt, weil sein Überspringen der häufigste Grund ist, warum Agenten-Prototypen beim ersten Kontakt mit dem Alltag sterben — konzeptionell ist es jedoch das Fundament, kein letzter Schritt.

Das Substrat

Jede Sprosse hat sich die ganze Zeit darauf gestützt.

L1, L2 und L3 schöpfen jeweils aus der operativen Schicht unter ihnen. Das Rückgrat ist L4; jedes Stockwerk darüber annotiert die L4-Patterns, von denen es abhängt.

L4 · PRODUKTIONMemory, Tools, Runtime, Governance, Observabilitynur L4 ·episodisch · Adapter · Aktormodell · Audit-Trail · KostenverfolgungL3 · MULTI-AGENTSpezialisten, Supervisoren, Schwärmenutzt L4 ·Speicher · A2A · HITL · TracingL2 · WORKFLOWSequenziell, Routing, parallel, Loopnutzt L4 ·DAG · Checkpointing · HITL · LLM-judgeL1 · EINZELAGENTReAct, Plan-and-Execute, Reflexionnutzt L4 ·Function Calling · MCP · Tool Registry · Sandbox

Anatomie

Woraus L4 besteht.

Fünf Schichten — Memory, Tools, Runtime, Governance, Observability — jede ein Teilbereich mit eigenen Primitiven, eigenen Fehlermodi und einer eigenen Antwort auf eine andere operative Frage.

  • Speicher · Was bestehen bleibt

    Arbeitszustand, Langzeitspeicher, Vektoren, Checkpoints.

    Die Teile, die über einen einzelnen Gesprächszug oder einen einzelnen Lauf hinaus bestehen. Konversations-, episodischer, semantischer und Arbeitsspeicher — jeweils mit eigenem Zugriffsmuster und Bleed-Risiko.

  • Tools · Wie das System handelt

    Registry, MCP, A2A, Sandboxen.

    Die Oberfläche, über die ein Agent in die Welt greift. Eine Registry katalogisiert Capabilities; MCP und A2A standardisieren den Transport; Sandboxen begrenzen den Schadensradius.

  • Runtime · Wie es läuft

    DAGs, Scheduler, Durable Execution, Retries.

    Was einen Workflow fortsetzbar, neu startbar und idempotent macht. Die Infrastrukturschicht, die einen Graphen zu einem Dienst macht.

  • Governance · Was es nicht tun wird

    HITL-Gates, Audit-Trails, Schema-Validierung.

    Die Einschränkungen, die entscheiden, was durchkommt und was gestoppt wird. Wo das System anderen Personen als seinen Betreibern Rechenschaft schuldet.

  • Observability · Wie du hineinschaust

    Traces, Evals, Judges, Kostenverfolgung.

    Die Telemetrie, die „es ist kaputt“ in eine Diagnose verwandelt. Ohne diese Schicht ist jede andere Schicht eine Blackbox.

Teilbereiche & Patterns

Fünf Schichten. 34 Patterns.

Jeder Teilbereich ist eine andere operative Frage — Memory, Tools, Runtime, Governance, Observability — und trägt die Produktionsmuster, die sie beantworten. Zusammen sind sie das, worauf sich L1, L2 und L3 die ganze Zeit gestützt haben.

Memory Architecture

Was bestehen bleibt.

Wie Konversationsverlauf, abgeschlossene Episoden und strukturiertes Wissen über Gesprächszüge, Läufe und Sitzungen hinweg gespeichert und abgerufen werden.

Wo L3-Systeme über Nutzer hinweg lecken und L2-Workflows veralteten Kontext anhäufen. Die Wahl zwischen geteiltem Scratchpad und Zustand pro Agent wird hier entschieden.

7patterns
  • Konversationsspeicher

    Der laufende Nachrichtenverlauf einer Sitzung, im Kontext gehalten, damit der Agent auf frühere Gesprächszüge verweisen kann.

    LangGraphOpenAI Agents SDKAutoGen / AG2Microsoft Agent Framework+1
  • Episodischer Speicher

    Abgeschlossene Aufgaben-Episoden — Eingabe, Plan, Ergebnis — persistiert, damit der Agent ähnliche Fälle abrufen kann.

    LangGraphCrewAIAutoGen / AG2
  • Semantischer / Vektor- / Graph-Speicher

    Langfristiges Faktenwissen, in einem Vektor- oder Graph-Store für Ähnlichkeitsabruf indiziert.

    LangGraphLlamaIndexMicrosoft Agent Framework
  • Arbeitsspeicher / Scratchpad

    Ein kurzlebiger Puffer pro Aufgabe, den der Agent beim Denken nutzt. Zwischen Läufen gelöscht.

    LangGraphOpenAI Agents SDKCrewAI
  • Virtuelles Kontext-Management

    Der Agent lagert Fakten zwischen einer residenten Kontextschicht und einem externen Store ein und aus, wie ein OS Seiten zwischen RAM und Festplatte.

    LettaMem0ZepLangChain / LlamaIndex
  • Recorder

    Erfasst jede Beobachtung und jedes Tool-Ergebnis, sodass ein Lauf deterministisch wiedergegeben werden kann.

    LangGraphLangSmith
  • Skill Build

    Extrahiert wiederholt genutzte Prozeduren in wiederverwendbare Skills, die der Agent namentlich aufrufen kann.

    Voyager-stylecustom

Tool Integration

Wie es handelt.

Die Oberfläche, über die der Agent in die Welt greift — Function Calling als Primitiv, MCP und A2A als Transport, Registries und Adapter für die Skalierung.

Jede L1-ReAct-Schleife und jeder L3-Spezialist sitzt irgendwann hinter einer Tool Registry. Ohne eine explodiert die Tool-Schnittstelle und die Auswahlgenauigkeit bricht zusammen.

8patterns
  • Tool Registry

    Ein zentraler Katalog von Tools samt Schemas, Berechtigungen und Versionen. Das Gegenmittel zur Tool-Explosion.

    LangGraphOpenAI Agents SDKMicrosoft Agent FrameworkGoogle ADK+1
  • A2A-Protokoll

    Agent-to-Agent — Googles offenes Protokoll für framework-übergreifende Agenten-Discovery und -Messaging.

    Google ADKMicrosoft Agent Framework
  • Adapter-Pattern

    Umhüllt eine Legacy-API oder -Bibliothek mit einer dünnen, werkzeugförmigen Schnittstelle, die das Modell aufrufen kann.

    All
  • Capability Routing

    Wählt das aufzurufende Tool nach Capability-Tag statt nach Namen. Entkoppelt Aufrufer und Anbieter.

    LangGraphMicrosoft Agent Framework
  • Berechtigungsbeschränkte Tools

    Tools, die ein explizites Berechtigungs-Tag tragen, das am Harness erzwungen wird, nicht am Prompt.

    LangGraphOpenAI Agents SDK
  • Agentic RAG

    Der Agent entscheidet, ob, wann und wie er abruft — Anfragen umformuliert und Ergebnisse benotet — statt einmal bedingungslos abzurufen.

    LangGraphLlamaIndex

Runtime Architecture

Was es ausfallsicher macht.

Die Infrastruktur, die einen Graphen zu einem Dienst macht: DAG-Ausführung, Checkpointing, Retries, Actor-Mailboxes, Event-Busse.

L2-Workflows sterben ohne Checkpointing. L3-Multi-Agenten-Systeme können ohne ein Actor-Modell oder ein Pub/Sub-Mesh nicht skalieren. Produktion verlangt Fortsetzbarkeit.

6patterns
  • Actor-Modell

    Jeder Agent ist ein Actor mit eigener Mailbox und eigenem Supervisor — Nebenläufigkeit ohne geteilten Zustand.

    RayAkka-stylecustom
  • Ereignisgesteuerte Choreografie

    Agenten veröffentlichen Ereignisse an einen Bus; Subscriber reagieren. Kein zentraler Orchestrator entscheidet.

    KafkaNATSAWS Strands
  • Saga / Kompensation

    Langlaufende mehrstufige Aktionen mit expliziten Kompensations-Handlern für Teilausfälle.

    LangGraphTemporal
  • Pub/Sub-Agenten-Mesh

    Agenten entdecken einander über einen Broker; Nachrichten routen nach Topic.

    KafkaNATScustom

Governance & Sicherheit

Was es nicht tun wird.

Die Einschränkungen, Gates und Validatoren, die entscheiden, was durchkommt und was gestoppt wird. Die Schicht, die anderen Personen als den Betreibern Rechenschaft schuldet.

HITL-Gates pausieren für Freigabe. Sandboxen begrenzen den Schadensradius. Schema-Validierung weist fehlerhaften Zustand zurück. Audit-Trails machen jede Entscheidung unbestreitbar.

9patterns
  • Sandbox Execution

    Nicht vertrauenswürdiger Code läuft in einer versiegelten Umgebung, sodass Seiteneffekte nicht entkommen können. Wo CodeAct tatsächlich ausgeführt wird.

    PyodidegVisorDockerE2B
  • Output-Validierung / Schema-Erzwingung

    Pydantic-artige Validierung an jeder Knotenausgabe. Bei Schema-Fehler zurückweisen und erneut versuchen; nie korrupten Zustand erben.

    LangGraphPydantic AIAll
  • Least-Privilege-Agent

    Jeder Agent erhält die minimale Tool-Schnittstelle, die seine Rolle erfordert. Das Gegenmittel gegen Berechtigungswucherung.

    All
  • Audit-Trail

    Append-only-Log jeder Entscheidung, jedes Tool-Calls und jeder Nachricht. Über die Zeit unbestreitbar.

    LangSmithcustom
  • Controller

    Prüft die Aktionen des Agenten gegen Richtlinien. Stoppt oder modifiziert Aufrufe, die Regeln verletzen.

    LangGraphcustom
  • Integrator

    Sammelt und harmonisiert Ausgaben mehrerer Spezialisten vor der nachgelagerten Weitergabe.

    LangGraphcustom
  • Multimodale Guardrails

    Filter und Klassifikatoren auf Ein- und Ausgaben über Text-, Bild- und Audio-Modalitäten hinweg.

    Llama GuardNeMo Guardrailscustom
  • Statistische Guardrails

    Numerische Zurückweisen/Zulassen-Gates: z-Score der Cosinus-Distanz für semantische Drift, Token-Entropie zum Erkennen von Fabuliertem bei niedriger Konfidenz.

    customNeMo GuardrailsGuardrails AI

Observability & Evaluation

Wie du hineinschaust.

Die Telemetrie, die „es ist kaputt“ in eine Diagnose verwandelt: Traces, Judges, Evals, Kostenabrechnung. Der Unterschied zwischen einem debugbaren System und einem, das du nur erneut ausführen kannst.

Ohne Distributed Tracing ist jeder L3-Fehler Archäologie. Ohne Evals kannst du nicht sagen, ob eine Prompt-Änderung die Dinge besser oder schlechter gemacht hat.

4patterns
  • Token-/Kostenverfolgung

    Token- und Dollar-Abrechnung pro Aufruf. Budgets auf Harness-Ebene erzwungen, nicht im Nachhinein.

    LangSmithAll
  • Integrationstests für Agenten

    Wiederabspielbare Test-Suiten, die den Agenten end-to-end gegen Fixtures und aufgezeichnete Traces durchspielen.

    LangSmithPromptfoo

Anti-Patterns

Wie diese Sprosse schiefgeht.

  • #03

    SQLite Under Concurrency

    SymptomSchreibsperren serialisieren alles. Timeouts unter Last. Sitzungen vermischen sich.

    BehebungAsyncPostgresSaver. Thread-IDs als user×session zusammensetzen.

  • #07

    Cascading Security Failures

    von L3

    SymptomEin vergiftetes Dokument in einem gemeinsamen Index kontaminiert jeden nachgelagerten Konsumenten. Prompt-Injection propagiert über Übergaben.

    BehebungJede Agent-zu-Agent-Nachricht als Vertrauensgrenze behandeln. Wissensdatenbanken nach Vertrauensniveau partitionieren.

Frameworks

Worauf du das aufbaust.

Vertiefung

Die letzte Sprosse ist auch das Rückgrat.

Du bist gerade die Leiter hinaufgeklettert, und die Sprosse an der Spitze fungiert zugleich als das Rückgrat, das an der Seite jeder Sprosse darunter hinabläuft. Jeder L1-Agent, den du geschrieben hast, hat bereits Patterns aus L4 gezogen: Er hielt Arbeitsspeicher in einem Kontextfenster, rief Tools über irgendeine Art von Registry auf, lief auf einer Runtime und — wenn du sorgfältig warst — gab Traces aus. Die fünf Teilbereiche, die auf dieser Seite benannt sind, sind kein neues Terrain; sie sind das, worauf sich L1, L2 und L3 die ganze Zeit gestützt haben.

Die Leiter präsentiert L4 zuletzt aus einem einzigen didaktischen Grund: Sein Überspringen ist die häufigste Ursache dafür, dass Agenten-Prototypen beim Kontakt mit der Produktion sterben. Ein Leser, dem zuerst von L4, aber nicht von L1 erzählt wird, hat kein konkretes System, in dem Produktionsbelange zählen. Ein Leser, der ein L3-Multi-Agenten-System ohne Memory Architecture, Sandboxen, HITL-Gates oder Distributed Tracing gebaut hat, wird auf die harte Tour lernen, dass das Rückgrat immer tragend war.

Es gibt kein „L5“. Die Aufgabe von L4 ist es, die operative Disziplin dieser Schicht seitwärts in L1, L2 und L3 zu tragen — Memory Architecture, Tool-Schnittstellen, Runtime-Garantien, Governance und Observability vom ersten Prompt an als Belange des Systems zu behandeln, nicht als Belange, die man anbaut, sobald es in einer Demo funktioniert. Die Disziplin, Produktion als Rückgrat zu behandeln, das jede Sprosse berührt, ist es, die den Alltag überlebt.

Du hast den Boden erreicht

Die Leiter ist keine Hierarchie — sie ist ein Kreislauf.

L4 ist nicht der Gipfel; es ist der Boden, auf dem jede andere Sprosse steht. Ein Produktionssystem verwebt alle vier: eine L1-Schleife, verdrahtet in L2-Fluss, koordiniert als L3-Spezialisten, laufend auf dem L4-Substrat. Steige wieder hinab und lies jede Sprosse im Wissen, was sie trägt.

Zurück zu L1 — Einzelagent

Quellen

Wo diese Sprosse zuerst niedergeschrieben wurde.

Die L1–L4-Leiter ist ein didaktisches Konstrukt dieses Projekts — eine Art, den Katalog zu ordnen, kein externes Modell. Ihr Workflow-vs-Agent-Schnitt (L2↔L3) folgt Anthropics Building Effective Agents (2024); die Patterns jeder Sprosse tragen ihre eigenen Primärquellen.

Suche

Patterns, Frameworks und Seiten durchsuchen.