Wann man dazu greift
- Gespräche oder Aufgaben das Kontextfenster überschreiten.
- Relevante Fakten über sehr lange Horizonte erhalten bleiben müssen.
- Sich im Laufe des Durchlaufs ändert, welche Informationen relevant sind.
Virtual Context Management.
Der Agent als eigener Speichermanager: Fakten wie ein Betriebssystem ein- und auslagern.
Der Agent behandelt sein endliches Kontextfenster wie RAM und einen externen Speicher wie eine Festplatte, wobei er Informationen unter eigener Kontrolle zwischen den Ebenen ein- und auslagert, um über Verläufe zu arbeiten, die weit größer als das Fenster sind.
In der PraxisEin Rechtsrecherche-Agent, der einen 200-seitigen Vertrag verwaltet, lagert frühe Klauselzusammenfassungen in einen externen Speicher aus und lädt sie nur dann wieder ein, wenn eine nachgelagerte Frage diesen Abschnitt referenziert.
Wann es nach hinten losgeht
- Die Aufgabe bequem in den Kontext passt.
- Ein einfaches Kürzen oder ein Zusammenfassungspuffer genügt.
- Die zusätzlichen LLM-Aufrufe für die Auslagerungsverwaltung nicht gerechtfertigt sind.
Die Abwägung
Effektiv unbegrenzter Speicher unter einem festen Fenster wird auf Kosten zusätzlicher Inferenzaufrufe für die Auslagerungsverwaltung und des Risikos gewonnen, etwas auszulagern, das der Agent später benötigt.
Was es tatsächlich tut.
Inhalte werden ein- und ausgelagert, um ins Kontextfenster zu passen.
Zwei Wege, wie dieses Pattern Probleme verursachen kann.
Der Agent lagert etwas aus, das er später benötigt
Selbst editierender Speicher bedeutet, dass der Agent entscheidet, was er verwirft. Unter Token-Druck kann er einen Fakt auslagern, der mehrere Schritte später kritisch wird, und dann einen Ersatz halluzinieren.
Lösung · Unveränderliche Fakten (Aufgabenziel, Einschränkungen, Identität) in einem nicht auslagerungsfähigen Bereich fixieren; die Auslagerung darf nur die frei verfügbare Ebene anfassen.
Erneutes Zusammenfassen bei jeder Auslagerung driftet von der Quelle ab
Jede Verdrängung komprimiert bereits komprimierten Inhalt. Nach vielen Zyklen ist die wieder eingelagerte Zusammenfassung eine Zusammenfassung einer Zusammenfassung, und Details mutieren oder kehren sich gegenüber dem ursprünglich Gesagten um.
Lösung · Lagere den wörtlichen Inhalt in den Speicher aus und fasse nur die residente Arbeitssicht zusammen; rufe das Original bei Bedarf ab, statt wiederholt neu zu komprimieren.
Wo Virtual Context Management nativ ist.
LettaMemGPT-Herkunft; OS-artiger gestaffelter Speicher.Nativ
Mem0Verwaltete Speicherschicht: Faktenextraktion, Zusammenfassung, Verdrängung.Nativ
ZepLangzeitspeicher mit progressiver Zusammenfassung.Nativ
LangChain / LlamaIndexBuffer / Summary / Entity Memory Module.Nativ
Weitermachen