Wann man dazu greift
- Der Agent so viele Tools hat, dass ihre Definitionen das Kontextfenster füllen.
- Zwischenergebnisse groß sind und nur ein gefilterter Teil zählt.
- Eine Aufgabe mehrere Tool-Aufrufe mit Schleifen oder Bedingungen verkettet.
Ein Programm ruft viele Tools auf; nur sein Ergebnis erreicht das Modell.
Tools werden dem Modell als Code-API angeboten statt als einzelne Tool-Definitionen; das Modell schreibt ein Programm, das mehrere Tools in einer Sandbox aufruft, und nur was das Programm ausgibt oder zurückgibt, gelangt in den Kontext des Modells.
In der PraxisEin Agent soll ein Meeting-Transkript aus einer Dokumentenablage an einen CRM-Datensatz hängen. Er schreibt ein Skript, das das Transkript holt und den Datensatz aktualisiert; das Transkript läuft nie durch das Modell.
Die Tools bleiben, wo sie sind; es ändert sich, wie das Modell sie erreicht. Es setzt nicht mehr einen Aufruf nach dem anderen ab, sondern schreibt ein Programm, und der Harness führt dieses Programm an einem sicheren Ort aus.
1 · Einrichten, einmal
2 · Bei jeder Aufgabe
| Abschnitt | Direkte Aufrufe | Als Programm |
|---|---|---|
| Tool-Definitionen | Alle im Kontext, von Anfang an | Zwei Dateien gelesen, bei Bedarf |
| Transkript holen | Das ganze Transkript kommt als Tool-Ergebnis in den Kontext | Es landet in einer Variablen in der Sandbox |
| Datensatz aktualisieren | Das Modell schreibt das Transkript als Argument noch einmal aus | Die Variable wird weitergereicht |
| Insgesamt | 150.000 Tokens | 2.000 Tokens |
import * as gdrive from "./servers/google-drive";
import * as salesforce from "./servers/salesforce";
// The transcript lives in a variable. It never enters the model's context.
const transcript = (await gdrive.getDocument({ documentId: "abc123" })).content;
await salesforce.updateRecord({
objectType: "SalesMeeting",
recordId: "00Q5f000001abcXYZ",
data: { Notes: transcript },
});
console.log("Transcript attached."); // the only line the model seesWann man dazu greift
Wann es nach hinten losgeht
Ein Tool-Aufruf tut eine Sache. Ein Programm kann Schleifen drehen, Tools kombinieren und Daten von einem System ins andere tragen; eine eingeschleuste Anweisung hat damit mehr Hebel.
Gegenmaßnahme
Das Programm in einer Sandbox ohne allgemeinen Netzzugang ausführen, nur die Tools freigeben, die die Aufgabe braucht, und Limits für Zeit und Ressourcen setzen.
Zwischenergebnisse bleiben in der Sandbox. Ein falscher Datensatz, eine Fehlermeldung oder eine Anweisung, die in einem Tool-Ergebnis versteckt ist, wird vom Programm verarbeitet und vom Modell nie gelesen.
Gegenmaßnahme
Im Code prüfen, wovon der nächste Schritt abhängt, ausgeben, was das Modell beurteilen muss, und jeden Tool-Aufruf am Harness protokollieren.
Weitermachen
Patterns, Frameworks und Seiten durchsuchen.