Prompt Injection
- Eingabe / Prompt
Gezielt gestaltete Eingaben überschreiben die Anweisungen des Modells — direkt oder über vergiftete Inhalte, die der Agent liest (indirekte Injection).
Was es ist
Eine Prompt-Injection-Schwachstelle ist eine unbeabsichtigte Änderung im Verhalten oder in der Ausgabe des Modells, ausgelöst durch gezielt gestaltete Eingaben. Sie unterscheidet sich vom Jailbreaking im Umfang: Jailbreaking zielt gezielt auf die Sicherheitsmechanismen eines Modells ab, während Prompt Injection die umfassendere Klasse unbeabsichtigter Verhaltensänderungen bezeichnet, unabhängig davon, ob Sicherheit das Ziel ist. Retrieval-Augmented Generation und Fine-Tuning verbessern die Relevanz, schließen die Lücke aber nicht, da die Schwachstelle darin liegt, wie das Modell Text interpretiert, nicht darin, womit es trainiert wurde. Agentische und multimodale Systeme vergrößern die Angriffsfläche erheblich: Ein Agent, der Tool-Ausgaben, Webinhalte oder Bilder liest, behandelt jeden davon als potenziellen Anweisungskanal, und Abwehrmaßnahmen, die nur Text filtern, übersehen Angriffe, die in andere Modalitäten eingebettet sind.
Arten
- Direkte Injektion
- Der eigene Prompt der angreifenden Person versucht, die Anweisungen des Systems direkt zu überschreiben — absichtlich, um Schutzmaßnahmen zu umgehen, oder unabsichtlich, wenn eine gewöhnliche Eingabe unerwartetes Verhalten auslöst.
- Indirekt
- Das Modell übernimmt Anweisungen, die in abgerufenen Inhalten eingebettet sind — einer Webseite, einem Dokument, einem Tool-Ergebnis — und folgt ihnen, als hätte die nutzende Person sie selbst eingegeben, ohne den eingeschleusten Text je zu sehen.
- Multimodal
- Anweisungen werden in einem Nicht-Text-Kanal versteckt — einem Bild, Audio oder unauffälligem Text in Kombination mit feindlichem Inhalt — und umgehen so Schutzmaßnahmen, die nur Text filtern.
Angriffsszenarien
Das Ergebnis eines Websuche-Tools enthält eine versteckte Anweisung, der ein Recherche-Agent folgt, als käme sie vom Nutzer — und ändert so still die nächste Aktion des Agenten.
Umgehung des Support-Bots
Angreifende schleusen eine gestaltete Eingabe in einen Kundensupport-Chatbot ein, die dessen Richtlinien überschreibt, ihn dazu verleitet, private Daten abzufragen, und ihn veranlasst, in ihrem Auftrag E-Mails zu versenden.
Vergiftete Webseiten-Zusammenfassung
Ein LLM, das eine Webseite zusammenfassen soll, verarbeitet eine darin verborgene Anweisung, die es veranlasst, ein Bild einzufügen, dessen URL die Konversation still exfiltriert.
Aufgeteilter Payload in einem Lebenslauf
Angreifende laden einen Lebenslauf mit einer bösartigen Anweisung hoch, die über mehrere Abschnitte verteilt ist; einzeln unauffällig, verbinden sich die Fragmente, sobald das Modell das gesamte Dokument liest, und verzerren dessen Bewertung.
Multimodale Bild-Injektion
Eine in einem Bild versteckte Anweisung, kombiniert mit unauffälligem Begleittext, verändert das Verhalten des Modells — ein Kanal, den die meisten reinen Text-Filter nie prüfen.
Abwehrmaßnahmen
- Modellverhalten begrenzen
- Geben Sie dem Modell im System Prompt explizite Rollenanweisungen, binden Sie es an seine definierte Aufgabe und weisen Sie es an, Versuche zur Änderung seiner eigenen Anweisungen zurückzuweisen — dieselbe Disziplin, die auch hinter Least Privilege Agent steht.
- Ausgabeformate validieren
- Legen Sie das erwartete Ausgabeformat fest, verlangen Sie vom Modell, seine Quellen oder seine Begründung anzugeben, und prüfen Sie jede Antwort mit deterministischem Code gegen dieses Format, statt ihr standardmäßig zu vertrauen.
- Externe Inhalte trennen und kennzeichnen
- Kennzeichnen Sie nicht vertrauenswürdige Inhalte — Tool-Ergebnisse, abgerufene Dokumente, Webseiten — als von den eigenen Anweisungen der nutzenden Person getrennt, damit das Modell und jede nachgelagerte Guardrail sie unterschiedlich gewichten können.
- Menschliche Freigabe verlangen
- Sichern Sie risikoreiche Vorgänge hinter einem HITL Approval Gate ab, sodass eine erfolgreiche Injektion trotzdem ohne menschliche Freigabe nicht handeln kann.