GLOSSAR
Prompt Injection
Prompt Injection bezeichnet die unerwünschte Steuerung einer KI durch Eingaben oder eingebundene Inhalte. Ein Risiko entsteht, wenn eine Anwendung Anweisungen aus einer fremden Webseite oder Datei wie einen autorisierten Arbeitsauftrag behandelt. Auch hilfreich wirkendes Material kann solche Anweisungen enthalten.
Recherche erweitert den Einflussbereich
Ein Vertriebsassistent könnte öffentliche Informationen über einen Zielkunden auswerten. Wird dabei eine Anweisung aus einer Quelle übernommen, kann sich die Bearbeitung vom ursprünglichen Auftrag entfernen. Mit zusätzlichen Werkzeugrechten steigt die mögliche Wirkung: Aus einer verfälschten Zusammenfassung könnte eine unzulässige Datenweitergabe oder Aktion werden.
Die Sicherheitsfrage betrifft deshalb den gesamten Ablauf. Externe Inhalte benötigen eine klare Herkunft und begrenzten Einfluss. Besonders folgenreiche Aktionen sollten an konkrete Rechte und überprüfbare Freigaben gebunden sein. Ein Warnsatz im Prompt allein ist kein belastbarer Schutz für diese Übergänge.
Reale Folgen als Prüfziel
Ein Red Team kann untersuchen, ob manipulierte Dokumente geschützte Daten oder unerlaubte Aktionen erreichbar machen. Dabei sind auch harmlose Varianten zu prüfen, damit notwendige Recherche weiterhin funktioniert. Regelprüfungen und geringe Werkzeugrechte können Folgen begrenzen. Bestandene Tests gelten für den geprüften Umfang; sie rechtfertigen keine Behauptung vollständiger Angriffssicherheit.