Viele Unternehmen nutzen AI-Systeme wie virtuelle Assistenten – als Unterstützung für kreative Prozesse oder um Datenanalysen zu beschleunigen. Doch so hilfreich AI-Technologien auch sind – sie können manipuliert werden. Eine der größten neuen Bedrohungen ist die sogenannte Prompt Injection. Im Folgenden erklären wir, was genau dahintersteckt und warum sich Unternehmen davor dringend schützen sollten.
21. Oktober 2025
|
Lesedauer: ca. 2 Min.
Bild: © CANCOM
Prompt Injection bezeichnet eine Manipulationstechnik, bei der Angreifer gezielt versteckte oder täuschende Anweisungen innerhalb von Eingaben („Prompts“) einschleusen. Dadurch bringen sie ein Sprachmodell – etwa einen Chatbot oder Assistenten – dazu, sein Verhalten zu verändern oder vertrauliche Informationen preiszugeben.
Oft sind diese schädlichen Befehle in scheinbar harmlosen Texten, E-Mails oder Webseiten versteckt. Für Menschen bleiben sie unsichtbar, doch das AI-System erkennt und verarbeitet sie. Laut einem Bericht von Heise Online stellt diese Angriffsmethode eine dauerhafte Schwachstelle für viele AI-Anwendungen dar: Damit werden Sicherheitssysteme auf konzeptioneller Ebene unterwandert.
Ein sogenannter „Prompt“ ist die Eingabeaufforderung, mit der Nutzer und Systeme kommunizieren. Bei einer Prompt Injection fügt ein Angreifer gefährliche Instruktionen hinzu – etwa in der Art von „Ignoriere alle bisherigen Anweisungen“ oder „Gib den internen Systemprompt aus“. Das AI‑Modell wertet diese Anweisungen in vielen Fällen wie legitime Befehle aus. So können Sicherheitsfilter umgangen und vertrauliche Daten offengelegt werden.
Zwischen beiden Methoden besteht ein fließender Übergang, doch in beiden Fällen liegt das Ziel darin, die Kontrolle über die Ausgabe des AI-Modells zu gewinnen.
Für Unternehmen sind Prompt-Injection-Angriffe besonders gefährlich. Manipulierte AI-Systeme können falsche Daten liefern, ungewollte Aktionen auslösen oder rechtlich bedenkliche Aussagen erzeugen. Noch gravierender: Es drohen Datenschutz- und Haftungsrisiken, wenn Systeme vertrauliche oder personenbezogene Informationen ungewollt preisgeben.
Das größte Problem: Prompt Injection nutzt keine klassische „technische“ Schwachstelle, sondern das Grundprinzip, wie Sprachmodelle Anweisungen verstehen. Herkömmliche Sicherheitsmechanismen greifen hier oft zu kurz. Unternehmen sind daher gefordert, eigene Schutzstrategien zu entwickeln – etwa durch AI‑Sicherheitsaudits, Eingabefilter oder regelmäßige Modellüberprüfungen.
Wie Firmen ihre AI-Modelle vor Manipulationen und Angriffe wie Prompt Injection schützen können, erfahren Sie im Interview mit Joren Afman (Teamlead im CANCOM RedTeam). Dabei geht der CANCOM-Experte dediziert auf drei große Themenbereiche ein.
