„AI-Sicherheit ist Pflicht, nicht Kür“

CANCOM.info: AI-Technologien sind inzwischen fester Bestandteil vieler Geschäftsprozesse. Warum ist Sicherheit hier so ein kritisches Thema?

Joren Afman: Wenn ein AI-System kompromittiert wird, kann das schwerwiegende Folgen haben: Manipulierte Modelle treffen falsche Entscheidungen, fallen aus oder geben im schlimmsten Fall sensible Daten preis. Die Risiken betreffen also die drei Grundprinzipien der Informationssicherheit – Vertraulichkeit, Integrität und Verfügbarkeit. Werden diese Prinzipien von Unternehmen nicht ausreichend beachtet, kann das neben den genannten Folgen auch zu finanziellen Schäden durch Compliance-Verstöße und die Nichteinhaltung regulatorischer Anforderungen führen. Hinzu kommt ein möglicher betriebswirtschaftlicher Schaden: Wenn Kunden und Partner das Vertrauen verlieren, gefährdet das unmittelbar das Geschäft des betroffenen Unternehmens. AI-Sicherheit ist also weit mehr als nur ein IT-Problem.

CANCOM.info: Welche Angriffsarten auf AI-Systeme beobachten Sie aktuell am häufigsten?

Joren Afman: Eine Angriffsmethode, die derzeit häufig beobachtet wird, ist die sogenannte Prompt Injection. Das ist ein Angriff, bei dem manipulierte Benutzereingaben (Prompts) dazu verwendet werden, das AI-Modell zu unterlaufen und es beispielsweise dazu zu bringen, (sensible) Informationen preiszugeben. Besonders verbreitet und wirkungsvoll sind indirekte Prompt Injections – etwa über externe Datenquellen oder Schnittstellen, die von der AI genutzt werden. Ein Beispiel: Eine scheinbar harmlose E-Mail enthält versteckte Anweisungen im Textkörper. Wird diese in ein AI-gestütztes System eingespeist, kann sie das Modell dazu bringen, sensible Daten preiszugeben oder fehlerhafte Befehle auszuführen.Da viele Unternehmen ihre Modelle über öffentliche APIs bereitstellen, ist die Angriffsfläche insgesamt groß. Hacker scannen diese Endpunkte automatisiert und testen verschiedene Manipulationstechniken.

CANCOM.info: Was können Unternehmen konkret tun, um ihre AI-Systeme abzusichern?

Joren Afman: Es gibt erprobte Ansätze – entscheidend ist die konsequente Umsetzung. Prinzipiell kann man die wichtigsten Maßnahmen in drei Bereiche unterteilen. Erstens Zugriffskontrolle und Identitätsmanagement: Nach dem Zero-Trust-Prinzip wird keinem Zugriff grundsätzlich vertraut, sondern jeder einzelne Zugriff muss eindeutig verifiziert werden. Das bedeutet: Jede Person, jedes System und jede Anwendung muss sich klar ausweisen. Eine rollenbasierte Rechtevergabe stellt sicher, dass nur die für eine Aufgabe erforderlichen Befehle oder Daten verfügbar sind. Ergänzend greift das Least-Privilege-Prinzip: Systeme und Tools bekommen nur die minimal notwendigen Berechtigungen. So lassen sich Missbrauch und auch versehentliche Zugriffe auf sensible Informationen verhindern.

Zweitens Datensicherheit und Modellschutz: Ein zentraler Aspekt der Sicherheit von AI-Systemen ist der Schutz von Daten und Modellen. Trainingsdaten und Modelle müssen dabei sowohl „at rest“, also im Speicher, als auch „in transit“, also während der Übertragung, verschlüsselt werden, um unbefugten Zugriff zu verhindern. Zusätzlich sollten AI-Endpunkte ähnlich wie klassische Webanwendungen abgesichert werden, etwa durch Firewalls und bestimmte Mechanismen (z. B. Rate Limiting), die übermäßige oder schädliche Zugriffe begrenzen. Ebenso wichtig ist die Validierung von Eingaben, damit manipulierte Prompts oder Schadcode nicht unbemerkt verarbeitet werden. Auf der Ausgabeseite gilt es, Plausibilitätsprüfungen einzubauen, um zu verhindern, dass ein Modell unkontrolliert oder unethisch antwortet.

Und drittens Monitoring und kontinuierliche Tests: Alle Interaktionen mit dem Modell sollten protokolliert und in Echtzeit überwacht werden, um verdächtige Muster frühzeitig zu erkennen. Darüber hinaus ist es essenziell, durch gezielte Angriffssimulationen – also Red-Teaming – Schwachstellen aufzudecken. Je nach Risikoprofil sollten diese Tests mindestens alle zwei Jahre stattfinden, in besonders kritischen Umgebungen sogar deutlich häufiger. Um die Widerstandsfähigkeit der Modelle gegen Angriffe weiter zu erhöhen, können sie außerdem mit manipulierten Eingaben trainiert werden. Dieses Vorgehen, das auch als Adversarial Training bezeichnet wird, macht AI-Modelle widerstandsfähiger gegen Angriffe – erfordert allerdings einen erheblichen Aufwand.

CANCOM.info: Welche Rolle spielen bei diesen Sicherheitsmaßnahmen gesetzliche Vorgaben wie der EU AI Act oder die DSGVO?

Joren Afman: Eine sehr große. Unternehmen müssen Sicherheit, Nachvollziehbarkeit und Governance entlang des gesamten AI-Lebenszyklus gewährleisten – von der Entwicklung bis zur Nutzung. Ignorieren sie diese Anforderungen, riskieren sie nicht nur Sicherheitslücken, sondern auch hohe Bußgelder. Der regulatorische Druck macht deutlich: Sicherheit darf keine Kür sein, sondern muss von Anfang an ein fester Bestandteil jeder AI-Initiative sein.

CANCOM.info: Zum Abschluss: Was ist Ihr wichtigster Rat an Unternehmen, die AI einsetzen wollen?

Joren Afman: AI ist ein Innovationstreiber – aber auch ein neues Einfallstor für Angriffe. Unternehmen sollten Sicherheit deshalb nicht als Zusatz betrachten, sondern als Grundprinzip. Wer AI von Anfang an sicher denkt und kontinuierlich überprüft, macht sie zu einem verlässlichen Helfer statt zu einem Risiko.

Einen Überblick über die Security-Leistungen von CANCOM, wie das Red-Teaming, finden Sie hier.