Sicherheit und Resilienz generativer KI: Akademische Forschung zeigt, dass Governance-Rahmenwerke hinter der Einsatzgeschwindigkeit zurückbleiben

Einleitung

Am 2. Juni 2025 veröffentlichte die peer-reviewte Fachzeitschrift Frontiers in Artificial Intelligence einen Übersichtsartikel mit dem Titel „Generative AI cybersecurity and resilience“. Die Autoren stammen aus dem Department of Computer Science der Universität Oxford, dem Alan Turing Institute, Cisco Systems und der Keele University. Die Studie verwendet eine PRISMA-gestützte systematische Literaturübersicht und kombiniert thematische mit quantitativer Analyse, um ein Rahmenwerk für den verantwortungsvollen Einsatz generativer KI über fünf Lebenszyklusphasen hinweg vorzuschlagen.

Die Kernaussage dieses Artikels betrifft nicht die Modellleistung, sondern die Governance-Lücke: Generative Systeme werden deutlich schneller eingeführt, als institutionelle Sicherheits- und Compliance-Absicherungen ausgereift sind; die daraus entstehende „Schatten-KI“ (shadow AI) wird zu einer neuen Risikoquelle. Für Sicherheitsverantwortliche in Unternehmen, die große Modelle in Geschäftsprozesse integrieren, liegt der Wert darin, die Diskussion von „Was kann das Modell?“ zurück zu „Kann die Organisation es kontrollieren?“ zu verlagern.

Studienüberblick

• Zeitschrift und Datum: Frontiers in Artificial Intelligence, 2. Juni 2025, Band 8, DOI: 10.3389/frai.2025.1568360
• Rubrik und Themenschwerpunkt: AI for Human Learning and Behavior Change, Teil des Forschungsschwerpunkts „AI and Resilience“
• Institutionen der Autoren: Department of Computer Science der Universität Oxford und Alan Turing Institute (Petar Radanliev), Cisco Systems (Omar Santos), School of Computer Science and Mathematics der Keele University (Uchenna Daniel Ani)
• Herausgeberschaft und Begutachtung: Kaushik Das (Herausgeber); Dimiter Velev, Janika Leoste (Gutachter)
• Art der Studie: Übersichtsartikel; Methodik: PRISMA-gestützte Literaturübersicht, ergänzt durch thematische und quantitative (bibliometrische) Analyse
• Zentrales Ergebnis: Fünfphasen-Governance-Rahmen (Design, Implementierung, Monitoring, Compliance, Feedback)
• Anwendungsausrichtung: Der Artikel richtet seine Schlussfolgerungen auf ethisch vertretbare und sichere Wege für den KI-Einsatz in nationalen kritischen Infrastrukturen

Es ist anzumerken, dass es sich um eine akademische Übersichtsarbeit handelt, nicht um einen Incident-Response-Bericht, und dass sie weder Vorfallstatistiken noch Verlustdaten für bestimmte Branchen liefert. Daher konzentriert sich das Folgende auf die vorgeschlagene Risikostruktur und das Governance-Rahmenwerk und nicht auf Einzelfallberichte. Informationsquelle: https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2025.1568360/full

Technologie- und Risikoanalyse

#### Die technische Basis bestimmt die RisikoformDas Papier weist darauf hin, dass der grundlegende Unterschied zwischen generativer KI und traditionellen algorithmischen Verfahren in ihrer Fähigkeit liegt, eigenständig neue Inhalte zu synthetisieren. Auf technischer Ebene verbessern Generative Adversarial Networks (GAN) durch das iterative Nullsummenspiel von Generator und Diskriminator die Ausgabequalität; Variational Autoencoder (VAE) kodieren die Datenverteilung in einen niedrigdimensionalen latenten Raum und sampeln aus diesem Raum, um neue Beispiele zu generieren. Diese Fähigkeit beschränkt sich nicht mehr auf traditionelle Datenausgabe, sondern kann Inhalte von hochauflösenden Bildern bis hin zu kontextreichen natürlichen Sprachtexten synthetisieren, die oft kaum von menschlichen Schöpfungen zu unterscheiden sind.

Das Papier arbeitet zugleich die Unterschiede zwischen generativen und diskriminativen Modellen heraus. Diese Unterscheidung hat praktische Bedeutung für Unternehmen: Diskriminative Modelle werden üblicherweise zur Klassifizierung und Entscheidungsfindung eingesetzt, generative Modelle zur Konstruktion von Inhalten, Code und synthetischen Daten; beide unterscheiden sich hinsichtlich Angriffsfläche, Prüfmethoden und Datenabhängigkeit.

#### Angriffsfläche: Von Data Poisoning bis Deepfakes

Das Papier fasst die durch generative KI eingeführten Sicherheitsrisiken in mehrere Kategorien zusammen:

• Skalierung automatisierter Angriffe: Generative KI kann automatisch Code generieren und komplexere Phishing-Inhalte erstellen, wodurch Umfang und Komplexität von Angriffen steigen.
• Automatisierte Verbreitung von Desinformation: Mithilfe von Generierungsfähigkeiten können falsche Narrative schnell verbreitet werden, was die Erkennung und Eindämmung erheblich erschwert.
• Deepfakes: GAN-basierte Audio- und Video-Fälschungen haben ein hohes Maß an Realismus erreicht und gefährden Informationsintegrität und öffentliches Vertrauen.
• Algorithmische Voreingenommenheit: In Trainingsdaten enthaltene Verzerrungen werden unbeabsichtigt weitergegeben und können in Entscheidungssystemen zu diskriminierenden Ergebnissen führen.
• Privatsphäre und Re-Identifikation: Die für das Fine-Tuning großer Modelle benötigten riesigen Datensätze enthalten häufig sensible Informationen, was Fragen zu Dateneigentum, Wirksamkeit der Einwilligung und der Möglichkeit der Re-Identifikation in anonymisierten Datensätzen aufwirft.

Das Papier erwähnt insbesondere, dass zwischen diesen Technologien und bestehenden Rechtsrahmen wie der Datenschutz-Grundverordnung (DSGVO) eine anhaltende Spannung besteht und es adaptiverer, stärker kontextbezogener Governance-Mechanismen bedarf.

#### Wie Resilienz gemessen werden kann

Die Definition von „Resilienz“ im Papier folgt der klassischen Formulierung der komplexen Systemforschung: die Fähigkeit, widrige Bedingungen vorherzusehen, zu absorbieren, sich von ihnen zu erholen und sich an sie anzupassen. Im Kontext generativer KI wird Resilienz in drei operationalisierbare Bewertungsrichtungen konkretisiert:

1. Data Poisoning und Modellrobustheit: die Fähigkeit eines Modells, seine Integrität zu bewahren, wenn Trainingsdaten manipuliert werden; entsprechende Maßnahmen umfassen adversarielles Training und differenziellen Datenschutz. 2. Deepfake- und Desinformationserkennung: durch die Einbettung KI-gesteuerter Erkennungsmechanismen Desinformation bekämpfen und digitale Authentizität wahren. 3. Governance und Policy-Umsetzung: Sicherheits-Compliance und ethische Governance in den Systembetrieb einbetten, damit generative KI unter klaren Einschränkungen operiert.

#### Schatten-KI: Ein unterschätzter blinder Fleck der GovernanceDie zentrale konzeptionelle Leistung der Studie besteht darin, aufzuzeigen, dass zwischen der schnellen Adoption generativer Systeme und dem Reifegrad institutioneller Schutzmaßnahmen eine „Entkopplung“ (disconnection) besteht und dass diese Kluft Schatten-KI-Risiken entstehen lässt. Unter Schatten-KI versteht man die Nutzung von KI, die ohne Sicherheits- und Compliance-Prüfung in Geschäftsprozesse gelangt – sie kann sich darin zeigen, dass Mitarbeitende eigenmächtig externe Modelle zur Verarbeitung interner Daten nutzen, oder darin, dass Teams KI-Komponenten außerhalb offizieller Genehmigungsprozesse eigenständig integrieren. Ihre Gefahr liegt nicht darin, ob die KI selbst „Böses tut“, sondern darin, dass die Organisation keine Sichtbarkeit in Bezug auf Datenflüsse, Berechtigungsgrenzen und die Verwendung der Ausgaben hat.

Analyse der Unternehmensauswirkungen

Wenn man den Rahmen der Studie auf Unternehmensszenarien abbildet, lassen sich fünf Risikokategorien zuordnen.

Operative Risiken. Wenn KI-Fähigkeiten in Content-Produktion, Codeentwicklung, Kundenservice und Entscheidungsunterstützungsprozesse eingebettet werden, werden Qualität der Modellausgaben, Verfügbarkeit und Datenherkunft zu Fragen der Betriebskontinuität. Schatten-KI ist besonders heikel: Sicherheitsteams finden sie nicht im Asset-Inventar, und Incident-Response-Prozesse können sie daher nicht abdecken.

Daten- und Datenschutzrisiken. Die Studie weist darauf hin, dass die für Training und Feintuning benötigten Datensätze häufig sensible Informationen enthalten und Anonymisierung die Möglichkeit einer Re-Identifizierung nicht zwangsläufig ausschließt. Für Unternehmen, die Kundendaten, Mitarbeiterdaten oder medizinische bzw. Finanzdaten verarbeiten, bedeutet dies, dass die Grenzen der Data Governance von Datenbanken auf Modelle und Prompts ausgeweitet werden müssen.

Compliance-Risiken. Die Anforderungen von Rahmenwerken wie der DSGVO an Datenherkunft, Einwilligung und Zweckbindung stehen in struktureller Spannung zur Art und Weise, wie generative Modelle trainiert werden. Compliance-Verantwortliche müssen beantworten: Woher stammen die Trainingsdaten, auf welcher Grundlage werden sie verarbeitet, und wie kann im Modelllebenszyklus auf Lösch- und Auskunftsersuchen reagiert werden.

Vertrauens- und Markenrisiken. Deepfakes greifen Identität und Informationsauthentizität direkt an; gefälschte Audio- und Videoaufnahmen von Führungskräften oder nachgeahmte generierte Markeninhalte schlagen sich alle in Vertrauenskosten nieder.

Dritt- und Lieferkettenrisiken. Modelle, Plug-ins und KI-Dienste gelangen meist als externe Abhängigkeiten in Unternehmen; die Checkliste für Drittrisikomanagement muss um Einträge zu KI-Anbietern ergänzt werden: Modellherkunft, Datenaufbewahrungsstrategie, Log-Verfügbarkeit, Benachrichtigungspflichten bei Vorfällen.

Beobachtung von Branchentrends

Erstens wird es zum Normalfall, dass Angriff und Verteidigung aus derselben Quelle stammen. Die Studie erwähnt, dass generative KI sowohl für automatisierte Bedrohungserkennung und die Simulation adversarischer Angriffe als auch für die Erstellung von Angriffsinhalten eingesetzt wird. Derselbe Technologie-Stack dient gleichzeitig beiden Seiten – Angriff und Verteidigung –, was bedeutet, dass die Verteidigerseite mit schnellerer Iterationsgeschwindigkeit reagieren muss.

Zweitens entwickelt sich Governance von „Prinzipien“ hin zu „operativen Kontrollen über den gesamten Lebenszyklus“. Die von der Studie vorgeschlagenen fünf Phasen – Design, Implementierung, Monitoring, Compliance, Feedback – übersetzen im Kern abstrakte KI-Ethikprinzipien in auditierbare technische und managementbezogene Kontrollpunkte. Das entspricht der gemeinsamen Richtung von Regulierung und Unternehmenspraxis der letzten Jahre: von der Veröffentlichung von Prinzipienerklärungen hin zu verifizierbaren Kontrollpunkten.

Drittens macht Schatten-KI die KI-Governance zu einem Problem der Asset-Sichtbarkeit. Dies ähnelt dem früheren Entwicklungspfad von Cloud-Sicherheit und SaaS-Governance – zuerst entsteht spontane Adoption, dann eine Sichtbarkeitslücke, und erst danach bilden sich formale Zulassungs- und Überwachungsmechanismen.Viertens: Branchenspezifische Governance ersetzt allgemeine Governance. Das Paper plädiert ausdrücklich für adaptive, branchenspezifische Governance-Ansätze und verweist auf kritische nationale Infrastrukturen. Für OT-/IT-Konvergenzszenarien in Bereichen wie Energie, Wasser, Verkehr und Gesundheitswesen sind allgemeine KI-Sicherheitsempfehlungen nur begrenzt anwendbar.

Empfehlungen für Verteidigung und Reaktion

Es ist anzumerken, dass ein Teil der folgenden Empfehlungen aus dem Framework des Papers stammt und ein Teil eine Erweiterung und Umsetzung des Frameworks auf Basis von Unternehmenssicherheitspraktiken darstellt.

Auf Unternehmensebene: KI-Assets in das Identitäts- und Zugriffsmanagement einbeziehen; für Modellaufrufe, API-Schlüssel und Datenpipelines Least Privilege umsetzen; für hochprivilegierte KI-Administrationseingänge Multi-Faktor-Authentifizierung erzwingen; auf der Datenseite eine Klassifizierung und Einstufung von Trainings- und Prompt-Daten sowie Nutzungsgenehmigungen etablieren; KI-Anbieter in das Third-Party-Risikomanagement und Lieferketten-Reviews einbeziehen; KI-bezogene Komponenten in den Geltungsbereich des Schwachstellenmanagements aufnehmen.

Auf technischer Ebene: Mit SIEM die Zugriffsprotokolle von KI-Diensten und internen Modellen zusammenführen und eine Erkennung anomaler Aufrufe und Datenabflüsse aufbauen; mit EDR/XDR KI-Tools und lokale Modelllaufumgebungen auf Endpunkten abdecken; Threat Intelligence einführen, um generative-KI-bezogene Angriffstechniken und die Evolution von Tools zu verfolgen; für Modellausgaben Prüfschritte für inhaltliche Authentizität und sensible Informationen etablieren.

Auf Managementebene: Die Entdeckung von Shadow AI in reguläre Prozesse integrieren, ein KI-Asset-Inventar erstellen und regelmäßig überprüfen; in Incident-Response-Pläne Szenarien wie Modellvergiftung, Prompt- und Datenlecks sowie Deepfake-Missbrauch aufnehmen; das Fünf-Phasen-Framework des Papers auf Prüfpunkte der internen Kontrolle abbilden und Verantwortliche je Phase sowie Anforderungen an die Nachweissicherung festlegen; auf Governance-Ebene Zulassungs- und Exit-Mechanismen für die KI-Nutzung etablieren.

SecurityPost Insight

Der wahre Wert dieses Papers liegt nicht darin, wie gefährlich generative KI angeblich ist, sondern darin, dass es eine messbare Einschätzung liefert: Zwischen der Geschwindigkeit der KI-Einführung in Unternehmen und der Reife der Governance besteht eine strukturelle Lücke, und Shadow AI ist genau der beobachtbare Ausdruck dieser Lücke. Für CISOs bedeutet das, dass der erste Schritt der KI-Governance nicht der Kauf von Erkennungstools ist, sondern die Lösung des Sichtbarkeitsproblems – ob die Organisation weiß, welche Modelle sie verwendet, auf welche Daten diese Modelle zugreifen und wohin die Ausgaben fließen.

Die zweite Erkenntnis ist die Einführung einer Resilienzperspektive. Das Paper zerlegt Resilienz in Vorhersage, Absorption, Wiederherstellung und Anpassung und ordnet sie drei Richtungen zu: Modellrobustheit, Erkennung von Desinformation und Policy-Durchsetzung. Dies bietet Unternehmen einen anderen Weg als das „Compliance-Abhaken“: Statt eine einmalige Zertifizierung anzustreben, sollten sie die Fähigkeit aufbauen, unter adversarialen Bedingungen funktionsfähig zu bleiben.

Drittens sind die branchenspezifischen Governance-Forderungen des Papers beachtenswert. Wenn generative KI in Entscheidungs- und Betriebsabläufe im Umfeld kritischer Infrastrukturen Einzug hält, verlieren allgemeine Sicherheitsempfehlungen schnell ihre Gültigkeit, und sowohl Regulierung als auch interne Unternehmenskontrollen werden sich in Richtung Branchenspezifik und Szenariobezug konvergieren.Drei Trends verdienen es, kontinuierlich verfolgt zu werden: Erstens, ob die Sichtbarkeit von Schatten-KI und Governance-Tools zu standardisierten Unternehmensfähigkeiten werden; zweitens, ob Methoden zur Modellrobustheit (wie adversariales Training und Differential Privacy) den Weg von der Forschung in den Engineering-Einsatz finden; drittens, in welcher Form Datenschutzkontroversen rund um die Herkunft von Trainingsdaten und Re-Identifizierung in konkrete Compliance-Anforderungen münden werden. Für Sicherheitsverantwortliche in Unternehmen gibt es eine Sache, die jetzt angegangen werden kann: KI-Asset-Erkennung und KI-Incident-Response-Szenarien in die nächste Sicherheitsplanung aufzunehmen – das ist der kürzeste Weg zwischen Paper-Frameworks und realer Verteidigung.