Sécurité et résilience de l’IA générative : la recherche académique révèle que les cadres de gouvernance sont à la traîne par rapport à la vitesse de déploiement

Introduction

Le 2 juin 2025, la revue à comité de lecture Frontiers in Artificial Intelligence a publié un article de synthèse intitulé 《Generative AI cybersecurity and resilience》. Les auteurs viennent respectivement du Department of Computer Science de l'Université d'Oxford, de l'Alan Turing Institute, de Cisco Systems et de l'Université de Keele ; l'étude utilise une revue systématique de la littérature guidée par PRISMA, combinée à une analyse thématique et quantitative, et propose un cadre de déploiement responsable de l'IA générative couvrant cinq phases du cycle de vie.

Le jugement central de cet article ne porte pas sur les performances des modèles, mais sur l'écart de gouvernance : la vitesse de déploiement des systèmes génératifs dépasse nettement la vitesse de maturation des garanties institutionnelles de sécurité et de conformité, et l'« IA fantôme » (shadow AI) qui en résulte devient une nouvelle source de risque. Pour les responsables de la sécurité en entreprise qui intègrent de grands modèles dans les processus métier, sa valeur consiste à ramener le débat de « ce que le modèle peut faire » à « l'organisation peut-elle le maîtriser ».

Aperçu de l'étude

• Revue et date : Frontiers in Artificial Intelligence, 2 juin 2025, vol. 8, DOI : 10.3389/frai.2025.1568360
• Rubrique et dossier : AI for Human Learning and Behavior Change, relevant du dossier de recherche « AI and Resilience »
• Affiliations des auteurs : Department of Computer Science de l'Université d'Oxford et Alan Turing Institute (Petar Radanliev), Cisco Systems (Omar Santos), School of Computer Science and Mathematics de l'Université de Keele (Uchenna Daniel Ani)
• Édition et relecture : Kaushik Das (éditeur) ; Dimiter Velev, Janika Leoste (relecteurs)
• Type d'étude : article de synthèse ; méthodologie : revue de littérature guidée par PRISMA, complétée par une analyse thématique et quantitative (bibliométrique)
• Résultat principal : cadre de gouvernance en cinq phases (conception, mise en œuvre, surveillance, conformité, retour d'information)
• Orientation d'application : l'article oriente ses conclusions vers des voies d'application de l'IA éthiques et sûres dans les infrastructures critiques nationales

Il convient de préciser qu'il s'agit d'une revue académique, et non d'un rapport de réponse à incident ; elle ne fournit pas non plus de statistiques d'incidents ni de données de pertes propres à un secteur. Par conséquent, la suite se concentre sur la structure des risques et le cadre de gouvernance qu'elle propose, plutôt que sur la divulgation de cas particuliers. Source d'information : https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2025.1568360/full

Analyse technique et des risques

#### Le socle technique détermine la forme des risquesL'article indique que la différence fondamentale entre l'IA générative et les méthodes algorithmiques traditionnelles réside dans sa capacité à synthétiser de manière autonome de nouveaux contenus. Sur le plan technique, les réseaux antagonistes génératifs (GAN) améliorent itérativement la qualité des sorties par le biais d'un jeu à somme nulle entre générateur et discriminateur ; les autoencodeurs variationnels (VAE), quant à eux, encodent la distribution des données dans un espace latent de faible dimension, puis échantillonnent dans cet espace pour générer de nouveaux échantillons. Cette capacité ne se limite plus aux sorties de données traditionnelles : elle peut synthétiser des contenus allant d'images à haute résolution à des textes en langage naturel riches en contexte, souvent indiscernables de créations humaines.

L'article examine également les différences entre les modèles génératifs et discriminatifs. Cette distinction a une portée pratique pour les entreprises : les modèles discriminatifs servent généralement à la classification et à la décision, tandis que les modèles génératifs servent à construire du contenu, du code et des données synthétiques ; les deux diffèrent en termes de surface d'attaque, de méthodes d'audit et de dépendance aux données.

#### Surface d'attaque : de l'empoisonnement des données aux deepfakes

L'article classe les risques de sécurité introduits par l'IA générative en plusieurs catégories :

• Mise à l'échelle automatisée des attaques : l'IA générative peut générer automatiquement du code et concevoir des contenus d'hameçonnage plus complexes, augmentant ainsi l'échelle et la complexité des attaques.
• Propagation automatisée de la désinformation : grâce aux capacités de génération, des récits erronés peuvent se diffuser rapidement, ce qui rend leur détection et leur atténuation nettement plus difficiles.
• Deepfakes : les falsifications audio et vidéo pilotées par GAN ont atteint un haut degré de réalisme, ce qui constitue un risque pour l'intégrité de l'information et la confiance du public.
• Biais algorithmiques : les biais présents dans les données d'entraînement sont propagés involontairement, ce qui peut produire des résultats discriminatoires dans les systèmes décisionnels.
• Vie privée et réidentification : les ensembles de données massifs nécessaires à l'affinage de grands modèles contiennent souvent des informations sensibles, ce qui soulève des questions de propriété des données, de validité du consentement et de possibilité de réidentification dans des ensembles de données anonymisées.

L'article mentionne en particulier qu'il existe une tension persistante entre ces technologies et les cadres juridiques en vigueur tels que le Règlement général sur la protection des données (RGPD), ce qui nécessite des mécanismes de gouvernance plus adaptables et mieux ajustés aux contextes spécifiques.

#### Comment mesurer la résilience

La définition de la « résilience » retenue par l'article reprend la formulation classique de la recherche sur les systèmes complexes : la capacité à anticiper, absorber, se rétablir et s'adapter à des conditions défavorables. Dans le contexte de l'IA générative, la résilience est déclinée en trois axes d'évaluation opérationnels :

1. Empoisonnement des données et robustesse du modèle : la capacité du modèle à préserver son intégrité lorsque les données d'entraînement sont manipulées, avec des moyens associés tels que l'entraînement adversarial et la confidentialité différentielle. 2. Détection des deepfakes et de la désinformation : lutter contre la désinformation et préserver l'authenticité numérique en intégrant des mécanismes de détection pilotés par l'IA. 3. Gouvernance et application des politiques : intégrer la conformité en matière de sécurité et la gouvernance éthique au fonctionnement des systèmes, afin que l'IA générative fonctionne sous des contraintes explicites.

#### IA fantôme : un angle mort sous-estimé de la gouvernanceLa contribution conceptuelle la plus importante de l’article est de souligner qu’il existe un « décalage » (disconnection) entre l’adoption rapide des systèmes génératifs et la maturité des mesures de garantie institutionnelles, et que cet écart engendre des risques d’IA fantôme. L’IA fantôme désigne l’usage de l’IA qui entre dans les processus métier sans évaluation de sécurité et de conformité — elle peut se manifester par des employés qui sollicitent en secret des modèles externes pour traiter des données internes, ou par des équipes qui intègrent de leur propre chef des composants d’IA en dehors des processus d’approbation officiels. Son danger ne réside pas dans le fait que l’IA fasse ou non « le mal », mais dans le manque de visibilité de l’organisation sur les flux de données, les limites d’autorisation et l’usage des sorties.

Analyse de l’impact sur les entreprises

En transposant le cadre de l’article aux contextes d’entreprise, on peut identifier cinq catégories de risques.

Risque opérationnel. Lorsque des capacités d’IA sont intégrées à la production de contenu, au développement de code, au service client et aux processus d’aide à la décision, la qualité des sorties du modèle, sa disponibilité et la provenance des données deviennent des enjeux de continuité opérationnelle. L’IA fantôme est particulièrement épineuse : les équipes de sécurité ne la trouvent pas dans l’inventaire des actifs, et les processus de réponse aux incidents ne peuvent donc pas la couvrir.

Risques liés aux données et à la vie privée. L’article souligne que les jeux de données nécessaires à l’entraînement et au réglage fin contiennent souvent des informations sensibles, et que l’anonymisation n’élimine pas nécessairement la possibilité de réidentification. Pour les entreprises qui traitent des données clients, des données de salariés ou des données médicales ou financières, cela signifie que le périmètre de gouvernance des données doit s’étendre des bases de données aux modèles et aux prompts.

Risques de conformité. Les exigences de cadres tels que le RGPD en matière de provenance des données, de consentement et de limitation des finalités présentent une tension structurelle avec la manière dont les modèles génératifs sont entraînés. Les responsables de la conformité doivent répondre aux questions suivantes : d’où viennent les données d’entraînement, sur quelle base sont-elles traitées, et comment répondre aux demandes de suppression et d’accès tout au long du cycle de vie du modèle.

Risques liés à la confiance et à la marque. Les hypertrucages portent directement atteinte à l’identité et à la véracité de l’information : la falsification de contenus audio et vidéo de dirigeants d’entreprise et la génération usurpant le contenu de marque se traduisent toutes par un coût de confiance.

Risques liés aux tiers et à la chaîne d’approvisionnement. Les modèles, plugins et services d’IA entrent souvent dans l’entreprise sous forme de dépendances externes ; la liste de gestion des risques tiers doit donc ajouter des entrées relatives aux fournisseurs d’IA : origine du modèle, politique de conservation des données, disponibilité des journaux, obligations de notification des incidents.

Observation des tendances sectorielles

Premièrement, le fait que l’attaque et la défense aient la même origine devient la norme. L’article mentionne que l’IA générative est utilisée à la fois pour la détection automatisée des menaces et la simulation d’attaques adversariales, et pour élaborer du contenu d’attaque. Une même pile technologique servant simultanément les deux camps, attaque et défense, signifie que les défenseurs doivent répondre avec une vitesse d’itération plus rapide.

Deuxièmement, la gouvernance passe des « principes » au « contrôle opérationnel du cycle de vie ». Les cinq phases proposées par l’article — conception, mise en œuvre, surveillance, conformité et retour d’information — consistent essentiellement à traduire des principes éthiques abstraits de l’IA en points de contrôle techniques et managériaux auditables, ce qui correspond à l’orientation commune de la réglementation et des pratiques des entreprises ces dernières années : passer de la publication de déclarations de principes à des mesures de contrôle vérifiables.

Troisièmement, l’IA fantôme fait de la gouvernance de l’IA un problème de visibilité des actifs. Cela ressemble à la trajectoire d’évolution antérieure de la sécurité du cloud et de la gouvernance des SaaS : d’abord une adoption spontanée, puis un déficit de visibilité, et enfin seulement l’émergence de mécanismes formels d’admission et de surveillance.Quatrièmement, la gouvernance spécifique au secteur remplace la gouvernance générique. L’article prône explicitement une approche de gouvernance adaptative et sectorielle, et cible les infrastructures critiques nationales. Pour les scénarios de convergence OT/IT dans l’énergie, l’eau, les transports, la santé, etc., l’applicabilité des recommandations génériques de sécurité de l’IA est limitée.

Recommandations de défense et de réponse

Il convient de préciser qu’une partie des recommandations ci-dessous provient du cadre de l’article, et qu’une autre partie est un prolongement opérationnel de ce cadre fondé sur les pratiques de sécurité des entreprises.

Au niveau de l’entreprise : intégrer les actifs d’IA dans le système de gestion des identités et des accès, appliquer le principe du moindre privilège aux appels de modèles, aux clés API et aux pipelines de données ; imposer l’authentification multifacteur aux points d’administration de l’IA à hauts privilèges ; côté données, établir une classification et une hiérarchisation des données d’entraînement et de prompts ainsi qu’une approbation de leur utilisation ; intégrer les fournisseurs d’IA à la gestion des risques tiers et à l’évaluation de la chaîne d’approvisionnement ; inclure les composants liés à l’IA dans le périmètre de gestion des vulnérabilités.

Au niveau technique : utiliser un SIEM pour centraliser les journaux d’accès aux services d’IA et aux modèles internes, et mettre en place une détection des appels anormaux et des exfiltrations de données ; couvrir avec EDR/XDR les outils d’IA et les environnements d’exécution de modèles locaux sur les terminaux ; introduire du renseignement sur les menaces pour suivre les techniques d’attaque et l’évolution des outils liés à l’IA générative ; mettre en place, pour les sorties de modèles, des contrôles de véracité du contenu et de détection d’informations sensibles.

Au niveau managérial : intégrer la découverte du shadow AI dans un processus permanent, constituer un inventaire des actifs d’IA et le réexaminer régulièrement ; ajouter aux plans de réponse aux incidents des scénarios tels que l’empoisonnement de modèles, la fuite de prompts et de données, ou l’usurpation par deepfake ; mapper le cadre en cinq phases de l’article sur les points de revue du contrôle interne, en précisant les responsables de chaque phase et les exigences de conservation des preuves ; établir, au niveau de la gouvernance, des mécanismes d’admission et de retrait pour l’usage de l’IA.

SecurityPost Insight

La véritable valeur de cet article ne réside pas dans ce qu’il affirme sur la dangerosité de l’IA générative, mais dans le jugement mesurable qu’il apporte : il existe un écart structurel entre la vitesse de déploiement de l’IA en entreprise et la maturité de sa gouvernance, et le shadow AI est précisément la manifestation observable de cet écart. Pour un CISO, cela signifie que la première étape de la gouvernance de l’IA n’est pas d’acquérir des outils de détection, mais de résoudre d’abord le problème de visibilité : l’organisation sait-elle quels modèles elle utilise, quelles données ces modèles touchent et où vont leurs sorties ?

Le deuxième enseignement est l’introduction d’une perspective de résilience. L’article décompose la résilience en prévision, absorption, rétablissement et adaptation, et la rattache à trois directions : la robustesse des modèles, la détection de la désinformation et l’application des politiques. Cela offre aux entreprises une voie différente de la « conformité à cocher » : plutôt que de rechercher une certification ponctuelle, mieux vaut bâtir une capacité à maintenir ses fonctions dans des conditions adverses.

Troisièmement, la proposition de gouvernance sectorielle de l’article mérite attention. Lorsque l’IA générative entre dans les processus de décision et d’exploitation liés aux infrastructures critiques, les recommandations de sécurité génériques deviennent rapidement inopérantes, et la réglementation comme le contrôle interne des entreprises convergeront vers une approche sectorielle et contextualisée.Trois tendances méritent un suivi continu : premièrement, si la visibilité de l’IA fantôme et les outils de gouvernance associés deviennent des capacités d’entreprise standardisées ; deuxièmement, si les méthodes de robustesse des modèles (comme l’entraînement adversarial et la confidentialité différentielle) peuvent passer de la recherche à un déploiement d’ingénierie ; troisièmement, sous quelle forme les controverses sur la vie privée liées à la provenance des données d’entraînement et à la réidentification se traduiront en exigences de conformité concrètes. Pour les responsables de la sécurité en entreprise, une chose à laquelle il est possible de s’atteler dès maintenant consiste à intégrer la découverte des actifs d’IA et les scénarios de réponse aux incidents d’IA à la prochaine planification de sécurité — c’est la plus courte distance entre le cadre d’un article de recherche et la défense réelle.