AI et cybersécurité : cinq domaines clés que les responsables de la sécurité des entreprises doivent connaître

Introduction

L'intelligence artificielle passe d'un outil auxiliaire à une variable centrale de l'offensive et de la défense en cybersécurité. De l'automatisation des réponses des défenseurs aux deepfakes des attaquants, l'impact des technologies d'IA imprègne désormais tous les maillons des opérations de sécurité. Pourtant, le plus grand défi auquel sont confrontés les décideurs n'est pas la technologie elle-même, mais la recherche d'un équilibre entre confiance et risque. SecurityPost, en rassemblant les points de vue de dizaines d'experts, analyse en profondeur les enjeux clés de l'IA et de la cybersécurité sous cinq dimensions : l'IA générative, l'IA agentive, l'IA fantôme, l'apprentissage automatique et l'IA générale.

Aperçu

Cette étude s'appuie sur de nombreux entretiens avec des professionnels de la sécurité, des chercheurs, des fournisseurs et des analystes du secteur. Constat central : l'IA générative est largement utilisée dans les opérations de sécurité, mais sa nature probabiliste pose des problèmes de confiance ; l'IA agentive transforme les outils passifs en acteurs actifs ; l'IA fantôme devient une nouvelle zone de non-conformité ; l'apprentissage automatique traditionnel reste le pilier de la détection des menaces ; bien que l'IA générale soit encore loin d'être mature, elle suscite déjà de nouvelles réflexions stratégiques.

Analyse technique et des risques

IA générative : révolution de l'efficacité et dilemme de confiance

L'IA générative, basée sur des architectures comme les grands modèles de langage (LLM), génère du texte, des images, etc., par prédiction probabiliste. Comme le souligne Ahmad Shadid, cofondateur d'ORGN, elle ne produit pas de réponses factuelles correctes, mais fournit les résultats les plus probables à partir des relations apprises. Cette nature détermine les limites de sa fiabilité.

Emanuel Salmona de Nagomi Security insiste : « L'IA générative est un moteur de prédiction, adapté aux tâches exploratoires, comme générer des hypothèses d'attaque ou relier des comportements anormaux à des schémas de vulnérabilités connus. » Mais les problèmes de confiance ne doivent pas être négligés. Yichuan Zhang de Boltzbit souligne : « Elle est sujette aux hallucinations et aux fuites de données d'entraînement. » Trever Falconi de HOPPR avertit que les modèles subissent des décalages de distribution lorsqu'ils sont déployés dans des environnements différents, avec une baisse silencieuse de performance.

Malgré cela, l'IA générative est déjà largement utilisée pour améliorer l'efficacité des SOC – résumer les journaux d'événements, rédiger des rapports d'intervention, assister le codage sécurisé, etc. Mais le principe clé est : le modèle doit être utilisé, non cru.

IA agentive : la prochaine frontière de l'automatisation des opérations

L'IA agentive transforme l'IA générative d'un simple outil de questions-réponses en un exécutant actif. En combinant les LLM avec des appels d'outils et l'orchestration de workflows, les agents d’IA peuvent réaliser de manière autonome des opérations en plusieurs étapes, comme le scan de vulnérabilités, la chasse aux menaces, voire des réponses automatiques. Cependant, le périmètre d'autorisation est un point de risque clé : une autorisation excessive peut entraîner des erreurs ou des abus. Les entreprises doivent définir des limites de droits strictes et des mécanismes d'audit pour les agents d’IA.

IA fantôme : les risques de conformité liés aux outils apportés par les employés

L'IA fantôme désigne le phénomène où les employés utilisent des services d'IA (tels que ChatGPT, Copilot, etc.) sans l'approbation des services informatiques.### Shadow AI : les risques de conformité liés aux outils personnels des employés

Le shadow AI désigne le phénomène par lequel les employés utilisent des services d'IA (comme ChatGPT, Copilot, etc.) sans l'approbation de l'IT. À l'instar du shadow IT, cela entraîne des risques de fuite de données, de non-conformité réglementaire et de propriété intellectuelle. L'absence de stratégie de gouvernance de l'IA au niveau de l'entreprise expose les informations sensibles à des modèles tiers. Melissa Ruzzi, directrice principale chez AppOmni, souligne : « La gouvernance du shadow AI est plus délicate que celle du shadow IT, car les modèles mémorisent les données d'entrée. »

Machine Learning : un socle fiable pour la détection des menaces

Le machine learning (ML) traditionnel reste le pilier de la détection des logiciels malveillants, de l'analyse des comportements anormaux et de l'identification des fraudes. Contrairement aux sorties probabilistes de l'IA générative, les modèles ML effectuent des jugements déterministes par classification et régression, avec une explicabilité relativement élevée. Cependant, dans un environnement d'apprentissage automatique adversarial, les attaquants peuvent affaiblir les modèles par des attaques d'empoisonnement des données ou d'évasion.

Intelligence Artificielle Générale : tendance à long terme et méprise à court terme

L'intelligence artificielle générale (IAG) désigne une IA dotée de capacités de raisonnement général équivalentes à celles d'un humain. Actuellement, tous les systèmes d'IA relèvent de l'IA étroite. Aaron Sant-Miller de Booz Allen met en garde : « La réalisation de l'IAG nécessite encore des décennies de percées en recherche fondamentale. » Cependant, le battage médiatique autour de l'IAG pourrait détourner l'attention des entreprises des risques concrets actuels.

Analyse de l'impact sur les entreprises

• L'IA a des répercussions sur plusieurs dimensions opérationnelles :
• Risques opérationnels : une dépendance excessive aux sorties de l'IA peut conduire à des décisions erronées, en particulier dans la réponse aux incidents.
• Risques liés aux données : le shadow AI et la mémorisation des modèles peuvent entraîner des fuites de données sensibles.
• Risques de conformité : l'utilisation de l'IA doit respecter les exigences de transparence et de responsabilité du Règlement général sur la protection des données (RGPD), de la Loi sur l'intelligence artificielle, etc.
• Risques de marque : des contenus erronés générés par l'IA ou des sorties de modèles manipulées peuvent nuire à la réputation de l'entreprise.

Observations sur les tendances du secteur

L'IA dans la cybersécurité connaît deux tendances majeures : premièrement, elle passe de l'intégration d'outils isolés à une intégration plateforme, l'IA devenant un standard des plateformes de sécurité ; deuxièmement, elle évolue de l'analyse assistée vers l'exécution autonome, l'IA agentive redéfinissant les processus des opérations de sécurité. Parallèlement, les attaquants exploitent également l'IA pour accélérer les attaques d'ingénierie sociale et l'exploitation des vulnérabilités. Il ne s'agit pas d'un incident isolé, mais d'une transformation structurelle.

Recommandations de défense et de réponse

• Les entreprises doivent élaborer une stratégie de sécurité IA à plusieurs niveaux :
• Niveau gouvernance : définir des politiques d'utilisation de l'IA, inclure la gestion du shadow AI et établir un processus d'approbation des IA.
• Niveau technique : déployer des outils de surveillance des modèles ML et de détection des attaques adversariales ; appliquer le principe du moindre privilège aux agents IA.
• Niveau gestion : mettre en place des plans de réponse aux incidents liés à l'IA et auditer régulièrement la précision des sorties des IA.
• Niveau humain : former les employés à reconnaître les hallucinations de l'IA et les deepfakes, et améliorer leurs compétences numériques.

SecurityPost Insight

L'IA n'est pas une panacée et n'accélérera pas la fin de la sécurité.L'IA n'est pas une panacée et n'accélérera pas la fin de la sécurité. Cette enquête révèle un fait clé : les décideurs en sécurité doivent percevoir à la fois le potentiel et les limites de l'IA. La "confiance probabiliste" de l'IA générative est une épée à double tranchant : elle peut générer rapidement des rapports, mais aussi inventer des erreurs avec confiance. La latence de l'IA fantôme exige que la gouvernance précède la technologie. L'autonomie de l'IA agentique doit être encadrée par une chaîne de responsabilité claire. Nous entrons dans une nouvelle ère de sécurité où "l'IA augmente l'humain" plutôt que "l'IA remplace l'humain". L'avantage concurrentiel futur n'appartiendra pas aux organisations possédant la meilleure IA, mais à celles capables de gérer correctement les risques liés à l'IA.

*Cet article est basé sur le reportage de SecurityWeek intitulé « AI and Cybersecurity – Everything You Wanted to Know, But Were Afraid to Ask ». SecurityPost a vérifié et cité tous les avis d'experts.*