Seguridad y resiliencia de la IA generativa: la investigación académica revela que los marcos de gobernanza van por detrás de la velocidad de despliegue

Introducción

El 2 de junio de 2025, la revista revisada por pares Frontiers in Artificial Intelligence publicó un artículo de revisión titulado «Generative AI cybersecurity and resilience». Los autores proceden del Departamento de Ciencias de la Computación de la Universidad de Oxford, el Alan Turing Institute, Cisco Systems y la Universidad de Keele. El estudio emplea una revisión sistemática de la literatura guiada por PRISMA y combina análisis temático y cuantitativo para proponer un marco de despliegue responsable de IA generativa que abarca cinco etapas del ciclo de vida.

El juicio central de este artículo no se refiere al rendimiento del modelo, sino a la brecha de gobernanza: la implementación de sistemas generativos ha sido claramente más rápida que la maduración de las garantías institucionales de seguridad y cumplimiento, y la consiguiente «IA en la sombra» (shadow AI) se convierte en una nueva fuente de riesgo. Para los responsables de seguridad empresarial que integran grandes modelos en los procesos de negocio, su valor radica en devolver el debate de «qué puede hacer el modelo» a «si la organización puede controlarlo».

Resumen de la investigación

• Revista y fecha: Frontiers in Artificial Intelligence, 2 de junio de 2025, volumen 8, DOI: 10.3389/frai.2025.1568360
• Sección y tema: AI for Human Learning and Behavior Change, perteneciente al tema de investigación «AI and Resilience»
• Instituciones de los autores: Departamento de Ciencias de la Computación de la Universidad de Oxford y Alan Turing Institute (Petar Radanliev), Cisco Systems (Omar Santos), Facultad de Ciencias de la Computación y Matemáticas de la Universidad de Keele (Uchenna Daniel Ani)
• Edición y revisión: editado por Kaushik Das; revisado por Dimiter Velev y Janika Leoste
• Tipo de investigación: artículo de revisión; metodología de revisión de la literatura guiada por PRISMA, complementada con análisis temático y cuantitativo (bibliométrico)
• Resultado principal: marco de gobernanza de cinco etapas (diseño, implementación, monitoreo, cumplimiento y retroalimentación)
• Orientación de aplicación: el artículo orienta sus conclusiones hacia vías de aplicación de IA éticas y seguras en la infraestructura crítica nacional

Cabe señalar que se trata de una revisión académica, no de un informe de respuesta a incidentes, y que tampoco ofrece estadísticas de incidentes o datos de pérdidas para un sector específico. Por lo tanto, a continuación se presta atención a la estructura de riesgos y al marco de gobernanza que propone, y no a la divulgación de casos concretos. Fuente de información: https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2025.1568360/full

Análisis técnico y de riesgos

#### La base técnica determina la forma del riesgoEl artículo señala que la diferencia fundamental entre la IA generativa y los métodos algorítmicos tradicionales radica en su capacidad de sintetizar contenido nuevo de forma autónoma. En cuanto a la ruta técnica, las redes generativas adversarias (GAN) mejoran la calidad de la salida mediante una iteración de juego de suma cero entre el generador y el discriminador; los autoencoders variacionales (VAE), por su parte, codifican la distribución de los datos en un espacio latente de baja dimensión y luego muestrean desde ese espacio para generar nuevas muestras. Esta capacidad ya no se limita a la salida de datos tradicional, sino que puede sintetizar contenido que va desde imágenes de alta resolución hasta texto en lenguaje natural rico en contexto, y a menudo resulta indistinguible de la creación humana.

El artículo también examina las diferencias entre los modelos generativos y los discriminativos. Esta distinción tiene importancia práctica para las empresas: los modelos discriminativos suelen utilizarse para clasificación y determinación, mientras que los generativos se emplean para construir contenido, código y datos sintéticos; ambos no son iguales en superficie de ataque, métodos de auditoría y dependencia de datos.

#### Superficie de ataque: del envenenamiento de datos a los deepfakes

El artículo clasifica los riesgos de seguridad introducidos por la IA generativa en varias categorías:

• Escalado de ataques automatizados: la IA generativa puede generar código automáticamente y construir contenido de phishing más complejo, elevando así la escala y la complejidad de los ataques.
• Propagación automatizada de desinformación: con ayuda de la capacidad generativa, las narrativas falsas pueden difundirse rápidamente, lo que aumenta de manera significativa la dificultad de detección y mitigación.
• Deepfakes: la falsificación de audio y video impulsada por GAN ha alcanzado un alto grado de realismo, lo que constituye un riesgo para la integridad de la información y la confianza pública.
• Sesgo algorítmico: los sesgos en los datos de entrenamiento se propagan de forma involuntaria y pueden producir resultados discriminatorios en los sistemas de decisión.
• Privacidad y reidentificación: los enormes conjuntos de datos necesarios para el ajuste fino de modelos grandes suelen contener información sensible, lo que plantea problemas de propiedad de los datos, validez del consentimiento y posibilidad de reidentificación en conjuntos de datos anonimizados.

El artículo menciona especialmente que existe una tensión continua entre estas tecnologías y marcos legales vigentes como el Reglamento General de Protección de Datos (GDPR), y que se necesitan mecanismos de gobernanza más adaptativos y más ajustados a contextos específicos.

#### Cómo se mide la resiliencia

La definición de “resiliencia” en el artículo sigue la formulación clásica de la investigación en sistemas complejos: la capacidad de predecir, absorber, recuperarse y adaptarse a condiciones adversas. En el contexto de la IA generativa, la resiliencia se concreta en tres direcciones de evaluación operativas:

1. Envenenamiento de datos y robustez del modelo: la capacidad del modelo de mantener su integridad cuando los datos de entrenamiento son manipulados; los medios correspondientes incluyen el entrenamiento adversario y la privacidad diferencial. 2. Detección de deepfakes y desinformación: combatir la desinformación y preservar la autenticidad digital mediante la incorporación de mecanismos de detección impulsados por IA. 3. Gobernanza y aplicación de políticas: integrar el cumplimiento de seguridad y la gobernanza ética en el funcionamiento del sistema, de modo que la IA generativa opere bajo restricciones claras.

#### IA en la sombra: el punto ciego de gobernanza subestimadoLa contribución conceptual más importante del artículo es señalar que existe una “desconexión” (disconnection) entre la rápida adopción de los sistemas generativos y la madurez de las medidas de salvaguarda institucionales, y que esta brecha genera riesgos de IA en la sombra. La llamada IA en la sombra se refiere al uso de IA que entra en los procesos de negocio sin haber pasado por evaluaciones de seguridad y cumplimiento; puede manifestarse como empleados que invocan modelos externos por su cuenta para procesar datos internos, o como equipos que integran componentes de IA por su cuenta fuera de los flujos formales de aprobación. Su peligro no radica en si la IA en sí “hace el mal”, sino en la falta de visibilidad de la organización sobre el flujo de sus datos, los límites de permisos y los usos de sus resultados.

Análisis de impacto empresarial

Al mapear el marco del artículo a escenarios empresariales, se pueden identificar cinco tipos de riesgo.

Riesgo operativo. Cuando las capacidades de IA se incorporan a la producción de contenido, el desarrollo de código, la atención al cliente y los procesos de apoyo a la toma de decisiones, la calidad de las salidas del modelo, la disponibilidad y la procedencia de los datos se convierten en cuestiones de continuidad operativa. La IA en la sombra es especialmente problemática: el equipo de seguridad no puede encontrarla en el inventario de activos y, por tanto, los procesos de respuesta a incidentes tampoco pueden cubrirla.

Riesgo de datos y privacidad. El artículo señala que los conjuntos de datos necesarios para el entrenamiento y el ajuste fino suelen contener información sensible, y que la anonimización no elimina necesariamente la posibilidad de reidentificación. Para las empresas que tratan datos de clientes, datos de empleados o datos médicos y financieros, esto implica que los límites de la gobernanza de datos deben extenderse desde las bases de datos hasta los modelos y los prompts.

Riesgo de cumplimiento. Los requisitos de marcos como el GDPR sobre el origen de los datos, el consentimiento y las limitaciones de uso mantienen una tensión estructural con la forma en que se entrenan los modelos generativos. Los responsables de cumplimiento deben responder: de dónde proceden los datos de entrenamiento, con qué base se tratan y cómo responder a las solicitudes de eliminación y acceso durante el ciclo de vida del modelo.

Riesgo de confianza y marca. Los deepfakes afectan directamente la identidad y la veracidad de la información; la falsificación de audio y video de altos ejecutivos o la generación suplantadora de contenido de marca se traducen en costos de confianza.

Riesgo de terceros y de cadena de suministro. Los modelos, plugins y servicios de IA llegan a las empresas principalmente como dependencias externas, por lo que las listas de gestión de riesgos de terceros deben añadir entradas de proveedores de IA: origen del modelo, política de retención de datos, disponibilidad de registros y obligaciones de notificación de incidentes.

Observación de tendencias del sector

Primero, que ataque y defensa compartan el mismo origen se convierte en la norma. El artículo menciona que la IA generativa se utiliza tanto para la detección automatizada de amenazas y la simulación de ataques adversarios como para construir contenido de ataque. Que la misma pila tecnológica sirva simultáneamente a ambos lados, ataque y defensa, implica que los defensores deben responder con una velocidad de iteración mayor.

Segundo, la gobernanza pasa de los “principios” al “control operativo del ciclo de vida”. Las cinco fases propuestas en el artículo —diseño, implementación, monitoreo, cumplimiento y retroalimentación— son, en esencia, la traducción de principios abstractos de ética de la IA a nodos de ingeniería y gestión auditables, lo que coincide con la dirección común de la regulación y la práctica empresarial en los últimos años: pasar de publicar declaraciones de principios a controles verificables.

Tercero, la IA en la sombra convierte la gobernanza de la IA en un problema de visibilidad de activos. Esto es similar a la trayectoria evolutiva previa de la seguridad en la nube y la gobernanza de SaaS: primero surge la adopción espontánea, luego aparece una brecha de visibilidad y, finalmente, se forman mecanismos formales de admisión y monitoreo.Cuarto, la gobernanza específica del sector reemplaza a la gobernanza genérica. El artículo defiende explícitamente enfoques de gobernanza adaptativos y específicos del sector, y apunta a la infraestructura crítica nacional. Para escenarios de convergencia OT/IT como energía, agua, transporte y salud, la aplicabilidad de las recomendaciones generales de seguridad de IA es limitada.

Recomendaciones de defensa y respuesta

Cabe señalar que parte de las siguientes recomendaciones proviene del marco del artículo y otra parte es una extensión y aplicación práctica del marco basada en prácticas de seguridad empresarial.

A nivel empresarial: incorporar los activos de IA a la gestión de identidades y accesos, aplicar el privilegio mínimo a las llamadas a modelos, claves de API y pipelines de datos; exigir autenticación multifactor para los accesos de administración de IA con privilegios elevados; del lado de los datos, establecer clasificación y niveles, y aprobación de uso, para los datos de entrenamiento y de prompts; incluir a los proveedores de IA en la gestión de riesgos de terceros y en la evaluación de la cadena de suministro; incluir los componentes relacionados con IA en el alcance de la gestión de vulnerabilidades.

A nivel técnico: centralizar en SIEM los registros de acceso a servicios de IA y modelos internos, y establecer detección de llamadas anómalas y exfiltración de datos; cubrir con EDR/XDR las herramientas de IA en endpoints y los entornos de ejecución de modelos locales; incorporar inteligencia de amenazas para seguir la evolución de tácticas de ataque y herramientas relacionadas con la IA generativa; establecer etapas de detección de veracidad de contenido e información sensible para las salidas de los modelos.

A nivel de gestión: incorporar el descubrimiento de IA en la sombra a los procesos habituales, crear un inventario de activos de IA y revisarlo periódicamente; añadir al plan de respuesta a incidentes escenarios como envenenamiento de modelos, fuga de prompts y datos, y suplantación mediante deepfakes; mapear el marco de cinco fases del artículo a puntos de revisión del control interno, y definir los responsables de cada fase y los requisitos de conservación de evidencias; en el plano de gobernanza, establecer mecanismos de admisión y salida para el uso de IA.

SecurityPost Insight

El verdadero valor de este artículo no radica en declarar cuán peligrosa es la IA generativa, sino en ofrecer una evaluación medible: existe una brecha estructural entre la velocidad de despliegue de IA en las empresas y la madurez de la gobernanza, y la IA en la sombra es precisamente la manifestación observable de esa brecha. Para el CISO, esto significa que el primer paso de la gobernanza de IA no es adquirir herramientas de detección, sino resolver primero el problema de la visibilidad: si la organización sabe qué modelos utiliza, qué datos tocan esos modelos y hacia dónde fluyen sus salidas.

La segunda implicación es la incorporación de una perspectiva de resiliencia. El artículo descompone la resiliencia en predicción, absorción, recuperación y adaptación, y la asocia a tres direcciones: robustez de los modelos, detección de desinformación y aplicación de políticas. Esto ofrece a las empresas una vía distinta de la de “marcar casillas de cumplimiento”: en lugar de buscar una certificación única, conviene desarrollar la capacidad de mantener sus funciones en condiciones de adversario.

Tercero, la propuesta de gobernanza específica del sector del artículo merece atención. Cuando la IA generativa entra en los procesos de decisión y operación relacionados con infraestructura crítica, las recomendaciones generales de seguridad perderán vigencia rápidamente, y tanto la regulación como el control interno empresarial convergerán hacia enfoques sectoriales y orientados a escenarios.Tres son las tendencias que merecen un seguimiento continuo: primero, si la visibilidad y las herramientas de gobernanza de la IA en la sombra llegan a constituir una capacidad empresarial estandarizada; segundo, si los métodos de robustez de modelos (como el entrenamiento adversarial y la privacidad diferencial) pueden pasar de la investigación al despliegue de ingeniería; tercero, de qué forma las controversias de privacidad en torno a las fuentes de datos de entrenamiento y la reidentificación se traducirán en requisitos de cumplimiento concretos. Para los responsables de seguridad empresarial, una cosa que pueden empezar a hacer ahora es incorporar el descubrimiento de activos de IA y los escenarios de respuesta a incidentes de IA en la próxima ronda de planificación de seguridad: esta es la distancia más corta entre el marco del artículo y la defensa real.