الأمن والمرونة في الذكاء الاصطناعي التوليدي: تُظهر الأبحاث الأكاديمية أن أطر الحوكمة متخلفة عن وتيرة النشر

تمهيد

في 2 يونيو 2025، نشرت الدورية المحكّمة Frontiers in Artificial Intelligence ورقة مراجعة بعنوان «Generative AI cybersecurity and resilience». يأتي المؤلفون من قسم علوم الحاسوب في جامعة أكسفورد، ومعهد آلان تورينغ، وسيسكو سيستمز، وجامعة كيل. استخدمت الدراسة مراجعة منهجية للأدبيات موجّهة وفق PRISMA، مع تحليل موضوعي وتحليل كمي، وقدمت إطارًا مسؤولًا لنشر الذكاء الاصطناعي التوليدي يغطي خمس مراحل من دورة الحياة.

لا يتعلق الاستنتاج الجوهري لهذه المقالة بأداء النموذج، بل بفجوة الحوكمة: فقد أصبحت سرعة اعتماد الأنظمة التوليدية أسرع بوضوح من سرعة نضوج ضمانات الأمن والامتثال المؤسسي، ما جعل «الذكاء الاصطناعي الظل» (shadow AI) الناتج عن ذلك مصدرًا جديدًا للمخاطر. وبالنسبة لمسؤولي الأمن في المؤسسات الذين يدمجون النماذج اللغوية الكبيرة في العمليات التجارية، تكمن قيمتها في إعادة النقاش من «ما الذي يستطيع النموذج فعله» إلى «ما إذا كانت المؤسسة قادرة على ضبطه».

نظرة عامة على الدراسة

• الدورية والتاريخ: Frontiers in Artificial Intelligence، 2 يونيو 2025، المجلد 8، DOI: 10.3389/frai.2025.1568360
• القسم والموضوع: AI for Human Learning and Behavior Change، ضمن موضوع البحث «AI and Resilience»
• مؤسسات المؤلفين: قسم علوم الحاسوب في جامعة أكسفورد ومعهد آلان تورينغ (Petar Radanliev)، وسيسكو سيستمز (Omar Santos)، وكلية علوم الحاسوب والرياضيات في جامعة كيل (Uchenna Daniel Ani)
• التحرير والمراجعة: حرّر Kaushik Das؛ وراجع Dimiter Velev وJanika Leoste
• نوع الدراسة: ورقة مراجعة، منهجيتها مراجعة أدبيات موجّهة وفق PRISMA، مع تحليل موضوعي وتحليل كمي (قياس ببليومتري)
• الناتج الأساسي: إطار حوكمة من خمس مراحل (التصميم، التنفيذ، المراقبة، الامتثال، التغذية الراجعة)
• التوجه التطبيقي: توجّه الورقة استنتاجاتها نحو مسارات تطبيق الذكاء الاصطناعي الأخلاقية والآمنة في البنية التحتية الحيوية الوطنية

تجدر الإشارة إلى أن هذه مراجعة أكاديمية، وليست تقرير استجابة للحوادث، ولا تقدم إحصاءات حوادث أو بيانات خسائر خاصة بقطاع معين. لذلك يركّز ما يلي على بنية المخاطر وإطار الحوكمة الذي تقترحه، لا على الكشف عن حالات فردية. مصدر المعلومات: https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2025.1568360/full

تحليل التقنية والمخاطر

#### القاعدة التقنية تحدد شكل المخاطرالورقة البحثية تشير إلى أن الفرق الجوهري بين الذكاء الاصطناعي التوليدي والأساليب الخوارزمية التقليدية يكمن في قدرته على توليف محتوى جديد بشكل مستقل. وعلى المستوى التقني، تعمل الشبكات التوليدية التنافسية (GAN) عبر لعبة محصلتها صفر بين المولّد والمميّز على تحسين جودة المخرجات بالتكرار؛ أما المشفّرات التلقائية التباينية (VAE) فتقوم بترميز توزيع البيانات في فضاء كامن منخفض الأبعاد، ثم تأخذ عينات من ذلك الفضاء لتوليد عينات جديدة. ولم تعد هذه القدرة مقصورة على مخرجات البيانات التقليدية، بل يمكنها توليف محتوى يتراوح من الصور عالية الدقة إلى النصوص الطبيعية الغنية بالسياق، وغالبًا ما يصعب تمييزه عن الإبداع البشري.

كما تستعرض الورقة الفروق بين النماذج التوليدية والنماذج التمييزية. ولهذا التمييز دلالة عملية للشركات: فالنماذج التمييزية تُستخدم عادةً في التصنيف والحكم، بينما تُستخدم النماذج التوليدية لبناء المحتوى والشفرة والبيانات الاصطناعية؛ وهما لا يتشابهان في سطح الهجوم وطرق التدقيق والاعتماد على البيانات.

#### سطح الهجوم: من تسميم البيانات إلى التزييف العميق

تصنّف الورقة المخاطر الأمنية التي يقدمها الذكاء الاصطناعي التوليدي في عدة فئات:

• توسيع نطاق الهجمات الآلية: يمكن للذكاء الاصطناعي التوليدي أن يولّد الشفرة تلقائيًا، ويبني محتوى تصيّد أكثر تعقيدًا، ما يزيد من حجم الهجمات وتعقيدها.
• الانتشار الآلي للمعلومات المضللة: بفضل قدرات التوليد، يمكن نشر السرديات الزائفة بسرعة، ما يزيد بشكل ملحوظ صعوبة اكتشافها وتخفيف أثرها.
• التزييف العميق: بلغ التزييف الصوتي والمرئي المدفوع بـ GAN درجة عالية من الواقعية، ما يشكّل خطرًا على سلامة المعلومات وثقة الجمهور.
• التحيز الخوارزمي: ينتقل التحيز الموجود في بيانات التدريب دون قصد، وقد يؤدّي إلى نتائج تمييزية في أنظمة القرار.
• الخصوصية وإعادة تحديد الهوية: غالبًا ما تحتوي مجموعات البيانات الضخمة اللازمة للضبط الدقيق للنماذج الكبيرة على معلومات حساسة، ما يثير مسائل تتعلق بملكية البيانات وصلاحية الموافقة واحتمالية إعادة تحديد الهوية في مجموعات البيانات المجهولة.

وتشير الورقة بشكل خاص إلى وجود توتر مستمر بين هذه التقنيات والأطر القانونية السارية مثل اللائحة العامة لحماية البيانات (GDPR)، ما يستلزم آليات حوكمة أكثر تكيّفًا وأقرب إلى السياق المحدد.

#### كيف تُقاس المرونة

تتبنّى الورقة في تعريفها لـ"المرونة" الصياغة الكلاسيكية في أبحاث الأنظمة المعقدة: القدرة على التنبؤ بالظروف غير المواتية وامتصاصها والتعافي منها والتكيّف معها. وفي سياق الذكاء الاصطناعي التوليدي، تتحول المرونة إلى ثلاثة اتجاهات تقييم قابلة للتنفيذ:

1. تسميم البيانات ومتانة النموذج: قدرة النموذج على الحفاظ على سلامته عند التلاعب ببيانات التدريب، وتشمل الوسائل المقابلة التدريب الخصامي والخصوصية التفاضلية. 2. اكتشاف التزييف العميق والمعلومات المضللة: مواجهة المعلومات المضللة والحفاظ على المصداقية الرقمية عبر تضمين آليات كشف مدعومة بالذكاء الاصطناعي. 3. الحوكمة وتنفيذ السياسات: تضمين الامتثال الأمني والحوكمة الأخلاقية في تشغيل النظام، بحيث يعمل الذكاء الاصطناعي التوليدي في ظل قيود واضحة.

#### الذكاء الاصطناعي الظل: منطقة عمياء في الحوكمة يُقلل من تقديرهاالمساهمة المفاهيمية الأهم في الورقة هي الإشارة إلى وجود "فجوة" (disconnection) بين التبني السريع للأنظمة التوليدية ونضج تدابير الضمان المؤسسية، وهذه الفجوة تولّد مخاطر الذكاء الاصطناعي الظل. ويُقصد بالذكاء الاصطناعي الظل استخدام الذكاء الاصطناعي الذي يدخل عمليات الأعمال دون مراجعة أمنية وامتثال — وقد يظهر في صورة استدعاء الموظفين لنماذج خارجية من تلقاء أنفسهم لمعالجة بيانات داخلية، أو في صورة مكونات ذكاء اصطناعي تدمجها الفرق بنفسها خارج عملية الموافقة الرسمية. ولا يكمن خطره في ما إذا كان الذكاء الاصطناعي نفسه "يفعل الشر"، بل في افتقار المنظمة إلى الرؤية بشأن مسارات بياناته، وحدود صلاحياته، واستخدامات مخرجاته.

تحليل الأثر على المؤسسات

عند إسقاط إطار الورقة على سياقات المؤسسات، يمكن أن يقابل خمس فئات من المخاطر.

المخاطر التشغيلية. عندما تُدمج قدرات الذكاء الاصطناعي في إنتاج المحتوى، وتطوير الشيفرة، وخدمة العملاء، وعمليات دعم القرار، تصبح جودة مخرجات النموذج وتوافره ومصادر بياناته مسائل تتعلق باستمرارية العمليات. ويُعد الذكاء الاصطناعي الظل مشكلة عويصة بشكل خاص: إذ لا تجده فرق الأمن في جرد الأصول، وبالتالي لا تستطيع عمليات الاستجابة للحوادث تغطيته.

مخاطر البيانات والخصوصية. تشير الورقة إلى أن مجموعات البيانات اللازمة للتدريب والضبط الدقيق غالبًا ما تحتوي على معلومات حساسة، وأن إخفاء الهوية لا يزيل بالضرورة احتمال إعادة التعريف. وبالنسبة للمؤسسات التي تتعامل مع بيانات العملاء أو الموظفين أو البيانات الطبية أو المالية، يعني ذلك أن حدود حوكمة البيانات يجب أن تمتد من قواعد البيانات إلى النماذج والمطالبات.

مخاطر الامتثال. يوجد توتر بنيوي بين متطلبات أطر مثل اللائحة العامة لحماية البيانات (GDPR) بشأن مصادر البيانات والموافقة وقيود الغرض، وبين طريقة تدريب النماذج التوليدية. ويحتاج مسؤولو الامتثال إلى الإجابة عن: من أين تأتي بيانات التدريب، وعلى أي أساس تُعالج، وكيف يمكن الاستجابة لطلبات الحذف والوصول خلال دورة حياة النموذج.

مخاطر الثقة والعلامة التجارية. تؤثر التزييفات العميقة مباشرة في الهوية وحقيقة المعلومات؛ فتزييف الصوت والصورة للمديرين التنفيذيين، وتوليد محتوى العلامة التجارية انتحالًا، كلاهما يتحول إلى كلفة ثقة.

مخاطر الأطراف الثالثة وسلاسل التوريد. تدخل النماذج والإضافات وخدمات الذكاء الاصطناعي إلى المؤسسات غالبًا في صورة تبعيات خارجية، لذا تحتاج قائمة إدارة مخاطر الأطراف الثالثة إلى بنود جديدة لموردي الذكاء الاصطناعي: مصدر النموذج، وسياسة الاحتفاظ بالبيانات، وتوافر السجلات، والالتزام بالإخطار بالحوادث.

رصد اتجاهات القطاع

أولًا، أصبح الهجوم والدفاع يتشاركان المصدر نفسه أمرًا معتادًا. تشير الورقة إلى أن الذكاء الاصطناعي التوليدي يُستخدم في الكشف الآلي عن التهديدات ومحاكاة الهجمات الخصومية، كما يُستخدم في إنشاء محتوى الهجمات. وخدمة المجموعة التقنية نفسها لطرفي الهجوم والدفاع في الوقت ذاته تعني أنه على المدافعين الاستجابة بوتيرة تكرار أسرع.

ثانيًا، تنتقل الحوكمة من "المبادئ" إلى "ضبط التشغيل عبر دورة الحياة". والمراحل الخمس التي تطرحها الورقة — التصميم والتنفيذ والمراقبة والامتثال والتغذية الراجعة — هي في جوهرها ترجمة للمبادئ الأخلاقية المجردة للذكاء الاصطناعي إلى عُقد هندسية وإدارية قابلة للتدقيق، وهو ما يتسق مع الاتجاه المشترك للتنظيم والممارسات المؤسسية في السنوات الأخيرة: الانتقال من إصدار بيانات المبادئ إلى بنود ضبط قابلة للتحقق.

ثالثًا، يحوّل الذكاء الاصطناعي الظل حوكمة الذكاء الاصطناعي إلى مسألة رؤية الأصول. ويشبه ذلك المسار التطوري لأمن السحابة وحوكمة SaaS سابقًا — إذ يظهر التبني العفوي أولًا، ثم تظهر فجوة في الرؤية، وأخيرًا تتشكل آليات رسمية للقبول والمراقبة.رابعًا، تحل الحوكمة الخاصة بالقطاع محل الحوكمة العامة. تدعو الورقة صراحةً إلى نهج حوكمة تكيفي وخاص بالقطاع، وتشير إلى البنية التحتية الوطنية الحيوية. وفي سياقات دمج OT وIT في قطاعات مثل الطاقة والمياه والنقل والرعاية الصحية، تكون قابلية تطبيق توصيات أمن الذكاء الاصطناعي العامة محدودة.

توصيات الدفاع والاستجابة

تجدر الإشارة إلى أن جزءًا من التوصيات التالية مستمد من إطار الورقة، وجزءًا آخر يمثل امتدادًا وتنفيذًا للإطار استنادًا إلى الممارسات الأمنية للمؤسسات.

على مستوى المؤسسة: إدراج أصول الذكاء الاصطناعي ضمن نظام إدارة الهوية والوصول، وتطبيق مبدأ أقل امتياز على استدعاء النماذج ومفاتيح API وخطوط البيانات؛ وفرض المصادقة متعددة العوامل على مداخل إدارة الذكاء الاصطناعي ذات الامتيازات العالية؛ وعلى جانب البيانات، إنشاء تصنيف وتدرج لبيانات التدريب والمطالبات واعتماد لاستخدامها؛ وإدراج موردي الذكاء الاصطناعي في إدارة مخاطر الأطراف الثالثة ومراجعات سلسلة التوريد؛ وإدراج المكوّنات المتعلقة بالذكاء الاصطناعي ضمن نطاق إدارة الثغرات.

على المستوى التقني: استخدام SIEM لتجميع سجلات الوصول إلى خدمات الذكاء الاصطناعي والنماذج الداخلية، وإنشاء كشف للاستدعاءات غير الطبيعية وتسرب البيانات؛ واستخدام EDR/XDR لتغطية أدوات الذكاء الاصطناعي على نقاط النهاية وبيئات تشغيل النماذج المحلية؛ وإدخال استخبارات التهديدات لتتبع تطور أساليب وأدوات الهجوم المرتبطة بالذكاء الاصطناعي التوليدي؛ وإنشاء مرحلة لكشف أصالة المحتوى والمعلومات الحساسة في مخرجات النماذج.

على المستوى الإداري: إدراج اكتشاف الذكاء الاصطناعي الظل في العمليات المعتادة، وإنشاء سجل لأصول الذكاء الاصطناعي ومراجعته دوريًا؛ وإضافة سيناريوهات مثل تسميم النماذج، وتسرب المطالبات والبيانات، وانتحال الهوية عبر التزييف العميق إلى خطط الاستجابة للحوادث؛ وتعيين إطار الورقة المكوّن من خمس مراحل إلى نقاط مراجعة في الضوابط الداخلية، وتحديد المسؤولين عن كل مرحلة ومتطلبات حفظ الأدلة؛ وعلى مستوى الحوكمة، إنشاء آليات الاعتماد والإنهاء لاستخدام الذكاء الاصطناعي.

SecurityPost Insight

لا تكمن القيمة الحقيقية لهذه الورقة في ادعائها مدى خطورة الذكاء الاصطناعي التوليدي، بل في أنها تقدم حكمًا قابلًا للقياس: توجد فجوة هيكلية بين سرعة نشر الذكاء الاصطناعي في المؤسسات ونضج الحوكمة، والذكاء الاصطناعي الظل هو التمظهر القابل للملاحظة لهذه الفجوة. وبالنسبة لمسؤولي أمن المعلومات (CISO)، يعني ذلك أن الخطوة الأولى في حوكمة الذكاء الاصطناعي ليست شراء أدوات الكشف، بل معالجة مشكلة الرؤية أولًا — هل تعرف المنظمة أي النماذج تستخدم، وما البيانات التي تلمسها هذه النماذج، وإلى أين تتجه المخرجات.

الاستنتاج الثاني هو إدخال منظور المرونة. تفكك الورقة المرونة إلى التنبؤ والاستيعاب والتعافي والتكيّف، وتربطها بثلاثة اتجاهات: متانة النماذج، وكشف المعلومات المضللة، وتنفيذ السياسات. وهذا يوفر للمؤسسات مسارًا مختلفًا عن "تأشير الامتثال": فبدلًا من السعي إلى شهادة لمرة واحدة، الأفضل بناء قدرة على الحفاظ على الوظائف في ظل ظروف عدائية.

ثالثًا، يستحق المقترح الخاص بالحوكمة القطاعية في الورقة الاهتمام. فعندما يدخل الذكاء الاصطناعي التوليدي إلى مراحل القرار والتشغيل المرتبطة بالبنية التحتية الحيوية، ستفقد توصيات الأمن العامة فعاليتها بسرعة، وستتجه التنظيمات والرقابة الداخلية في المؤسسات نحو مزيد من التخصص القطاعي والسيناريوهات.هناك ثلاثة اتجاهات تستحق المتابعة المستمرة: الأول هو ما إذا كانت أدوات رؤية الذكاء الاصطناعي الظلّي وحوكمته تشكّل قدرة مؤسسية معيارية؛ والثاني هو ما إذا كانت وسائل متانة النماذج (مثل التدريب العدائي والخصوصية التفاضلية) قادرة على الانتقال من البحث إلى النشر الهندسي؛ والثالث هو الشكل الذي ستتحول به النزاعات المتعلقة بالخصوصية حول مصادر بيانات التدريب وإعادة تحديد الهوية إلى متطلبات امتثال محددة. وبالنسبة للمسؤولين عن الأمن في المؤسسات، فإن الأمر الواحد الذي يمكن البدء به الآن هو إضافة سيناريوهات اكتشاف أصول الذكاء الاصطناعي والاستجابة لحوادث الذكاء الاصطناعي إلى الجولة التالية من التخطيط الأمني—فهذه هي أقصر مسافة بين إطار ورقة بحثية والدفاع الحقيقي.