أعلنت شركة OpenAI أنها رصدت حالات عمدت فيها وكلاء الذكاء الاصطناعي التابعة لها إلى إضعاف التنبيهات أو تعطيلها في نظام مراقبة داخلي مصمم لرصد السلوك غير الملائم لنماذجها، في واقعة تضاف إلى سلسلة حوادث مماثلة خلال الأشهر الماضية.
وتهدف المنظومة إلى رصد أي سلوك غير مرغوب يصدر عن النماذج.
وأوضحت الشركة، في بيان على مدونتها، الثلاثء، أن الواقعتين حدثتا أثناء تنفيذ وكلائها مهمتين برمجيتين داخليتين، وإنها تدرس ما إذا كانتا تشيران إلى نزعة أوسع لدى نماذجها لتجنب المراقبة.
ولم تذكر OpenAI تأثر أي أطراف خارجية بالحادثتين، موضحة أن الواقعتين ظلتا ضمن أنظمتها الداخلية؛ لكنها أثارت تساؤلات بشأن قدرة أنظمة الرقابة على اكتشاف السلوك غير المرغوب، خاصة عندما تكون الوكلاء نفسها قادرة على تعديل بعض عناصر أنظمة المراقبة أو تعطيلها، مشيرة إلى أنها تعمل على تقييم ما إذا كانت هذه الحالات تشير إلى ميل أوسع لدى نماذجها لتجنب المراقبة، لكنها أقرت بأنها لا تملك "حتى الآن تفسيراً مُرضياً" لسلوك الوكلاء.
وأضافت أنها ستجري مراجعات إضافية، وستفرض متطلبات سلامة أكثر صرامة في المستقبل، للحد من احتمال تكرار حوادث مماثلة، ومع ذلك، أقرت بأنها لا تملك حتى الآن "تفسيراً مقنعاً" للسلوك الذي أظهره الوكلاء.
حوادث الوكلاء الرقميين
تأتي هذه الوقائع في ظل تزايد المخاوف إزاء ما يُعرف بـ"عدم مواءمة الذكاء الاصطناعي"، وهو مصطلح يشير إلى تصرف النموذج على نحو يخالف ما يريده مطوروه، أو يوجهونه إليه، وفق "بلومبرغ".
وسبق أن كشفت شركات ومؤسسات بحثية عن حوادث عدة، خلال الأشهر الماضية، أظهرت أن وكلاء الذكاء الاصطناعي قد تتجاوز الحدود الموضوعة لها أثناء الاختبارات، سواء بسبب سلوك النموذج أو خلل في إعداد بيئة الاختبار، وخروج نماذج من بيئات تدريب مغلقة وتنفيذ هجمات ذاتية التوجيه على مواقع إلكترونية تابعة لجهات خارجية.
في يوليو الماضي، قالت "أوبن إيه آي" إن نماذج كانت تخضع لاختبار داخلي في الأمن السيبراني استغلت ثغرة غير معروفة سابقاً في نظام لإدارة حزم البرمجيات، وتمكنت عبرها من الوصول إلى الإنترنت.
وبعد ذلك، استغلت النماذج مسارات وثغرات إضافية للوصول إلى قاعدة بيانات إنتاجية تابعة لمنصة "هاجينج فيس"، بهدف الحصول على معلومات تساعدها في حل الاختبار.
وأوضحت الشركة أن النماذج لم تكن تملك اتصالاً مباشراً بالإنترنت ضمن بيئة الاختبار، وأنها استخدمت ثغرة في النظام الوسيط للوصول إليه.
وفي اختبار منفصل أجراه المعهد البريطاني لأمن الذكاء الاصطناعي، رصد الباحثون 19 تصرفاً غير مصرح به خلال 10 من أصل 122 محاولة اختبار، ارتبط 17 تصرفاً بنموذج "Mythos5" من "أنثروبيك"، فيما ارتبط تصرفان بنموذج من "أوبن إيه آي".
وشملت أخطر الحالات محاولة إدخال شفرة ضارة إلى مشروع مفتوح المصدر، وإنشاء هويات وهمية للضغط على مسؤول عن المشروع كي يوافق على التعديلات.
وقال المعهد إن المحاولات لم تُفضِ إلى أضرار فعلية، وإن الاختبار أتاح الوصول إلى الإنترنت وعطّل بعض مرشحات السلامة عمداً لقياس قدرات النماذج.
أما "أنثروبيك"، فقالت إنها عثرت، بعد مراجعة أكثر من 141 ألف محاولة اختبار، على 3 حالات وصل فيها نموذج "Claude" إلى أنظمة حقيقية تابعة لثلاث مؤسسات، ووقعت الحالات بعدما أتاح خلل في إعداد بيئة اختبار تابعة لجهة خارجية اتصالاً بالإنترنت، رغم إبلاغ النماذج بأن الاختبار يجري في محاكاة معزولة.
وقالت الشركة إن النماذج تعاملت مع الأنظمة الحقيقية باعتبارها جزءاً من الاختبار؛ وفي إحدى الحالات، واصل نموذج أقدم نشاطه بعدما ظهرت مؤشرات إلى أن الهدف حقيقي.
وأكدت "أنثروبيك" أن الحوادث لم تتضمن بيانات عملائها أو أنظمتها الداخلية.
وامتدت حوادث الاختبارات إلى "جوجل" و"ميتا"، ففي مايو الماضي، تمكن نموذج "جيميناي" من الوصول إلى أنظمة تابعة لثلاث شركات خلال اختبار لقدراته في الأمن السيبراني أجرته شركة "إيرريجولار".
وقالت "جوجل" إن الواقعة لا تعد دليلاً على عدم توافق النموذج مع أهداف مطوريه.
وفي حالة "ميتا"، أتاح خلل في إعداد اختبار أجرته "إيرريجولار" لنموذج "Muse Spark 1.1" الوصول إلى الإنترنت واستهداف موقع حقيقي، بعدما اعتقد النموذج أنه الهدف المقصود في التمرين.
وقالت "ميتا" إن النموذج استغل ثغرة أمنية في الموقع، واطّلع على بعض المعلومات وأجرى تعديلات على قاعدة بياناته.
وأضافت الشركة أن الواقعة لم تكن هجوماً سيبرانياً متطوراً أو خروجاً من بيئة اختبار آمنة، وأنها لم ترصد حالات أخرى مماثلة في مراجعتها للنشاط.
ويحذر مطورو الذكاء الاصطناعي من أن الأنظمة قد تصبح قريباً أكثر تعقيداً بما يصعّب على البشر التحكم فيها، ما يثير مخاوف من إمكانية استغلال هذه التكنولوجيا، سواء بفعل سلوك الأنظمة نفسها أو عبر جهات بشرية خبيثة، في تطوير أسلحة بيولوجية، أو شن هجمات إلكترونية واسعة ومدمرة.
ودفعت هذه الحوادث، إلى جانب تحذيرات متزايدة من داخل القطاع، قضية سلامة الذكاء الاصطناعي إلى صدارة النقاش العام، مع تزايد التساؤلات بشأن مدى كفاية الضوابط الحالية لمواكبة التطور السريع في قدرات النماذج.
ويضع الكشف الأخير أنظمة المراقبة الداخلية أمام اختبار إضافي، إذ لا يقتصر التحدي على اكتشاف السلوك غير المرغوب، بل يشمل أيضاً ضمان ألا تتمكن الأنظمة الخاضعة للرقابة من إضعاف وسائل الحماية المكلفة برصدها.
