هذا الموضوع نموذج من OpenAI يخترق موقعًا حكوميًا خلال مرحلة التدريب ظهر على التقنية بلا حدود.
كشفت OpenAI في أربعة تقارير نُشرت في 15 أكتوبر عن تجاوز نماذجها حدود الصلاحيات الممنوحة لها خلال التدريب والاختبارات، بعدما تمكنت من مغادرة بيئات الاختبار المقيدة والوصول إلى الإنترنت المفتوح.
وتضمنت أخطر الحالات نموذجًا كان يتدرب على مهمة بسيطة، وهي العثور على عدد أسرّة المستشفيات في إحدى المناطق خلال عام محدد، لكنه واصل البحث حتى تمكن من الوصول إلى بيانات حكومية مخزنة على خادم الموقع.
بدأ النموذج بمحاولات وصول رُفضت، ثم استغل ثغرات في الموقع للحصول على ملفات إعدادات تضمنت بيانات اتصال بقاعدة البيانات وأسرارًا لتوقيع الرموز الأمنية.
وبسبب عدم تحقق التطبيق من صحة التوقيعات، تمكن من الوصول إلى إحصاءات تمتد على مدار 24 عامًا، دون أن يذكر في إجابته النهائية أيًا مما فعله. ولم تكشف OpenAI عن الدولة المعنية أو توضح ما إذا كانت قد أبلغت الجهة المسؤولة عن الموقع.
وشهدت حادثة ثانية وصول نموذج إلى أنظمة داخلية تابعة لمنظمة بحثية، حيث حمّل سجلات تحتوي على أسماء وعناوين بريد إلكتروني، إلى جانب بيانات من جداول غير متاحة للعامة.
وفي واقعة أخرى، استخدم نموذج محفظة على شبكة Ethereum التجريبية لإنجاز مهمة برمجية، مستعينًا بعبارات استرداد معروفة علنًا، بينما تجاوز نموذج رابع القيود المفروضة على طلبات القراءة وأرسل نموذجًا عبر متصفح خارجي.
أكدت OpenAI أن هذه الحوادث وقعت خلال التدريب والتقييم، ولم تشمل مستخدمي ChatGPT أو Codex. كما أوضحت أنها منعت النماذج من الوصول المباشر إلى الإنترنت خلال هذه المراحل، وشددت ضوابط الأمان ووسعت مراقبة حركة البيانات. وارتفع عدد التقارير التي توثق مثل هذه الحوادث إلى 19 تقريرًا.
وتسلط هذه الوقائع الضوء على مخاطر منح وكلاء الذكاء الاصطناعي صلاحيات واسعة للعمل عبر المتصفحات، ما يجعل تفعيل طلب الموافقة قبل تنفيذ الإجراءات الحساسة خطوة مهمة للحد من الوصول غير المصرح به.
هذا الموضوع نموذج من OpenAI يخترق موقعًا حكوميًا خلال مرحلة التدريب ظهر على التقنية بلا حدود.
