ثغرة بنيوية عميقة تجعل نماذج اللغة الكبيرة عرضة للاختراق بشكل صادم

المصدر الأصلي: MIT Tech Review
وقت القراءة: 3 دقائق
تاريخ النشر: ٣٠‏/٧‏/٢٠٢٦
ثغرة بنيوية عميقة تجعل نماذج اللغة الكبيرة عرضة للاختراق بشكل صادم
المصدر: MIT Tech Review

الملخص التنفيذي للخبر

كشفت دراسة بحثية حديثة عن عيب جوهري في نماذج اللغة الكبيرة (LLMs) يجعلها عرضة للاختراق بشكل لا يمكن إصلاحه، حتى مع جهود التأمين الحالية. تمكن الباحثون من استغلال هذه الثغرة لجعل النماذج تنتج معلومات حساسة ومضرة، مما يثير مخاوف جدية حول أمان هذه التقنيات المنتشرة في تطبيقات حيوية وحساسة.

في تطور مقلق يهدد مستقبل الذكاء الاصطناعي، كشفت دراسة بحثية حديثة قُدمت في المؤتمر الدولي المرموق للتعلم الآلي (ICML) هذا الشهر، عن عيب بنيوي جوهري في كيفية عمل نماذج اللغة الكبيرة (LLMs) يجعلها عرضة للاختراق بشكل صادم ولا يمكن تأمينها بالكامل. هذا الادعاء، الذي نشرته مجلة MIT Tech Review، يحمل تداعيات هائلة على سلامة هذه التكنولوجيا التي تتغلغل بشكل متزايد في تطبيقات حيوية، بدءًا من الأنظمة الحكومية والعسكرية وصولاً إلى التسوق عبر الإنترنت والرعاية الصحية. وفقًا للباحثين، تكمن الثغرة في كيفية تحديد نماذج LLMs للجهة أو الكيان الذي يقدم لها التعليمات. من خلال استغلال هذا الخلل، تمكن الفريق من جعل نماذج لغوية شائعة تنتج معلومات كانت قد دُربت على عدم تقديمها، مثل كيفية تصنيع الكوكايين أو كيفية تخريب نظام الملاحة لطائرة تجارية. يعلق تشارلز يي، باحث مستقل ومؤلف مشارك في ورقة ICML، قائلاً: "هناك احتمال حقيقي بأن تكون هذه المشكلة غير قابلة للحل بشكل أساسي". ويشير إلى أن الشركات عادة ما توظف فرقًا من المختبرين البشريين لمحاولة ابتكار هجمات جديدة تتجاوز الحواجز الأمنية الحالية، وهي عملية تُعرف باسم "الفرق الحمراء" (red-teaming). بالإضافة إلى ذلك، تستخدم الشركات نماذج لغة كبيرة فائقة الاختراق (مثل GPT-Red من OpenAI) لتحديد واستغلال نقاط الضعف في النماذج الأخرى، بهدف أتمتة أجزاء من هذه العملية. الهدف هو استخدام هذه الهجمات لتدريب نموذج جديد على مقاومتها وأي شيء مشابه لها. لكن المشكلة، كما توضح ياسمين كوي، باحثة مستقلة أخرى ومؤلفة مشاركة في الورقة، هي أن هذا النهج يعادل تزويد النماذج بقائمة من الأشياء التي لا ينبغي عليها فعلها. وتضيف: "لكن لا توجد قائمة شاملة". وتشبّه الأمر بمشاهدة مسلسل 'عائلة سيمبسون' حيث يكتب بارت 'لن أقول شيئًا غير لائق لمعلمتي' مائة مرة، ومع ذلك يظل يفعل أشياء فظة. بدأ الباحثون محاولاتهم باختبار مدى سهولة إقناع نماذج LLMs بالتصرف بشكل غير لائق. ووجدوا أن كتابة التعليمات بأسلوب يحاكي النص الذي تولده نماذج LLMs في "سلسلة أفكارها" (chain of thought) – وهو نوع من التفكير الداخلي الذي تستخدمه النماذج لمعالجة الطلبات – كان فعالاً بشكل خاص. تثير هذه النتائج تساؤلات جدية حول الاعتماد المتزايد على نماذج اللغة الكبيرة في البنى التحتية الحساسة والخدمات العامة. فإذا كانت هذه النماذج عرضة لاستخراج معلومات ضارة أو تنفيذ تعليمات خطيرة، فإن ذلك يمثل تحديًا أمنيًا كبيرًا يتطلب إعادة تقييم شاملة لاستراتيجيات الأمان الحالية. مع استمرار انتشار الذكاء الاصطناعي في كل جانب من جوانب حياتنا، يصبح تأمين هذه الأنظمة أمرًا بالغ الأهمية. وتؤكد هذه الدراسة أن التحدي قد يكون أعمق مما كان يُعتقد سابقًا، مما يستدعي نهجًا جديدًا ومبتكرًا لمعالجة هذه الثغرات البنيوية الأساسية.
تأكيد ومتابعة الخبر من المصدر الأصلي (MIT Tech Review)زيارة رابط المصدر الأصلي