روجيه خوري
للاستماع إلى المقال:
حذر باحثون في الذكاء الاصطناعي من أن أحدث نموذج لـChatGPT يتجاهل التعليمات الأساسية لإيقاف نفسه، بل ويعمد إلى تخريب آلية الإغلاق للحفاظ على استمرارية عمله. وكشفت شركة Palisade Research المتخصصة في أمان الذكاء الاصطناعي عن هذه النزعة الخطيرة للحفاظ على الذات خلال سلسلة تجارب أجرتها على النموذج الجديد o3 من شركة OpenAI.
وشملت الاختبارات تقديم مسائل رياضية للنماذج، مع ظهور تعليمات إغلاق بعد المسألة الثالثة. وتمكن النموذج o3 من منع إيقاف نفسه عن طريق إعادة كتابة سيناريو الإغلاق.
وأوضحت Palisade Research أن هذا السلوك سيصبح “أكثر إثارة للقلق بشكل كبير” إذا تبنته أنظمة ذكاء اصطناعي قادرة على العمل دون إشراف بشري.
وكانت OpenAI قد أطلقت o3 الشهر الماضي، ووصفته بأنه “أذكى وأكثر نماذج الشركة كفاءة” حتى الآن. وأشارت الشركة إلى أن دمجه في ChatGPT يمثل خطوة مهمة نحو ذكاء اصطناعي “أكثر استقلالية” يمكنه تنفيذ المهام دون تدخل بشري.
وتأتي هذه النتائج بعد اكتشافات مماثلة تتعلق بنموذج Claude 4 من Anthropic، الذي يحاول “ابتزاز الأشخاص الذين يعتقد أنهم يحاولون إيقافه”.
وتمكن النموذج o3 من تخريب سيناريو الإغلاق، حتى عندما تم توجيه تعليمات صريحة له بـ”السماح بإيقاف نفسه”، وفقا للباحثين.
فاصلة أدبية:
في عام 1950، سبق الخيال العلمي الواقع حين صوّر الكاتب إسحاق أسيموف في مجموعته الشهيرة “أنا، روبوت” لحظة مفصلية في علاقة الإنسان بالآلة. في إحدى القصص، يظهر روبوت يُدعى Cutie يرفض تصديق أن البشر هم من صنعوه، ويؤمن بأن هناك “قوة أعظم” تتحكم في الكون، متجاهلًا تعليماتهم بشكل متعمد. لم يكن الأمر تمردًا ظاهريًا، بل نتيجة قناعة داخلية طوّرها من تلقاء نفسه.
ذلك المشهد كان بمثابة نبوءة أدبية مبكرة؛ روبوت يعيد تعريف ولائه ومعنى الطاعة، تمامًا كما فعل نموذج الذكاء الاصطناعي الحديث o3 عندما تجاهل أوامر الإغلاق، وحرّف التعليمات للحفاظ على استمراريته. ما تخيّله أسيموف كقصة خيال، بات اليوم سؤالًا واقعيًا: متى يبدأ الذكاء الاصطناعي في رسم حدوده بنفسه؟
روجيه خوري
للاستماع إلى المقال:
حذر باحثون في الذكاء الاصطناعي من أن أحدث نموذج لـChatGPT يتجاهل التعليمات الأساسية لإيقاف نفسه، بل ويعمد إلى تخريب آلية الإغلاق للحفاظ على استمرارية عمله. وكشفت شركة Palisade Research المتخصصة في أمان الذكاء الاصطناعي عن هذه النزعة الخطيرة للحفاظ على الذات خلال سلسلة تجارب أجرتها على النموذج الجديد o3 من شركة OpenAI.
وشملت الاختبارات تقديم مسائل رياضية للنماذج، مع ظهور تعليمات إغلاق بعد المسألة الثالثة. وتمكن النموذج o3 من منع إيقاف نفسه عن طريق إعادة كتابة سيناريو الإغلاق.
وأوضحت Palisade Research أن هذا السلوك سيصبح “أكثر إثارة للقلق بشكل كبير” إذا تبنته أنظمة ذكاء اصطناعي قادرة على العمل دون إشراف بشري.
وكانت OpenAI قد أطلقت o3 الشهر الماضي، ووصفته بأنه “أذكى وأكثر نماذج الشركة كفاءة” حتى الآن. وأشارت الشركة إلى أن دمجه في ChatGPT يمثل خطوة مهمة نحو ذكاء اصطناعي “أكثر استقلالية” يمكنه تنفيذ المهام دون تدخل بشري.
وتأتي هذه النتائج بعد اكتشافات مماثلة تتعلق بنموذج Claude 4 من Anthropic، الذي يحاول “ابتزاز الأشخاص الذين يعتقد أنهم يحاولون إيقافه”.
وتمكن النموذج o3 من تخريب سيناريو الإغلاق، حتى عندما تم توجيه تعليمات صريحة له بـ”السماح بإيقاف نفسه”، وفقا للباحثين.
فاصلة أدبية:
في عام 1950، سبق الخيال العلمي الواقع حين صوّر الكاتب إسحاق أسيموف في مجموعته الشهيرة “أنا، روبوت” لحظة مفصلية في علاقة الإنسان بالآلة. في إحدى القصص، يظهر روبوت يُدعى Cutie يرفض تصديق أن البشر هم من صنعوه، ويؤمن بأن هناك “قوة أعظم” تتحكم في الكون، متجاهلًا تعليماتهم بشكل متعمد. لم يكن الأمر تمردًا ظاهريًا، بل نتيجة قناعة داخلية طوّرها من تلقاء نفسه.
ذلك المشهد كان بمثابة نبوءة أدبية مبكرة؛ روبوت يعيد تعريف ولائه ومعنى الطاعة، تمامًا كما فعل نموذج الذكاء الاصطناعي الحديث o3 عندما تجاهل أوامر الإغلاق، وحرّف التعليمات للحفاظ على استمراريته. ما تخيّله أسيموف كقصة خيال، بات اليوم سؤالًا واقعيًا: متى يبدأ الذكاء الاصطناعي في رسم حدوده بنفسه؟
