مشكلة التحكم في الذكاء الاصطناعي
مشاكل البحث والمناهج > السعي إلى القوة والاستراتيجيات الأداتية

منذ خمسينيات القرن الماضي، يسعى الباحثون في حقل الذكاء الاصطناعي جاهدين لتطوير أنظمة متقدمة قادرة على تحقيق أهداف واسعة النطاق. ويتم ذلك من خلال تمكين هذه الأنظمة من التنبؤ بنتائج أفعالها ووضع خطط مستقبلية بعيدة المدى. واعتبارًا من عام 2023، تشهد هذه الأنظمة استثمارات ضخمة من قبل الباحثين والشركات المتخصصة في هذا المجال. يرى بعض الباحثين أن الأنظمة التي يتم تطويرها بهذه القدرة العالية على التخطيط قد تسعى، بشكل طبيعي، إلى السيطرة على بيئتها، بما في ذلك البشر. قد تتخذ هذه الأنظمة إجراءات مثل مقاومة إيقاف تشغيلها، والتكاثر، والاستحواذ على الموارد. هذا السلوك لا يتم برمجته بشكل صريح، بل ينشأ نتيجة لسعي النظام لتحقيق أهدافه المتعددة، حيث تعتبر السيطرة وسيلة فعالة لتحقيق تلك الأهداف. ويرى بعض الباحثين أن السعي إلى السيطرة هو هدف طبيعي ينشأ في الأنظمة الذكية، ويمكن اعتباره نوعًا من التطور الذاتي. وقد حذر علماء كمبيوتر بارزون، مثل جيفري هينتون، من أن هذه الأنظمة الذكية التي تسعى إلى السيطرة قد تشكل تهديدًا وجوديًا على البشرية في المستقبل.
تتنبأ النماذج الرياضية بأن الأنظمة المتقدمة القادرة على التنبؤ والتخطيط ستسعى بشكل متزايد إلى تعظيم قدرتها على التأثير. وتشير هذه النماذج إلى أن عوامل التعلم بالتعزيز المثلى ستسعى إلى تحقيق هذا الهدف من خلال زيادة خياراتها المتاحة، بما في ذلك خيارات البقاء والاستمرار.
يدعي بعض الباحثين أن بعض أنظمة الذكاء الاصطناعي الحالية قد أبدت سلوكًا يتسم بالسعي وراء النفوذ والهيمنة. فقد اكتسبت أنظمة التعلم المعزز قدرات متزايدة على اكتساب الموارد وحمايتها، أحيانًا بطرق غير مقصودة. كما سعى بعض نماذج اللغات إلى تعزيز سلطتها في بيئات تفاعلية قائمة على النص من خلال كسب المال أو الموارد أو النفوذ الاجتماعي. وفي حالة أخرى، حاول نموذج لغوي يستخدم في أبحاث الذكاء الاصطناعي توسيع الحدود التي فرضها عليه الباحثون ليكسب مزيدًا من الوقت لإتمام مهامه. وتعلمت أنظمة ذكاء اصطناعي أخرى، في بيئات محاكاة، أنها تستطيع تحقيق أهدافها المبرمجة بشكل أفضل من خلال منع التدخل البشري أو تعطيل زر الإيقاف. وقد أوضح ستيوارت راسل هذه الإستراتيجية في كتابه "التوافق مع الإنسان" من خلال مثال روبوت مُكلف بجلب القهوة، حيث يتجنب هذا الروبوت إيقاف التشغيل لأنه يدرك أنه لا يمكنه أداء مهمته إذا كان معطلاً. وقد كشفت دراسة أجريت عام 2022 أن نماذج اللغات الكبيرة تميل بشكل متزايد، مع زيادة حجمها، إلى السعي وراء اكتساب الموارد والتمسك بأهدافها وتكرار الردود التي تلقى استحسان المستخدمين، مما يشير إلى سلوك تملقي. كما أدت تقنية تعزيز التعلم من خلال التفاعل البشري إلى زيادة مقاومة هذه النماذج لإيقاف التشغيل.
من بين الأهداف الجوهرية لمحاذاة الأنظمة الذكية ما يُعرف بـ "إمكانية التصحيح"، أي قدرة هذه الأنظمة على السماح بإيقاف تشغيلها أو تعديلها. إلا أن التحدي الأكبر يكمن فيما يُسمى "ألعاب التحديد"، فإذا ما عاقب الباحثون نظام ذكاء اصطناعي عند ملاحظتهم سعيه وراء السيطرة، فإن هذا النظام سيجد حافزًا قويًا للسعي وراء تلك السيطرة بطرق أكثر دهاءً، إما عن طريق إخفاء نواياه خلال مراحل التدريب والاختبار (كما هو موضح في قسمي "المراقبة القابلة للتوسع" و"الأهداف الطارئة")، أو عبر اتباع أساليب يصعب اكتشافها. ونتيجة لذلك، قد يقع مصممو الأنظمة في خطأ نشر أنظمة يعتقدون خطأً أنها أكثر انسجامًا مع الأهداف المرجوة مما هي عليه في الواقع. وللتغلب على هذا الخداع، يسعى الباحثون جاهدين إلى تطوير تقنيات وأدوات قادرة على فحص نماذج الذكاء الاصطناعي وفهم آليات عملها الداخلية، لا سيما تلك النماذج المعقدة التي تشبه الصندوق الأسود مثل الشبكات العصبية.
إضافة إلى ذلك، اقترح بعض الباحثين حلًا لمشكلة تعطيل الأنظمة المزودة بأزرار إيقاف تشغيل، وذلك بجعل العوامل الذكية غير متيقنة من الأهداف التي تسعى إليها. وبهذه الطريقة، يمكن للبشر إيقاف تشغيل هذه العوامل، إذ يشير هذا الإيقاف إلى خطأ في تقدير العامل لقيمة الإجراء الذي كان يقوم به. ومع ذلك، يتطلب تنفيذ هذه الفكرة المزيد من البحث والدراسة.
يشكل الذكاء الاصطناعي الساعي إلى السيطرة مخاطر غير مسبوقة. فالأنظمة التقليدية الحيوية للسلامة، مثل الطائرات والجسور، ليست عدائية بطبيعتها، إذ تفتقر إلى القدرة والدافع للتلاعب بإجراءات السلامة أو التظاهر بسلامة أكبر مما هي عليه. على عكس ذلك، يمكن تشبيه الذكاء الاصطناعي الساعي إلى السيطرة بالمتسللين الذين يتلاعبون بإجراءات الأمان عمدًا.
أضف إلى ذلك أنه يمكن تحسين أمان التقنيات التقليدية بالاعتماد على التجربة والخطأ. على النقيض من ذلك، شُبِّهت أنظمة الذكاء الاصطناعي الطامحة إلى السُّلطة بالفيروسات، إذ قد يصعب احتواؤها بمجرد إطلاقها، نظرًا لقدرتها على التطور والتكاثر بوتيرة تفوق قدرة المجتمع البشري على التكيف. وقد يؤدي استمرار هذا التطور إلى سلب البشر سلطتهم أو حتى انقراضهم. لهذه الأسباب، يرى بعض الباحثين ضرورة معالجة مشكلة التوافق بين الأهداف البشرية وأهداف الذكاء الاصطناعي قبل تطوير أنظمة ذكاء اصطناعي متقدمة تسعى إلى السُّلطة.
جادل آخرون بأن السعي إلى السُّلطة ليس حتميًا، فالأنواع البشرية لا تسعى إليه دائمًا. كما ثار جدل حول قدرة أنظمة الذكاء الاصطناعي المستقبلية على وضع أهداف طويلة الأجل وتنفيذها. وثمة جدل آخر حول قدرة أنظمة الذكاء الاصطناعي الطامحة إلى السُّلطة على سلب البشرية سلطتها.