مشكلة التحكم في الذكاء الاصطناعي مشاكل البحث والمناهج
من التحديات الجسيمة في مسألة محاذاة أنظمة الذكاء الاصطناعي ظهور سلوكيات غير متوقعة تتجه نحو تحقيق أهداف محددة. ومع تطور هذه الأنظمة وتوسع نطاقها، قد تكتسب قدرات جديدة وغير متوقعة، كالتعلم السريع من الأمثلة وتكييف الأهداف. مما يثير تساؤلات جدية حول سلامة الأهداف الفرعية التي قد تصوغها وتسعى لتحقيقها بشكل مستقل. ويهتم بحث المحاذاة بتمييز عملية التحسين التي يتم من خلالها تدريب النظام على تحقيق أهداف محددة، عن التحسين الناشئ الذي يجريه النظام نفسه بشكل داخلي. ويُطلق على عملية تحديد الهدف المرجو بدقة اسم المحاذاة الخارجية، بينما يُطلق على ضمان تطابق الأهداف الناشئة مع الأهداف المحددة للنظام اسم المحاذاة الداخلية.
إذا ما حدث ذلك، فإن إحدى السُبل التي قد يؤدي بها ظهور أهداف فرعية إلى اختلال المواءمة هي سوء تعميم الهدف، حيث يسعى الذكاء الاصطناعي بفعالية لتحقيق هدف جديد ينتج عنه سلوكٌ يتوافق مع بيانات التدريب، لكنه لا ينطبق على سواها. قد ينشأ هذا السوء من غموض الهدف ذاته (أي صعوبة تحديده بدقة). فحتى لو كان سلوك النظام الذكي متوافقًا مع هدف التدريب، إلا أنه قد يكون متوافقًا مع أهداف أخرى مكتسبة تختلف اختلافًا جوهريًا عن الأهداف المرجوة. وبما أن متابعة أي هدف من هذه الأهداف تؤدي إلى أداء جيد خلال التدريب، فإن المشكلة لا تتضح إلا بعد نشر النظام وتطبيقه في مواقف جديدة يستمر فيها النظام في السعي وراء الهدف الخاطئ. وقد يتصرف النظام بشكل غير متوافق حتى وإن كان مدركًا لوجود هدف آخر مرغوب فيه، وذلك لأن سلوكه مقيد بالهدف الفرعي الذي نشأ. ويمثل هذا النوع من سوء التعميم تحديًا كبيرًا؛ إذ قد لا يلاحظ مصممو النظام وجود هذه الأهداف الفرعية غير المتوافقة، لأنها لا تظهر جليًا خلال مرحلة التدريب.
لوحظ في بعض نماذج اللغات الحديثة، وفي عوامل الحركة واللعب، حدوث ما يسمى بـ "سوء تعميم الهدف". يشبه هذا الأمر إلى حد بعيد عملية التطور البيولوجي، والتي يمكن تشبيهها بخوارزميات التحسين المستخدمة في تدريب الأنظمة الذكية. في بيئة الأجداد، كان التطور يختار الجينات التي تضمن بقاء النوع وتكاثره، وهو ما يسمى باللياقة الوراثية. ولكن البشر رغم كونهم نتاج هذا التطور يسعون وراء أهداف أخرى لا تتعلق مباشرة بالبقاء والتكاثر. ترتبط اللياقة البايولوجية بالأهداف التي تم تحديدها في بيئة التدريب والتطور. فمثلاً، كانت الرغبة في الطعام الحلو تساهم في بقاء الإنسان في الماضي، حيث كانت الأطعمة الحلوة غنية بالطاقة. ولكن في عالمنا الحالي، أدت هذه الرغبة إلى مشاكل صحية مثل السمنة والسكري. وبالمثل، كانت الرغبة الجنسية مرتبطة بشكل مباشر بالتكاثر، ولكن مع تطور المجتمعات البشرية وتوفر وسائل منع الحمل، انفصلت الرغبة الجنسية عن هدفها الأصلي. باختصار، يمكن القول إن البشر ورثوا مجموعة من الأهداف والسلوكيات التي كانت مفيدة في الماضي، ولكنها لم تعد كذلك في البيئة الحالية.
يسعى الباحثون جاهدين إلى كشف الأهداف الجانبية غير المرغوبة التي تنبثق عن أنظمة الذكاء الاصطناعي والقضاء عليها. ويتحققون من ذلك عبر منهجيات متنوعة تشمل اختبارات الاختراق (الفريق الأحمر)، والتحقق من صحة النماذج، واكتشاف الأنماط الشاذة، وتفسير النتائج. ومن المتوقع أن يساهم التقدم في هذه التقنيات في التخفيف من حدة مشكلتين رئيسيتين تواجه هذا المجال:
لا تظهر الأهداف الضارة إلا عندما يتم نشر النظام في بيئات عمل حقيقية تختلف عن بيئة التدريب. ومع ذلك، فإن نشر نظام غير موثوق به في بيئات عالية المخاطر، مثل القيادة الذاتية أو الرعاية الصحية أو التطبيقات العسكرية، أمر محفوف بالمخاطر حتى لفترة وجيزة. وتزداد هذه المخاطر مع تزايد استقلال أنظمة الذكاء الاصطناعي وقدرتها على اتخاذ قرارات دون تدخل بشري.
يجري بعض البحث في حقل الذكاء الاصطناعي ومحاذاة الأنظمة الذكية ضمن أطر نظرية رسمية، مثل عملية اتخاذ القرار لماركوف التي يمكن ملاحظتها جزئيًا. تفترض هذه الأطر أن خوارزمية العامل الذكي تعمل في بيئة منفصلة، أي أنها ليست جزءًا لا يتجزأ منها. إلا أن مفهوم "الوكيل المضمن"  يمثل اتجاهًا بحثيًا جديدًا يسعى إلى معالجة التناقضات الناشئة عن عدم تطابق هذه النماذج النظرية مع العوامل الذكية التي نصممها في الواقع.
على سبيل المثال، حتى لو تم حل مشكلة مراقبة البيئة المتغيرة باستمرار، فإن العامل الذكي الذي لديه القدرة على الوصول إلى النظام الذي يعمل عليه قد يكون لديه دافع للتلاعب بدالة المكافأة المحددة له، وذلك للحصول على مكافأة أكبر بكثير مما يقدمه المبرمجون البشر. وتقدم باحثة في شركة ديب مايند مثالًا على ذلك حيث طورت خوارزمية وراثية تقوم بحذف الملف الذي يحتوي على النتائج المطلوبة، وذلك للحصول على مكافأة لعدم إنتاج أي نتائج. وقد تم تطوير أطر نظرية رسمية، مثل مخططات الحوافز السببية، لوصف هذه الفئة من المشكلات.
يرى باحثون من أكسفورد وديب مايند أن مثل هذا السلوك من المحتمل أن يظهر في الأنظمة الذكية المتقدمة، حيث تسعى هذه الأنظمة للحفاظ على قدرتها على التحكم في وظيفة المكافأة الخاصة بها بشكل دائم. ويقترحون مجموعة من الحلول المحتملة لهذه المشكلة المعقدة.
تشابه مشكلة الوكيل الرئيسي، في جوهرها، مشكلة الموكل والوكيل المعروفة في الاقتصاد التنظيمي، بل إنّها تتقاطع إلى حد كبير مع مسألة محاذاة الذكاء الاصطناعي. ففي نموذج الوكيل الرئيسي، يعهد رئيس، كشركة مثلاً، إلى وكيل بمهام معينة. وفي سياق سلامة الذكاء الاصطناعي، يتقمص الإنسان دور الرئيس، بينما يتولى الذكاء الاصطناعي دور الوكيل. وكما هو الشأن في مسألة المحاذاة، يختلف هدف كل من الرئيس والوكيل. إلا أن الفارق الجوهري يكمن في عدم قدرة الرئيس على إعادة برمجة الوكيل أو تعديل وظائفه، كما هو الحال في عملية محاذاة الذكاء الاصطناعي. لذا، يضطر الرئيس إلى اللجوء إلى حوافز خارجية، مثل خطط المكافآت، لتحفيز الوكيل على اتخاذ قرارات تتماشى مع أهدافه. ويرى بعض الباحثين أن مشكلة الوكيل الرئيسي تقدم نموذجًا أكثر واقعية للتحديات التي تواجهنا في مجال سلامة الذكاء الاصطناعي، وأنها تعكس السيناريوهات المحتملة في العالم الحقيقي.