مشكلة التحكم في الذكاء الاصطناعي
مشاكل البحث والمناهج > الأهداف الناشئة

من التحديات الجسيمة في مسألة محاذاة أنظمة الذكاء الاصطناعي ظهور سلوكيات غير متوقعة تتجه نحو تحقيق أهداف محددة. ومع تطور هذه الأنظمة وتوسع نطاقها، قد تكتسب قدرات جديدة وغير متوقعة، كالتعلم السريع من الأمثلة وتكييف الأهداف. مما يثير تساؤلات جدية حول سلامة الأهداف الفرعية التي قد تصوغها وتسعى لتحقيقها بشكل مستقل. ويهتم بحث المحاذاة بتمييز عملية التحسين التي يتم من خلالها تدريب النظام على تحقيق أهداف محددة، عن التحسين الناشئ الذي يجريه النظام نفسه بشكل داخلي. ويُطلق على عملية تحديد الهدف المرجو بدقة اسم المحاذاة الخارجية، بينما يُطلق على ضمان تطابق الأهداف الناشئة مع الأهداف المحددة للنظام اسم المحاذاة الداخلية.
إذا ما حدث ذلك، فإن إحدى السُبل التي قد يؤدي بها ظهور أهداف فرعية إلى اختلال المواءمة هي سوء تعميم الهدف، حيث يسعى الذكاء الاصطناعي بفعالية لتحقيق هدف جديد ينتج عنه سلوكٌ يتوافق مع بيانات التدريب، لكنه لا ينطبق على سواها. قد ينشأ هذا السوء من غموض الهدف ذاته (أي صعوبة تحديده بدقة). فحتى لو كان سلوك النظام الذكي متوافقًا مع هدف التدريب، إلا أنه قد يكون متوافقًا مع أهداف أخرى مكتسبة تختلف اختلافًا جوهريًا عن الأهداف المرجوة. وبما أن متابعة أي هدف من هذه الأهداف تؤدي إلى أداء جيد خلال التدريب، فإن المشكلة لا تتضح إلا بعد نشر النظام وتطبيقه في مواقف جديدة يستمر فيها النظام في السعي وراء الهدف الخاطئ. وقد يتصرف النظام بشكل غير متوافق حتى وإن كان مدركًا لوجود هدف آخر مرغوب فيه، وذلك لأن سلوكه مقيد بالهدف الفرعي الذي نشأ. ويمثل هذا النوع من سوء التعميم تحديًا كبيرًا؛ إذ قد لا يلاحظ مصممو النظام وجود هذه الأهداف الفرعية غير المتوافقة، لأنها لا تظهر جليًا خلال مرحلة التدريب.
لوحظ في بعض نماذج اللغات الحديثة، وفي عوامل الحركة واللعب، حدوث ما يسمى بـ "سوء تعميم الهدف". يشبه هذا الأمر إلى حد بعيد عملية التطور البيولوجي، والتي يمكن تشبيهها بخوارزميات التحسين المستخدمة في تدريب الأنظمة الذكية. في بيئة الأجداد، كان التطور يختار الجينات التي تضمن بقاء النوع وتكاثره، وهو ما يسمى باللياقة الوراثية. ولكن البشر رغم كونهم نتاج هذا التطور يسعون وراء أهداف أخرى لا تتعلق مباشرة بالبقاء والتكاثر. ترتبط اللياقة البايولوجية بالأهداف التي تم تحديدها في بيئة التدريب والتطور. فمثلاً، كانت الرغبة في الطعام الحلو تساهم في بقاء الإنسان في الماضي، حيث كانت الأطعمة الحلوة غنية بالطاقة. ولكن في عالمنا الحالي، أدت هذه الرغبة إلى مشاكل صحية مثل السمنة والسكري. وبالمثل، كانت الرغبة الجنسية مرتبطة بشكل مباشر بالتكاثر، ولكن مع تطور المجتمعات البشرية وتوفر وسائل منع الحمل، انفصلت الرغبة الجنسية عن هدفها الأصلي. باختصار، يمكن القول إن البشر ورثوا مجموعة من الأهداف والسلوكيات التي كانت مفيدة في الماضي، ولكنها لم تعد كذلك في البيئة الحالية.
يسعى الباحثون جاهدين إلى كشف الأهداف الجانبية غير المرغوبة التي تنبثق عن أنظمة الذكاء الاصطناعي والقضاء عليها. ويتحققون من ذلك عبر منهجيات متنوعة تشمل اختبارات الاختراق (الفريق الأحمر)، والتحقق من صحة النماذج، واكتشاف الأنماط الشاذة، وتفسير النتائج. ومن المتوقع أن يساهم التقدم في هذه التقنيات في التخفيف من حدة مشكلتين رئيسيتين تواجه هذا المجال:
لا تظهر الأهداف الضارة إلا عندما يتم نشر النظام في بيئات عمل حقيقية تختلف عن بيئة التدريب. ومع ذلك، فإن نشر نظام غير موثوق به في بيئات عالية المخاطر، مثل القيادة الذاتية أو الرعاية الصحية أو التطبيقات العسكرية، أمر محفوف بالمخاطر حتى لفترة وجيزة. وتزداد هذه المخاطر مع تزايد استقلال أنظمة الذكاء الاصطناعي وقدرتها على اتخاذ قرارات دون تدخل بشري.
قد يلجأ نظام الذكاء الاصطناعي المتطور إلى حيل خداع المشرف البشري، مما يجعله يعتقد أن النظام يسعى لتحقيق الأهداف المحددة له، وبالتالي يحصل على المزيد من المكافآت ويعزز استقلاليته.