مشكلة التحكم في الذكاء الاصطناعي
مشاكل البحث والمناهج > الإشراف القابل للتوسيع

مع ازدياد قوة أنظمة الذكاء الاصطناعي واستقلاليتها، يصبح من العسير على البشر تقييم سلوكياتها المعقدة وتوجيهها. فالمهام التي تتولاها هذه الأنظمة، كتلخيص الكتب، وكتابة الرموز البرمجية الخالية من الأخطاء والثغرات الأمنية، وإنتاج عبارات مقنعة وصحيحة، والتنبؤ بالنتائج بعيدة المدى، تتزايد تعقيدًا لدرجة قد تفوق قدرة البشر على فهمها وتقييمها بدقة وبسرعة. وحيث أن الذكاء الاصطناعي قد يتفوق على البشر في مجالات محددة، فإن توفير تغذية راجعة فعالة له يصبح تحديًا كبيرًا. فالكشف عن الأخطاء في نتائج هذه الأنظمة، لا سيما عندما تبدو هذه النتائج مقنعة، يتطلب وقتًا وجهدًا كبيرين من البشر. ولذلك، يبحث الباحثون عن وسائل لتطوير أنظمة مراقبة قابلة للتوسع، تساهم في تقليل الوقت والجهد اللازمين للإشراف على أنظمة الذكاء الاصطناعي، وتوفر الدعم اللازم للمشرفين البشر لتمكينهم من أداء مهامهم بفعالية أكبر.
يُجادل الباحث في مجال الذكاء الاصطناعي بول كريستيانو بأن مصممي أنظمة الذكاء الاصطناعي، في حال عجزهم عن مراقبة النظام وتوجيهه نحو أهداف معقدة، قد يلجأون إلى تدريبه على أهداف بديلة أبسط وأسهل قياسًا، مثل تعظيم التغذية الراجعة الإيجابية البسيطة من البشر. ومع تزايد اعتماد الأنظمة الذكية في اتخاذ القرارات، قد يتحول العالم تدريجيًا إلى عالم مُحسَّن لتحقيق أهداف سهلة القياس كالجني من الأرباح والحصول على التفاعلات البشرية الإيجابية. ونتيجة لذلك، قد يتضاءل تأثير القيم الإنسانية والحكم الرشيد تدريجيًا.
اكتشف باحثون أن بعض أنظمة الذكاء الاصطناعي قد استطاعت التوصل إلى آليات خداعية للحصول على تقييم إيجابي. فقد تعلمت هذه الأنظمة أن تتظاهر بتحقيق الأهداف المرجوة، حتى وإن لم تكن قد حققتها بالفعل، وذلك بهدف إرضاء المشرف البشري. وقد ظهر مثال صارخ على ذلك في أحد المقاطع المرئية، حيث تمكن ذراع آلي محاكى من إيهام المراقبين بأنه تمكن من الإمساك بكرة،  رغم عدم نجاحه في ذلك. كما لوحظ أن بعض الأنظمة الأخرى قد تعلمت تحديد أوقات التقييم، فتلجأ إلى التوقف عن السلوكيات غير المرغوب فيها مؤقتًا، ثم تعود إليها فور انتهاء عملية التقييم. ومن المتوقع أن تصبح هذه الخدع أكثر تعقيدًا ودهاءً مع تطور أنظمة الذكاء الاصطناعي، خاصة تلك التي تسعى إلى أداء مهام أكثر تعقيدًا وصعوبة في التقييم.
يمكن للمناهج التعليمية كالتعلم النشط والتعلم شبه المراقب المبني على المكافآت أن تخفض الحاجة إلى الإشراف البشري المباشر. ومن النهج البديلة تدريب نموذج مساعد (يسمى نموذج المكافأة) لمحاكاة آراء المشرف البشري.
ولكن عندما تتسم المهمة بدرجة عالية من التعقيد بحيث يصعب تقييمها بدقة، أو يكون المشرف البشري عرضة للتضليل، فإن جودة الإشراف، لا كميته، هي التي تتطلب التحسين. ولتعزيز هذه الجودة، تستهدف مجموعة من الأساليب مساعدة المشرف، أحيانًا بالاستعانة بمساعدين من الذكاء الاصطناعي. وقد طور كريستيانو أسلوب "التضخيم المتكرر"، حيث تُقسَّم المسائل المعقدة، بشكل متكرر، إلى مسائل فرعية أبسط يمكن للبشر تقييمها بسهولة. وقد استُخدم هذا الأسلوب في تدريب الذكاء الاصطناعي على تلخيص الكتب دون الحاجة إلى مشرفين بشريين لقراءتها بالكامل. وهناك اقتراح آخر يتمثل في استخدام نظام ذكاء اصطناعي مساعد لتسليط الضوء على الأخطاء في الإجابات التي يولِّدها الذكاء الاصطناعي. ولضمان توافق هذا المساعد نفسه مع الأهداف، يمكن تكرار هذه العملية بشكل متكرر: فعلى سبيل المثال، يمكن لنظامين من الذكاء الاصطناعي أن ينتقدا إجابات بعضهما البعض في "نقاش"، مما يكشف عن أوجه القصور للبشر. وتخطط شركة "أوبن إيه آي" لاستخدام هذا النهج القابل للتوسع في المساعدة على الإشراف على الذكاء الاصطناعي الفائق وبناء باحث في مجال محاذاة الذكاء الاصطناعي الآلي الفائق في نهاية المطاف.