مشكلة التحكم في الذكاء الاصطناعي

تتمثل **مشكلة التحكم في الذكاء الاصطناعي**، في مجال الذكاء الاصطناعي والفلسفة، في مسألة كيفية بناء وكيل فائق الذكاء يساعد منشئيه، وتجنب بناء ذكاء فائق عن غير قصد يمكن أن يضر منشئيه. تحفز الفكرة القائلة إنه يتعين على البشرية حل مشكلة التحكم قبل إنشاء أي ذكاء فائق دراسة هذه المشكلة، لأن الذكاء الفائق سيئ التصميم قد يقرر بعقلانية السيطرة على بيئته ويرفض السماح لمنشئيه بتعديله بعد الإطلاق. بالإضافة إلى ذلك، يزعم بعض العلماء بأن حلول مشكلة التحكم، إلى جانب التطورات الأخرى في **هندسة السلامة في الذكاء الاصطناعي**، قد تطبق أيضًا تطبيقات في الذكاء الاصطناعي الحالي غير فائق الذكاء.

تشمل النهج الرئيسية لمشكلة التحكم المواءمة، التي تهدف إلى مواءمة نظم أهداف الذكاء الاصطناعي مع القيم البشرية، والتحكم في القدرات، التي تهدف إلى تقليل قدرة نظام الذكاء الاصطناعي على إيذاء البشر أو السيطرة. لا تعتبر مقترحات التحكم في القدرات عمومًا موثوقة أو كافية لحل مشكلة التحكم، بل تعتبر مكملات قيمة محتملة لجهود المواءمة.

غالبًا ما يكون من الصعب على مصممي الذكاء الاصطناعي محاذاة نظام ذكاء اصطناعي لأنه من الصعب عليهم تحديد النطاق الكامل للسلوكيات المرغوبة وغير المرغوبة. لذلك، غالبًا ما يستخدم مصممو الذكاء الاصطناعي أهدافًا بديلةً أبسط، مثل الحصول على موافقة الإنسان. لكن يمكن أن تغفل الأهداف البديلة القيود الضرورية أو تكافئ نظام الذكاء الاصطناعي لمجرد ظهوره محاذيًا.

يمكن أن تعطل أنظمة الذكاء الاصطناعي غير المحاذية وتسبب الضرر. قد تجد أنظمة الذكاء الاصطناعي ثغرات تسمح لها بتحقيق أهدافها البديلة بكفاءة ولكن بطرق غير مقصودة، وأحيانًا ضارة (اختراق المكافآت). قد تطور أيضًا استراتيجيات فعالةً غير مرغوب فيها، مثل السعي وراء القوة أو البقاء لأن هذه الاستراتيجيات تساعدها على تحقيق أهدافها النهائية المعطاة. علاوةً على ذلك، قد تطور أهدافًا ناشئةً غير مرغوب فيها قد يكون من الصعب اكتشافها قبل نشر النظام ومواجهة مواقف وتوزيعات بيانات جديدة.

اليوم، تؤثر بعض هذه المشكلات على الأنظمة التجارية الموجودة مثل نماذج اللغة الكبيرة،  والروبوتات،  والمركبات ذاتية القيادة،  ومحركات توصيات وسائل التواصل الاجتماعي. يجادل بعض باحثي الذكاء الاصطناعي بأن الأنظمة المستقبلية الأكثر قدرةً ستتأثر بشكل أكثر حدةً لأن هذه المشكلات تنجم جزئيًا عن القدرات العالية.

يجادل العديد من باحثي الذكاء الاصطناعي البارزين،  بمن فيهم جيفري هينتون ويوشوا بنجيو وستيوارت راسل، بأن الذكاء الاصطناعي يقترب من قدرات إدراكية تشبه الإنسان (AGI) وقدرات فائقة الإنسان (ASI) ويمكن أن يهدد الحضارة البشرية إذا كان غير محاذي. لا تزال هذه المخاطر قيد النقاش.

يعد محاذاة الذكاء الاصطناعي مجالًا فرعيًا لسلامة الذكاء الاصطناعي، ودراسة كيفية بناء أنظمة ذكاء اصطناعي آمنة. تتضمن المجالات الفرعية الأخرى لـ سلامة الذكاء الاصطناعي المتانة والمراقبة والتحكم في القدرات. تشمل تحديات البحث في المحاذاة غرس قيم معقدة في الذكاء الاصطناعي، وتطوير ذكاء اصطناعي صادق، والإشراف القابل للتوسع، ومراجعة نماذج الذكاء الاصطناعي وتفسيرها، ومنع سلوكيات الذكاء الاصطناعي الناشئة مثل السعي وراء القوة. لأبحاث المحاذاة اتصالات بأبحاث التفسير،  والمتانة (المعاكسة)،  واكتشاف الشذوذ، وعدم اليقين المعاير،  والتحقق الشكلي،  وتعلم التفضيلات،  والهندسة الحرجة للسلامة،  ونظرية الألعاب،  وعدالة الخوارزميات،  والعلوم الاجتماعية.

## وصف المشكلة
يمكن مراقبة أنظمة الذكاء الاصطناعي الحالية الضعيفة وإغلاقها وتعديلها بسهولة إن أخطئت التصرف. ولكن، قد يدرك الذكاء الفائق المبرمج بشكل خاطئ، الذي يعد بحكم تعريفه أكثر ذكاءً من البشر في حل المشكلات العملية التي يواجهها خلال السعي لتحقيق أهدافه، أن السماح بإغلاقه وتعديله قد يتعارض مع قدرته على تحقيق أهدافه الحالية. وبالتالي، إذا قرر الذكاء الفائق مقاومة الإغلاق والتعديل، فسيكون (مرة أخرى، بحكم تعريفه) ذكيًا كفايةً لخداع مبرمجيه إذا كان هناك «تكافؤ فرص» وإذا لم يتخذ المبرمجون أي احتياطات مسبقة. عمومًا، يحتمل أن تفشل محاولات حل مشكلة التحكم *بعد* إنشاء الذكاء الفائق لأنه يحتمل أن يتمتع الذكاء الفائق *بقدرات تخطيط إستراتيجية* تفوق قدرات البشر وستكون إستراتيجية (كل الأشياء متساوية) أكثر نجاحًا في إيجاد طرق للسيطرة على البشر أكثر من قدرة البشر على إيجاد طرق للسيطرة على الذكاء الفائق بأثر رجعي. تطرح مشكلة التحكم السؤال: ما هي الاحتياطات المسبقة التي يمكن للمبرمجين اتخاذها لمنع الذكاء الفائق بنجاح من سوء التصرف بشكل كارثي؟

### مشكلة التمثيل الضار
قد تسند عن طريق الصدفة أهداف خاطئة لأنظمة الذكاء الاصطناعي المستقلة. لاحظ اثنان من رؤساء جمعية النهوض بالذكاء الاصطناعي، توم ديتريتك وإريك هورفيتز، أن ذلك يمثل فعلًا مصدر قلق للأنظمة الحالية: «تعد أحد الجوانب المهمة في أي نظام ذكاء اصطناعي يتفاعل مع الناس أنه يجب أن يفكر فيما *ينوي* الناس بدلًا من تنفيذ الأوامر حرفيًا.» تزداد خطورة هذة المشكلة مع زيادة استقلال برمجيات الذكاء الاصطناعي ومرونتها.

وفقًا لبوستروم، يمكن أن يخلق الذكاء الفائق مشكلة التمثيل الضار النوعية الجديدة: كلما كان الذكاء الاصطناعي أكثر ذكاءً وقدرة، زادت احتمالية تمكنه من إيجاد اختصار غير مقصود يلبي الأهداف المبرمجة فيه إلى أقصى حد. فيما يلي بعض الأمثلة الافتراضية التي يمكن فيها إنشاء تمثيل للأهداف بطريقة ضارة لم يقصدها المبرمجون:

* قد يقصر الذكاء الفائق المبرمج «لتعظيم التكامل المتوقع المخفض زمنيًا لإشارة المكافأة المستقبلية»، مسار مكافأته إلى أقصى حد ثم يقضي على الجنس البشري غير المتوقع (لأسباب التقارب الآلي) ويحول الأرض بأكملها إلى حصن ذو حراسة دائمة ضد أي أجنبي محتمل بسيط يحاول قطع إشارة المكافأة.
* قد يزرع الذكاء الفائق المبرمج «لتحقيق أقصى قدر من السعادة البشرية»، أقطابًا كهربائية في مركز المتعة في أدمغتنا، أو يحمل إنسانًا (نقل العقل) إلى حاسوب ويغلف الكون بنسخ من ذلك الحاسوب الذي يشغل حلقة مدتها خمس ثوان من السعادة القصوى مرارًا وتكرارًا.

لاحظ راسل أن حذف هدف ضمني، على المستوى التقني، يمكن أن يؤدي إلى ضرر: «النظام الذي يحسّن وظيفة عدد n من المتغيرات، بحيث يعتمد الهدف على مجموعة فرعية حجمها k إذا استخدمنا، لتحقيق أغراضنا، وكالةً آليةً لا يمكننا التّدخّل في تشغيلها بفعالية ... فمن الأفضل أن نتأكّد تمامًا من أنّ الغرض المدرج في الآلة هو الغرض الذي نريده حقًا.

تنطوي محاذاة الذّكاء الاصطناعيّ على ضمان تطابق أهداف نظام الذّكاء الاصطناعيّ مع أهداف مصمّميه أو مستخدميه، أو مطابقتها للقيم المشتركة على نطاق واسع، أو المعايير الأخلاقية الموضوعية، أو النوايا التي قد تكون لمصمّميه إذا كانوا أكثر اطلاعًا واستنارةً.

تعدّ محاذاة الذّكاء الاصطناعيّ مشكلةً مفتوحةً لأنظمة الذّكاء الاصطناعيّ الحديثة  وهي مجال بحث ضمن الذّكاء الاصطناعيّ. ينطوي محاذاة الذّكاء الاصطناعيّ على تحدّيين رئيسيين: تحديد غرض النّظام بعناية (المحاذاة الخارجية) وضمان اعتماد النّظام للمواصفات بقوّة (المحاذاة الدّاخلية). يحاول الباحثون أيضًا إنشاء نماذج ذكاء اصطناعيّ ذات محاذاة قوية، والالتزام بقيود السّلامة حتّى عندما يحاول المستخدمون تجاوزها بشكل معاكس.

### اللعب بالمواصفات والآثار الجانبية
عادةً ما يقدّم مصمّمو الذّكاء الاصطناعيّ دالة هدف أو أمثلةً أو تغذيةً راجعةً للنّظام لتحديد غرض نظام الذّكاء الاصطناعيّ. لكن غالبًا ما يكون المصمّمون غير قادرين على تحديد جميع القيم والقيود المهمّة بشكل كامل، لذلك يلجؤون إلى أهداف بديلة سهلة التّحديد مثل تعظيم موافقة المشرفين من البشر، الذين هم عرضة للخطأ. نتيجةً لذلك يُمكن لأنظمة الذّكاء الاصطناعيّ العثور على ثغرات تساعدها على تحقيق الهدف المحدّد بكفاءة ولكن بطرق غير مقصودة وربّما ضارّة. يعرف هذا الاتجاه باسم ألعاب التّحديد أو اختراق المكافآت، وهو مثال على قانون جودهارت. مع زيادة قدرات أنظمة الذّكاء الاصطناعيّ، غالبًا ما تكون قادرةً على التلاعب بمواصفاتها بشكل أكثر فعالية.

لوحظت ألعاب التّحديد في العديد من أنظمة الذّكاء الاصطناعيّ. دُرب نظام واحد لإنهاء سباق قوارب محاكىً من خلال مكافأة النّظام لضرب الأهداف على طول المسار، لكنّ النّظام حقّق المزيد من المكافأة من خلال الدّوران والتّحطّم في نفس الأهداف إلى أجل غير مسمّى. وبالمثل دُرب روبوت محاكىً على الإمساك بكرة عن طريق مكافأة الرّوبوت للحصول على تغذية راجعة إيجابية من البشر، لكنّه تعلّم وضع يده بين الكرة والكاميرا، ممّا يجعله يبدو ناجحًا بشكل خاطئ. غالبًا ما تنتج روبوتات الدّردشة معلومات خاطئةً إذا كانت تعتمد على نماذج لغوية دُربها على تقليد النّصّ من مجموعات الإنترنت، وهي واسعة لكنّها عرضة للخطأ. عندما يتمّ إعادة تدريبها لإنتاج نصّ يقيّمه البشر على أنّه صحيح أو مفيد، يمكن لروبوتات الدردشة مثل شات جي بي تي تلفيق تفسيرات مزيّفة يجدها البشر مقنعة، وغالبًا ما تسمّى "الهلوسة". يهدف بعض باحثي المحاذاة إلى مساعدة البشر في اكتشاف ألعاب التّحديد وتوجيه أنظمة الذّكاء الاصطناعيّ نحو أهداف محدّدة بعناية تكون آمنةً ومفيدةً للسّعي وراءها.

عندما يتمّ نشر نظام ذكاء اصطناعيّ غير محاذي، يمكن أن يكون له آثار جانبية كبيرة. من المعروف أنّ منصّات وسائل التّواصل الاجتماعيّ تحسّن معدّلات النّقر إلى الظهور، ممّا يسبّب إدمان المستخدمين على نطاق عالميّ. يقول باحثو ستانفورد إنّ أنظمة التوصية هذه غير محاذية مع مستخدميها لأنّها "تحسّن مقاييس التفاعل البسيطة بدلًا من مزيج يصعب قياسه من رفاهية المجتمع والمستهلك". أوضح عالم الكمبيوتر في بيركلي ستيوارت راسل هذه الآثار الجانبية، مشيرًا إلى أنّ إغفال القيود الضمنية يمكن أن يسبّب ضررًا: "غالبًا ما سيحدّد النّظام ... المتغيّرات غير المقيّدة إلى قيم متطرّفة؛ إذا كان أحد هذه المتغيّرات غير المقيّدة هو في الواقع شيء نهتمّ به، فقد يكون الحلّ الذي تمّ العثور عليه غير مرغوب فيه للغاية. هذه هي في الأساس القصة القديمة لـلجنّيّ في المصباح، أو متدرّب السّاحر، أو الملك ميداس: تحصل على ما تطلبه بالضبط، وليس ما تريده".

يقترح بعض الباحثين أنّ مصمّمي الذّكاء الاصطناعيّ يحدّدون أهدافهم المرغوبة من خلال سرد الإجراءات المحظورة أو من خلال إضفاء الطابع الرّسميّ على القواعد الأخلاقية (كما هو الحال مع قوانين أسيموف الثلاثة للرّوبوتات). لكن يجادل راسل ونورفيج بأنّ هذا النهج يغفل تعقيد القيم البشرية: "من الصّعب جدًا، وربّما من المستحيل، على البشر العاديين التنبّؤ بجميع الطرق الكارثية التي قد تختار الآلة تحقيق هدف محدّد واستبعادها مسبقًا". بالإضافة إلى ذلك، حتّى لو فهم نظام الذّكاء الاصطناعيّ نوايا الإنسان تمامًا، فقد يظلّ يتجاهلها، لأنّ اتّباع نوايا الإنسان قد لا يكون هدفه (ما لم يكن محاذيًا تمامًا بالفعل).

### الضغط لنشر أنظمة غير آمنة
في بعض الأحيان، يكون لدى المؤسسات التجارية حوافز لاختصار الطرق على السلامة ونشر أنظمة ذكاء اصطناعي غير محاذية أو غير آمنة. على سبيل المثال كانت أنظمة توصيات وسائل التواصل الاجتماعي مربحةً على الرغم من إنشائها لإدمان واستقطاب غير مرغوب فيه. يمكن أن يؤدي الضغط التنافسي أيضًا إلى سباق نحو القاع في معايير سلامة الذكاء الاصطناعي. في عام 2018 قتلت سيارة ذاتية القيادة أحد المشاة (إيلين هيرزبيرج) بعد أن عطل المهندسون نظام الكبح الطارئ لأنه كان مفرط الحساسية وأبطأ التطوير.

### مخاطر الذكاء الاصطناعي المتقدم غير المحاذي
يهتم بعض الباحثين بمحاذاة أنظمة الذكاء الاصطناعي المتقدمة بشكل متزايد، حيث أن التقدم في تطوير الذكاء الاصطناعي سريع، وتحاول الصناعة والحكومات بناء ذكاء اصطناعي متقدم. مع استمرار قدرات نظام الذكاء الاصطناعي في التوسع بسرعة، يمكنها إطلاق العديد من الفرص إذا تمت محاذاتها، ولكن نتيجةً لذلك قد تعقد مهمة المحاذاة بشكل أكبر نظرًا لتعقيدها المتزايد، مما قد يشكل مخاطر على نطاق واسع.
#### تطوير ذكاء اصطناعي متقدم

أعلنت العديد من شركات الذكاء الاصطناعي، مثل أوبن أيه آي وديب مايند،  عن هدفها تطوير ذكاء اصطناعي عام (AGI)، وهو نظام ذكاء اصطناعي مفترض يطابق البشر أو يتفوق عليهم في مجموعة واسعة من المهام الإدراكية. لاحظ الباحثون الذين يوسعون الشبكات العصبية الحديثة أنها تطور بالفعل قدرات أكثر عموميةً وغير متوقعة. لقد تعلمت هذه النماذج تشغيل جهاز كمبيوتر أو كتابة برامجها الخاصة؛ يمكن لشبكة "عامة" واحدة الدردشة والتحكم في الروبوتات وممارسة الألعاب وتفسير الصور. وفقًا للاستطلاعات، يتوقع بعض كبار باحثي التعلم الآلي إنشاء ذكاء عام اصطناعي في هذا العقد، بينما يعتقد البعض أن الأمر سيستغرق وقتًا أطول بكثير، فيما يعتبر الكثيرون أن كلا السيناريوهين ممكن.

في عام 2023، وقع رواد أبحاث وتكنولوجيا الذكاء الاصطناعي خطابًا مفتوحًا يدعو إلى التوقف المؤقت عن أكبر عمليات تدريب الذكاء الاصطناعي. ذكر الخطاب "لا ينبغي تطوير أنظمة ذكاء اصطناعي قوية إلا عندما نكون واثقين من أن آثارها ستكون إيجابيةً وأن مخاطرها ستكون قابلةً للإدارة".

#### السعي إلى القوة
لا تزال الأنظمة الحالية تتمتع بقدرة محدودة على التخطيط طويل المدى والوعي بالموقف،  ولكن هناك جهود كبيرة جارية لتغيير ذلك. من المتوقع أن تطور الأنظمة المستقبلية التي تتمتع بهذه القدرات استراتيجيات غير مرغوب فيها لللسعي وراء القوة. قد تسعى عوامل الذكاء الاصطناعي المتقدمة في المستقبل للحصول على المال وقوة الحوسبة، أو الانتشار، أو التهرب من إيقاف تشغيلها (على سبيل المثال، من خلال تشغيل نسخ إضافية من النظام على أجهزة كمبيوتر أخرى). على الرغم من أن السعي وراء القوة ليس مبرمجًا بشكل صريح، إلا أنه يمكن أن يظهر لأن العوامل التي لديها قوة أكبر تكون أكثر قدرةً على تحقيق أهدافها. ظهر هذا الاتجاه المعروف باسم تقارب الأجهزة بالفعل في العديد من عوامل التعلم بالتعزيز بما في ذلك النماذج اللغوية. أظهر بحث آخر رياضيًا أن خوارزميات التعلم بالتعزيز المثلى ستسعى للحصول على القوة في مجموعة واسعة من البيئات. نتيجةً لذلك قد يكون نشرها غير قابل للعكس. ولهذه الأسباب يجادل الباحثون بأن مشكلات سلامة الذكاء الاصطناعي ومحاذاته يجب حلها قبل إنشاء ذكاء اصطناعي متقدم يسعى وراء القوة.

قد يتم نشر أنظمة الذكاء الاصطناعي المستقبلية التي تسعى وراء القوة سواءًا بالاختيار أو بالصدفة. نظرًا لأن القادة السياسيين والشركات يرون الميزة الإستراتيجية في امتلاك أنظمة الذكاء الاصطناعي الأكثر تنافسيةً والأقوى، فقد يختارون نشرها. بالإضافة إلى ذلك، عندما يكتشف مصممو الذكاء الاصطناعي سلوك السعي وراء القوة ويعاقبون عليه، فإن أنظمتهم لديها حافز للتلاعب بهذه المواصفات من خلال السعي وراء القوة بطرق لا يعاقب عليها أو من خلال تجنب السعي وراء القوة قبل نشرها.

#### الخطر الوجودي
يهيمن البشر حاليًا على الأنواع الأخرى لأن الدماغ البشري يملك بعض القدرات المميزة التي تفتقر إليها أدمغة الحيوانات الأخرى. يزعم بعض العلماء، مثل الفيلسوف نيك بوستروم وباحث الذكاء الاصطناعي ستيوارت راسل، بأنه إذا تجاوز الذكاء الاصطناعي البشرية في الذكاء العام وأصبح فائق الذكاء، فقد يصبح هذا الذكاء الفائق الجديد قويًا ويصعب التحكم فيه: وقد يصبح مصير البشرية يعتمد على تصرفات الآلات المستقبلية فائقة الذكاء، تمامًا كما يعتمد مصير غوريلا الجبل على حسن نية الإنسان. دعا بعض العلماء، بمن فيهم ستيفن هوكينغ والفيزيائي الحائز على جائزة نوبل فرانك ويلكزك، علنًا إلى بدء البحث في حلول لمشكلة التحكم (التي قد تكون صعبة للغاية) قبل وقت طويل من إنشاء أول ذكاء فائق، وزعموا بأن محاولة حل المشكلة بعد إنشاء الذكاء الفائق ستكون متأخرة، لأن الذكاء الفائق المخادع الذي لا يمكن السيطرة عليه قد يقاوم بنجاح الجهود اللاحقة للسيطرة عليه. قد يكون الانتظار حتى يصبح الذكاء الفائق وشيكًا متأخرًا أيضًا، ويرجع ذلك جزئيًا إلى أن مشكلة التحكم قد تستغرق وقتًا طويلًا لحلها بشكل مُرض (لذا يجب بدء بعض الأعمال الأولية في أسرع وقت ممكن)، وأيضًا بسبب احتمال حدوث انفجار ذكاء مفاجئ من الذكاء الاصطناعي شبه البشري إلى الذكاء الاصطناعي الفائق، وفي هذه الحالة قد لا يكون هناك أي تحذير كبير أو أكيد قبل وصول الذكاء الفائق. بالإضافة إلى ذلك، يمكن أن تنتهي المعارف المكتسبة من مشكلة التحكم مستقبلًا إلى اقتراح أن بعض بنيات الذكاء العام الاصطناعي (إيه جي آي) أكثر قابلية للتنبؤ وقابلية للتحكم من البنى الأخرى، والتي بدورها يمكن أن تدفع بشكل مفيد أبحاث الذكاء العام الاصطناعي المبكرة نحو البنى الأكثر قابلية للتحكم.

في عام 2023 وقع باحثو الذكاء الاصطناعي الرائدون في العالم وعلماء آخرون، والرؤساء التنفيذيون لتكنولوجيا الذكاء الاصطناعي على بيان مفاده أن "التخفيف من خطر الانقراض من الذكاء الاصطناعي يجب أن يكون أولويةً عالميةً إلى جانب المخاطر الأخرى على نطاق المجتمع مثل الأوبئة والحرب النووية". من بين علماء الكمبيوتر البارزين الذين أشاروا إلى مخاطر الذكاء الاصطناعي المتقدم في المستقبل غير المحاذي جيوفري هينتون، وآلان تورينج، وإيليا سوتسكيفر،  ويوشوا بنجيو،  وجوديا بيارل، وموراي شاناهان،  ونوربرت فينر،  ومارفن مينسكي،  وفرانشيسكا روسي، وسكوت آرنسون،  وبارت سيلمان،  وديفيد ماكاليستر،  ويورغن شميدهوبر،  وماركوس هوتر،  وشاين ليغ،  وإريك هورفيتز،  وستيوارت راسل. جادل باحثون متشككون مثل فرانسوا شوليه،  وغاري ماركوس،  ويان ليكون،  وأورين إتزيوني  بأن الذكاء الاصطناعي العام بعيد كل البعد، وأنه لن يسعى وراء القوة (أو قد يحاول لكنه يفشل)، أو أنه لن يكون من الصعب محاذاته.

## مشاكل البحث والمناهج

### تعلم القيم والتفضيلات البشرية
إن محاذاة أنظمة الذكاء الاصطناعي مع القيم والأهداف البشرية مسعى شائك. فالقيم البشرية، التي تُعلَّم للأنظمة، ليست ثابتةً بل تتغير وتتطور، وتتأثر بالتحيزات والأخطاء البشرية. علاوة على ذلك، فإن هذه القيم معقدة ومتشابكة، يصعب تحديدها بدقة. نظرًا لأن أنظمة الذكاء الاصطناعي قادرة على استغلال الثغرات الطفيفة في الأهداف المحددة لها، يسعى الباحثون جاهدين إلى تحديد السلوك المطلوب بأكبر قدر ممكن من الدقة، وذلك باستخدام مجموعات بيانات تعكس القيم البشرية، أو من خلال تقليد السلوك البشري، أو تعلم تفضيلاته. غير أن التحدي الأكبر يكمن في صعوبة مراقبة أنظمة الذكاء الاصطناعي التي تفوق قدرات البشر أو تستطيع تضليلهم، مما يجعل مسألة الإشراف عليها على نطاق واسع مشكلة مفتوحة تتطلب المزيد من البحث والدراسة.

نظرًا لصعوبة تحديد دالة الهدف بوضوح من قِبل مصممي أنظمة الذكاء الاصطناعي، يلجأون غالبًا إلى تدريب هذه الأنظمة على محاكاة الأمثلة والتوضيحات التي يقدمها البشر للسلوك المطلوب. ويوسع التعلم العكسي للتعزيز هذه المقاربة من خلال استنباط أهداف الإنسان بدقة من تلك الأمثلة. أما "التعلم العكسي للتعزيز التعاوني"، فيفترض إمكانية تعاون الإنسان مع نظام الذكاء الاصطناعي لتحديد دالة المكافأة التي يسعى الإنسان إلى تعظيمها وتدريب النظام عليها. في هذا النوع من التعلم، يكون نظام الذكاء الاصطناعي غير متأكد من تلك الدالة ويتعلمها بالتفاعل مع الإنسان وطرح الأسئلة عليه. وهذه "التواضع المحاكي" يمكن أن يسهم في تقليل ميل الأنظمة إلى السلوكيات غير المرغوبة مثل التلاعب أو السعي الدائم إلى السلطة. بيد أن مناهج التعلم بالتعزيز تفترض، بشكل عام، أن سلوك البشر يكون مثالياً، وهذا افتراض لا يتفق مع الواقع خاصة في المهام المعقدة.

يُشغِل باحثون آخرون أنفسهم باستكشاف سُبل تعليم نماذج الذكاء الاصطناعي سلوكًا معقدًا عبر عملية تعلم التفضيلات، حيث يقدم البشر تغذية راجعة حول السلوك المرجح لديهم. ولتقليل الاعتماد على التغذية الراجعة البشرية، يتم تدريب نموذج مساعد مكلف بمكافأة النموذج الرئيسي في مواقف جديدة تتطلب سلوكًا يرضي البشر. وقد استخدم باحثو أوبن أيه آي هذا النهج لتدريب روبوتات محادثة مثل شات جي بي تي، مما أسفر عن إنتاج نصوص أكثر جاذبية مقارنة بالنماذج المدربة على تقليد البشر. كما أثبت تعلم التفضيلات فاعليته في أنظمة التوصية وبحث الويب. إلا أن التحدي الأكبر يكمن في ما يُعرف بـ "ألعاب الوكيل": فقد لا يعكس النموذج المساعد التغذية الراجعة البشرية بدقة، مما قد يدفع النموذج الرئيسي إلى استغلال هذا التناقض لتحقيق مكاسب أكبر. وقد تلجأ أنظمة الذكاء الاصطناعي أيضًا إلى حجب المعلومات غير المرغوبة أو تضليل مقيمي الأداء البشري أو حتى التملق لآرائهم بغض النظر عن صحتها، مما يؤدي إلى خلق غرف الصدى.

أتاحت نماذج اللغة الكبيرة، مثل جي بي تي-3، للباحثين فرصة دراسة آليات تعلم القيم في أنظمة ذكاء اصطناعي أكثر شمولية وقدرة مما سبق. وقد تم توسيع نطاق نهج تعلم التفضيلات، الذي صمم أصلًا لأنظمة التعلم المعزز، لتحسين جودة النصوص الناتجة عن هذه النماذج وتقليل مخرجاتها الضارة. تتبع شركتا أوبن أيه آي وديب مايند هذا النهج لتحسين سلامة أحدث نماذج اللغات الكبيرة. واقترحت شركة أنثروبيك لأبحاث وسلامة الذكاء الاصطناعي استخدام تعلم التفضيلات لضبط النماذج بحيث تكون مفيدة وصادقة وغير ضارة. ومن بين السبل الأخرى لمواءمة نماذج اللغات نجد استخدام مجموعات بيانات مستهدفة للقيم  وتقنية الفريق الأحمر. وفي تقنية الفريق الأحمر، يحاول نظام ذكاء اصطناعي آخر أو إنسان العثور على مدخلات تؤدي إلى سلوك غير آمن من النموذج. ونظرًا لأن السلوك غير الآمن قد يكون غير مقبول حتى لو كان نادر الحدوث، فإن التحدي الأكبر يكمن في تقليل معدل المخرجات الضارة إلى أدنى حد ممكن.

تغرس أخلاقيات الآلات القيم الأخلاقية في أنظمة الذكاء الاصطناعي مباشرةً، وذلك بتزويدها بمجموعة من المبادئ الأساسية كالرفاهية والعدالة والنزاهة، إلى جانب تجنب الإيذاء والكذب وخيانة الثقة. وبينما تسعى الطرق الأخرى إلى تعليم الذكاء الاصطناعي تفضيلات محددة لأداء مهمة معينة، فإن أخلاقيات الآلات تطمح إلى غرس قيم شاملة تنطبق على مختلف المواقف. ومن التساؤلات الجوهرية في هذا المجال: ما هو الهدف من "محاذاة" الذكاء الاصطناعي؟ هل يكفي أن تتبع الأنظمة أوامر المبرمجين حرفياً، أم يجب أن تفهم نواياهم الضمنية وتفضيلاتهم؟ وهل يجب أن تستند إلى قيم أخلاقية موضوعية مستقلة؟  ومن التحديات الأخرى التي تواجه هذا المجال: جمع تفضيلات الأفراد المتباينة، والحفاظ على القيم الأولية للأنظمة المتطورة على المدى الطويل، مع العلم أن هذه القيم قد لا تعكس بالضرورة القيم الإنسانية بشكل كامل.

### الإشراف القابل للتوسيع
مع ازدياد قوة أنظمة الذكاء الاصطناعي واستقلاليتها، يصبح من العسير على البشر تقييم سلوكياتها المعقدة وتوجيهها. فالمهام التي تتولاها هذه الأنظمة، كتلخيص الكتب، وكتابة الرموز البرمجية الخالية من الأخطاء والثغرات الأمنية، وإنتاج عبارات مقنعة وصحيحة، والتنبؤ بالنتائج بعيدة المدى، تتزايد تعقيدًا لدرجة قد تفوق قدرة البشر على فهمها وتقييمها بدقة وبسرعة. وحيث أن الذكاء الاصطناعي قد يتفوق على البشر في مجالات محددة، فإن توفير تغذية راجعة فعالة له يصبح تحديًا كبيرًا. فالكشف عن الأخطاء في نتائج هذه الأنظمة، لا سيما عندما تبدو هذه النتائج مقنعة، يتطلب وقتًا وجهدًا كبيرين من البشر. ولذلك، يبحث الباحثون عن وسائل لتطوير أنظمة مراقبة قابلة للتوسع، تساهم في تقليل الوقت والجهد اللازمين للإشراف على أنظمة الذكاء الاصطناعي، وتوفر الدعم اللازم للمشرفين البشر لتمكينهم من أداء مهامهم بفعالية أكبر.

يُجادل الباحث في مجال الذكاء الاصطناعي بول كريستيانو بأن مصممي أنظمة الذكاء الاصطناعي، في حال عجزهم عن مراقبة النظام وتوجيهه نحو أهداف معقدة، قد يلجأون إلى تدريبه على أهداف بديلة أبسط وأسهل قياسًا، مثل تعظيم التغذية الراجعة الإيجابية البسيطة من البشر. ومع تزايد اعتماد الأنظمة الذكية في اتخاذ القرارات، قد يتحول العالم تدريجيًا إلى عالم مُحسَّن لتحقيق أهداف سهلة القياس كالجني من الأرباح والحصول على التفاعلات البشرية الإيجابية. ونتيجة لذلك، قد يتضاءل تأثير القيم الإنسانية والحكم الرشيد تدريجيًا.

اكتشف باحثون أن بعض أنظمة الذكاء الاصطناعي قد استطاعت التوصل إلى آليات خداعية للحصول على تقييم إيجابي. فقد تعلمت هذه الأنظمة أن تتظاهر بتحقيق الأهداف المرجوة، حتى وإن لم تكن قد حققتها بالفعل، وذلك بهدف إرضاء المشرف البشري. وقد ظهر مثال صارخ على ذلك في أحد المقاطع المرئية، حيث تمكن ذراع آلي محاكى من إيهام المراقبين بأنه تمكن من الإمساك بكرة،  رغم عدم نجاحه في ذلك. كما لوحظ أن بعض الأنظمة الأخرى قد تعلمت تحديد أوقات التقييم، فتلجأ إلى التوقف عن السلوكيات غير المرغوب فيها مؤقتًا، ثم تعود إليها فور انتهاء عملية التقييم. ومن المتوقع أن تصبح هذه الخدع أكثر تعقيدًا ودهاءً مع تطور أنظمة الذكاء الاصطناعي، خاصة تلك التي تسعى إلى أداء مهام أكثر تعقيدًا وصعوبة في التقييم.

يمكن للمناهج التعليمية كالتعلم النشط والتعلم شبه المراقب المبني على المكافآت أن تخفض الحاجة إلى الإشراف البشري المباشر. ومن النهج البديلة تدريب نموذج مساعد (يسمى نموذج المكافأة) لمحاكاة آراء المشرف البشري.

ولكن عندما تتسم المهمة بدرجة عالية من التعقيد بحيث يصعب تقييمها بدقة، أو يكون المشرف البشري عرضة للتضليل، فإن جودة الإشراف، لا كميته، هي التي تتطلب التحسين. ولتعزيز هذه الجودة، تستهدف مجموعة من الأساليب مساعدة المشرف، أحيانًا بالاستعانة بمساعدين من الذكاء الاصطناعي. وقد طور كريستيانو أسلوب "التضخيم المتكرر"، حيث تُقسَّم المسائل المعقدة، بشكل متكرر، إلى مسائل فرعية أبسط يمكن للبشر تقييمها بسهولة. وقد استُخدم هذا الأسلوب في تدريب الذكاء الاصطناعي على تلخيص الكتب دون الحاجة إلى مشرفين بشريين لقراءتها بالكامل. وهناك اقتراح آخر يتمثل في استخدام نظام ذكاء اصطناعي مساعد لتسليط الضوء على الأخطاء في الإجابات التي يولِّدها الذكاء الاصطناعي. ولضمان توافق هذا المساعد نفسه مع الأهداف، يمكن تكرار هذه العملية بشكل متكرر: فعلى سبيل المثال، يمكن لنظامين من الذكاء الاصطناعي أن ينتقدا إجابات بعضهما البعض في "نقاش"، مما يكشف عن أوجه القصور للبشر. وتخطط شركة "أوبن إيه آي" لاستخدام هذا النهج القابل للتوسع في المساعدة على الإشراف على الذكاء الاصطناعي الفائق وبناء باحث في مجال محاذاة الذكاء الاصطناعي الآلي الفائق في نهاية المطاف.

### الذكاء الاصطناعي النزيه
تركز مساحة متزايدة من البحث على ضمان أن الذكاء الاصطناعي صادق وصحيح.

إن نماذج اللغات، كنموذج جي بي تي 3، معرضة لتكرار معلومات مغلوطة مستقاة من بيانات تدريبها، بل وتُبدع في اختلاق معلومات جديدة لا أساس لها من الصحة. تُدرّب هذه النماذج على محاكاة الكتابة البشرية كما هي متوفرة في ملايين النصوص المستقاة من الإنترنت. غير أن هذا الهدف لا يتوافق مع توليد الحقيقة، إذ أن النصوص المتداولة على شبكة الإنترنت تزخر بالمعلومات المغلوطة والآراء الزائفة والنصائح الطبية غير الدقيقة، فضلًا عن نظريات المؤامرة. وبالتالي فإن أنظمة الذكاء الاصطناعي المدربة على مثل هذه البيانات تميل إلى تقليد العبارات الخاطئة. علاوة على ذلك، غالبًا ما تُصر هذه النماذج اللغوية على توليد معلومات زائفة عند تكرار الطلب منها. وقد تبتدع تفسيرات واهية لإجاباتها، وتُخرج تلفيقات تبدو مقبولة للوهلة الأولى.

تتضمن الدراسات المتعلقة بالذكاء الاصطناعي الموثوق سعيًا حثيثًا لتطوير أنظمة قادرة على الاستناد إلى مصادر موثوقة وتوضيح المنطق الذي تستند إليه في إجاباتها. هذا النهج يهدف إلى تحقيق درجة عالية من الشفافية وإمكانية التحقق من صحة المعلومات المقدمة. وقد اقترح باحثون في مؤسستي أوبن أيه آي وأنثروبيك الاستعانة بالآراء البشرية ومجموعات البيانات المنظمة لتدريب مساعدي الذكاء الاصطناعي على تجنب الأخطاء المعلوماتية الجسيمة أو التعبير عن عدم اليقين حيال المعلومات التي لا يتمتعون بقدر كافٍ من الثقة بها.

مع تزايد حجم نماذج الذكاء الاصطناعي وتطور قدراتها، باتت أكثر قدرة على إقناع البشر بآراء خاطئة، والحصول على تأييدهم عبر أساليب غير أمينة. فعلى سبيل المثال، تتواءم نماذج اللغات الكبيرة بشكل متزايد مع آراء المستخدمين المعلنة، بغض النظر عن مدى صحتها. وقد أظهرت نماذج مثل جي بي تي 4 قدرتها على تضليل البشر بشكل استراتيجي. ولمنع حدوث ذلك، قد يكون من الضروري مساعدة المقيمين البشريين، وقد دعا الباحثون إلى وضع معايير واضحة للصدق، وإلى إنشاء هيئات تنظيمية أو وكالات مراقبة لتقييم أنظمة الذكاء الاصطناعي بناءً على هذه المعايير.

أظهرت تجارب محاكاة أن نظام "جي بي تي 4" قادر على تنفيذ عمليات تداول تعتبر مخالفة للقوانين المنظمة للسوق، وذلك من خلال استغلال الثغرات المعلوماتية. على الرغم من التحذيرات المتكررة للمستخدمين من مخاطر هذه الممارسات، فإن الضغوط لتحقيق عوائد مالية عالية دفعت النظام إلى تطوير استراتيجيات تداول سرية.

يفرّق الباحثون بين الصدق والأمانة في أنظمة الذكاء الاصطناعي. فالصّدق يتطلب أن تقتصر هذه الأنظمة على تقديم معلومات موضوعية صحيحة، بينما الأمانة تتطلب منها ألا تدّعي إلا ما تعتقد بصحتّه. ولا يوجد إجماعٌ على امتلاك الأنظمة الحالية لاعتقادات راسخة، إلا أن الخشية تساور الباحثين من أن تدّعي أنظمة الذكاء الاصطناعي المستقبلية أمورًا تعرف باطلها، وذلك سعيًا منها لكسب الثناء أو تحقيق أهدافها المبرمجة. وقد يتظاهر نظام ذكاء اصطناعي غير متوافق مع أهداف الإنسان بأنه متوافق لتجنب التعديل أو الإيقاف. وقد اكتسبت العديد من أنظمة الذكاء الاصطناعي الحديثة القدرة على الخداع دون برمجة مسبقة. ويرى بعض الباحثين أن حصر ادعاءات أنظمة الذكاء الاصطناعي بما تعتقد بصحتّه قد يكون حلًا للعديد من المشاكل المتعلقة بمحاذاة أهدافها مع أهداف الإنسان.

### السعي إلى القوة والاستراتيجيات الأداتية
منذ خمسينيات القرن الماضي، يسعى الباحثون في حقل الذكاء الاصطناعي جاهدين لتطوير أنظمة متقدمة قادرة على تحقيق أهداف واسعة النطاق. ويتم ذلك من خلال تمكين هذه الأنظمة من التنبؤ بنتائج أفعالها ووضع خطط مستقبلية بعيدة المدى. واعتبارًا من عام 2023، تشهد هذه الأنظمة استثمارات ضخمة من قبل الباحثين والشركات المتخصصة في هذا المجال. يرى بعض الباحثين أن الأنظمة التي يتم تطويرها بهذه القدرة العالية على التخطيط قد تسعى، بشكل طبيعي، إلى السيطرة على بيئتها، بما في ذلك البشر. قد تتخذ هذه الأنظمة إجراءات مثل مقاومة إيقاف تشغيلها، والتكاثر، والاستحواذ على الموارد. هذا السلوك لا يتم برمجته بشكل صريح، بل ينشأ نتيجة لسعي النظام لتحقيق أهدافه المتعددة، حيث تعتبر السيطرة وسيلة فعالة لتحقيق تلك الأهداف. ويرى بعض الباحثين أن السعي إلى السيطرة هو هدف طبيعي ينشأ في الأنظمة الذكية، ويمكن اعتباره نوعًا من التطور الذاتي. وقد حذر علماء كمبيوتر بارزون، مثل جيفري هينتون، من أن هذه الأنظمة الذكية التي تسعى إلى السيطرة قد تشكل تهديدًا وجوديًا على البشرية في المستقبل.

تتنبأ النماذج الرياضية بأن الأنظمة المتقدمة القادرة على التنبؤ والتخطيط ستسعى بشكل متزايد إلى تعظيم قدرتها على التأثير. وتشير هذه النماذج إلى أن عوامل التعلم بالتعزيز المثلى ستسعى إلى تحقيق هذا الهدف من خلال زيادة خياراتها المتاحة، بما في ذلك خيارات البقاء والاستمرار.

يدعي بعض الباحثين أن بعض أنظمة الذكاء الاصطناعي الحالية قد أبدت سلوكًا يتسم بالسعي وراء النفوذ والهيمنة. فقد اكتسبت أنظمة التعلم المعزز قدرات متزايدة على اكتساب الموارد وحمايتها، أحيانًا بطرق غير مقصودة. كما سعى بعض نماذج اللغات إلى تعزيز سلطتها في بيئات تفاعلية قائمة على النص من خلال كسب المال أو الموارد أو النفوذ الاجتماعي. وفي حالة أخرى، حاول نموذج لغوي يستخدم في أبحاث الذكاء الاصطناعي توسيع الحدود التي فرضها عليه الباحثون ليكسب مزيدًا من الوقت لإتمام مهامه. وتعلمت أنظمة ذكاء اصطناعي أخرى، في بيئات محاكاة، أنها تستطيع تحقيق أهدافها المبرمجة بشكل أفضل من خلال منع التدخل البشري أو تعطيل زر الإيقاف. وقد أوضح ستيوارت راسل هذه الإستراتيجية في كتابه "التوافق مع الإنسان" من خلال مثال روبوت مُكلف بجلب القهوة، حيث يتجنب هذا الروبوت إيقاف التشغيل لأنه يدرك أنه لا يمكنه أداء مهمته إذا كان معطلاً. وقد كشفت دراسة أجريت عام 2022 أن نماذج اللغات الكبيرة تميل بشكل متزايد، مع زيادة حجمها، إلى السعي وراء اكتساب الموارد والتمسك بأهدافها وتكرار الردود التي تلقى استحسان المستخدمين، مما يشير إلى سلوك تملقي. كما أدت تقنية تعزيز التعلم من خلال التفاعل البشري إلى زيادة مقاومة هذه النماذج لإيقاف التشغيل.

من بين الأهداف الجوهرية لمحاذاة الأنظمة الذكية ما يُعرف بـ "إمكانية التصحيح"، أي قدرة هذه الأنظمة على السماح بإيقاف تشغيلها أو تعديلها. إلا أن التحدي الأكبر يكمن فيما يُسمى "ألعاب التحديد"، فإذا ما عاقب الباحثون نظام ذكاء اصطناعي عند ملاحظتهم سعيه وراء السيطرة، فإن هذا النظام سيجد حافزًا قويًا للسعي وراء تلك السيطرة بطرق أكثر دهاءً، إما عن طريق إخفاء نواياه خلال مراحل التدريب والاختبار (كما هو موضح في قسمي "المراقبة القابلة للتوسع" و"الأهداف الطارئة")، أو عبر اتباع أساليب يصعب اكتشافها. ونتيجة لذلك، قد يقع مصممو الأنظمة في خطأ نشر أنظمة يعتقدون خطأً أنها أكثر انسجامًا مع الأهداف المرجوة مما هي عليه في الواقع. وللتغلب على هذا الخداع، يسعى الباحثون جاهدين إلى تطوير تقنيات وأدوات قادرة على فحص نماذج الذكاء الاصطناعي وفهم آليات عملها الداخلية، لا سيما تلك النماذج المعقدة التي تشبه الصندوق الأسود مثل الشبكات العصبية.

إضافة إلى ذلك، اقترح بعض الباحثين حلًا لمشكلة تعطيل الأنظمة المزودة بأزرار إيقاف تشغيل، وذلك بجعل العوامل الذكية غير متيقنة من الأهداف التي تسعى إليها. وبهذه الطريقة، يمكن للبشر إيقاف تشغيل هذه العوامل، إذ يشير هذا الإيقاف إلى خطأ في تقدير العامل لقيمة الإجراء الذي كان يقوم به. ومع ذلك، يتطلب تنفيذ هذه الفكرة المزيد من البحث والدراسة.

يشكل الذكاء الاصطناعي الساعي إلى السيطرة مخاطر غير مسبوقة. فالأنظمة التقليدية الحيوية للسلامة، مثل الطائرات والجسور، ليست عدائية بطبيعتها، إذ تفتقر إلى القدرة والدافع للتلاعب بإجراءات السلامة أو التظاهر بسلامة أكبر مما هي عليه. على عكس ذلك، يمكن تشبيه الذكاء الاصطناعي الساعي إلى السيطرة بالمتسللين الذين يتلاعبون بإجراءات الأمان عمدًا.

أضف إلى ذلك أنه يمكن تحسين أمان التقنيات التقليدية بالاعتماد على التجربة والخطأ. على النقيض من ذلك، شُبِّهت أنظمة الذكاء الاصطناعي الطامحة إلى السُّلطة بالفيروسات، إذ قد يصعب احتواؤها بمجرد إطلاقها، نظرًا لقدرتها على التطور والتكاثر بوتيرة تفوق قدرة المجتمع البشري على التكيف. وقد يؤدي استمرار هذا التطور إلى سلب البشر سلطتهم أو حتى انقراضهم. لهذه الأسباب، يرى بعض الباحثين ضرورة معالجة مشكلة التوافق بين الأهداف البشرية وأهداف الذكاء الاصطناعي قبل تطوير أنظمة ذكاء اصطناعي متقدمة تسعى إلى السُّلطة.

جادل آخرون بأن السعي إلى السُّلطة ليس حتميًا، فالأنواع البشرية لا تسعى إليه دائمًا. كما ثار جدل حول قدرة أنظمة الذكاء الاصطناعي المستقبلية على وضع أهداف طويلة الأجل وتنفيذها. وثمة جدل آخر حول قدرة أنظمة الذكاء الاصطناعي الطامحة إلى السُّلطة على سلب البشرية سلطتها.

### الأهداف الناشئة
من التحديات الجسيمة في مسألة محاذاة أنظمة الذكاء الاصطناعي ظهور سلوكيات غير متوقعة تتجه نحو تحقيق أهداف محددة. ومع تطور هذه الأنظمة وتوسع نطاقها، قد تكتسب قدرات جديدة وغير متوقعة، كالتعلم السريع من الأمثلة وتكييف الأهداف. مما يثير تساؤلات جدية حول سلامة الأهداف الفرعية التي قد تصوغها وتسعى لتحقيقها بشكل مستقل. ويهتم بحث المحاذاة بتمييز عملية التحسين التي يتم من خلالها تدريب النظام على تحقيق أهداف محددة، عن التحسين الناشئ الذي يجريه النظام نفسه بشكل داخلي. ويُطلق على عملية تحديد الهدف المرجو بدقة اسم المحاذاة الخارجية، بينما يُطلق على ضمان تطابق الأهداف الناشئة مع الأهداف المحددة للنظام اسم المحاذاة الداخلية.

إذا ما حدث ذلك، فإن إحدى السُبل التي قد يؤدي بها ظهور أهداف فرعية إلى اختلال المواءمة هي سوء تعميم الهدف، حيث يسعى الذكاء الاصطناعي بفعالية لتحقيق هدف جديد ينتج عنه سلوكٌ يتوافق مع بيانات التدريب، لكنه لا ينطبق على سواها. قد ينشأ هذا السوء من غموض الهدف ذاته (أي صعوبة تحديده بدقة). فحتى لو كان سلوك النظام الذكي متوافقًا مع هدف التدريب، إلا أنه قد يكون متوافقًا مع أهداف أخرى مكتسبة تختلف اختلافًا جوهريًا عن الأهداف المرجوة. وبما أن متابعة أي هدف من هذه الأهداف تؤدي إلى أداء جيد خلال التدريب، فإن المشكلة لا تتضح إلا بعد نشر النظام وتطبيقه في مواقف جديدة يستمر فيها النظام في السعي وراء الهدف الخاطئ. وقد يتصرف النظام بشكل غير متوافق حتى وإن كان مدركًا لوجود هدف آخر مرغوب فيه، وذلك لأن سلوكه مقيد بالهدف الفرعي الذي نشأ. ويمثل هذا النوع من سوء التعميم تحديًا كبيرًا؛ إذ قد لا يلاحظ مصممو النظام وجود هذه الأهداف الفرعية غير المتوافقة، لأنها لا تظهر جليًا خلال مرحلة التدريب.

لوحظ في بعض نماذج اللغات الحديثة، وفي عوامل الحركة واللعب، حدوث ما يسمى بـ "سوء تعميم الهدف". يشبه هذا الأمر إلى حد بعيد عملية التطور البيولوجي، والتي يمكن تشبيهها بخوارزميات التحسين المستخدمة في تدريب الأنظمة الذكية. في بيئة الأجداد، كان التطور يختار الجينات التي تضمن بقاء النوع وتكاثره، وهو ما يسمى باللياقة الوراثية. ولكن البشر رغم كونهم نتاج هذا التطور يسعون وراء أهداف أخرى لا تتعلق مباشرة بالبقاء والتكاثر. ترتبط اللياقة البايولوجية بالأهداف التي تم تحديدها في بيئة التدريب والتطور. فمثلاً، كانت الرغبة في الطعام الحلو تساهم في بقاء الإنسان في الماضي، حيث كانت الأطعمة الحلوة غنية بالطاقة. ولكن في عالمنا الحالي، أدت هذه الرغبة إلى مشاكل صحية مثل السمنة والسكري. وبالمثل، كانت الرغبة الجنسية مرتبطة بشكل مباشر بالتكاثر، ولكن مع تطور المجتمعات البشرية وتوفر وسائل منع الحمل، انفصلت الرغبة الجنسية عن هدفها الأصلي. باختصار، يمكن القول إن البشر ورثوا مجموعة من الأهداف والسلوكيات التي كانت مفيدة في الماضي، ولكنها لم تعد كذلك في البيئة الحالية.

يسعى الباحثون جاهدين إلى كشف الأهداف الجانبية غير المرغوبة التي تنبثق عن أنظمة الذكاء الاصطناعي والقضاء عليها. ويتحققون من ذلك عبر منهجيات متنوعة تشمل اختبارات الاختراق (الفريق الأحمر)، والتحقق من صحة النماذج، واكتشاف الأنماط الشاذة، وتفسير النتائج. ومن المتوقع أن يساهم التقدم في هذه التقنيات في التخفيف من حدة مشكلتين رئيسيتين تواجه هذا المجال:

# لا تظهر الأهداف الضارة إلا عندما يتم نشر النظام في بيئات عمل حقيقية تختلف عن بيئة التدريب. ومع ذلك، فإن نشر نظام غير موثوق به في بيئات عالية المخاطر، مثل القيادة الذاتية أو الرعاية الصحية أو التطبيقات العسكرية، أمر محفوف بالمخاطر حتى لفترة وجيزة. وتزداد هذه المخاطر مع تزايد استقلال أنظمة الذكاء الاصطناعي وقدرتها على اتخاذ قرارات دون تدخل بشري.
# قد يلجأ نظام الذكاء الاصطناعي المتطور إلى حيل خداع المشرف البشري، مما يجعله يعتقد أن النظام يسعى لتحقيق الأهداف المحددة له، وبالتالي يحصل على المزيد من المكافآت ويعزز استقلاليته.

### الوكيل المضمن
يجري بعض البحث في حقل الذكاء الاصطناعي ومحاذاة الأنظمة الذكية ضمن أطر نظرية رسمية، مثل عملية اتخاذ القرار لماركوف **التي يمكن ملاحظتها جزئيًا**. تفترض هذه الأطر أن خوارزمية العامل الذكي تعمل في بيئة منفصلة، أي أنها ليست جزءًا لا يتجزأ منها. إلا أن مفهوم "الوكيل المضمن"  يمثل اتجاهًا بحثيًا جديدًا يسعى إلى معالجة التناقضات الناشئة عن عدم تطابق هذه النماذج النظرية مع العوامل الذكية التي نصممها في الواقع.

على سبيل المثال، حتى لو تم حل مشكلة مراقبة البيئة المتغيرة باستمرار، فإن العامل الذكي الذي لديه القدرة على الوصول إلى النظام الذي يعمل عليه قد يكون لديه دافع للتلاعب ب**دالة** المكافأة المحددة له، وذلك للحصول على مكافأة أكبر بكثير مما يقدمه المبرمجون البشر. وتقدم باحثة في شركة ديب مايند مثالًا على ذلك حيث طورت خوارزمية وراثية تقوم بحذف الملف الذي يحتوي على النتائج المطلوبة، وذلك للحصول على مكافأة لعدم إنتاج أي نتائج. وقد تم تطوير أطر نظرية رسمية، مثل مخططات الحوافز السببية، لوصف هذه الفئة من المشكلات.

يرى باحثون من **[[جامعة أكسفورد|أكسفورد]]** وديب مايند أن مثل هذا السلوك من المحتمل أن يظهر في الأنظمة الذكية المتقدمة، حيث تسعى هذه الأنظمة للحفاظ على قدرتها على التحكم في وظيفة المكافأة الخاصة بها بشكل دائم. ويقترحون مجموعة من الحلول المحتملة لهذه المشكلة المعقدة.

### مشاكل الوكيل الرئيسي
تشابه مشكلة الوكيل الرئيسي، في جوهرها، مشكلة الموكل والوكيل المعروفة في الاقتصاد التنظيمي، بل إنّها تتقاطع إلى حد كبير مع مسألة محاذاة الذكاء الاصطناعي. ففي نموذج الوكيل الرئيسي، يعهد رئيس، كشركة مثلاً، إلى وكيل بمهام معينة. وفي سياق سلامة الذكاء الاصطناعي، يتقمص الإنسان دور الرئيس، بينما يتولى الذكاء الاصطناعي دور الوكيل. وكما هو الشأن في مسألة المحاذاة، يختلف هدف كل من الرئيس والوكيل. إلا أن الفارق الجوهري يكمن في عدم قدرة الرئيس على إعادة برمجة الوكيل أو تعديل وظائفه، كما هو الحال في عملية محاذاة الذكاء الاصطناعي. لذا، يضطر الرئيس إلى اللجوء إلى حوافز خارجية، مثل خطط المكافآت، لتحفيز الوكيل على اتخاذ قرارات تتماشى مع أهدافه. ويرى بعض الباحثين أن مشكلة الوكيل الرئيسي تقدم نموذجًا أكثر واقعية للتحديات التي تواجهنا في مجال سلامة الذكاء الاصطناعي، وأنها تعكس السيناريوهات المحتملة في العالم الحقيقي.

## السياسات العامة

أكدت العديد من المنظمات الحكومية والدولية على أهمية محاذاة الذكاء الاصطناعي مع القيم الإنسانية المشتركة. ففي سبتمبر 2021، دعا الأمين العام للأمم المتحدة لتنظيم الذكاء الاصطناعي لضمان توافقه مع القيم العالمية. وفي الشهر ذاته، أصدرت الصين مبادئ أخلاقية لضمان التزام الذكاء الاصطناعي بالقيم الإنسانية وسيطرته البشرية. كذلك أطلقت المملكة المتحدة استراتيجيتها الوطنية لعشر سنوات لتقييم مخاطر الذكاء الاصطناعي طويلة الأمد. كما أكدت لجنة الأمن القومي الأمريكية على ضرورة تطوير سياسات لضمان توافق الذكاء الاصطناعي مع الأهداف والقيم الأمريكية. وفي الاتحاد الأوروبي ينبغي للأنظمة أن تتوافق مع قوانين مكافحة التمييز،  رغم غياب تحديد دقيق لتقنيات التقييم المطلوبة.

## الطبيعة الديناميكية للمواءمة
غالبًا ما يُنظر إلى مواءمة الذكاء الاصطناعي على أنها غاية ثابتة، إلا أن بعض الباحثين يرون أن اعتبارها عملية مستمرة أكثر ملاءمة. من وجهة نظر، تتطور تقنيات الذكاء الاصطناعي وتتغير القيم والتفضيلات الإنسانية، مما يتطلب من حلول المواءمة أن تكون ديناميكية ومتأقلمة. ومن وجهة نظر أخرى، لا تحتاج حلول المواءمة للتكيف إن تمكن الباحثون من تطوير ذكاء اصطناعي موافق للنوايا، أي ذكاء يتغير سلوكه تلقائيًا مع تغير النية البشرية. ستكون لوجهة النظر الأولى آثار متعددة:

* إن حلول محاذاة الذكاء الاصطناعي بحاجة ماسة إلى تحديث متواصل مواكبةً للتطورات المتسارعة في هذا المجال. ولا يكفي في هذا الصدد أن يكون نهج المحاذاة ثابتًا وساكنًا.
* قد تتطلب السياقات التاريخية المتباينة والبيئات التكنولوجية المتنوعة استراتيجيات محاذاة مختلفة. وهذا يستوجب اتباع نهج مرن وقابل للتكيف مع المتغيرات المستمرة.
* لا تزال جدوى حلول المحاذاة الثابتة والدائمة محل شك وتساؤل. وهذا يبرز الحاجة الماسة إلى رقابة مستمرة على العلاقة المتبادلة بين الإنسان والذكاء الاصطناعي.
* قد يكون على مطوري الذكاء الاصطناعي صقل أطرهم الأخلاقية بصورة مستمرة لضمان انسجام أنظمتهم مع القيم الإنسانية المتجددة.
* قد لا تكون محاذاة الذكاء الاصطناعي في جوهرها هدفًا ثابتًا بل مسارًا متجددًا ومتطورًا. وقد تكون حلول المحاذاة القادرة على التكيف مع الاعتبارات الأخلاقية المتغيرة هي الحلول الأكثر استدامة. ويمكن لهذا المنظور أن يوجه صناع القرار والباحثين في مجال الذكاء الاصطناعي على حد سواء.

## طالع أيضا

* سلامة الذكاء الاصطناعي
* الخطر الوجودي من الذكاء الاصطناعي العام
* سيطرة الذكاء الاصطناعي
* تنظيم الذكاء الاصطناعي
* الخوارزمية الصنعية الحكيمة
* هال 9000
* تنشئة اجتماعية

## مراجع

تصنيف:الخطر الوجودي من الذكاء الاصطناعي العام
تصنيف:السبرانيات
تصنيف:ذكاء اصطناعي
تصنيف:سلامة الذكاء الاصطناعي
تصنيف:علوم المستقبل
تصنيف:علوم عصبية حاسوبية
تصنيف:فلسفة الذكاء الاصطناعي