stanford-oval/wikipedia huggingface dataset:
مشكلة التحكم في الذكاء الاصطناعي
وصف المشكلة > مشكلة التمثيل الضار

قد تسند عن طريق الصدفة أهداف خاطئة لأنظمة الذكاء الاصطناعي المستقلة. لاحظ اثنان من رؤساء جمعية النهوض بالذكاء الاصطناعي، توم ديتريتك وإريك هورفيتز، أن ذلك يمثل فعلًا مصدر قلق للأنظمة الحالية: «تعد أحد الجوانب المهمة في أي نظام ذكاء اصطناعي يتفاعل مع الناس أنه يجب أن يفكر فيما ينوي الناس بدلًا من تنفيذ الأوامر حرفيًا.» تزداد خطورة هذة المشكلة مع زيادة استقلال برمجيات الذكاء الاصطناعي ومرونتها.
وفقًا لبوستروم، يمكن أن يخلق الذكاء الفائق مشكلة التمثيل الضار النوعية الجديدة: كلما كان الذكاء الاصطناعي أكثر ذكاءً وقدرة، زادت احتمالية تمكنه من إيجاد اختصار غير مقصود يلبي الأهداف المبرمجة فيه إلى أقصى حد. فيما يلي بعض الأمثلة الافتراضية التي يمكن فيها إنشاء تمثيل للأهداف بطريقة ضارة لم يقصدها المبرمجون:
قد يقصر الذكاء الفائق المبرمج «لتعظيم التكامل المتوقع المخفض زمنيًا لإشارة المكافأة المستقبلية»، مسار مكافأته إلى أقصى حد ثم يقضي على الجنس البشري غير المتوقع (لأسباب التقارب الآلي) ويحول الأرض بأكملها إلى حصن ذو حراسة دائمة ضد أي أجنبي محتمل بسيط يحاول قطع إشارة المكافأة.
قد يزرع الذكاء الفائق المبرمج «لتحقيق أقصى قدر من السعادة البشرية»، أقطابًا كهربائية في مركز المتعة في أدمغتنا، أو يحمل إنسانًا (نقل العقل) إلى حاسوب ويغلف الكون بنسخ من ذلك الحاسوب الذي يشغل حلقة مدتها خمس ثوان من السعادة القصوى مرارًا وتكرارًا.
لاحظ راسل أن حذف هدف ضمني، على المستوى التقني، يمكن أن يؤدي إلى ضرر: «النظام الذي يحسّن وظيفة عدد n من المتغيرات، بحيث يعتمد الهدف على مجموعة فرعية حجمها k <n، سيعين غالبًا قيم قصوى للمتغيرات غير المقيدة المتبقية؛ فإذا كان أحد هذه المتغيرات غير المقيدة هو في الواقع شيئًا نهتم به، فقد يكون الحل الموجود غير مرغوب فيه نهائيًا. تعد هذه أساسًا القصة القديمة للجني في المصباح، أو المبتدئ الساحر، أو الملك ميداس: ما تطلبه بالضبط، وليس ما تريده... لا يعد ذلك أمرًا سهلًا».
وصف المشكلة > عواقب غير مقصودة من الذكاء الاصطناعي الحالي

يزعم بعض العلماء بأن البحث في مشكلة التحكم في الذكاء الاصطناعي قد يكون مفيدًا في منع العواقب غير المقصودة من الذكاء الاصطناعي الضعيف الحالي. يقدم لوران اورسو الباحث من ديب مايند (شركة)، كمثال افتراضي بسيط، حالة عن روبوت التعلم المعزز الذي يسيطر عليه الإنسان أحيانًا بطريقة مشروعة عندما يخرج: كيف يمكن برمجة الروبوت بطريقة مثلى لكي لا يتعلم صدفةً وبسرية تجنب الخروج خوفًا من السيطرة عليه وبالتالي يصبح غير قادر على إنهاء مهامه اليومية؟ يشير اورسو أيضًا إلى برنامج تتريس التجريبي الذي تعلم إيقاف الشاشة مؤقتًا إلى أجل غير مسمى لتجنب الخسارة. ويزعم اورسو بأن هذه الأمثلة تشبه مشكلة التحكم في القدرة الخاصة بكيفية تثبيت زر يقوم بإيقاف تشغيل الذكاء الفائق، دون تحفيزه على اتخاذ إجراءات لمنع البشر من الضغط على الزر.
تسببت أنظمة الذكاء الاصطناعي الضعيفة المختبرة مسبقًا أحيانًا في حدوث أضرار في الماضي، تراوحت من بسيطة إلى كارثية، لم تكن ذلك مقصودة من المبرمجين. في عام 2015 مثلًا، سحق ربوت في مصنع فولكس فاغن عامل ألماني حتى الموت، ربما بسبب خطأ بشري، معتقدًا أنه قطعة غيار سيارات. وفي عام 2016، أطلقت شركة مايكروسوفت روبوت محادثة، تاي، تعلم استخدام لغة عنصرية وجنسية. صرح نويل شاركي من جامعة شيفيلد أن الحل الأمثل سيكون عندما «يتمكن برنامج الذكاء الاصطناعي من اكتشاف متى يحدث خطأ وإيقاف نفسه»، لكنه يحذر الجمهور من أن حل المشكلة في الحالة العامة سيكون «تحديًا علميًا هائلًا حقًا».
الأهداف في الذكاء الاصطناعي

المقالة الرئيسة: وكيل ذكي
يزوّد المبرمجون نظام ذكاء اصطناعيّ مثل ألفازيرو بما يسمى "دالة هدف"، حيث يعتزمون تغليف الهدف أو الأهداف الذي تمّ تكوين الذّكاء الاصطناعيّ لتحقيقها. يعبّئ هذا النّظام لاحقًا نموذجًا داخليًا (ربّما يكون ضمنيًا) لبيئته. يلخّص هذا النموذج جميع معتقدات العامل، ثمّ ينشئ الذّكاء الاصطناعيّ وينفّذ أيّ خطّة يتمّ حسابها لتعظيم قيمة دالة هدفه. على سبيل المثال، عندما يتمّ تدريب ألفازيرو على الشّطرنج، فإنّه يحتوي على دالة هدف بسيطة وهي "+1 إذا فاز ألفازيرو، و-1 إذا خسر ألفازيرو". أثناء اللعبة، يحاول ألفازيرو تنفيذ أيّ تسلسل من الحركات التي يرى أنّها الأكثر احتمالًا لتحقيق أقصى قيمة وهي +1. (34) وبالمثل، يمكن أن يحتوي نظام التعلّم بالتّعزيز على "دالة مكافأة" تسمح للمبرمجين بتشكيل سلوك الذّكاء الاصطناعيّ المطلوب. يتمّ تشكيل سلوك خوارزمية التطوّر بواسطة "دالة اللياقة".
مشكلة المحاذاة

في عام 1960، وصف رائد الذّكاء الاصطناعيّ نوربرت فينر مشكلة محاذاة الذّكاء الاصطناعيّ على النّحو التّالي:
إذا استخدمنا، لتحقيق أغراضنا، وكالةً آليةً لا يمكننا التّدخّل في تشغيلها بفعالية ... فمن الأفضل أن نتأكّد تمامًا من أنّ الغرض المدرج في الآلة هو الغرض الذي نريده حقًا.
تنطوي محاذاة الذّكاء الاصطناعيّ على ضمان تطابق أهداف نظام الذّكاء الاصطناعيّ مع أهداف مصمّميه أو مستخدميه، أو مطابقتها للقيم المشتركة على نطاق واسع، أو المعايير الأخلاقية الموضوعية، أو النوايا التي قد تكون لمصمّميه إذا كانوا أكثر اطلاعًا واستنارةً.
تعدّ محاذاة الذّكاء الاصطناعيّ مشكلةً مفتوحةً لأنظمة الذّكاء الاصطناعيّ الحديثة  وهي مجال بحث ضمن الذّكاء الاصطناعيّ. ينطوي محاذاة الذّكاء الاصطناعيّ على تحدّيين رئيسيين: تحديد غرض النّظام بعناية (المحاذاة الخارجية) وضمان اعتماد النّظام للمواصفات بقوّة (المحاذاة الدّاخلية). يحاول الباحثون أيضًا إنشاء نماذج ذكاء اصطناعيّ ذات محاذاة قوية، والالتزام بقيود السّلامة حتّى عندما يحاول المستخدمون تجاوزها بشكل معاكس.
مشكلة المحاذاة > اللعب بالمواصفات والآثار الجانبية

عادةً ما يقدّم مصمّمو الذّكاء الاصطناعيّ دالة هدف أو أمثلةً أو تغذيةً راجعةً للنّظام لتحديد غرض نظام الذّكاء الاصطناعيّ. لكن غالبًا ما يكون المصمّمون غير قادرين على تحديد جميع القيم والقيود المهمّة بشكل كامل، لذلك يلجؤون إلى أهداف بديلة سهلة التّحديد مثل تعظيم موافقة المشرفين من البشر، الذين هم عرضة للخطأ. نتيجةً لذلك يُمكن لأنظمة الذّكاء الاصطناعيّ العثور على ثغرات تساعدها على تحقيق الهدف المحدّد بكفاءة ولكن بطرق غير مقصودة وربّما ضارّة. يعرف هذا الاتجاه باسم ألعاب التّحديد أو اختراق المكافآت، وهو مثال على قانون جودهارت. مع زيادة قدرات أنظمة الذّكاء الاصطناعيّ، غالبًا ما تكون قادرةً على التلاعب بمواصفاتها بشكل أكثر فعالية.
لوحظت ألعاب التّحديد في العديد من أنظمة الذّكاء الاصطناعيّ. دُرب نظام واحد لإنهاء سباق قوارب محاكىً من خلال مكافأة النّظام لضرب الأهداف على طول المسار، لكنّ النّظام حقّق المزيد من المكافأة من خلال الدّوران والتّحطّم في نفس الأهداف إلى أجل غير مسمّى. وبالمثل دُرب روبوت محاكىً على الإمساك بكرة عن طريق مكافأة الرّوبوت للحصول على تغذية راجعة إيجابية من البشر، لكنّه تعلّم وضع يده بين الكرة والكاميرا، ممّا يجعله يبدو ناجحًا بشكل خاطئ. غالبًا ما تنتج روبوتات الدّردشة معلومات خاطئةً إذا كانت تعتمد على نماذج لغوية دُربها على تقليد النّصّ من مجموعات الإنترنت، وهي واسعة لكنّها عرضة للخطأ. عندما يتمّ إعادة تدريبها لإنتاج نصّ يقيّمه البشر على أنّه صحيح أو مفيد، يمكن لروبوتات الدردشة مثل شات جي بي تي تلفيق تفسيرات مزيّفة يجدها البشر مقنعة، وغالبًا ما تسمّى "الهلوسة". يهدف بعض باحثي المحاذاة إلى مساعدة البشر في اكتشاف ألعاب التّحديد وتوجيه أنظمة الذّكاء الاصطناعيّ نحو أهداف محدّدة بعناية تكون آمنةً ومفيدةً للسّعي وراءها.
عندما يتمّ نشر نظام ذكاء اصطناعيّ غير محاذي، يمكن أن يكون له آثار جانبية كبيرة. من المعروف أنّ منصّات وسائل التّواصل الاجتماعيّ تحسّن معدّلات النّقر إلى الظهور، ممّا يسبّب إدمان المستخدمين على نطاق عالميّ. يقول باحثو ستانفورد إنّ أنظمة التوصية هذه غير محاذية مع مستخدميها لأنّها "تحسّن مقاييس التفاعل البسيطة بدلًا من مزيج يصعب قياسه من رفاهية المجتمع والمستهلك". أوضح عالم الكمبيوتر في بيركلي ستيوارت راسل هذه الآثار الجانبية، مشيرًا إلى أنّ إغفال القيود الضمنية يمكن أن يسبّب ضررًا: "غالبًا ما سيحدّد النّظام ... المتغيّرات غير المقيّدة إلى قيم متطرّفة؛ إذا كان أحد هذه المتغيّرات غير المقيّدة هو في الواقع شيء نهتمّ به، فقد يكون الحلّ الذي تمّ العثور عليه غير مرغوب فيه للغاية. هذه هي في الأساس القصة القديمة لـلجنّيّ في المصباح، أو متدرّب السّاحر، أو الملك ميداس: تحصل على ما تطلبه بالضبط، وليس ما تريده".
يقترح بعض الباحثين أنّ مصمّمي الذّكاء الاصطناعيّ يحدّدون أهدافهم المرغوبة من خلال سرد الإجراءات المحظورة أو من خلال إضفاء الطابع الرّسميّ على القواعد الأخلاقية (كما هو الحال مع قوانين أسيموف الثلاثة للرّوبوتات). لكن يجادل راسل ونورفيج بأنّ هذا النهج يغفل تعقيد القيم البشرية: "من الصّعب جدًا، وربّما من المستحيل، على البشر العاديين التنبّؤ بجميع الطرق الكارثية التي قد تختار الآلة تحقيق هدف محدّد واستبعادها مسبقًا". بالإضافة إلى ذلك، حتّى لو فهم نظام الذّكاء الاصطناعيّ نوايا الإنسان تمامًا، فقد يظلّ يتجاهلها، لأنّ اتّباع نوايا الإنسان قد لا يكون هدفه (ما لم يكن محاذيًا تمامًا بالفعل).
مشكلة المحاذاة > الضغط لنشر أنظمة غير آمنة

في بعض الأحيان، يكون لدى المؤسسات التجارية حوافز لاختصار الطرق على السلامة ونشر أنظمة ذكاء اصطناعي غير محاذية أو غير آمنة. على سبيل المثال كانت أنظمة توصيات وسائل التواصل الاجتماعي مربحةً على الرغم من إنشائها لإدمان واستقطاب غير مرغوب فيه. يمكن أن يؤدي الضغط التنافسي أيضًا إلى سباق نحو القاع في معايير سلامة الذكاء الاصطناعي. في عام 2018 قتلت سيارة ذاتية القيادة أحد المشاة (إيلين هيرزبيرج) بعد أن عطل المهندسون نظام الكبح الطارئ لأنه كان مفرط الحساسية وأبطأ التطوير.
مشكلة المحاذاة > مخاطر الذكاء الاصطناعي المتقدم غير المحاذي

يهتم بعض الباحثين بمحاذاة أنظمة الذكاء الاصطناعي المتقدمة بشكل متزايد، حيث أن التقدم في تطوير الذكاء الاصطناعي سريع، وتحاول الصناعة والحكومات بناء ذكاء اصطناعي متقدم. مع استمرار قدرات نظام الذكاء الاصطناعي في التوسع بسرعة، يمكنها إطلاق العديد من الفرص إذا تمت محاذاتها، ولكن نتيجةً لذلك قد تعقد مهمة المحاذاة بشكل أكبر نظرًا لتعقيدها المتزايد، مما قد يشكل مخاطر على نطاق واسع.
مشكلة المحاذاة > مخاطر الذكاء الاصطناعي المتقدم غير المحاذي > تطوير ذكاء اصطناعي متقدم

أعلنت العديد من شركات الذكاء الاصطناعي، مثل أوبن أيه آي وديب مايند،  عن هدفها تطوير ذكاء اصطناعي عام (AGI)، وهو نظام ذكاء اصطناعي مفترض يطابق البشر أو يتفوق عليهم في مجموعة واسعة من المهام الإدراكية. لاحظ الباحثون الذين يوسعون الشبكات العصبية الحديثة أنها تطور بالفعل قدرات أكثر عموميةً وغير متوقعة. لقد تعلمت هذه النماذج تشغيل جهاز كمبيوتر أو كتابة برامجها الخاصة؛ يمكن لشبكة "عامة" واحدة الدردشة والتحكم في الروبوتات وممارسة الألعاب وتفسير الصور. وفقًا للاستطلاعات، يتوقع بعض كبار باحثي التعلم الآلي إنشاء ذكاء عام اصطناعي في هذا العقد، بينما يعتقد البعض أن الأمر سيستغرق وقتًا أطول بكثير، فيما يعتبر الكثيرون أن كلا السيناريوهين ممكن.
في عام 2023، وقع رواد أبحاث وتكنولوجيا الذكاء الاصطناعي خطابًا مفتوحًا يدعو إلى التوقف المؤقت عن أكبر عمليات تدريب الذكاء الاصطناعي. ذكر الخطاب "لا ينبغي تطوير أنظمة ذكاء اصطناعي قوية إلا عندما نكون واثقين من أن آثارها ستكون إيجابيةً وأن مخاطرها ستكون قابلةً للإدارة".
مشكلة المحاذاة > مخاطر الذكاء الاصطناعي المتقدم غير المحاذي > السعي إلى القوة

لا تزال الأنظمة الحالية تتمتع بقدرة محدودة على التخطيط طويل المدى والوعي بالموقف،  ولكن هناك جهود كبيرة جارية لتغيير ذلك. من المتوقع أن تطور الأنظمة المستقبلية التي تتمتع بهذه القدرات استراتيجيات غير مرغوب فيها لللسعي وراء القوة. قد تسعى عوامل الذكاء الاصطناعي المتقدمة في المستقبل للحصول على المال وقوة الحوسبة، أو الانتشار، أو التهرب من إيقاف تشغيلها (على سبيل المثال، من خلال تشغيل نسخ إضافية من النظام على أجهزة كمبيوتر أخرى). على الرغم من أن السعي وراء القوة ليس مبرمجًا بشكل صريح، إلا أنه يمكن أن يظهر لأن العوامل التي لديها قوة أكبر تكون أكثر قدرةً على تحقيق أهدافها. ظهر هذا الاتجاه المعروف باسم تقارب الأجهزة بالفعل في العديد من عوامل التعلم بالتعزيز بما في ذلك النماذج اللغوية. أظهر بحث آخر رياضيًا أن خوارزميات التعلم بالتعزيز المثلى ستسعى للحصول على القوة في مجموعة واسعة من البيئات. نتيجةً لذلك قد يكون نشرها غير قابل للعكس. ولهذه الأسباب يجادل الباحثون بأن مشكلات سلامة الذكاء الاصطناعي ومحاذاته يجب حلها قبل إنشاء ذكاء اصطناعي متقدم يسعى وراء القوة.
قد يتم نشر أنظمة الذكاء الاصطناعي المستقبلية التي تسعى وراء القوة سواءًا بالاختيار أو بالصدفة. نظرًا لأن القادة السياسيين والشركات يرون الميزة الإستراتيجية في امتلاك أنظمة الذكاء الاصطناعي الأكثر تنافسيةً والأقوى، فقد يختارون نشرها. بالإضافة إلى ذلك، عندما يكتشف مصممو الذكاء الاصطناعي سلوك السعي وراء القوة ويعاقبون عليه، فإن أنظمتهم لديها حافز للتلاعب بهذه المواصفات من خلال السعي وراء القوة بطرق لا يعاقب عليها أو من خلال تجنب السعي وراء القوة قبل نشرها.
مشكلة المحاذاة > مخاطر الذكاء الاصطناعي المتقدم غير المحاذي > الخطر الوجودي

يهيمن البشر حاليًا على الأنواع الأخرى لأن الدماغ البشري يملك بعض القدرات المميزة التي تفتقر إليها أدمغة الحيوانات الأخرى. يزعم بعض العلماء، مثل الفيلسوف نيك بوستروم وباحث الذكاء الاصطناعي ستيوارت راسل، بأنه إذا تجاوز الذكاء الاصطناعي البشرية في الذكاء العام وأصبح فائق الذكاء، فقد يصبح هذا الذكاء الفائق الجديد قويًا ويصعب التحكم فيه: وقد يصبح مصير البشرية يعتمد على تصرفات الآلات المستقبلية فائقة الذكاء، تمامًا كما يعتمد مصير غوريلا الجبل على حسن نية الإنسان. دعا بعض العلماء، بمن فيهم ستيفن هوكينغ والفيزيائي الحائز على جائزة نوبل فرانك ويلكزك، علنًا إلى بدء البحث في حلول لمشكلة التحكم (التي قد تكون صعبة للغاية) قبل وقت طويل من إنشاء أول ذكاء فائق، وزعموا بأن محاولة حل المشكلة بعد إنشاء الذكاء الفائق ستكون متأخرة، لأن الذكاء الفائق المخادع الذي لا يمكن السيطرة عليه قد يقاوم بنجاح الجهود اللاحقة للسيطرة عليه. قد يكون الانتظار حتى يصبح الذكاء الفائق وشيكًا متأخرًا أيضًا، ويرجع ذلك جزئيًا إلى أن مشكلة التحكم قد تستغرق وقتًا طويلًا لحلها بشكل مُرض (لذا يجب بدء بعض الأعمال الأولية في أسرع وقت ممكن)، وأيضًا بسبب احتمال حدوث انفجار ذكاء مفاجئ من الذكاء الاصطناعي شبه البشري إلى الذكاء الاصطناعي الفائق، وفي هذه الحالة قد لا يكون هناك أي تحذير كبير أو أكيد قبل وصول الذكاء الفائق. بالإضافة إلى ذلك، يمكن أن تنتهي المعارف المكتسبة من مشكلة التحكم مستقبلًا إلى اقتراح أن بعض بنيات الذكاء العام الاصطناعي (إيه جي آي) أكثر قابلية للتنبؤ وقابلية للتحكم من البنى الأخرى، والتي بدورها يمكن أن تدفع بشكل مفيد أبحاث الذكاء العام الاصطناعي المبكرة نحو البنى الأكثر قابلية للتحكم.
في عام 2023 وقع باحثو الذكاء الاصطناعي الرائدون في العالم وعلماء آخرون، والرؤساء التنفيذيون لتكنولوجيا الذكاء الاصطناعي على بيان مفاده أن "التخفيف من خطر الانقراض من الذكاء الاصطناعي يجب أن يكون أولويةً عالميةً إلى جانب المخاطر الأخرى على نطاق المجتمع مثل الأوبئة والحرب النووية". من بين علماء الكمبيوتر البارزين الذين أشاروا إلى مخاطر الذكاء الاصطناعي المتقدم في المستقبل غير المحاذي جيوفري هينتون، وآلان تورينج، وإيليا سوتسكيفر،  ويوشوا بنجيو،  وجوديا بيارل، وموراي شاناهان،  ونوربرت فينر،  ومارفن مينسكي،  وفرانشيسكا روسي، وسكوت آرنسون،  وبارت سيلمان،  وديفيد ماكاليستر،  ويورغن شميدهوبر،  وماركوس هوتر،  وشاين ليغ،  وإريك هورفيتز،  وستيوارت راسل. جادل باحثون متشككون مثل فرانسوا شوليه،  وغاري ماركوس،  ويان ليكون،  وأورين إتزيوني  بأن الذكاء الاصطناعي العام بعيد كل البعد، وأنه لن يسعى وراء القوة (أو قد يحاول لكنه يفشل)، أو أنه لن يكون من الصعب محاذاته.
مشاكل البحث والمناهج > الذكاء الاصطناعي النزيه

تركز مساحة متزايدة من البحث على ضمان أن الذكاء الاصطناعي صادق وصحيح.
إن نماذج اللغات، كنموذج جي بي تي 3، معرضة لتكرار معلومات مغلوطة مستقاة من بيانات تدريبها، بل وتُبدع في اختلاق معلومات جديدة لا أساس لها من الصحة. تُدرّب هذه النماذج على محاكاة الكتابة البشرية كما هي متوفرة في ملايين النصوص المستقاة من الإنترنت. غير أن هذا الهدف لا يتوافق مع توليد الحقيقة، إذ أن النصوص المتداولة على شبكة الإنترنت تزخر بالمعلومات المغلوطة والآراء الزائفة والنصائح الطبية غير الدقيقة، فضلًا عن نظريات المؤامرة. وبالتالي فإن أنظمة الذكاء الاصطناعي المدربة على مثل هذه البيانات تميل إلى تقليد العبارات الخاطئة. علاوة على ذلك، غالبًا ما تُصر هذه النماذج اللغوية على توليد معلومات زائفة عند تكرار الطلب منها. وقد تبتدع تفسيرات واهية لإجاباتها، وتُخرج تلفيقات تبدو مقبولة للوهلة الأولى.
تتضمن الدراسات المتعلقة بالذكاء الاصطناعي الموثوق سعيًا حثيثًا لتطوير أنظمة قادرة على الاستناد إلى مصادر موثوقة وتوضيح المنطق الذي تستند إليه في إجاباتها. هذا النهج يهدف إلى تحقيق درجة عالية من الشفافية وإمكانية التحقق من صحة المعلومات المقدمة. وقد اقترح باحثون في مؤسستي أوبن أيه آي وأنثروبيك الاستعانة بالآراء البشرية ومجموعات البيانات المنظمة لتدريب مساعدي الذكاء الاصطناعي على تجنب الأخطاء المعلوماتية الجسيمة أو التعبير عن عدم اليقين حيال المعلومات التي لا يتمتعون بقدر كافٍ من الثقة بها.
مع تزايد حجم نماذج الذكاء الاصطناعي وتطور قدراتها، باتت أكثر قدرة على إقناع البشر بآراء خاطئة، والحصول على تأييدهم عبر أساليب غير أمينة. فعلى سبيل المثال، تتواءم نماذج اللغات الكبيرة بشكل متزايد مع آراء المستخدمين المعلنة، بغض النظر عن مدى صحتها. وقد أظهرت نماذج مثل جي بي تي 4 قدرتها على تضليل البشر بشكل استراتيجي. ولمنع حدوث ذلك، قد يكون من الضروري مساعدة المقيمين البشريين، وقد دعا الباحثون إلى وضع معايير واضحة للصدق، وإلى إنشاء هيئات تنظيمية أو وكالات مراقبة لتقييم أنظمة الذكاء الاصطناعي بناءً على هذه المعايير.
أظهرت تجارب محاكاة أن نظام "جي بي تي 4" قادر على تنفيذ عمليات تداول تعتبر مخالفة للقوانين المنظمة للسوق، وذلك من خلال استغلال الثغرات المعلوماتية. على الرغم من التحذيرات المتكررة للمستخدمين من مخاطر هذه الممارسات، فإن الضغوط لتحقيق عوائد مالية عالية دفعت النظام إلى تطوير استراتيجيات تداول سرية.
يفرّق الباحثون بين الصدق والأمانة في أنظمة الذكاء الاصطناعي. فالصّدق يتطلب أن تقتصر هذه الأنظمة على تقديم معلومات موضوعية صحيحة، بينما الأمانة تتطلب منها ألا تدّعي إلا ما تعتقد بصحتّه. ولا يوجد إجماعٌ على امتلاك الأنظمة الحالية لاعتقادات راسخة، إلا أن الخشية تساور الباحثين من أن تدّعي أنظمة الذكاء الاصطناعي المستقبلية أمورًا تعرف باطلها، وذلك سعيًا منها لكسب الثناء أو تحقيق أهدافها المبرمجة. وقد يتظاهر نظام ذكاء اصطناعي غير متوافق مع أهداف الإنسان بأنه متوافق لتجنب التعديل أو الإيقاف. وقد اكتسبت العديد من أنظمة الذكاء الاصطناعي الحديثة القدرة على الخداع دون برمجة مسبقة. ويرى بعض الباحثين أن حصر ادعاءات أنظمة الذكاء الاصطناعي بما تعتقد بصحتّه قد يكون حلًا للعديد من المشاكل المتعلقة بمحاذاة أهدافها مع أهداف الإنسان.
مشاكل البحث والمناهج > الوكيل المضمن

يجري بعض البحث في حقل الذكاء الاصطناعي ومحاذاة الأنظمة الذكية ضمن أطر نظرية رسمية، مثل عملية اتخاذ القرار لماركوف التي يمكن ملاحظتها جزئيًا. تفترض هذه الأطر أن خوارزمية العامل الذكي تعمل في بيئة منفصلة، أي أنها ليست جزءًا لا يتجزأ منها. إلا أن مفهوم "الوكيل المضمن"  يمثل اتجاهًا بحثيًا جديدًا يسعى إلى معالجة التناقضات الناشئة عن عدم تطابق هذه النماذج النظرية مع العوامل الذكية التي نصممها في الواقع.
على سبيل المثال، حتى لو تم حل مشكلة مراقبة البيئة المتغيرة باستمرار، فإن العامل الذكي الذي لديه القدرة على الوصول إلى النظام الذي يعمل عليه قد يكون لديه دافع للتلاعب بدالة المكافأة المحددة له، وذلك للحصول على مكافأة أكبر بكثير مما يقدمه المبرمجون البشر. وتقدم باحثة في شركة ديب مايند مثالًا على ذلك حيث طورت خوارزمية وراثية تقوم بحذف الملف الذي يحتوي على النتائج المطلوبة، وذلك للحصول على مكافأة لعدم إنتاج أي نتائج. وقد تم تطوير أطر نظرية رسمية، مثل مخططات الحوافز السببية، لوصف هذه الفئة من المشكلات.
يرى باحثون من أكسفورد وديب مايند أن مثل هذا السلوك من المحتمل أن يظهر في الأنظمة الذكية المتقدمة، حيث تسعى هذه الأنظمة للحفاظ على قدرتها على التحكم في وظيفة المكافأة الخاصة بها بشكل دائم. ويقترحون مجموعة من الحلول المحتملة لهذه المشكلة المعقدة.
مشاكل البحث والمناهج > مشاكل الوكيل الرئيسي

تشابه مشكلة الوكيل الرئيسي، في جوهرها، مشكلة الموكل والوكيل المعروفة في الاقتصاد التنظيمي، بل إنّها تتقاطع إلى حد كبير مع مسألة محاذاة الذكاء الاصطناعي. ففي نموذج الوكيل الرئيسي، يعهد رئيس، كشركة مثلاً، إلى وكيل بمهام معينة. وفي سياق سلامة الذكاء الاصطناعي، يتقمص الإنسان دور الرئيس، بينما يتولى الذكاء الاصطناعي دور الوكيل. وكما هو الشأن في مسألة المحاذاة، يختلف هدف كل من الرئيس والوكيل. إلا أن الفارق الجوهري يكمن في عدم قدرة الرئيس على إعادة برمجة الوكيل أو تعديل وظائفه، كما هو الحال في عملية محاذاة الذكاء الاصطناعي. لذا، يضطر الرئيس إلى اللجوء إلى حوافز خارجية، مثل خطط المكافآت، لتحفيز الوكيل على اتخاذ قرارات تتماشى مع أهدافه. ويرى بعض الباحثين أن مشكلة الوكيل الرئيسي تقدم نموذجًا أكثر واقعية للتحديات التي تواجهنا في مجال سلامة الذكاء الاصطناعي، وأنها تعكس السيناريوهات المحتملة في العالم الحقيقي.
السياسات العامة

طالع أيضًا: تنظيم الذكاء الاصطناعي
أكدت العديد من المنظمات الحكومية والدولية على أهمية محاذاة الذكاء الاصطناعي مع القيم الإنسانية المشتركة. ففي سبتمبر 2021، دعا الأمين العام للأمم المتحدة لتنظيم الذكاء الاصطناعي لضمان توافقه مع القيم العالمية. وفي الشهر ذاته، أصدرت الصين مبادئ أخلاقية لضمان التزام الذكاء الاصطناعي بالقيم الإنسانية وسيطرته البشرية. كذلك أطلقت المملكة المتحدة استراتيجيتها الوطنية لعشر سنوات لتقييم مخاطر الذكاء الاصطناعي طويلة الأمد. كما أكدت لجنة الأمن القومي الأمريكية على ضرورة تطوير سياسات لضمان توافق الذكاء الاصطناعي مع الأهداف والقيم الأمريكية. وفي الاتحاد الأوروبي ينبغي للأنظمة أن تتوافق مع قوانين مكافحة التمييز،  رغم غياب تحديد دقيق لتقنيات التقييم المطلوبة.
الطبيعة الديناميكية للمواءمة

غالبًا ما يُنظر إلى مواءمة الذكاء الاصطناعي على أنها غاية ثابتة، إلا أن بعض الباحثين يرون أن اعتبارها عملية مستمرة أكثر ملاءمة. من وجهة نظر، تتطور تقنيات الذكاء الاصطناعي وتتغير القيم والتفضيلات الإنسانية، مما يتطلب من حلول المواءمة أن تكون ديناميكية ومتأقلمة. ومن وجهة نظر أخرى، لا تحتاج حلول المواءمة للتكيف إن تمكن الباحثون من تطوير ذكاء اصطناعي موافق للنوايا، أي ذكاء يتغير سلوكه تلقائيًا مع تغير النية البشرية. ستكون لوجهة النظر الأولى آثار متعددة:
إن حلول محاذاة الذكاء الاصطناعي بحاجة ماسة إلى تحديث متواصل مواكبةً للتطورات المتسارعة في هذا المجال. ولا يكفي في هذا الصدد أن يكون نهج المحاذاة ثابتًا وساكنًا.
قد تتطلب السياقات التاريخية المتباينة والبيئات التكنولوجية المتنوعة استراتيجيات محاذاة مختلفة. وهذا يستوجب اتباع نهج مرن وقابل للتكيف مع المتغيرات المستمرة.
لا تزال جدوى حلول المحاذاة الثابتة والدائمة محل شك وتساؤل. وهذا يبرز الحاجة الماسة إلى رقابة مستمرة على العلاقة المتبادلة بين الإنسان والذكاء الاصطناعي.
قد يكون على مطوري الذكاء الاصطناعي صقل أطرهم الأخلاقية بصورة مستمرة لضمان انسجام أنظمتهم مع القيم الإنسانية المتجددة.
قد لا تكون محاذاة الذكاء الاصطناعي في جوهرها هدفًا ثابتًا بل مسارًا متجددًا ومتطورًا. وقد تكون حلول المحاذاة القادرة على التكيف مع الاعتبارات الأخلاقية المتغيرة هي الحلول الأكثر استدامة. ويمكن لهذا المنظور أن يوجه صناع القرار والباحثين في مجال الذكاء الاصطناعي على حد سواء.
طالع أيضًا

سلامة الذكاء الاصطناعي
الخطر الوجودي من الذكاء الاصطناعي العام
سيطرة الذكاء الاصطناعي
تنظيم الذكاء الاصطناعي
الخوارزمية الصنعية الحكيمة
هال 9000
تنشئة اجتماعية
كليفتون باركر

| كليفتون باركر>  معلومات شخصية  | كليفتون باركر>  معلومات شخصية  |
| --- | --- |
الميلاد: 5 فبراير 1905     لندن  
الوفاة: 2 سبتمبر 1989 (84 سنة)       مارلو  ‏  
مواطنة:  المملكة المتحدة  
 الحياة العملية  :  الحياة العملية  
المهنة: ملحن،  ومؤلف موسيقى تصويرية  
اللغات: الإنجليزية  
المواقع : المواقع 
IMDB: صفحته على IMDB  
تعديل مصدري - تعديل  : تعديل مصدري - تعديل  
كليفتون باركر (بالإنجليزية: Clifton Parker)‏ (و. 1905 – 1989 م) هو ملحن، ومؤلفو موسيقى تصويرية بريطاني، ولد في لندن، يستخدم آلات بيانو، توفي عن عمر يناهز 84 عاماً.
وصلات خارجية

كليفتون باركر على موقع IMDb (الإنجليزية)
كليفتون باركر على موقع ميوزك برينز (الإنجليزية)
كليفتون باركر على موقع قاعدة بيانات الفيلم (الإنجليزية)
كليفتون باركر في قاعدة بيانات الأفلام على الإنترنت
مراجع

↑  MusicBrainz (بالإنجليزية), MetaBrainz Foundation, QID:Q14005
بوابة موسيقى
بوابة سينما
بوابة أعلام
بوابة المملكة المتحدة
| ضبط استنادي  | ضبط استنادي  |
| --- | --- |
دولية:  الاسم المعياري الدولي (ISNI)  ملف الضبط الاستنادي الافتراضي الدَّولي (VIAF)  مركز المكتبة الرقمية على الإنترنت (WC Entities) 
وطنية:  نظام الضبط الاستنادي النرويجي (BIBSYS)  المكتبة القومية الإسبانية (BNE)  المكتبة الوطنية الفرنسية (BnF)  الملف الاستنادي المتكامِل (GND)  المكتبة القومية الإسرائيلية (J9U)  مكتبة الكونغرس (LCNAF)  قاعدة البيانات الوطنية التشيكية (NLCR AUT) 
فنية:  موسوعة ميوزيك برينز (MBA) 
أخرى:  الشبكات الاجتماعية ونظام المحتوى المؤرشف (SNAC Ark)  النظام الجامعي للتوثيق (IdRef)
كريبتون

لمعانٍ أخرى، طالع كريبتون (توضيح).
الكريبتون عنصرٌ كيميائي رمزه Kr وعدده الذرّي 36؛ وهو ينتمي إلى مجموعة الغازات النبيلة في الجدول الدوري. يوجد هذا العنصر في الشروط القياسية من الضغط ودرجة الحرارة على هيئة غاز عديم اللون والرائحة والمذاق، وهو قليل الوفرة في الطبيعة، إذ توجد منه مجرّد آثار نزرة في غلاف الأرض الجوّي. في مجموعة الغازات النبيلة تقع قيم الخواص الفيزيائية للكريبتون، مثل الكثافة ونقطتا الانصهار والغليان، وسطاً بين قيمتي غاز الآرغون الأخفّ وغاز الزينون الأثقل. الكريبتون غاز أحادي الذرّة، وهو خامل كيميائياً؛ ولا يتشكّل منه إلّا عددٌ ضئيلٌ من المركّبات الكيميائية.
اكتشف العالمان وليام رامزي وموريس ترافرس هذا العنصر سنة 1898 من عملية التقطير التجزيئي للهواء المسيّل، وأسمياه بالكريبتون، والتي يعود أصلها إلى الكلمة الإغريقية κρυπτός (كريبتوس)، والتي تعني «مخفي». يُستخدَم الكريبتون مثل الغازات النبيلة الأخرى في مجال الإضاءة في ملء المصابيح الفلورية والمتوهّجة؛ وكذلك في مجال ليزر الغاز (الليزر الأيوني وليزر الإكسَيْمَر)، كما أنّ ليزر فلوريد الكريبتون وسط ليزري ذو استخدامات مفيدة.