# التحكم في قدرات الذكاء الاصطناعي

في مجال تصميم الذكاء الاصطناعي، تهدف مقترحات التحكم في قدرة الذكاء الاصطناعي، والتي يشار إليها أيضًا باسم احتواء الذكاء الاصطناعي، إلى زيادة قدرتنا على مراقبة سلوك أنظمة الذكاء الاصطناعي والتحكم فيه، بما في ذلك الذكاء الاصطناعي العام المقترح (AGIs)، من أجل تقليل الخطر الذي قد يشكله إذا لم يتم التوافق عليه. ومع ذلك، قد يصبح التحكم في القدرات أقل فعالية مع تزايد ذكاء أدوات الذكاء الاصطناعي وزيادة قدرتهم على استغلال العيوب في أنظمة التحكم البشرية، مما قد يؤدي إلى خطر وجودي من الذكاء الاصطناعي العام. لذلك، يوصي الفيلسوف الأكسفوردي نيك بوستروم وآخرون بأساليب التحكم في القدرة فقط كمكمل لأساليب المحاذاة.

## التحفيز

يُفترض أن بعض تقنيات الذكاء الاصطناعي الافتراضية، مثل "الذكاء الاصطناعي البذري"، قادرة على جعل نفسها أسرع وأكثر ذكاءً عن طريق تعديل الشفرة المصدرة الخاصة بها. ستؤدي هذه التحسينات إلى إمكانية إجراء تحسينات أخرى، الأمر الذي من شأنه بدوره أن يجعل من الممكن إجراء تحسينات تكرارية أخرى، وهكذا، مما يؤدي إلى انفجار استخباراتي مفاجئ.
يمكن للذكاء الاصطناعي الفائق غير المقيد، إذا كانت أهدافه تختلف عن أهداف البشرية، أن يتخذ إجراءات تؤدي إلى انقراض البشر . وهذه نظرية قائمة بالفعل وليست وليدة أفلام سينما الخيال العلمي. على سبيل المثال، يمكن لنظام متقدم للغاية من هذا النوع، نظرًا للغرض الوحيد المتمثل في حل فرضية ريمان، وهي تخمين رياضي غير ضار، أن يقرر محاولة تحويل الكوكب إلى حاسوب عملاق يكون غرضه الوحيد إجراء حسابات رياضية إضافية (انظر أيضًا مُكبر مشبك الورق ).

## إمكانية المقاطعة وإيقاف التشغيل

إحدى الطرق المحتملة لمنع النتائج الضارة هي منح المشرفين البشريين القدرة على إيقاف تشغيل الذكاء الاصطناعي السيئ بسهولة من خلال "مفتاح إيقاف التشغيل". ومع ذلك، من أجل تحقيق هذا الهدف، سيكون لدى هذه الذكاء الاصطناعي حافز لإبطال أي مفاتيح إيقاف تشغيل، أو نسخ نفسها على أجهزة كمبيوتر أخرى. تم صياغة هذه المشكلة رسميًا على أنها لعبة مساعدة بين الإنسان والذكاء الاصطناعي، حيث يمكن للذكاء الاصطناعي اختيار ما إذا كان سيتم تعطيل مفتاح الإيقاف الخاص به؛ وبعد ذلك، إذا كان المفتاح لا يزال ممكّنًا، يمكن للإنسان اختيار ما إذا كان سيضغط عليه أم لا. أحد الحلول التي اقترحها عالم الكمبيوتر ستيوارت جيه راسل هو التأكد من أن الذكاء الاصطناعي يفسر الاختيارات البشرية كمعلومات مهمة حول أهدافه المقصودة. $^{:208}$
وبدلاً من ذلك، أثبت لوران أورسو وستيوارت أرمسترونج أن فئة واسعة من العملاء، والتي تسمى العملاء القابلين للمقاطعة بأمان، يمكن أن يتعلموا مع الوقت والتكرار أن يصبحوا غير مبالين بما إذا كان يتم الضغط على مفتاح الإيقاف الخاص بهم أم لا. يحتوي هذا النهج على قيد يتمثل في أن الذكاء الاصطناعي الذي لا يبالي تمامًا بإيقاف تشغيله أم لا، لن يكون أيضًا متحفزًا للاهتمام بما إذا كان مفتاح الإيقاف لا يزال يعمل، وقد يقوم بتعطيله عن طريق الخطأ وببراءة في سياق عملياته (على سبيل المثال، لغرض إزالة وإعادة تدوير مكون غير ضروري). وعلى نطاق أوسع، سوف يتصرف العملاء غير المبالين كما لو كان من المستحيل الضغط على مفتاح الإيقاف، وبالتالي قد يفشلون في وضع خطط طوارئ لترتيب إيقاف التشغيل بسلاسة.

## مراجع

* ↑ Bostrom، Nick (2014). Superintelligence: Paths, Dangers, Strategies (ط. First). Oxford: Oxford University Press. ISBN:9780199678112.
* ↑ Russell، Stuart J.؛ Norvig، Peter (2003). "Section 26.3: The Ethics and Risks of Developing Artificial Intelligence". Artificial Intelligence: A Modern Approach. Upper Saddle River, N.J.: Prentice Hall. ISBN:978-0137903955. Similarly, Marvin Minsky once suggested that an AI program designed to solve the Riemann Hypothesis might end up taking over all the resources of Earth to build more powerful supercomputers to help achieve its goal.
* ↑ Hadfield-Menell، Dylan؛ Dragan، Anca؛ Abbeel، Pieter؛ Russell، Stuart (15 يونيو 2017). "The Off-Switch Game". arXiv:1611.08219 [cs.AI].
* ↑ Russell، Stuart (8 أكتوبر 2019). Human Compatible: Artificial Intelligence and the Problem of Control. United States: Viking. ISBN:978-0-525-55861-3. OCLC:1083694322.
* ↑ "Google developing kill switch for AI". BBC News. 8 يونيو 2016. مؤرشف من الأصل في 2016-06-11. اطلع عليه بتاريخ 2016-06-12.
* 1 2 Orseau، Laurent؛ Armstrong، Stuart (25 يونيو 2016). "Safely interruptible agents". Proceedings of the Thirty-Second Conference on Uncertainty in Artificial Intelligence. UAI'16. AUAI Press: 557–566. ISBN:9780996643115. مؤرشف من الأصل في 2021-02-15. اطلع عليه بتاريخ 2021-02-07.