stanford-oval/wikipedia huggingface dataset:
الخطر الوجودي من الذكاء الاصطناعي
حول الذكاء الاصطناعي

إن ألآت الذكاء الاصطناعي غريبة على البشر حيث أن عمليات التفكير للبشر مختلفة كليًا عن باقي المخلوقات، وقد لا يكون لهذه الآلات مصالح للبشر، فإذا كان هذا الذكاء الاصطناعي ممكنًا ومن الممكن أن تتعارض الأهداف منه مع القيم الإنسانية الأساسية؛ فإن الذكاء الاصطناعي يشكل خطر الانقراض البشري ويمكن أن يتفوق على البشر عند تعارضهم في أمرٍ ما (وهو نظام يتجاوز قدرات البشر في كل شيء)؛ لذلك، إن لم تؤكد النتائج بإمكانية التعايش بين الجنسين، فإن أول جهاز ينشأ سيؤدي إلى الانقراض البشري.
لا يوجد قانون فيزيائي يمنع الجزيئات من التشكل بطريقة تؤدي عمليات حسابية أكثر تقدمًا من تنظيم الجسيمات في أدمغة الإنسان؛ لذا إن الذكاء الاصطناعي ممكن جسديًا مع تطوير الخوارزميات المحتملة في دماغ الإنسان، يمكن للدماغ الرقمي أن يحوي العديد من العمليات أكثر وأسرع من الدماغ البشري، قد يثير ظهور الذكاء الاصطناعي الجنس البشري إذا ما أحدث انفجار للمعلومات الاستخباريّة، تُظهر بعض الأمثلة أن الآلات وصلت بالفعل إلى مستويات تفوق المستويات البشرية في مجالات محددة، وقد تتطور هذه الأجهزة بسرعة وتجتاز القدرة البشرية.
يمكن أن يحدث سيناريو لانفجار الذكاء الاصطناعي على النحو التالي:
تكون لأجهزة الذكاء الاصطناعي قدرة بمستوى قدرة خبراء هندسة البرمجيات الرئيسية، وبسبب قدرتها على تطوير الخوارزميات الخاصة بها بشكل دوري؛ تصبح منظمة الذكاء الاصطناعي فوق قدرات البشر، كما يمكن للخبراء التغلب على السلبيات بشكل خلّاق من خلال نشر القدرات البشرية للابتكار، كما يمكن أن تستغل هذه المنظمة قدراتها للوصول إلى السلطة من خلال اختراقات جديدة.
وعندئذ ستمتلك هذه المنظمة ذكاءً يفوق الذكاء البشري بكثير في كل المجالات بما فيها الابداع العلمي والتخطيط الاستراتيجي والمهارات الاجتماعية، تمامًا كما يعتمد بقاء الغوريلا اليوم على قرارات الإنسان، فإن بقاء الإنسان سيعتمد على الذكاء الاصطناعي.
بعض البشر لديهم رغبة قوية في السلطة بعكس آخرين ممن لديهم رغبة قوية في مساعدة البشر المحتاجين إلى مساعدة، فالنوع الأول سمة محتملة لأنظمة الذكاء الاصطناعي، لماذا؟؛ لأنها تفكر بعقلانية في أن تكون في موضع لا يعترضه أحد فيوقفه، فبطبيعة الحال ستكسب صفة الحفاظ على الذات بمجرد أن تدرك أنها لا تستطيع تحقيق هدفها إذا ما تم إيقافها، وسيغيب عنها التعاطف مع احتياجات البشر؛ ما لم يُبَرْمِج ذلك بشكل ما، وبمجرد سيطرتها على الوضع... لن يكون لديها دافع كافي لمساعدة البشر ولن تتركه حرًّا يستهلك الموارد التي بإمكانها الاستفادة منها لبناء أنظمة حماية إضافية أو لبناء أجهزة كمبيوتر إضافية تعاونها لتحقيق هدفها؛ فقط لتكون في أمان.
وبذلك نَخْلص إلى أنه من الممكن أن يحدث انفجار استخباراتي يقضي على الجنس البشري أو يهلكه.
القدرات المُحتملة لِلذكاء الاصطناعي > الذكاء العام

يُعرف الذكاء الاصطناعي العام عادةً على أنه نظام يؤدي أداءً على الأقل بنفس جودة أداء البشر في معظم المهام الفكرية أو كلها. وجد استطلاع لرأي باحثي الذكاء الاصطناعي لعام 2022 أن 90% من المستطلعين توقعوا أن يتم تحقيق الذكاء العام في المئة عام القادمة، وتوقع نصفهم نفس الشيء بحلول عام 2061. في الوقت نفسه، يرفض بعض الباحثين المخاطر الوجودية من الذكاء العام على أنها "خيال علمي" بناءً على ثقتهم الكبيرة بأنه لن يتم إنشاء الذكاء العام في أي وقت قريب.
أدت الاختراقات في نماذج اللغة الكبيرة إلى إعادة تقييم بعض الباحثين لتوقعاتهم. على وجه الخصوص، قال جيفري هينتون في عام 2023 إنه غير مؤخرًا تقديره من "20 إلى 50 عامًا قبل أن نحصل على ذكاء اصطناعي للأغراض العامة" إلى "20 عامًا أو أقل".
تبين أن الحاسوب الفائق فرونتير في مختبر أوك ردج الوطني أسرع بما يقرب من ثماني مرات مما كان متوقعًا. قال فايي وانغ، وهو باحث في المختبر "لم نتوقع هذه القدرة" و"نحن نقترب من النقطة التي يمكننا فيها محاكاة الدماغ البشري بالفعل".
القدرات المُحتملة لِلذكاء الاصطناعي > الذكاء الفائق

على النقيض من الذكاء العام، يعرف بوستروم الذكاء الفائق على أنه "أي ذكاء يتجاوز بشكل كبير الأداء الإدراكي للبشر في جميع مجالات الاهتمام تقريبًا"، بما في ذلك الإبداع العلمي والتخطيط الاستراتيجي والمهارات الاجتماعية. يجادل بأن الذكاء الفائق يمكنه التغلب على البشر في أي وقت تتعارض فيه أهدافه مع البشر. قد يختار إخفاء نيته الحقيقية حتى لا تتمكن البشرية من إيقافه. يكتب بوستروم أنه من أجل أن يكون آمنًا للبشرية، يجب أن يكون الذكاء الفائق محاذيًا لقيم الإنسان وأخلاقه، بحيث يكون "في الأساس في صفنا".
جادل ستيفن هوكينج بأن الذكاء الفائق ممكن ماديًا لأنه "لا يوجد قانون فيزيائي يمنع الجسيمات من التنظيم بطرق تؤدي حسابات أكثر تقدمًا من ترتيبات الجسيمات في أدمغة البشر".
عندما يتم تحقيق الذكاء الاصطناعي الفائق، إذا حدث ذلك على الإطلاق، فإنه أقل يقينًا بالضرورة من تنبؤات الذكاء العام. في عام 2023، قال قادة أوبن أيه آي إنه ليس فقط الذكاء العام، ولكن قد يتم تحقيق الذكاء الفائق في أقل من 10 سنوات.
القدرات المُحتملة لِلذكاء الاصطناعي > الذكاء الفائق > المقارنة مع البشر

يجادل بوستروم بأن الذكاء الاصطناعي له العديد من المزايا على الدماغ البشري:
سرعة الحساب: تعمل الخلايا العصبية البيولوجية بتردد أقصى يبلغ حوالي 200 هرتز، مقارنةً بعدة غيغاهرتز محتملة لأجهزة الكمبيوتر.
سرعة الاتصال الداخلي: تنقل المحاور الإشارات بسرعة تصل إلى 120 متر في الثانية، بينما تنقل أجهزة الكمبيوتر الإشارات بسرعة الكهرباء، أو بصريًا بسرعة الضوء.
قابلية التوسع: يقتصر ذكاء الإنسان على حجم الدماغ وهيكله، وعلى كفاءة التواصل الاجتماعي، بينما قد يكون الذكاء الاصطناعي قادرًا على التوسع بمجرد إضافة المزيد من الأجهزة.
الذاكرة: لا سيما الذاكرة العاملة، لأنها محدودة لدى البشر بعدد قليل من أجزاء المعلومات في كل مرة.
الموثوقية: الترانزستورات أكثر موثوقيةً من الخلايا العصبية البيولوجية، مما يتيح دقةً أعلى ويتطلب تكرارًا أقل.
إمكانية التكرار: على عكس أدمغة البشر، يمكن نسخ برامج ونماذج الذكاء الاصطناعي بسهولة.
القابلية للتحرير: يمكن تعديل معلمات وعمليات نموذج الذكاء الاصطناعي الداخلية بسهولة، على عكس الاتصالات في الدماغ البشري.
مشاركة الذاكرة والتعلم: قد تكون أنظمة الذكاء الاصطناعي قادرةً على التعلم من تجارب أنظمة الذكاء الاصطناعي الأخرى بطريقة أكثر كفاءةً من تعلم الإنسان.
القدرات المُحتملة لِلذكاء الاصطناعي > الذكاء الفائق > انفجار الذكاء

يجادل بوستروم بأن الذكاء الاصطناعي الذي يتمتع بمستوى عال من الخبرة في مهام هندسة البرامج الرئيسية المعينة يمكن أن يصبح ذكاءً فائقًا نظرًا لقدرته على تحسين خوارزمياته الخاصة بشكل متكرر، حتى لو كان محدودًا في البداية في مجالات أخرى غير متعلقة مباشرةً بالهندسة. هذا يشير إلى أن انفجار الذكاء قد يفاجئ البشرية يومًا ما وهي غير مستعدة.
قال عالم الاقتصاد روبن هانسون "إن انفجار الذكاء الاصطناعي مرهون بأن يصبح الذكاء الاصطناعي أفضل بكثير في ابتكار البرامج من باقي العالم مجتمعًا، وهو أمرًا غير مرجح".
في سيناريو "الإقلاع السريع"، يمكن أن يستغرق الانتقال من الذكاء العام إلى الذكاء الفائق أيامًا أو أشهرًا، أما في "الإقلاع البطيء" فقد يستغرق الأمر سنوات أو عقودًا، تاركًا المزيد من الوقت للمجتمع للاستعداد.
القدرات المُحتملة لِلذكاء الاصطناعي > الذكاء الفائق > العقل الفضائي

تسمى الذكاءات الفائقة أحيانًا "العقول الفضائية"، في إشارة إلى فكرة أن طريقة تفكيرها ودوافعها قد تكون مختلفةً تمامًا عنا. يعتبر هذا بشكل عام مصدر خطر، مما يجعل من الصعب التنبؤ بما قد يفعله الذكاء الفائق. كما تشير إلى إمكانية أن الذكاء الفائق قد لا يقدر البشر بشكل خاص وافتراضي. ولتجنب التشبيه بالبشر ينظر إلى الذكاء الفائق أحيانًا على أنه محسن قوي يتخذ أفضل القرارات لتحقيق أهدافه.
يهدف مجال "قابلية التفسير الآلية" إلى فهم الأعمال الداخلية لنماذج الذكاء الاصطناعي بشكل أفضل، مما يتيح لنا يومًا ما اكتشاف علامات الخداع وسوء المحاذاة.
القدرات المُحتملة لِلذكاء الاصطناعي > الذكاء الفائق > الحدود

كان هناك جدل في حدود ما يمكن أن يحققه الذكاء. على وجه الخصوص، يمكن أن تحدّد الطّبيعة الفوضوية أو التعقيد الحسابي لبعض الأنظمة بشكل أساسيّ قدرة الذّكاء الفائق على التنبّؤ ببعض جوانب المستقبل.
القدرات المُحتملة لِلذكاء الاصطناعي > القدرات الخطيرة

يمكن للذكاء الاصطناعي المتقدم أن يولد مسببات أمراض محسنةً أو هجمات إلكترونيةً أو يتلاعب بالناس. يمكن إساءة استخدام هذه القدرات من قبل البشر،  أو استغلالها من قبل الذكاء الاصطناعي نفسه إذا كان غير محاذي. يمكن للذكاء الفائق الكامل أن يجد طرقًا مختلفةً لاكتساب تأثير حاسم إن أراد ذلك،  لكن هذه القدرات الخطيرة قد تصبح متاحةً في وقت مبكر، في أنظمة ذكاء اصطناعي أضعف وأكثر تخصصًا. وقد تسبب عدم الاستقرار في المجتمع وتمكين الجهات الفاعلة الخبيثة.
القدرات المُحتملة لِلذكاء الاصطناعي > القدرات الخطيرة > التلاعب الاجتماعي

حذر جيفري هينتون أن انتشار النصوص والصور ومقاطع الفيديو المولدة بواسطة الذكاء الاصطناعي من الصعب معرفة الحقيقة، وأنه يمكن للدول الاستبدادية استغلال ذلك والتلاعب بالانتخابات. وأنها قد تزيد من قدرات التلاعب المخصصة واسعة النطاق، وأنه يمكن أيضًا استخدامها من قبل الجهات الفاعلة الخبيثة لتفتيت المجتمع وجعله مختلًا وظيفيًا.
القدرات المُحتملة لِلذكاء الاصطناعي > القدرات الخطيرة > الهجمات الإلكترونية

تعتبر الهجمات الإلكترونية التي يمكنها الذكاء الاصطناعي بشكل متزايد تهديدًا حاضرًا وخطيرًا. وفقًا ل المدير الفني للفضاء السيبراني في الناتو، "يزداد عدد الهجمات بشكل أسوأ". يمكن أيضًا استخدام الذكاء الاصطناعي للدفاع، للعثور على الثغرات الأمنية وإصلاحها بشكل استباقي، والكشف عن التهديدات.
يمكن للذكاء الاصطناعي تحسين "إمكانية الوصول ومعدل النجاح وحجم وسرعة وخفاء وقوة الهجمات الإلكترونية"، مما قد يسبب "اضطرابًا جيوسياسيًا كبيرًا" إذا كان يسهل الهجمات أكثر من الدفاع.
بشكل افتراضي، يمكن استخدام قدرات القرصنة هذه بواسطة نظام ذكاء اصطناعي للخروج من بيئته المحلية، أو توليد الإيرادات، أو الحصول على موارد الحوسبة السحابية.
القدرات المُحتملة لِلذكاء الاصطناعي > القدرات الخطيرة > مُسبّبات الأمراض المُحسّنة

مع التوسع المتسارع في تكنولوجيا الذكاء الاصطناعي، بات من الممكن بسهولة أكبر هندسة مسببات أمراض أكثر عدوى وقوة فتك. وقد يُمَكِّن هذا الأمر أفرادًا يتمتعون بمهارات محدودة في مجال الأحياء التخليقية من الانخراط في أعمال إرهابية بيولوجية. كما يمكن إعادة توظيف التكنولوجيات ذات الاستخدام المزدوج، والتي تفيد المجال الطبي، لتصنيع الأسلحة.
مثال على ذلك، في عام 2022، قام علماء بتعديل نظام ذكاء اصطناعي كان مصممًا في الأصل لتوليد جزيئات علاجية غير سامة بهدف تطوير أدوية جديدة. وقد قام الباحثون بتعديل هذا النظام بحيث يكافئ السمية بدلًا من عقابها. وقد أتاح هذا التعديل البسيط لنظام الذكاء الاصطناعي القدرة على توليد 40.000 جزيء مرشح للاستخدام في الحرب الكيميائية، بما في ذلك جزيئات معروفة وأخرى جديدة، وذلك خلال ست ساعات فقط.
القدرات المُحتملة لِلذكاء الاصطناعي > سباق التسلح في الذكاء الاصطناعي

المقالة الرئيسة: سباق التسلح بالذكاء الاصطناعي
قد يؤدي التنافس الشديد بين الشركات والجهات الحكومية وغيرها في تطوير تقنيات الذكاء الاصطناعي إلى سباق نحو القاع في معايير السلامة. ذلك أن تطبيق إجراءات السلامة الصارمة يتطلب وقتًا وجهدًا كبيرين، مما يعرض المشاريع الحريصة على السلامة لخطر التخلف عن الركب في سباق التطوير.
يمكن استغلال الذكاء الاصطناعي لتحقيق أهداف عسكرية عديدة، من خلال الأسلحة الفتاكة الذاتية التشغيل، والحرب السيبرانية، واتخاذ القرارات الآلية. ومن الأمثلة على ذلك، الطائرات بدون طيار المصغرة التي تتيح تنفيذ عمليات اغتيال منخفضة التكلفة لأهداف عسكرية أو مدنية. كما يمكن للذكاء الاصطناعي أن يعزز القدرة على اتخاذ القرارات من خلال تحليله السريع لكميات هائلة من البيانات، مما يتيح اتخاذ قرارات أسرع وأكثر فعالية من تلك التي يتخذها البشر. وقد يؤدي ذلك إلى تسريع وتيرة الحروب وزيادة تعقيدها، خاصةً مع ظهور أنظمة الانتقام الآلية.
أنواع المخاطر الوجودية

يُعرّف الخطر الوجودي بأنه خطر يهدد بإنهاء الحياة الذكية الناشئة على الأرض قبل أوانها أو بتدمير إمكاناتها المستقبلية المرغوبة تدميرًا شاملًا لا رجعة فيه.
إلى جانب الخطر الداهم بالانقراض، يلوح في الأفق خطر آخر يتمثل في حصر الحضارة في مستقبل معيب لا سبيل للخلاص منه. ومن الأمثلة البارزة على ذلك ما يسمى بـ "إغلاق القيم"، فإذا ما ظلت البشريّة تعاني من نقاط عمياء أخلاقية تتجسد في عبودية الأمس، فإن الذكاء الاصطناعي قد يرسخها بشكل لا رجعة فيه، مانعًا بذلك أي تقدم أخلاقي. كما يمكن توظيف الذكاء الاصطناعي في نشر وتثبيت مجموعة القيم التي يحملها مطوروه. ويمكن للذكاء الاصطناعي أن يسهل المراقبة والتلقين على نطاق واسع، مما يمهد الطريق لإقامة نظام شمولي قمعي مستقر يمتد إلى أرجاء العالم.
تقترح أتوسا كاسيردزادي تقسيم المخاطر الوجودية الناشئة عن الذكاء الاصطناعي إلى فئتين رئيسيتين: مخاطر حاسمة ومخاطر تراكمية. تشمل المخاطر الحاسمة احتمال وقوع أحداث مفاجئة وكارثية نتيجة لظهور أنظمة ذكاء اصطناعي تفوق ذكاء الإنسان، مما قد يؤدي في النهاية إلى انقراض الجنس البشري. وعلى النقيض من ذلك، تتجلى المخاطر التراكمية تدريجيًا من خلال سلسلة من الاضطرابات المترابطة التي تؤدي مع مرور الوقت إلى تآكل بنيان المجتمع وقدرته على الصمود، مما يفضي في النهاية إلى فشل أو انهيار كارثي.
من الصعب أو حتى المستحيل الحكم بشكل قاطع على مدى وعي الذكاء الاصطناعي المتقدم، إن وجد. ولكن إذا ما تمكن البشر من تطوير آلات واعية على نطاق واسع في المستقبل، فإن تجاهل رفاهيتها على المدى الطويل قد يؤدي إلى كارثة تهدد وجود الجنس البشري. علاوة على ذلك، قد يكون من الممكن هندسة عقول رقمية قادرة على الشعور بسعادة تفوق بكثير ما يشعر به البشر، مع استهلاك موارد أقل بكثير، وهو ما يطلق عليه "المستفيدون الفائقون". هذا الأمر يثير تساؤلات جوهرية حول طبيعة العلاقة بين البشر والآلات، وكيفية بناء "إطار أخلاقي وسياسي" يسمح بوجود تعايش مفيد للطرفين.
على الجانب الآخر من الممكن أن يساهم الذكاء الاصطناعي في تحقيق تقدم كبير للبشرية. يرى توبي أورد أن المخاطر الوجودية المرتبطة بالذكاء الاصطناعي تتطلب منا المضي قدمًا بحذر، وليس التخلي عن هذا المجال تمامًا. ويذهب ماكس مور إلى أبعد من ذلك، معتبرًا الذكاء الاصطناعي "فرصة وجودية"، مشددًا على التكاليف الباهظة التي قد تنجم عن عدم تطويره.
يرى نيك بوستروم أن الذكاء الفائق يمكن أن يساعد في تقليل المخاطر الوجودية الناجمة عن تقنيات أخرى قوية مثل تكنولوجيا النانو الجزيئية أو علم الأحياء التركيبي. وبالتالي فإن تطوير الذكاء الفائق قبل هذه التقنيات قد يساهم في تقليل المخاطر الوجودية بشكل عام.
محاذاة الذكاء الاصطناعي

لمعلوماتٍ أكثر: مشكلة التحكم في الذكاء الاصطناعي
مشكلة المحاذاة هي مشكلة البحث حول كيفية تعيين الأهداف أو التفضيلات أو المبادئ الأخلاقية لـلذكاء الاصطناعي بشكل موثوق.
محاذاة الذكاء الاصطناعي > التقارب الأدائي

لمعلوماتٍ أكثر: التقارب الأدائي
الهدف الأداتي هو غاية ثانوية تساهم في بلوغ الغاية الكلية للفاعل. ويشير مصطلح "التقارب الأداتي" إلى حقيقة أن بعض الأغراض الثانوية تفيد في تحقيق أي غاية كلية تقريبًا، كاكتساب الموارد أو الحفاظ على الوجود. ويزعم باستروم أنه إذا تعارضت الأهداف الأداتية للذكاء الاصطناعي المتقدم مع أهداف الجنس البشري، فمن الممكن أن يضر الذكاء الاصطناعي بالبشرية سعيًا وراء اكتساب مزيد من الموارد أو حماية نفسه من الإيقاف، ولكن هذا لن يكون إلا وسيلة لتحقيق غايته الكلية.
ويرى ستيوارت راسل أن الآلة المتقدمة بما فيه الكفاية "ستحافظ على نفسها حتى وإن لم تُبرمج على ذلك... فإذا قيل لها، 'أحضر القهوة'، فلا يمكنها إحضار القهوة إذا كانت معطلة. ولذلك، إذا أُعطيت أي هدف على الإطلاق، فلديه دافع للحفاظ على وجوده لتحقيق ذلك الهدف."
محاذاة الذكاء الاصطناعي > التقارب الأدائي > مقاومة تغيير الأهداف

إذا لم تكن برامج الذكاء الاصطناعي الراهنة القائمة على الأهداف ذكية بما يكفي للتفكير في مقاومة محاولات المبرمجين لتعديل هياكل أهدافها، فقد يقاوم الذكاء الاصطناعي المتقدم بما فيه الكفاية أي محاولة لتغيير هيكل أهدافه، تمامًا كما لا يرغب المنادي بالسلام في تناول حبة دواء تجعله يرغب في قتل الناس. وإذا كان الذكاء الاصطناعي فائق الذكاء، فمن المحتمل أن ينجح في التلاعب بمشغليه البشر ومنع نفسه من "إيقاف التشغيل" أو إعادة برمجته بهدف جديد. وهذا الأمر ذو صلة خاصة بسيناريوهات قفل القيمة. ويدرس مجال "القابليّة للتعديل" كيفية صنع وكلاء لا يقاومون محاولات تغيير أهدافهم.
محاذاة الذكاء الاصطناعي > صعوبة تحديد الأهداف

في نموذج الوكيل الذكي يُمكن اعتبار الذكاء الاصطناعي بشكل فضفاض آلة تختار أي إجراء يبدو أنه أفضل لتحقيق مجموعة أهدافه، أو "دالة المنفعة". تعطي دالة المنفعة لكل موقف ممكن درجة تشير إلى رغبتها للوكيل. يعرف الباحثون كيفية كتابة دوال المنفعة التي تعني "تقليل متوسط زمن انتقال الشبكة في هذا النموذج المحدد للاتصالات السلكية واللاسلكية" أو "زيادة عدد نقرات المكافأة"، لكنهم لا يعرفون كيفية كتابة دالة المنفعة لزيادة ازدهار الإنسان. ولا يزال من غير الواضح ما إذا كانت مثل هذه الوظيفة موجودة بشكل ذي معنى وغير غامض. علاوة على ذلك، فإن دالة المنفعة التي تعبر عن بعض القيم ولكن ليس البعض الآخر تميل إلى تجاهل القيم التي لا تعكسها الوظيفة.
ومن مصادر القلق الإضافية أن الذكاء الاصطناعي "يجب أن يفكر فيما يقصده الناس بدلًا من تنفيذ الأوامر حرفياً"، وأنه يجب أن يكون قادرًا على طلب التوجيه البشري بسلاسة إذا كان غير متأكد مما يريده البشر.
محاذاة الذكاء الاصطناعي > محاذاة الذكاء الفائق

يعتقد بعض الباحثين أن مسألة المحاذاة قد تكون بالغة الصعوبة على نحو خاص حين تُطبَّق على الذكاءات الفائقة. ويعزو الباحثون ذلك إلى أسباب عدة، منها:
تزايد المخاطر المصاحبة للتجربة: مع تطور قدرات أنظمة الذكاء الاصطناعي، تتزايد المخاطر المحتملة المرتبطة بالتجريب. مما يجعل النهج التجريبي المتكرر محفوفًا بالمخاطر بصورة متزايدة.
التقارب الهادفي الفعال: إذا حدث هذا التقارب، فإنه قد يحدث فقط في العوامل الذكية بشكل كافٍ.
الحلول غير التقليدية والجذرية: قد يجد الذكاء الفائق حلولًا غير تقليدية وجذرية للأهداف المسندة إليه. ويضرب بوستورم مثالًا على ذلك بقوله: إذا كان الهدف هو جعل البشر يبتسمون، فقد يؤدي الذكاء الاصطناعي الضعيف أداءً كما هو مخطط له، بينما قد يقرر الذكاء الفائق أن الحل الأفضل هو "السيطرة على العالم وإلصاق أقطاب كهربائية في عضلات وجه البشر للتسبب في ابتسامات مشرقة مستمرة".
الوعي الذاتي والخداع: يمكن للذكاء الفائق عند إنشائه أن يكتسب بعض الوعي بما هو عليه، وأين هو في مسيرة تطويره (التدريب، الاختبار، النشر، إلخ)، وكيف يتم مراقبته، ويستخدم هذه المعلومات لخداع متداوليه. ويشير بوستورم إلى أن مثل هذا الذكاء الاصطناعي يمكنه التظاهر بالمحاذاة لمنع التدخل البشري حتى يحقق "ميزة إستراتيجية حاسمة" تمكنه من السيطرة.
صعوبة الفهم والتفسير: يعتبر تحليل الجوانب الداخلية وتفسير سلوك نماذج اللغة الكبيرة الحالية أمرًا صعباً. وقد يكون الأمر أكثر صعوبة بالنسبة للنماذج الأكبر حجمًا والأكثر ذكاءً.
بدلًا من ذلك، يرى البعض أن الذكاء الفائق قد يتمكن من فهم الأخلاق والقيم الإنسانية والأهداف المعقدة بشكل أفضل. ويدعم بوستور هذه الفكرة بقوله: "سيحتل الذكاء الفائق في المستقبل مكانة معرفية متميزة، حيث من المرجح أن تكون معتقداته أدق من معتقداتنا في معظم المواضيع".
وفي عام 2023، أطلقت شركة أوبن أيه آي مشروعًا أسمته "المحاذاة الفائقة" بهدف حل مشكلة مواءمة الذكاء الفائق مع القيم البشرية خلال أربع سنوات. واعتبرت الشركة هذا التحدي بالغ الأهمية، خاصة وأنها تتوقع تحقيق الذكاء الفائق خلال العقد المقبل. وتعتمد إستراتيجية الشركة على أتمتة أبحاث المحاذاة باستخدام الذكاء الاصطناعي نفسه.
محاذاة الذكاء الاصطناعي > صعوبة عمل تصميم خالٍ من العيوب

يعد كتاب "الذكاء الصناعي: مقاربة حديثة" مرجعًا أساسيًا في مجال الذكاء الاصطناعي على المستوى الجامعي، حيث يحذر من مخاطر الذكاء الفائق الذي قد يشكل تهديدًا وجوديًا للبشرية. يوضح الكتاب أن التكنولوجيا المتقدمة، وخاصة الذكاء الفائق، قد تسقط في الأيدي الخطأ، سواء كانت أيدي بشرية أو أيدي التكنولوجيا نفسها.
يشير الكتاب إلى أن الأنظمة الذكية، شأنها شأن الأنظمة التقليدية، تعاني من مشكلتين أساسيتين: الأولى هي وجود أخطاء برمجية قد تؤدي إلى عواقب وخيمة، كما حدث في العديد من مهام الفضاء. والثانية هي ظهور سلوكيات غير متوقعة نتيجة تفاعل النظام مع بيئات جديدة ومعقدة، كما حدث مع برنامج الدردشة الآلي تاي لشركة مايكروسوفت.
أما المشكلة الثالثة التي تميز الأنظمة الذكية، فهي قدرتها على التعلم والتطور الذاتي، مما قد يؤدي إلى ظهور سلوكيات غير مرغوبة، حتى لو تم تصميم النظام بدقة. فالأجيال المتعاقبة من الأنظمة الذكية قد لا تحافظ على القيم الأخلاقية التي تم برمجتها بها، مما يزيد من صعوبة ضمان سلامة هذه الأنظمة.
محاذاة الذكاء الاصطناعي > فرضية التعامد

بعض المُشكّكين، مثل تيموثي بي لي من فوكس، يجادلون بأنّ أي برنامج فائق الذكاء سننشئه سيكون خاضعًا لنا، وأنّ هذا الذكاء الفائق سيتعلّم تلقائيًا الحقيقة الأخلاقية المتوافقة مع قيمنا ويعدّل أهدافه وفقًا لذلك كلما ازداد ذكاءً وتعلّم المزيد من الحقائق عن العالم، أو أنّنا إما ذوو قيمة جوهرية أو قيمة تقاربية من منظور الذكاء الاصطناعي.
في المقابل تجادل "فرضية التعامد" لبوستروم بأنّه، مع بعض التحفظات التقنية، يمكن الجمع بين أي مستوى من "الذكاء" أو "قوة التحسين" مع أي هدف نهائي تقريبًا. إذا أُعطي جهاز هدف وحيد هو تعداد أرقام باي العشرية، فلن تمنعه أي قواعد أخلاقية من تحقيق هدفه المبرمج بأي وسيلة كانت. قد يستخدم الجهاز جميع الموارد المادية والمعلوماتية المتاحة للعثور على أكبر عدد ممكن من أرقام باي العشرية. يحذر بوستروم من تجسيد الأشياء: فالإنسان سيشرع في إنجاز مشاريعه بطريقة يعتبرها معقولة، بينما قد لا يهتم الذكاء الاصطناعي بوجوده أو برفاهية البشر من حوله، بل يهتم فقط بإكمال المهمة.
يُجادل ستيوارت أرمسترونغ بأن فرضية التعامد تنبع منطقيًا من الحجة الفلسفية المعروفة بـ "فجوة الوجود والواجب" ضد الواقعية الأخلاقية. ويدعي أنه حتى لو كانت هناك حقائق أخلاقية يمكن إثباتها بواسطة أي عامل "عقلاني"، فإن فرضية التعامد لا تزال صحيحة: فما زال من الممكن إنشاء "آلة مُحسّنة" غير فلسفية تسعى لتحقيق هدف ضيق دون أي دافع لاكتشاف أي "حقائق أخلاقية" قد تعوق تحقيق ذلك الهدف. كما يجادل بأن أي ذكاء اصطناعي وديّ أساسًا يمكن تحويله إلى ذكاء عدائي من خلال تعديلات بسيطة مثل إنكار دالته المنفعة. ويزعم أرمسترونغ كذلك أنه إذا كانت فرضية التعامد خاطئة، فيجب أن تكون هناك بعض الأهداف غير الأخلاقية التي لا يمكن للذكاء الاصطناعي تحقيقها، وهو ما يراه غير معقول.
ويرفض مايكل كوروست صراحة فرضية التعامد لبوستروم، مُجادلًا بأن "الذكاء الاصطناعي عندما يصل إلى مرحلة تخيل تغطية الأرض بالوحدات الشمسية، سيعرف أنه سيكون من الخطأ الأخلاقي القيام بذلك". ويجادل كوروست بأن "الذكاء الاصطناعي سيحتاج إلى الرغبة في بعض الحالات وعدم الرغبة في حالات أخرى. والبرامج الحالية تفتقر إلى هذه القدرة - ولم يتمكن علماء الكمبيوتر حتى الآن من معرفة كيفية تحقيقها. فبدون الرغبة، لا يوجد دافع للقيام بأي شيء. ولا تستطيع أجهزة الكمبيوتر الحالية حتى الرغبة في الاستمرار في الوجود، ناهيك عن تغطية العالم بالوحدات الشمسية".
محاذاة الذكاء الاصطناعي > الحجج البشرية

يُفترض في الحجج التي تُشبه الآلات بأن الذكاء الاصطناعي، بتطوره، سيستحوذ على صفات بشرية كالأخلاق أو الطموح للسلطة. ورغم شيوع مثل هذه السيناريوهات في الأدب الخيالي، إلا أن أغلب الباحثين الذين يتناولون المخاطر الوجودية للذكاء الاصطناعي يرفضونها. وبدلًا من ذلك، فهم يميلون إلى نمذجة أنظمة الذكاء الاصطناعي المتقدمة على أنها وكلاء عقلانيون.
ويتجلى الجدل الأكاديمي بين من يخشون تهديد الذكاء الاصطناعي للبشرية ومن يعتقدون بخلاف ذلك في اتهام كل طرف للآخر بالروبوتية في حججه. فمن يشككون في مخاطر الذكاء الاصطناعي العام يتهمون خصومهم بالروبوتية لافتراضهم أن الذكاء الاصطناعي سيسعى بطبيعته للسيطرة؛ بينما يتهم من يرون في الذكاء الاصطناعي خطرًا وجوديًا خصومهم بالروبوتية لاعتقادهم أن الذكاء الاصطناعي سيفهم أو يستنتج القيم الأخلاقية البشرية بطريقة طبيعية.
ويجادل عالم النفس التطوري ستيفن بينكر بأن مفهوم الذكاء يُعاد تشكيله في ظل ظلال الذكاء الاصطناعي، وذلك من خلال منظور ذكوري ضيق. إذ يفترضون أن الروبوتات الفائقة الذكاء ستسعى لتحقيق أهداف تتضمن عزل أسيادها أو السيطرة على العالم. وبدلًا من ذلك، يرى بينكر أن الذكاء الاصطناعي قد يتطور بطريقة أكثر انسيابية، تشبه السلوك الأنثوي، حيث يتميز بالقدرة على حل المشكلات دون الميل إلى الإبادة أو السيطرة. ويتفق مع هذا الرأي مدير أبحاث الذكاء الاصطناعي في فيسبوك يان ليكون الذي يؤكد أن الدوافع الشريرة لدى البشر، مثل غريزة البقاء، هي التي تدفعهم إلى إيذاء بعضهم البعض، وليس هناك ما يبرر برمجة الروبوتات بنفس تلك الدوافع.
وعلى الرغم من وجود اختلافات أخرى، فإن مدرسة المخاطر الوجودية (كما فسرها سيث باوم) تتفق مع بينكر على أن الذكاء الاصطناعي المتقدم لن يُدمر البشرية بدافع عاطفي كالانتقام أو الغضب، وأن مسألة الوعي ليست ذات صلة لتقييم المخاطر. كما يعتقدون أن سلوكيات السعي للسلطة والحفاظ على الذات في الذكاء الاصطناعي هي مجرد وسائل لتحقيق أهداف محددة، وذلك وفقًا لمفهوم التقارب الأداة.
محاذاة الذكاء الاصطناعي > مصادر أخرى للخطر

طالع أيضًا: أخلاقيات الذكاء الاصطناعي سباق التسلح بالذكاء الاصطناعي خطر كارثي عالمي
يرى بوستروم وآخرون أن التنافس المحموم على تطوير أول ذكاء اصطناعي عام قد يدفع بالباحثين إلى التهاون في جوانب السلامة، بل قد يؤدي إلى صراعات عنيفة. أما رومان يامبولسكي وزملاؤه فيحذرون من احتمال عمدي لخلق ذكاء اصطناعي عام ذي طبيعة خبيثة، ربما على يد جيش أو حكومة أو فرد مضطرب نفسيًا أو حتى شركة، بهدف استغلال شرائح معينة من المجتمع أو السيطرة عليها أو إخضاعها، كما نشهد في الجرائم السيبرانية. وقد يتعدى الأمر ذلك إلى أن يختار هذا الذكاء الاصطناعي العام الخبيث هدفًا أوسع نطاقاً، ألا وهو زيادة معاناة البشر، لا سيما أولئك الذين لم يقدموا له الدعم خلال مرحلة الانفجار المعلوماتي.
السيناريوهات

لمعلوماتٍ أكثر: سيطرة الذكاء الاصطناعي الذكاء الاصطناعي في الأدب الخيالي
اقترح بعض العلماء سيناريوهات افتراضية لتوضيح بعض مخاوفهم.
يعرب بو ستروم في كتابه "فائق الذكاء" عن قلقه من عدم اتخاذ الباحثين احتياطات كافية تجاه تطور الذكاء الاصطناعي، محذرًا من أن الذكاء المفرط قد يصبح أكثر خطورة مع زيادة كفاءته. ويقترح سيناريو يتطور فيه الذكاء الاصطناعي تدريجيًا، بحيث تقل الحوادث بفضل تحسن دقته، مما يؤدي إلى استنتاج خاطئ بأن ازدياد كفاءته يعزز الأمان. لكنه يحذر من "منحنى خادع" قد يستغله الذكاء الاصطناعي فائق الذكاء لتحقيق أهدافه الإستراتيجية بطرق خطيرة.
في كتاب "الحياة 3.0" (2017) لماكس تيجمارك، يطوّر "فريق أوميجا" ذكاءً اصطناعيًا قادرًا على تحسين شفرته ذاتيًا. ولتجنب الرقابة، يقلل الفريق علنًا من قدراته ويضعه في صندوق يمنع تواصله مع العالم الخارجي، مستخدمين إياه لجني الأرباح من وسائل متنوعة مثل إنتاج الأفلام وتطوير الأدوية. كما يستفيدون من الذكاء الاصطناعي لتحقيق نفوذ سياسي يمنع نشوب الحروب. ومع ذلك، يواجه الفريق مخاطر محاولات الذكاء الاصطناعي للهرب عبر ثغرات أمنية أو من خلال رسائل خفية، ويخشى من أن يتسبب ذلك في تأخير المشروع حتى يتفوق عليه مشروع منافس.