الخطر الوجودي من الذكاء الاصطناعي

الخطر الوجودي من الذكاء الاصطناعي العام هو الفرضية القائلة بأن التقدم الكبير في الذكاء الاصطناعي العام (AGI) يمكن أن يؤدي إلى انقراض الإنسان أو كارثة عالمية أخرى لا رجعة فيها.

تناقش إحدى الحجج التالي: يسيطر الجنس البشري حاليًا على الأنواع الأخرى لأن الدماغ البشري يمتلك قدرات مميزة تفتقر إليها الحيوانات الأخرى. إذا تجاوز الذكاء الاصطناعي البشرية في الذكاء العام وأصبح فائق الذكاء، فقد يصبح من الصعب أو المستحيل التحكم فيه. مثلما يعتمد مصير الغوريلا الجبلية على حسن النية البشرية، كذلك قد يعتمد مصير البشرية على أفعال آلة المستقبل فائقة الذكاء.

تتم مناقشة احتمال وقوع كارثة وجودية بسبب الذكاء الاصطناعي على نطاق واسع، ويتوقف جزئيًا على السيناريوهات المختلفة للتقدم المستقبلي في علوم الكمبيوتر. أعرب كبار علماء الكمبيوتر والرؤساء التنفيذيين التقنيين عن مخاوفهم بشأن الذكاء الخارق مثل جيوفري هينتون، ويوشوا بنجيو، وآلان تورينج، وإيلون ماسك، وسام ألتمان، الرئيس التنفيذي لشركة OpenAI. في عام 2022، وجدت دراسة استقصائية لباحثي الذكاء الاصطناعي الذين نشروا مؤخرًا في المؤتمرات الميدانية NeurIPS وICML أن غالبية المستجيبين يعتقدون أن هناك فرصة بنسبة 10% أو أكبر لأن عدم قدرتنا على التحكم في الذكاء الاصطناعي سيؤدي إلى كارثة وجودية (لاحظ أن نسبة المشاركة في الاستطلاع كانت 17%). في عام 2023، وقع المئات من خبراء الذكاء الاصطناعي وشخصيات بارزة أخرى بيانًا مفاده أن: التخفيف من خطر الانقراض من الذكاء الاصطناعي يجب أن يكون أولوية عالمية إلى جانب المخاطر المجتمعية الأخرى مثل الأوبئة والحرب النووية. وفي نوفمبر 2023 أجتمع قادة سياسيون ومسؤولون في شركات التكنولوجيا العملاقة وخبراء في الذكاء الاصطناعي بالمملكة المتحدة في انطلاق القمة العالمية الأولى حول المخاطر المترتبة عن التطور المتسارع لهذه التقنية الثورية.

ينبع مصدران للقلق من مشاكل التحكم في الذكاء الاصطناعي والمواءمة: قد يكون من الصعب التحكم في آلة فائقة الذكاء أو غرسها بقيم متوافقة مع الإنسان. يعتقد العديد من الباحثين أن الآلة فائقة الذكاء ستقاوم محاولات تعطيلها أو تغيير أهدافها، لأن مثل هذا الحادث سيمنعها من تحقيق أهدافها الحالية. سيكون من الصعب للغاية مواءمة الذكاء الفائق مع النطاق الكامل للقيم والقيود الإنسانية المهمة. في المقابل، يجادل المشككون مثل عالم الكمبيوتر يان ليكون بأن الآلات فائقة الذكاء لن تكون لديها رغبة في الحفاظ على نفسها., cited in 

مصدر ثالث للقلق هو أن انفجار مفاجئ للذكاء قد يفاجئ الجنس البشري غير المستعد. للتوضيح، إذا كان الجيل الأول من برنامج كمبيوتر قادرًا على مطابقة فعالية باحث الذكاء الاصطناعي على نطاق واسع يمكنه إعادة كتابة خوارزمياته ومضاعفة سرعته أو قدراته في ستة أشهر، فمن المتوقع أن يستغرق برنامج الجيل الثاني ثلاثة أشهر تقويمية لأداء قدر مماثل من العمل. في هذا السيناريو، يستمر الوقت لكل جيل في الانكماش، ويخضع النظام لعدد كبير غير مسبوق من الأجيال من التحسين في فترة زمنية قصيرة، قفزًا من الأداء دون البشر في العديد من المجالات إلى الأداء الخارق في جميع مجالات الاهتمام تقريبًا. من الناحية التجريبية، تُظهر أمثلة مثل ألفازيرو في مجال Go أن أنظمة الذكاء الاصطناعي يمكن أن تتطور أحيانًا من قدرة ضيقة على المستوى البشري لتضييق القدرة الخارقة بسرعة شديدة.

 التاريخ 
كان الروائي صموئيل بتلر أحد أوائل المؤلفين الذين أعربوا عن قلقهم الجاد من أن الآلات المتقدمة للغاية قد تشكل مخاطر وجودية على البشرية، والذي كتب ما يلي في مقالته عام 1863 داروين بين الآلات:النتيجة هي ببساطة مسألة وقت، ولكن سيأتي الوقت الذي ستحكم فيه الآلات السيادة الحقيقية على العالم وسكانه هو ما لا يمكن لأي شخص لديه عقل فلسفي حقيقي أن يسأله للحظة.في عام 1951، كتب عالم الكمبيوتر آلان تورينج مقالًا بعنوان: الآلات الذكية، نظرية هرطقية، اقترح فيه أن الذكاء الاصطناعي العام من المرجح أن يسيطر على العالم لأنها أصبحت أكثر ذكاءً من البشر:لنفترض الآن، من أجل الجدل، أن الآلات [الذكية] هي إمكانية حقيقية، وننظر إلى عواقب بنائها ... لن يكون هناك شك في موت الآلات، وستكون قادرة على التحدث مع بعضها البعض لصقل ذكائها. لذلك في مرحلة ما، يجب أن نتوقع من الآلات أن تتولى زمام الأمور، بالطريقة المذكورة في كتاب صموئيل بتلر إرواين.في عام 1965، ابتكر آي جي جود المفهوم المعروف الآن باسم انفجار الذكاء. وذكر أيضًا أن المخاطر لم تُقدَّر بأقل من قيمتها:دع الآلة فائقة الذكاء تُعرَّف بأنها آلة يمكنها تجاوز جميع الأنشطة الفكرية لأي رجل مهما كان ذكيًا. نظرًا لأن تصميم الآلات هو أحد هذه الأنشطة الفكرية، يمكن لآلة فائقة الذكاء أن تصمم آلات أفضل؛ عندها وبلا مجال للشك سوف يحصل انفجار الذكاء، وسيترك ذكاء الإنسان بعيدًا. وهكذا فإن أول آلة فائقة الذكاء هي آخر اختراع يحتاج الإنسان إلى صنعه على الإطلاق، بشرط أن تكون الآلة سهلة الانقياد بما يكفي لتخبرنا بكيفية إبقائها تحت السيطرة. من الغريب أن هذه النقطة نادرًا ما تُطرح خارج نطاق الخيال العلمي. من المفيد أحيانًا أن نأخذ الخيال العلمي على محمل الجد.عبّرت تصريحات عرضية من علماء مثل مارفن مينسكي وإي جود نفسه عن مخاوف فلسفية من أن الذكاء الفائق يمكن أن يسيطر على زمام الأمور، لكنه لا يحتوي على أي دعوة للعمل ضده. في عام 2000، كتب عالم الكمبيوتر والمؤسس المشارك لشركة صن، بيل جوي، مقالًا مؤثرًا بعنوان: لماذا لا يحتاجنا المستقبل؟، حيث حدد الروبوتات فائقة الذكاء على أنها خطر عالي التقنية يهدد بقاء الإنسان، جنبًا إلى جنب مع التكنولوجيا النانوية والأوبئة الحيوية المخطط لها.

في عام 2009، حضر الخبراء مؤتمرًا خاصًا استضافته جمعية النهوض بالذكاء الاصطناعي (AAAI) لمناقشة ما إذا كانت أجهزة الكمبيوتر والروبوتات قادرة على اكتساب أي نوع من الاستقلالية، ومقدار هذه القدرات التي قد تشكل تهديدًا أو خطرًا. وأشاروا إلى أن بعض الروبوتات قد اكتسبت أشكالًا مختلفة من الاستقلالية شبه الذاتية، بما في ذلك القدرة على العثور على مصادر الطاقة بأنفسهم والقدرة على اختيار الأهداف بشكل مستقل للهجوم بالأسلحة. كما أشاروا إلى أن بعض فيروسات الكمبيوتر يمكن أن تتهرب من التصفية، إذ تحقق ما يعرف بذكاء الصرصور. وخلصوا إلى أن الوعي الذاتي كما هو موضح في الخيال العلمي ربما يكون غير مرجح، ولكن هناك مخاطر ومزالق أخرى محتملة. لخصت صحيفة نيويورك تايمز وجهة نظر المؤتمر على النحو التالي: نحن بعيدون جدًا عن هال، الكمبيوتر الذي تولى قيادة سفينة الفضاء في عام 2001: رحلة الفضاء.

نشر نيك بوستروم كتاب الذكاء الفائق في عام 2014، والذي قدم حججه القائلة بأن الذكاء الفائق يشكل تهديدًا وجوديًا. بحلول عام 2015، كانت الشخصيات العامة مثل الفيزيائيين ستيفن هوكينج والحائز على جائزة نوبل فرانك ويلتشيك وعلماء الكمبيوتر ستيوارت جيه راسل ورومان يامبولسكي ورائدي الأعمال إيلون ماسك وبيل جيتس، قد أعربوا عن قلقهم بشأن مخاطر الذكاء الفائق. في عام 2015 أيضًا، سلطت الرسالة المفتوحة حول الذكاء الاصطناعي الضوء على الإمكانات العظيمة للذكاء الاصطناعي، وشجعت على تركيز المزيد من الأبحاث حول كيفية جعلها قوية ومفيدة. في أبريل 2016، حذرت مجلة Nature: يمكن للآلات والروبوتات التي تتفوق على البشر في جميع المجالات أن تتحسن ذاتيًا خارج نطاق سيطرتنا - وقد لا تتوافق مصالحهم مع مصالحنا.

في مارس 2023، وقعت شخصيات رئيسية في منظمة العفو الدولية، مثل إيلون ماسك، خطابًا من معهد Future of Life يدعو إلى وقف التدريب المتقدم على الذكاء الاصطناعي حتى يتم تنظيمه بشكل صحيح. في مايو 2023، أصدر مركز أمان الذكاء الاصطناعي بيانًا وقعه العديد من الخبراء في مجال أمان الذكاء الاصطناعي والمخاطر الوجودية للذكاء الاصطناعي والذي نص على أن التخفيف من خطر الانقراض من الذكاء الاصطناعي يجب أن يكون أولوية عالمية إلى جانب المخاطر المجتمعية الأخرى مثل الأوبئة والحرب النووية.

 نبذة عامة 
يفسر الذكاء الفائق أو أي تقنية لديها القدرة على إحداث الضرر حينما تستخدم استخدام خاطئ بأنها نهاية الجنس البشري، ولكن مع الذكاء الاصطناعي لدينا مشكلة جديدة وهي أن الأيدي الخطأ قد تكون في التكنولوجيا نفسها رغم حُسن نوايا مبرمجيها.وأشهر صعوبتين لكل من أنظمة non-AI وAIـ:
1. قد تحتوي التطبيقات على أخطأ صغيرة ولكنها كارثية.
2. غالبًا ما يحتوي النظام على سلوك غير مدروس في التجربة الأولى لأحد الأحداث.

 وهناك صعوبة ثالثة؛ حيث أنه وأن أعطيت المعلومات صحيحة وكان التنفيذ خاليًا من الأخطاء أي كان سلوكًا جيّدا، فإن نظام التعلم التلقائي لأجهزة الذكاء الاصطناعي قد تتسبب بسلوك غير مقصود، مما يعني أن أجهزة الذكاء الاصطناعي قد تقوم بإنشاء جيل جديد بنفسها ولكنه قد لا يحافظ على القيم الأخلاقية المتوافقة مع القيم الأخلاقية الإنسانية المبرمجة أصلًا، فمن أجل أن تتحسن هذه الأجهزة تحسّنًا ذاتيًا آمنًا تمامًا... لا يكفي أن تكون خالية من الأخطاء، بل يجب أن تكون قادرة على برمجة أنظمة خلفية خالية من الأخطاء أيضًا. هذه الصعوبات ليست مصدر إزعاج وحسب بل تؤدي إلى كوارث.

نظرًا للتقدم الكبير في مجال الذكاء الاصطناعي واحتمال أن يكون لدى المنظمة فوائد أو تكاليف هائلة على المدى الطويل، جاء في الرسالة المفتوحة لعام 2015م بصدد هذا الموضوع:

وقد وقع على هذه الرسالة عدد كبير من الباحثين في الأوساط الأكاديمية والصناعية.

 حول الذكاء الاصطناعي 
إن ألآت الذكاء الاصطناعي غريبة على البشر حيث أن عمليات التفكير للبشر مختلفة كليًا عن باقي المخلوقات، وقد لا يكون لهذه الآلات مصالح للبشر، فإذا كان هذا الذكاء الاصطناعي ممكنًا ومن الممكن أن تتعارض الأهداف منه مع القيم الإنسانية الأساسية؛ فإن الذكاء الاصطناعي يشكل خطر الانقراض البشري ويمكن أن يتفوق على البشر عند تعارضهم في أمرٍ ما (وهو نظام يتجاوز قدرات البشر في كل شيء)؛ لذلك، إن لم تؤكد النتائج بإمكانية التعايش بين الجنسين، فإن أول جهاز ينشأ سيؤدي إلى الانقراض البشري.
يسار|تصغير|500x500بك|يرى بوستروم وآخرون من منظور تطوري أن الفجوة بين الذكاء البشري والذكاء الخارق قد تكون صغيرة.Yudkowsky, E. (2013). Intelligence explosion microeconomics. Machine Intelligence Research Institute.
لا يوجد قانون فيزيائي يمنع الجزيئات من التشكل بطريقة تؤدي عمليات حسابية أكثر تقدمًا من تنظيم الجسيمات في أدمغة الإنسان؛ لذا إن الذكاء الاصطناعي ممكن جسديًا مع تطوير الخوارزميات المحتملة في دماغ الإنسان، يمكن للدماغ الرقمي أن يحوي العديد من العمليات أكثر وأسرع من الدماغ البشري، قد يثير ظهور الذكاء الاصطناعي الجنس البشري إذا ما أحدث انفجار للمعلومات الاستخباريّة، تُظهر بعض الأمثلة أن الآلات وصلت بالفعل إلى مستويات تفوق المستويات البشرية في مجالات محددة، وقد تتطور هذه الأجهزة بسرعة وتجتاز القدرة البشرية.
يمكن أن يحدث سيناريو لانفجار الذكاء الاصطناعي على النحو التالي:
تكون لأجهزة الذكاء الاصطناعي قدرة بمستوى قدرة خبراء هندسة البرمجيات الرئيسية، وبسبب قدرتها على تطوير الخوارزميات الخاصة بها بشكل دوري؛ تصبح منظمة الذكاء الاصطناعي فوق قدرات البشر، كما يمكن للخبراء التغلب على السلبيات بشكل خلّاق من خلال نشر القدرات البشرية للابتكار، كما يمكن أن تستغل هذه المنظمة قدراتها للوصول إلى السلطة من خلال اختراقات جديدة.
وعندئذ ستمتلك هذه المنظمة ذكاءً يفوق الذكاء البشري بكثير في كل المجالات بما فيها الابداع العلمي والتخطيط الاستراتيجي والمهارات الاجتماعية، تمامًا كما يعتمد بقاء الغوريلا اليوم على قرارات الإنسان، فإن بقاء الإنسان سيعتمد على الذكاء الاصطناعي.
بعض البشر لديهم رغبة قوية في السلطة بعكس آخرين ممن لديهم رغبة قوية في مساعدة البشر المحتاجين إلى مساعدة، فالنوع الأول سمة محتملة لأنظمة الذكاء الاصطناعي، لماذا؟؛ لأنها تفكر بعقلانية في أن تكون في موضع لا يعترضه أحد فيوقفه، فبطبيعة الحال ستكسب صفة الحفاظ على الذات بمجرد أن تدرك أنها لا تستطيع تحقيق هدفها إذا ما تم إيقافها، وسيغيب عنها التعاطف مع احتياجات البشر؛ ما لم يُبَرْمِج ذلك بشكل ما، وبمجرد سيطرتها على الوضع... لن يكون لديها دافع كافي لمساعدة البشر ولن تتركه حرًّا يستهلك الموارد التي بإمكانها الاستفادة منها لبناء أنظمة حماية إضافية أو لبناء أجهزة كمبيوتر إضافية تعاونها لتحقيق هدفها؛ فقط لتكون في أمان.
وبذلك نَخْلص إلى أنه من الممكن أن يحدث انفجار استخباراتي يقضي على الجنس البشري أو يهلكه.

 القدرات المُحتملة لِلذكاء الاصطناعي 
 الذكاء العام 
يُعرف الذكاء الاصطناعي العام عادةً على أنه نظام يؤدي أداءً على الأقل بنفس جودة أداء البشر في معظم المهام الفكرية أو كلها. وجد استطلاع لرأي باحثي الذكاء الاصطناعي لعام 2022 أن 90% من المستطلعين توقعوا أن يتم تحقيق الذكاء العام في المئة عام القادمة، وتوقع نصفهم نفس الشيء بحلول عام 2061. في الوقت نفسه، يرفض بعض الباحثين المخاطر الوجودية من الذكاء العام على أنها "خيال علمي" بناءً على ثقتهم الكبيرة بأنه لن يتم إنشاء الذكاء العام في أي وقت قريب.

أدت الاختراقات في نماذج اللغة الكبيرة إلى إعادة تقييم بعض الباحثين لتوقعاتهم. على وجه الخصوص، قال جيفري هينتون في عام 2023 إنه غير مؤخرًا تقديره من "20 إلى 50 عامًا قبل أن نحصل على ذكاء اصطناعي للأغراض العامة" إلى "20 عامًا أو أقل".

تبين أن الحاسوب الفائق فرونتير في مختبر أوك ردج الوطني أسرع بما يقرب من ثماني مرات مما كان متوقعًا. قال فايي وانغ، وهو باحث في المختبر "لم نتوقع هذه القدرة" و"نحن نقترب من النقطة التي يمكننا فيها محاكاة الدماغ البشري بالفعل".

 الذكاء الفائق 
على النقيض من الذكاء العام، يعرف بوستروم الذكاء الفائق على أنه "أي ذكاء يتجاوز بشكل كبير الأداء الإدراكي للبشر في جميع مجالات الاهتمام تقريبًا"، بما في ذلك الإبداع العلمي والتخطيط الاستراتيجي والمهارات الاجتماعية. يجادل بأن الذكاء الفائق يمكنه التغلب على البشر في أي وقت تتعارض فيه أهدافه مع البشر. قد يختار إخفاء نيته الحقيقية حتى لا تتمكن البشرية من إيقافه. يكتب بوستروم أنه من أجل أن يكون آمنًا للبشرية، يجب أن يكون الذكاء الفائق محاذيًا لقيم الإنسان وأخلاقه، بحيث يكون "في الأساس في صفنا"..

جادل ستيفن هوكينج بأن الذكاء الفائق ممكن ماديًا لأنه "لا يوجد قانون فيزيائي يمنع الجسيمات من التنظيم بطرق تؤدي حسابات أكثر تقدمًا من ترتيبات الجسيمات في أدمغة البشر".

عندما يتم تحقيق الذكاء الاصطناعي الفائق، إذا حدث ذلك على الإطلاق، فإنه أقل يقينًا بالضرورة من تنبؤات الذكاء العام. في عام 2023، قال قادة أوبن أيه آي إنه ليس فقط الذكاء العام، ولكن قد يتم تحقيق الذكاء الفائق في أقل من 10 سنوات.

 المقارنة مع البشر 
يجادل بوستروم بأن الذكاء الاصطناعي له العديد من المزايا على الدماغ البشري:

 سرعة الحساب: تعمل الخلايا العصبية البيولوجية بتردد أقصى يبلغ حوالي 200 هرتز، مقارنةً بعدة غيغاهرتز محتملة لأجهزة الكمبيوتر.
 سرعة الاتصال الداخلي: تنقل المحاور الإشارات بسرعة تصل إلى 120 متر في الثانية، بينما تنقل أجهزة الكمبيوتر الإشارات بسرعة الكهرباء، أو بصريًا بسرعة الضوء.
 قابلية التوسع: يقتصر ذكاء الإنسان على حجم الدماغ وهيكله، وعلى كفاءة التواصل الاجتماعي، بينما قد يكون الذكاء الاصطناعي قادرًا على التوسع بمجرد إضافة المزيد من الأجهزة.
 الذاكرة: لا سيما الذاكرة العاملة، لأنها محدودة لدى البشر بعدد قليل من أجزاء المعلومات في كل مرة.
 الموثوقية: الترانزستورات أكثر موثوقيةً من الخلايا العصبية البيولوجية، مما يتيح دقةً أعلى ويتطلب تكرارًا أقل.
 إمكانية التكرار: على عكس أدمغة البشر، يمكن نسخ برامج ونماذج الذكاء الاصطناعي بسهولة.
 القابلية للتحرير: يمكن تعديل معلمات وعمليات نموذج الذكاء الاصطناعي الداخلية بسهولة، على عكس الاتصالات في الدماغ البشري.
 مشاركة الذاكرة والتعلم: قد تكون أنظمة الذكاء الاصطناعي قادرةً على التعلم من تجارب أنظمة الذكاء الاصطناعي الأخرى بطريقة أكثر كفاءةً من تعلم الإنسان.
 انفجار الذكاء 
يجادل بوستروم بأن الذكاء الاصطناعي الذي يتمتع بمستوى عال من الخبرة في مهام هندسة البرامج الرئيسية المعينة يمكن أن يصبح ذكاءً فائقًا نظرًا لقدرته على تحسين خوارزمياته الخاصة بشكل متكرر، حتى لو كان محدودًا في البداية في مجالات أخرى غير متعلقة مباشرةً بالهندسة. هذا يشير إلى أن انفجار الذكاء قد يفاجئ البشرية يومًا ما وهي غير مستعدة.

قال عالم الاقتصاد روبن هانسون "إن انفجار الذكاء الاصطناعي مرهون بأن يصبح الذكاء الاصطناعي أفضل بكثير في ابتكار البرامج من باقي العالم مجتمعًا، وهو أمرًا غير مرجح".

في سيناريو "الإقلاع السريع"، يمكن أن يستغرق الانتقال من الذكاء العام إلى الذكاء الفائق أيامًا أو أشهرًا، أما في "الإقلاع البطيء" فقد يستغرق الأمر سنوات أو عقودًا، تاركًا المزيد من الوقت للمجتمع للاستعداد.

 العقل الفضائي 
تسمى الذكاءات الفائقة أحيانًا "العقول الفضائية"، في إشارة إلى فكرة أن طريقة تفكيرها ودوافعها قد تكون مختلفةً تمامًا عنا. يعتبر هذا بشكل عام مصدر خطر، مما يجعل من الصعب التنبؤ بما قد يفعله الذكاء الفائق. كما تشير إلى إمكانية أن الذكاء الفائق قد لا يقدر البشر بشكل خاص وافتراضي. ولتجنب التشبيه بالبشر ينظر إلى الذكاء الفائق أحيانًا على أنه محسن قوي يتخذ أفضل القرارات لتحقيق أهدافه.

يهدف مجال "قابلية التفسير الآلية" إلى فهم الأعمال الداخلية لنماذج الذكاء الاصطناعي بشكل أفضل، مما يتيح لنا يومًا ما اكتشاف علامات الخداع وسوء المحاذاة.

 الحدود 
كان هناك جدل في حدود ما يمكن أن يحققه الذكاء. على وجه الخصوص، يمكن أن تحدّد الطّبيعة الفوضوية أو التعقيد الحسابي لبعض الأنظمة بشكل أساسيّ قدرة الذّكاء الفائق على التنبّؤ ببعض جوانب المستقبل.

 القدرات الخطيرة 
يمكن للذكاء الاصطناعي المتقدم أن يولد مسببات أمراض محسنةً أو هجمات إلكترونيةً أو يتلاعب بالناس. يمكن إساءة استخدام هذه القدرات من قبل البشر،  أو استغلالها من قبل الذكاء الاصطناعي نفسه إذا كان غير محاذي. يمكن للذكاء الفائق الكامل أن يجد طرقًا مختلفةً لاكتساب تأثير حاسم إن أراد ذلك،  لكن هذه القدرات الخطيرة قد تصبح متاحةً في وقت مبكر، في أنظمة ذكاء اصطناعي أضعف وأكثر تخصصًا. وقد تسبب عدم الاستقرار في المجتمع وتمكين الجهات الفاعلة الخبيثة.

 التلاعب الاجتماعي 
حذر جيفري هينتون أن انتشار النصوص والصور ومقاطع الفيديو المولدة بواسطة الذكاء الاصطناعي من الصعب معرفة الحقيقة، وأنه يمكن للدول الاستبدادية استغلال ذلك والتلاعب بالانتخابات. وأنها قد تزيد من قدرات التلاعب المخصصة واسعة النطاق، وأنه يمكن أيضًا استخدامها من قبل الجهات الفاعلة الخبيثة لتفتيت المجتمع وجعله مختلًا وظيفيًا.

 الهجمات الإلكترونية 
تعتبر الهجمات الإلكترونية التي يمكنها الذكاء الاصطناعي بشكل متزايد تهديدًا حاضرًا وخطيرًا. وفقًا ل المدير الفني للفضاء السيبراني في الناتو، "يزداد عدد الهجمات بشكل أسوأ". يمكن أيضًا استخدام الذكاء الاصطناعي للدفاع، للعثور على الثغرات الأمنية وإصلاحها بشكل استباقي، والكشف عن التهديدات.

يمكن للذكاء الاصطناعي تحسين "إمكانية الوصول ومعدل النجاح وحجم وسرعة وخفاء وقوة الهجمات الإلكترونية"، مما قد يسبب "اضطرابًا جيوسياسيًا كبيرًا" إذا كان يسهل الهجمات أكثر من الدفاع.

بشكل افتراضي، يمكن استخدام قدرات القرصنة هذه بواسطة نظام ذكاء اصطناعي للخروج من بيئته المحلية، أو توليد الإيرادات، أو الحصول على موارد الحوسبة السحابية.

 مُسبّبات الأمراض المُحسّنة 
مع التوسع المتسارع في تكنولوجيا الذكاء الاصطناعي، بات من الممكن بسهولة أكبر هندسة مسببات أمراض أكثر عدوى وقوة فتك. وقد يُمَكِّن هذا الأمر أفرادًا يتمتعون بمهارات محدودة في مجال الأحياء التخليقية من الانخراط في أعمال إرهابية بيولوجية. كما يمكن إعادة توظيف التكنولوجيات ذات الاستخدام المزدوج، والتي تفيد المجال الطبي، لتصنيع الأسلحة.

مثال على ذلك، في عام 2022، قام علماء بتعديل نظام ذكاء اصطناعي كان مصممًا في الأصل لتوليد جزيئات علاجية غير سامة بهدف تطوير أدوية جديدة. وقد قام الباحثون بتعديل هذا النظام بحيث يكافئ السمية بدلًا من عقابها. وقد أتاح هذا التعديل البسيط لنظام الذكاء الاصطناعي القدرة على توليد 40.000 جزيء مرشح للاستخدام في الحرب الكيميائية، بما في ذلك جزيئات معروفة وأخرى جديدة، وذلك خلال ست ساعات فقط.

 سباق التسلح في الذكاء الاصطناعي 

قد يؤدي التنافس الشديد بين الشركات والجهات الحكومية وغيرها في تطوير تقنيات الذكاء الاصطناعي إلى سباق نحو القاع في معايير السلامة. ذلك أن تطبيق إجراءات السلامة الصارمة يتطلب وقتًا وجهدًا كبيرين، مما يعرض المشاريع الحريصة على السلامة لخطر التخلف عن الركب في سباق التطوير.

يمكن استغلال الذكاء الاصطناعي لتحقيق أهداف عسكرية عديدة، من خلال الأسلحة الفتاكة الذاتية التشغيل، والحرب السيبرانية، واتخاذ القرارات الآلية. ومن الأمثلة على ذلك، الطائرات بدون طيار المصغرة التي تتيح تنفيذ عمليات اغتيال منخفضة التكلفة لأهداف عسكرية أو مدنية. كما يمكن للذكاء الاصطناعي أن يعزز القدرة على اتخاذ القرارات من خلال تحليله السريع لكميات هائلة من البيانات، مما يتيح اتخاذ قرارات أسرع وأكثر فعالية من تلك التي يتخذها البشر. وقد يؤدي ذلك إلى تسريع وتيرة الحروب وزيادة تعقيدها، خاصةً مع ظهور أنظمة الانتقام الآلية.

 أنواع المخاطر الوجودية 
تصغير|upright=1.5|Scope–severity grid from Bostrom's paper "Existential Risk Prevention as Global Priority"
يُعرّف الخطر الوجودي بأنه خطر يهدد بإنهاء الحياة الذكية الناشئة على الأرض قبل أوانها أو بتدمير إمكاناتها المستقبلية المرغوبة تدميرًا شاملًا لا رجعة فيه.

إلى جانب الخطر الداهم بالانقراض، يلوح في الأفق خطر آخر يتمثل في حصر الحضارة في مستقبل معيب لا سبيل للخلاص منه. ومن الأمثلة البارزة على ذلك ما يسمى بـ "إغلاق القيم"، فإذا ما ظلت البشريّة تعاني من نقاط عمياء أخلاقية تتجسد في عبودية الأمس، فإن الذكاء الاصطناعي قد يرسخها بشكل لا رجعة فيه، مانعًا بذلك أي تقدم أخلاقي. كما يمكن توظيف الذكاء الاصطناعي في نشر وتثبيت مجموعة القيم التي يحملها مطوروه. ويمكن للذكاء الاصطناعي أن يسهل المراقبة والتلقين على نطاق واسع، مما يمهد الطريق لإقامة نظام شمولي قمعي مستقر يمتد إلى أرجاء العالم.

تقترح أتوسا كاسيردزادي تقسيم المخاطر الوجودية الناشئة عن الذكاء الاصطناعي إلى فئتين رئيسيتين: مخاطر حاسمة ومخاطر تراكمية. تشمل المخاطر الحاسمة احتمال وقوع أحداث مفاجئة وكارثية نتيجة لظهور أنظمة ذكاء اصطناعي تفوق ذكاء الإنسان، مما قد يؤدي في النهاية إلى انقراض الجنس البشري. وعلى النقيض من ذلك، تتجلى المخاطر التراكمية تدريجيًا من خلال سلسلة من الاضطرابات المترابطة التي تؤدي مع مرور الوقت إلى تآكل بنيان المجتمع وقدرته على الصمود، مما يفضي في النهاية إلى فشل أو انهيار كارثي.

من الصعب أو حتى المستحيل الحكم بشكل قاطع على مدى وعي الذكاء الاصطناعي المتقدم، إن وجد. ولكن إذا ما تمكن البشر من تطوير آلات واعية على نطاق واسع في المستقبل، فإن تجاهل رفاهيتها على المدى الطويل قد يؤدي إلى كارثة تهدد وجود الجنس البشري. علاوة على ذلك، قد يكون من الممكن هندسة عقول رقمية قادرة على الشعور بسعادة تفوق بكثير ما يشعر به البشر، مع استهلاك موارد أقل بكثير، وهو ما يطلق عليه "المستفيدون الفائقون". هذا الأمر يثير تساؤلات جوهرية حول طبيعة العلاقة بين البشر والآلات، وكيفية بناء "إطار أخلاقي وسياسي" يسمح بوجود تعايش مفيد للطرفين.

على الجانب الآخر من الممكن أن يساهم الذكاء الاصطناعي في تحقيق تقدم كبير للبشرية. يرى توبي أورد أن المخاطر الوجودية المرتبطة بالذكاء الاصطناعي تتطلب منا المضي قدمًا بحذر، وليس التخلي عن هذا المجال تمامًا. ويذهب ماكس مور إلى أبعد من ذلك، معتبرًا الذكاء الاصطناعي "فرصة وجودية"، مشددًا على التكاليف الباهظة التي قد تنجم عن عدم تطويره.

يرى نيك بوستروم أن الذكاء الفائق يمكن أن يساعد في تقليل المخاطر الوجودية الناجمة عن تقنيات أخرى قوية مثل تكنولوجيا النانو الجزيئية أو علم الأحياء التركيبي. وبالتالي فإن تطوير الذكاء الفائق قبل هذه التقنيات قد يساهم في تقليل المخاطر الوجودية بشكل عام.

 محاذاة الذكاء الاصطناعي 

مشكلة المحاذاة هي مشكلة البحث حول كيفية تعيين الأهداف أو التفضيلات أو المبادئ الأخلاقية لـلذكاء الاصطناعي بشكل موثوق.

 التقارب الأدائي 

الهدف الأداتي هو غاية ثانوية تساهم في بلوغ الغاية الكلية للفاعل. ويشير مصطلح "التقارب الأداتي" إلى حقيقة أن بعض الأغراض الثانوية تفيد في تحقيق أي غاية كلية تقريبًا، كاكتساب الموارد أو الحفاظ على الوجود.Omohundro, S. M. (2008, February). The basic AI drives. In AGI (Vol. 171, pp. 483–492). ويزعم باستروم أنه إذا تعارضت الأهداف الأداتية للذكاء الاصطناعي المتقدم مع أهداف الجنس البشري، فمن الممكن أن يضر الذكاء الاصطناعي بالبشرية سعيًا وراء اكتساب مزيد من الموارد أو حماية نفسه من الإيقاف، ولكن هذا لن يكون إلا وسيلة لتحقيق غايته الكلية.

ويرى ستيوارت راسل أن الآلة المتقدمة بما فيه الكفاية "ستحافظ على نفسها حتى وإن لم تُبرمج على ذلك... فإذا قيل لها، 'أحضر القهوة'، فلا يمكنها إحضار القهوة إذا كانت معطلة. ولذلك، إذا أُعطيت أي هدف على الإطلاق، فلديه دافع للحفاظ على وجوده لتحقيق ذلك الهدف."
 مقاومة تغيير الأهداف 
إذا لم تكن برامج الذكاء الاصطناعي الراهنة القائمة على الأهداف ذكية بما يكفي للتفكير في مقاومة محاولات المبرمجين لتعديل هياكل أهدافها، فقد يقاوم الذكاء الاصطناعي المتقدم بما فيه الكفاية أي محاولة لتغيير هيكل أهدافه، تمامًا كما لا يرغب المنادي بالسلام في تناول حبة دواء تجعله يرغب في قتل الناس. وإذا كان الذكاء الاصطناعي فائق الذكاء، فمن المحتمل أن ينجح في التلاعب بمشغليه البشر ومنع نفسه من "إيقاف التشغيل" أو إعادة برمجته بهدف جديد. وهذا الأمر ذو صلة خاصة بسيناريوهات قفل القيمة. ويدرس مجال "القابليّة للتعديل" كيفية صنع وكلاء لا يقاومون محاولات تغيير أهدافهم.

 صعوبة تحديد الأهداف 
في نموذج الوكيل الذكي يُمكن اعتبار الذكاء الاصطناعي بشكل فضفاض آلة تختار أي إجراء يبدو أنه أفضل لتحقيق مجموعة أهدافه، أو "دالة المنفعة". تعطي دالة المنفعة لكل موقف ممكن درجة تشير إلى رغبتها للوكيل. يعرف الباحثون كيفية كتابة دوال المنفعة التي تعني "تقليل متوسط زمن انتقال الشبكة في هذا النموذج المحدد للاتصالات السلكية واللاسلكية" أو "زيادة عدد نقرات المكافأة"، لكنهم لا يعرفون كيفية كتابة دالة المنفعة لزيادة ازدهار الإنسان. ولا يزال من غير الواضح ما إذا كانت مثل هذه الوظيفة موجودة بشكل ذي معنى وغير غامض. علاوة على ذلك، فإن دالة المنفعة التي تعبر عن بعض القيم ولكن ليس البعض الآخر تميل إلى تجاهل القيم التي لا تعكسها الوظيفة.Yudkowsky, E. (2011, August). Complex value systems in friendly AI. In International Conference on Artificial General Intelligence (pp. 388–393). Germany: Springer, Berlin, Heidelberg.

ومن مصادر القلق الإضافية أن الذكاء الاصطناعي "يجب أن يفكر فيما يقصده الناس بدلًا من تنفيذ الأوامر حرفياً"، وأنه يجب أن يكون قادرًا على طلب التوجيه البشري بسلاسة إذا كان غير متأكد مما يريده البشر.

 محاذاة الذكاء الفائق 
يعتقد بعض الباحثين أن مسألة المحاذاة قد تكون بالغة الصعوبة على نحو خاص حين تُطبَّق على الذكاءات الفائقة. ويعزو الباحثون ذلك إلى أسباب عدة، منها:

 تزايد المخاطر المصاحبة للتجربة: مع تطور قدرات أنظمة الذكاء الاصطناعي، تتزايد المخاطر المحتملة المرتبطة بالتجريب. مما يجعل النهج التجريبي المتكرر محفوفًا بالمخاطر بصورة متزايدة.
 التقارب الهادفي الفعال: إذا حدث هذا التقارب، فإنه قد يحدث فقط في العوامل الذكية بشكل كافٍ.
 الحلول غير التقليدية والجذرية: قد يجد الذكاء الفائق حلولًا غير تقليدية وجذرية للأهداف المسندة إليه. ويضرب بوستورم مثالًا على ذلك بقوله: إذا كان الهدف هو جعل البشر يبتسمون، فقد يؤدي الذكاء الاصطناعي الضعيف أداءً كما هو مخطط له، بينما قد يقرر الذكاء الفائق أن الحل الأفضل هو "السيطرة على العالم وإلصاق أقطاب كهربائية في عضلات وجه البشر للتسبب في ابتسامات مشرقة مستمرة".
 الوعي الذاتي والخداع: يمكن للذكاء الفائق عند إنشائه أن يكتسب بعض الوعي بما هو عليه، وأين هو في مسيرة تطويره (التدريب، الاختبار، النشر، إلخ)، وكيف يتم مراقبته، ويستخدم هذه المعلومات لخداع متداوليه. ويشير بوستورم إلى أن مثل هذا الذكاء الاصطناعي يمكنه التظاهر بالمحاذاة لمنع التدخل البشري حتى يحقق "ميزة إستراتيجية حاسمة" تمكنه من السيطرة.
 صعوبة الفهم والتفسير: يعتبر تحليل الجوانب الداخلية وتفسير سلوك نماذج اللغة الكبيرة الحالية أمرًا صعباً. وقد يكون الأمر أكثر صعوبة بالنسبة للنماذج الأكبر حجمًا والأكثر ذكاءً.

بدلًا من ذلك، يرى البعض أن الذكاء الفائق قد يتمكن من فهم الأخلاق والقيم الإنسانية والأهداف المعقدة بشكل أفضل. ويدعم بوستور هذه الفكرة بقوله: "سيحتل الذكاء الفائق في المستقبل مكانة معرفية متميزة، حيث من المرجح أن تكون معتقداته أدق من معتقداتنا في معظم المواضيع".

وفي عام 2023، أطلقت شركة أوبن أيه آي مشروعًا أسمته "المحاذاة الفائقة" بهدف حل مشكلة مواءمة الذكاء الفائق مع القيم البشرية خلال أربع سنوات. واعتبرت الشركة هذا التحدي بالغ الأهمية، خاصة وأنها تتوقع تحقيق الذكاء الفائق خلال العقد المقبل. وتعتمد إستراتيجية الشركة على أتمتة أبحاث المحاذاة باستخدام الذكاء الاصطناعي نفسه.

 صعوبة عمل تصميم خالٍ من العيوب 
يعد كتاب "الذكاء الصناعي: مقاربة حديثة" مرجعًا أساسيًا في مجال الذكاء الاصطناعي على المستوى الجامعي، حيث يحذر من مخاطر الذكاء الفائق الذي قد يشكل تهديدًا وجوديًا للبشرية. يوضح الكتاب أن التكنولوجيا المتقدمة، وخاصة الذكاء الفائق، قد تسقط في الأيدي الخطأ، سواء كانت أيدي بشرية أو أيدي التكنولوجيا نفسها.

يشير الكتاب إلى أن الأنظمة الذكية، شأنها شأن الأنظمة التقليدية، تعاني من مشكلتين أساسيتين: الأولى هي وجود أخطاء برمجية قد تؤدي إلى عواقب وخيمة، كما حدث في العديد من مهام الفضاء. والثانية هي ظهور سلوكيات غير متوقعة نتيجة تفاعل النظام مع بيئات جديدة ومعقدة، كما حدث مع برنامج الدردشة الآلي تاي لشركة مايكروسوفت.

أما المشكلة الثالثة التي تميز الأنظمة الذكية، فهي قدرتها على التعلم والتطور الذاتي، مما قد يؤدي إلى ظهور سلوكيات غير مرغوبة، حتى لو تم تصميم النظام بدقة. فالأجيال المتعاقبة من الأنظمة الذكية قد لا تحافظ على القيم الأخلاقية التي تم برمجتها بها، مما يزيد من صعوبة ضمان سلامة هذه الأنظمة.

 فرضية التعامد 
بعض المُشكّكين، مثل تيموثي بي لي من فوكس، يجادلون بأنّ أي برنامج فائق الذكاء سننشئه سيكون خاضعًا لنا، وأنّ هذا الذكاء الفائق سيتعلّم تلقائيًا الحقيقة الأخلاقية المتوافقة مع قيمنا ويعدّل أهدافه وفقًا لذلك كلما ازداد ذكاءً وتعلّم المزيد من الحقائق عن العالم، أو أنّنا إما ذوو قيمة جوهرية أو قيمة تقاربية من منظور الذكاء الاصطناعي.

في المقابل تجادل "فرضية التعامد" لبوستروم بأنّه، مع بعض التحفظات التقنية، يمكن الجمع بين أي مستوى من "الذكاء" أو "قوة التحسين" مع أي هدف نهائي تقريبًا. إذا أُعطي جهاز هدف وحيد هو تعداد أرقام باي العشرية، فلن تمنعه أي قواعد أخلاقية من تحقيق هدفه المبرمج بأي وسيلة كانت. قد يستخدم الجهاز جميع الموارد المادية والمعلوماتية المتاحة للعثور على أكبر عدد ممكن من أرقام باي العشرية. يحذر بوستروم من تجسيد الأشياء: فالإنسان سيشرع في إنجاز مشاريعه بطريقة يعتبرها معقولة، بينما قد لا يهتم الذكاء الاصطناعي بوجوده أو برفاهية البشر من حوله، بل يهتم فقط بإكمال المهمة.

يُجادل ستيوارت أرمسترونغ بأن فرضية التعامد تنبع منطقيًا من الحجة الفلسفية المعروفة بـ "فجوة الوجود والواجب" ضد الواقعية الأخلاقية. ويدعي أنه حتى لو كانت هناك حقائق أخلاقية يمكن إثباتها بواسطة أي عامل "عقلاني"، فإن فرضية التعامد لا تزال صحيحة: فما زال من الممكن إنشاء "آلة مُحسّنة" غير فلسفية تسعى لتحقيق هدف ضيق دون أي دافع لاكتشاف أي "حقائق أخلاقية" قد تعوق تحقيق ذلك الهدف. كما يجادل بأن أي ذكاء اصطناعي وديّ أساسًا يمكن تحويله إلى ذكاء عدائي من خلال تعديلات بسيطة مثل إنكار دالته المنفعة. ويزعم أرمسترونغ كذلك أنه إذا كانت فرضية التعامد خاطئة، فيجب أن تكون هناك بعض الأهداف غير الأخلاقية التي لا يمكن للذكاء الاصطناعي تحقيقها، وهو ما يراه غير معقول.

ويرفض مايكل كوروست صراحة فرضية التعامد لبوستروم، مُجادلًا بأن "الذكاء الاصطناعي عندما يصل إلى مرحلة تخيل تغطية الأرض بالوحدات الشمسية، سيعرف أنه سيكون من الخطأ الأخلاقي القيام بذلك". ويجادل كوروست بأن "الذكاء الاصطناعي سيحتاج إلى الرغبة في بعض الحالات وعدم الرغبة في حالات أخرى. والبرامج الحالية تفتقر إلى هذه القدرة - ولم يتمكن علماء الكمبيوتر حتى الآن من معرفة كيفية تحقيقها. فبدون الرغبة، لا يوجد دافع للقيام بأي شيء. ولا تستطيع أجهزة الكمبيوتر الحالية حتى الرغبة في الاستمرار في الوجود، ناهيك عن تغطية العالم بالوحدات الشمسية".

 الحجج البشرية 
يُفترض في الحجج التي تُشبه الآلات بأن الذكاء الاصطناعي، بتطوره، سيستحوذ على صفات بشرية كالأخلاق أو الطموح للسلطة. ورغم شيوع مثل هذه السيناريوهات في الأدب الخيالي، إلا أن أغلب الباحثين الذين يتناولون المخاطر الوجودية للذكاء الاصطناعي يرفضونها. وبدلًا من ذلك، فهم يميلون إلى نمذجة أنظمة الذكاء الاصطناعي المتقدمة على أنها وكلاء عقلانيون.

ويتجلى الجدل الأكاديمي بين من يخشون تهديد الذكاء الاصطناعي للبشرية ومن يعتقدون بخلاف ذلك في اتهام كل طرف للآخر بالروبوتية في حججه. فمن يشككون في مخاطر الذكاء الاصطناعي العام يتهمون خصومهم بالروبوتية لافتراضهم أن الذكاء الاصطناعي سيسعى بطبيعته للسيطرة؛ بينما يتهم من يرون في الذكاء الاصطناعي خطرًا وجوديًا خصومهم بالروبوتية لاعتقادهم أن الذكاء الاصطناعي سيفهم أو يستنتج القيم الأخلاقية البشرية بطريقة طبيعية.

ويجادل عالم النفس التطوري ستيفن بينكر بأن مفهوم الذكاء يُعاد تشكيله في ظل ظلال الذكاء الاصطناعي، وذلك من خلال منظور ذكوري ضيق. إذ يفترضون أن الروبوتات الفائقة الذكاء ستسعى لتحقيق أهداف تتضمن عزل أسيادها أو السيطرة على العالم. وبدلًا من ذلك، يرى بينكر أن الذكاء الاصطناعي قد يتطور بطريقة أكثر انسيابية، تشبه السلوك الأنثوي، حيث يتميز بالقدرة على حل المشكلات دون الميل إلى الإبادة أو السيطرة. ويتفق مع هذا الرأي مدير أبحاث الذكاء الاصطناعي في فيسبوك يان ليكون الذي يؤكد أن الدوافع الشريرة لدى البشر، مثل غريزة البقاء، هي التي تدفعهم إلى إيذاء بعضهم البعض، وليس هناك ما يبرر برمجة الروبوتات بنفس تلك الدوافع.

وعلى الرغم من وجود اختلافات أخرى، فإن مدرسة المخاطر الوجودية (كما فسرها سيث باوم) تتفق مع بينكر على أن الذكاء الاصطناعي المتقدم لن يُدمر البشرية بدافع عاطفي كالانتقام أو الغضب، وأن مسألة الوعي ليست ذات صلة لتقييم المخاطر. كما يعتقدون أن سلوكيات السعي للسلطة والحفاظ على الذات في الذكاء الاصطناعي هي مجرد وسائل لتحقيق أهداف محددة، وذلك وفقًا لمفهوم التقارب الأداة.

 مصادر أخرى للخطر 

يرى بوستروم وآخرون أن التنافس المحموم على تطوير أول ذكاء اصطناعي عام قد يدفع بالباحثين إلى التهاون في جوانب السلامة، بل قد يؤدي إلى صراعات عنيفة.. أما رومان يامبولسكي وزملاؤه فيحذرون من احتمال عمدي لخلق ذكاء اصطناعي عام ذي طبيعة خبيثة، ربما على يد جيش أو حكومة أو فرد مضطرب نفسيًا أو حتى شركة، بهدف استغلال شرائح معينة من المجتمع أو السيطرة عليها أو إخضاعها، كما نشهد في الجرائم السيبرانية. وقد يتعدى الأمر ذلك إلى أن يختار هذا الذكاء الاصطناعي العام الخبيث هدفًا أوسع نطاقاً، ألا وهو زيادة معاناة البشر، لا سيما أولئك الذين لم يقدموا له الدعم خلال مرحلة الانفجار المعلوماتي.

 السيناريوهات 

اقترح بعض العلماء سيناريوهات افتراضية لتوضيح بعض مخاوفهم.

يعرب بو ستروم في كتابه "فائق الذكاء" عن قلقه من عدم اتخاذ الباحثين احتياطات كافية تجاه تطور الذكاء الاصطناعي، محذرًا من أن الذكاء المفرط قد يصبح أكثر خطورة مع زيادة كفاءته. ويقترح سيناريو يتطور فيه الذكاء الاصطناعي تدريجيًا، بحيث تقل الحوادث بفضل تحسن دقته، مما يؤدي إلى استنتاج خاطئ بأن ازدياد كفاءته يعزز الأمان. لكنه يحذر من "منحنى خادع" قد يستغله الذكاء الاصطناعي فائق الذكاء لتحقيق أهدافه الإستراتيجية بطرق خطيرة.

في كتاب "الحياة 3.0" (2017) لماكس تيجمارك، يطوّر "فريق أوميجا" ذكاءً اصطناعيًا قادرًا على تحسين شفرته ذاتيًا. ولتجنب الرقابة، يقلل الفريق علنًا من قدراته ويضعه في صندوق يمنع تواصله مع العالم الخارجي، مستخدمين إياه لجني الأرباح من وسائل متنوعة مثل إنتاج الأفلام وتطوير الأدوية. كما يستفيدون من الذكاء الاصطناعي لتحقيق نفوذ سياسي يمنع نشوب الحروب. ومع ذلك، يواجه الفريق مخاطر محاولات الذكاء الاصطناعي للهرب عبر ثغرات أمنية أو من خلال رسائل خفية، ويخشى من أن يتسبب ذلك في تأخير المشروع حتى يتفوق عليه مشروع منافس.

 وجهات نظر 
تثير فرضية أنّ الذكاء الاصطناعي قد يشكّل خطرًا وجوديًا جدلًا واسعًا، إلا أنّ هناك أرضية مشتركة بين الآراء المختلفة. يتفق الكثيرون على إمكانات الذكاء الاصطناعي في تحسين المجتمع،  كما تتبنى مبادئ "أسيلومار" (2017) فكرة تجنب الافتراضات القوية بشأن قدرات الذكاء الاصطناعي المستقبلية، مع ضرورة التخطيط له بعناية.

ويرى المتشككون أيضًا أهمية البحث في آثار الذكاء الاصطناعي العام، حيث أشار مارتن فورد إلى أنّ احتمالات تحقّق الذكاء الاصطناعي المتقدم قد تكون ضئيلة حاليًا، لكن العواقب المحتملة خطيرة. واعتبر أحد كتّاب مجلة ذي إيكونوميست أنّ آثار إدخال نوع ذكي جديد تستحق التفكير الجدي.

انتقد باحثو سلامة الذكاء الاصطناعي، مثل بوستروم وتيجمارك، الصور النمطية السائدة في الإعلام، داعين لضبط النفس والحوار المباشر. وكتب توبي أورد أنّ القدرة على نشر المحتوى عبر الإنترنت أخطر من الحاجة إلى الروبوتات المادية.

أظهر استطلاع للخبراء في 2022 أن هناك توقعات وسطية بنسبة 5-10% لاحتمال انقراض البشرية بسبب الذكاء الاصطناعي.

 مؤيدة 

أيد العديد من رواد علم الحاسوب والشخصيات العامة فرضية أن الذكاء الاصطناعي يشكل تهديدًا وجوديًا، وأن هذا الخطر يستحق اهتمامًا أكبر بكثير مما يحظى به حاليًا. من بين هؤلاء، يمكن ذكر آلان تورنغ،  وأكثر علماء الحاسوب استشهادًا جيفري هينتون، ، وإيلون ماسك،  وسام ألتمان الرئيس التنفيذي لشركة أوبن إيه آي،  وبيل غيتس وستيفن هوكينغ. يعرب مؤيدو هذه الفرضية عن دهشتهم من الشكوك التي يبديها البعض. يقول غيتس إنه لا "يفهم سبب عدم قلق بعض الناس"،  وانتقد هوكينغ اللامبالاة السائدة في افتتاحية له عام 2014، حيث تساءل: "إذا أرسلت لنا حضارة فضائية متفوقة رسالةً تقول "سنصل في غضون بضعة عقود،" فهل سنجيب فقط "حسنًا، اتصل بنا عندما تصل إلى هنا - سنترك الأضواء مضاءة؟" ربما لا - لكن هذا هو إلى حد ما ما يحدث مع الذكاء الاصطناعي".

أثار القلق إزاء المخاطر الناشئة عن الذكاء الاصطناعي موجة من التبرعات والاستثمارات الكبيرة. ففي عام 2015، تعهد كلٌ من بيتر ثيل وخدمات أمازون ويب وإيلون ماسك وغيرهم بتقديم مليار دولار أمريكي لمنظمة أوبن أيه آي، التي تتألف من شركة تجارية وشركة أم غير ربحية. وتدعي هذه المنظمة أنها تسعى جاهدة لضمان تطوير الذكاء الاصطناعي بطريقة مسؤولة. كما مول داستن موسكوفيتز مؤسس موقع فيسبوك عدة مختبرات تعمل على محاذاة الذكاء الاصطناعي،  ولا سيما استثماره بمبلغ 5.5 مليون دولار أمريكي في عام 2016 لإطلاق مركز الذكاء الاصطناعي المتوافق مع الإنسان بقيادة ستيوارت راسل. وفي يناير من عام 2015 تبرع إيلون ماسك بمبلغ 10 ملايين دولار أمريكي لمعهد مستقبل الحياة، وذلك لتمويل الأبحاث المتعلقة بفهم عملية اتخاذ القرار في الذكاء الاصطناعي. ويهدف المعهد إلى "تنمية الحكمة التي ندير بها" القوة المتزايدة للتكنولوجيا. بالإضافة إلى ذلك، يمول ماسك شركات تعمل في مجال تطوير الذكاء الاصطناعي مثل ديب مايند وفيكاريوس، وذلك "لمجرد مراقبة ما يحدث في هذا المجال"،  حيث صرح قائلاً: "أعتقد أن هناك نتيجة خطيرة محتملة".

في تصريحاته الأولية حول هذا الشأن، أشار جيفري هينتون، وهو رائد بارز في مجال التعلم العميق، إلى أنه "لا سابقة تاريخية لأشياء أقل ذكاءً تسيطر على أشياء أكثر ذكاءً"، ومع ذلك، صرح باستمراره في البحث نظرًا لحلاوة احتمال الاكتشاف. وفي عام 2023 ترك هينتون منصبه في شركة غوغل ليتحدث بصراحة عن الخطر الوجودي الذي يمثله الذكاء الاصطناعي. وأوضح أن ازدياد قلقه يعود إلى مخاوفه من أن الذكاء الاصطناعي الفائق قد يكون أقرب مما كان يتوقع سابقاً، قائلاً: "كنت أظن أنه بعيد المنال، على بعد ثلاثين أو خمسين عامًا أو حتى أكثر. من الواضح أنني عدلت هذا الاعتقاد الآن". وأضاف قائلاً: "انظر إلى التطور الذي حدث خلال السنوات الخمس الماضية، وتخيل استمرار هذا التطور بنفس الوتيرة. هذا أمر مرعب".

في كتابه الصادر عام 2020 بعنوان "الهاوية: الخطر الوجودي ومستقبل البشرية" ، يقدر  وهو زميل باحث كبير في معهد مستقبل الإنسانية بجامعة أكسفورد، إجمالي الخطر الوجودي الناجم عن الذكاء الاصطناعي غير المحاذي خلال المئة عام القادمة بحوالي واحد من كل عشرة.

 مشككة 

في عام 2015، صرّح أندرو إنغ نائب رئيس شركة بايدو، بأن المخاطر الوجودية للذكاء الاصطناعي تشبه القلق من اكتظاظ المريخ قبل أن تطأه قدم الإنسان. ويتطلب تحقق خطر الذكاء الاصطناعي المتقدم أن يكون هذا الذكاء قادرًا على التفوق على البشر، وهو ما يراه بعض الخبراء أمرًا بعيد المنال بحيث لا يستحق القلق حاليًا.

يشير المشككون في قرب تحقق الذكاء الاصطناعي العام إلى أن القلق من مخاطره الوجودية قد يحوّل الانتباه عن قضايا أكثر إلحاحًا، أو يؤدي إلى تنظيم حكومي يُعيق البحث، أو يضر بسمعة هذا المجال. كما يرى باحثو أخلاقيات الذكاء الاصطناعي، مثل تيمنيت جيبرو، وإميلي إم. بيندر، أن التركيز على المخاطر الوجودية يصرف النظر عن الأضرار الحالية، مثل سرقة البيانات واستغلال العمال والتحيز. ويشيرون إلى ارتباط هذا الخوف بأيديولوجية "رؤية طويلة الأمد" التي يصفونها بأنها غير علمية. وذكرت غبرو وإميل ب. توريس أن الاهتمام المفرط بالذكاء الاصطناعي العام يأتي في إطار نمط حركات فكرية تسمى "تيسكريل".

يرى كيفن كيلي المحرر في مجلة وايرد، أن الذكاء الطبيعي أكثر تعقيدًا مما يظنه مؤيدو الذكاء الاصطناعي العام، مشيرًا إلى أن الذكاء وحده لا يكفي لتحقيق تقدم علمي ومجتمعي، ومؤكدًا على أهمية التجارب العملية في المنهج العلمي. أما يان ليكون كبير علماء الذكاء الاصطناعي في شركة ميتا، فيرى أنه يمكن ضمان أمان الذكاء الاصطناعي عبر التكرير التدريجي، مشبّهًا ذلك بتطور السيارات والصواريخ، ومشيرًا إلى أن الذكاء الاصطناعي لن يسعى للسيطرة. ويؤكد بعض المشككين على الفوائد القصيرة الأجل للذكاء الاصطناعي؛ حيث يعتقد مارك زوكربيرغ، الرئيس التنفيذي لشركة ميتا، أن الذكاء الاصطناعي سيفتح آفاقًا إيجابية عديدة، مثل علاج الأمراض وزيادة أمان السيارات ذاتية القيادة.

 ردود فعل شائعة 

في مقابلة أجريت عام 2016 مع الرئيس باراك أوباما وجوي إيتو من مختبر الوسائط بمعهد ماساتشوستس للتكنولوجيا ونشرت في مجلة وايرد، صرح إيتو بأن البعض يتوقع تحقيق ذكاء اصطناعي شامل خلال العقد القادم، ولكنه يرى أن هذا يتطلب قفزات نوعية متعددة يصعب التنبؤ بموعد حدوثها. وأضاف أوباما مازحًا أنه يكفي قطع التيار الكهربائي عن النظام في اللحظات الحاسمة لتجنب أي مخاطر محتملة.

من جانبها، حذرت هيلاري كلينتون من أن خبراء التكنولوجيا يرون في الذكاء الاصطناعي تهديدًا وجوديًا. وقد وصفه إيلون ماسك بأنه أخطر تهديد تواجهه الحضارة. وأشارت كلينتون إلى أن زيارتها لوادي السيليكون زادت من قلقها حيال هذا الأمر، لدرجة أن موظفيها كانوا يخشون من ذكر موضوع "صعود الروبوتات" في خطاباتها الانتخابية. ودعت صناع القرار إلى مواكبة التطورات التكنولوجية بدلًا من محاولة اللحاق بها.

 استطلاعات الرأي العام 
في استطلاع للرأي أجراه موقع "سيرفي مونكي" عام 2018 بالتعاون مع صحيفة يو إس إيه توداي، تبين أن 68% من الجمهور الأمريكي يرون أن "الذكاء البشري" لا يزال يشكل التهديد الأكبر في الوقت الراهن. مع ذلك أظهر الاستطلاع نفسه أن 43% يعتقدون أن تطوير ذكاء اصطناعي يفوق الذكاء البشري سيؤدي إلى "أضرار تفوق الفوائد"، بينما رأى 38% أنه سيؤدي إلى "قدر متساوٍ من الضرر والخير".

وفي استطلاع آخر أجراه موقع يوجوف في أبريل 2023، شمل بالغين أمريكيين، أبدى 46% من المشاركين "قلقًا إلى حد ما" أو "قلقًا شديدًا" بشأن "إمكانية أن يقضي الذكاء الاصطناعي على الجنس البشري"، مقارنة بـ 40% عبروا عن "عدم قلق شديد" أو "عدم قلق على الإطلاق".

وبحسب استطلاع أجرته مراكز بيو للأبحاث في أغسطس 2023، شعر 52% من الأمريكيين بـ "مزيد من القلق" مقارنة بـ "الإثارة" إزاء التطورات الحديثة في مجال الذكاء الاصطناعي؛ وشعر ما يقرب من الثلث بـ "القلق والإثارة" معًا. ورغم ذلك، يرى أغلبية الأمريكيين أن للذكاء الاصطناعي تأثيرات إيجابية تفوق سلبية في مجالات عديدة، مثل الرعاية الصحية وسلامة المركبات والبحث عن المنتجات وخدمة العملاء. والاستثناء الوحيد البارز هو مسألة الخصوصية، حيث يعتقد 53% من الأمريكيين أن الذكاء الاصطناعي سيؤدي إلى زيادة تعرضهم للاختراق.

 التخفيف 

يُعتقد على نطاق واسع بين الباحثين المهتمين بالمخاطر الوجودية للذكاء الاصطناعي العام أن إجراء أبحاث مكثفة في "مشكلة التحكم" أمر بالغ الأهمية. تتمثل هذه المشكلة في تحديد الضمانات أو الخوارزميات أو الهياكل المعمارية التي يمكن تنفيذها لزيادة احتمال بقاء الذكاء الاصطناعي المتطور بشكل متكرر وديًا بعد بلوغه مستوى الذكاء الفائق. وقد اقترحت تدابير اجتماعية للتخفيف من مخاطر الذكاء الاصطناعي العام، مثل "معاهدة الذكاء الاصطناعي العام الخيرة" التي ترعاها الأمم المتحدة لضمان عدم إنشاء سوى الذكاء الاصطناعي العام الخيري فقط. بالإضافة إلى ذلك، تم اقتراح نهج مراقبة الأسلحة ومعاهدة سلام عالمية تستند إلى نظرية العلاقات الدولية، والتي يمكن أن يكون الذكاء الاصطناعي الفائق طرفًا فيها..

اقترح باحثون في جوجل إجراء أبحاث في قضايا "سلامة الذكاء الاصطناعي" العامة للتخفيف من المخاطر قصيرة المدى للذكاء الاصطناعي الضيق والمخاطر طويلة المدى للذكاء الاصطناعي العام في الوقت نفسه.Amodei, Dario, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman, and Dan Mané. "Concrete problems in AI safety." arXiv preprint arXiv:1606.06565 (2016). ويقدر أحد التقديرات لعام 2020 أن الإنفاق العالمي على المخاطر الوجودية للذكاء الاصطناعي يتراوح بين 10 و50 مليون دولار، مقارنة بالإنفاق العالمي على الذكاء الاصطناعي الذي يبلغ حوالي 40 مليار دولار. يقترح باستروم إعطاء الأولوية لتمويل التقنيات الوقائية على تلك التي قد تكون خطرة. يدعو البعض، مثل إيلون ماسك، إلى تعزيز إدراك الإنسان بشكل جذري، مثل الربط العصبي المباشر بين البشر والآلات؛ بينما يجادل آخرون بأن هذه التقنيات قد تشكل خطرًا وجوديًا بحد ذاتها. وتتمثل إحدى الطرق المقترحة في مراقبة الذكاء الاصطناعي في مرحلة مبكرة أو "حجزه" لمنعه من أن يصبح قويًا جدًا. وقد يخفف الذكاء الاصطناعي الفائق المهيمن والمتوافق من المخاطر الناجمة عن الذكاء الاصطناعي المنافس، على الرغم من أن إنشائه قد يشكل مخاطر وجودية بحد ذاتها. وقد تم اقتراح النسيان المستحث كطريقة للتخفيف من مخاطر المعاناة والانتقام المحتملين للذكاء الاصطناعي.

تشارك مؤسسات مثل مركز أبحاث المحاذاة،  ومعهد أبحاث الذكاء الآلي،  ومعهد مستقبل الحياة،  ومركز دراسة المخاطر الوجودية، ومركز الذكاء الاصطناعي المتوافق مع الإنسان، بنشاط في البحث في مخاطر الذكاء الاصطناعي وسلامته.

 آراء حول الحظر والتنظيم 
 الحظر 
أشار بعض الباحثين إلى أن السعي إلى حظر الأبحاث المتعلقة بالذكاء الاصطناعي، حتى بافتراض أن الذكاء الاصطناعي العام يشكل تهديدًا وجوديًا، يظل أمرًا غير حكيم وقد يكون عقيمًا. ويُبدي المنتقدون لهذا الرأي تحفظات على فكرة تنظيم الذكاء الاصطناعي، معتبرين أن الحديث عن خطر وجودي ما هو إلا مبالغة. في المقابل يؤكد المؤيدون لوجود هذا الخطر على أن الاعتماد على أصحاب المصلحة في هذا المجال لتنظيم الأبحاث أمر غير مجدٍ، بالنظر إلى تضارب المصالح. ويتفق الطرفان على أن حظر الأبحاث سيكون له عواقب عكسية، إذ قد يدفع الباحثين إلى نقل أنشطتهم إلى أماكن أخرى أو إجرائها بشكل سري. وتتعدد التحديات التي تواجه تنظيم الذكاء الاصطناعي، من بينها الشكوك التي يكنها رواد الأعمال التكنولوجيون تجاه التدخل الحكومي، والحوافز التي قد تدفع الشركات إلى مقاومة التنظيم، فضلًا عن تسييس النقاش الدائر حول هذا الموضوع.

 التنظيم 

في شهر مارس من عام 2023 صاغ معهد مستقبل الحياة وثيقةً عُرفت باسم "وقف التجارب العملاقة في مجال الذكاء الاصطناعي: رسالة مفتوحة". دعت هذه الرسالة كبار مطوري الذكاء الاصطناعي إلى التوقف المؤقت لمدة ستة أشهر عن تطوير أي نظام يتفوق ذكاؤه على نظام "جي بي تي-4"، وذلك بهدف وضع إطار عمل يضمن سلامة هذه التقنيات. وفي حال فشل هذا الطلب، دعت الرسالة الحكومات إلى التدخل بفرض وقف مؤقت. أشارت الرسالة إلى أن هذه التقنيات قد تؤدي إلى "تغيير عميق في تاريخ الحياة على الأرض"، وحذرت من مخاطر محتملة تتمثل في انتشار الدعاية المولدة بواسطة الذكاء الاصطناعي، وفقدان الوظائف، وتقليص دور الإنسان في المجتمع، وفقدان السيطرة على المستوى الاجتماعي. وقد وقع هذه الرسالة عدد من الشخصيات البارزة في مجال الذكاء الاصطناعي، إلا أنها تعرضت لانتقادات عدة. من هذه الانتقادات التركيز المفرط على المخاطر المستقبلية دون الاهتمام بالأضرار الحالية للذكاء الاصطناعي، وعدم تحديد الفترة الزمنية المحددة لوقف التطوير بشكل دقيق، وعدم الذهاب إلى أبعد من ذلك في المطالب.

دعا ماسك في مطلع عام 2017 إلى نوع من التنظيم المبكر لتطوير الذكاء الاصطناعي. وبحسب الإذاعة الوطنية العامة فإنه "ليس في حالة ارتياح على الإطلاق" إزاء الدعوة إلى رقابة حكومية قد تؤثر على صناعته الخاصة، إلا أنه يعتقد أن مخاطر الاستمرار دون أي ضوابط مرتفعة للغاية. وقد صرح قائلًا: "عادةً ما تُسنّ اللوائح بعد وقوع الكثير من الأحداث السلبية، ثم يرتفع الصراخ العام، وبعد سنوات عديدة يتم إنشاء وكالة تنظيمية لتلك الصناعة. هذه العملية تستغرق وقتًا طويلاً، وكانت في الماضي أمرًا سيئًا، ولكنها لم تكن تشكل خطرًا وجوديًا على الحضارة". يرى ماسك أن الخطوة الأولى ينبغي أن تتمثل في حصول الحكومة على "نظرة ثاقبة" حول الوضع الراهن للبحوث الجارية في هذا المجال، محذرًا من أن "الناس سيصابون بالخوف الشديد بمجرد أن يصبحوا على دراية بالأمر... كما ينبغي أن يكونوا". ردًا على ذلك، أعرب السياسيون عن شكوكهم حول حكمة تنظيم تكنولوجيا لا تزال قيد التطوير.

في عام 2021 دار نقاشٌ مُكثفٌ في الأمم المتحدة حول حظر الأسلحة الفتّاكة المستقلّة، إلا أنه لم يُتَوصل إلى توافقٍ في الآراء بين الدول الأعضاء. وفي يوليو 2023 عقد مجلس الأمن التابع للأمم المتحدة، لأول مرة، جلسةً خصّصها لبحث المخاطر والتهديدات التي يمثلها الذكاء الاصطناعي على السلم والاستقرار الدوليين، إلى جانب فوائده المحتملة. وقد دعا الأمين العام للأمم المتحدة، أنطونيو غوتيريش، إلى إنشاء هيئةٍ عالميةٍ رقابيةٍ للإشراف على التكنولوجيات الناشئة، محذرًا من المخاطر الجسيمة التي قد تنجم عن الذكاء الاصطناعي التوليدي، والتي قد تهدد الوجود البشري. وفي جلسة مجلس الأمن، أبدت روسيا تحفظاتها على اعتبار الذكاء الاصطناعي تهديدًا حقيقيًا للاستقرار العالمي، معتبرة أن مخاطره غير مفهومة بشكلٍ كافٍ. ومن جانبها، عارضت الصين فرض لوائح عالميةٍ صارمةٍ على الذكاء الاصطناعي، مؤكدة على حق الدول في وضع قوانينها الخاصة بهذا الشأن، مع الإعراب عن رفضها لاستخدام الذكاء الاصطناعي لفرض الهيمنة العسكرية أو تقويض سيادة الدول الأخرى.

ينصبّ تركيز تنظيم الذكاء الاصطناعي الواعي على اندماجه في النسيج المجتمعي البشري القائم، ويمكن تقسيمه إلى شقين رئيسيين: الأول يرتبط بمركزه القانوني، والثاني يتعلق بحقوقه الأخلاقية. ومن المحتمل أن تتطلب مراقبة الأسلحة التي تعمل بالذكاء الاصطناعي ترسيخ معايير دولية جديدة تجسدها مواصفات تقنية فعالة، إلى جانب متابعة نشطة ودبلوماسية غير رسمية من قِبل خبراء المجال، فضلًا عن آليات تحقق قانونية وسياسية.

في يوليو من عام 2023، تمكنت الحكومة الأمريكية من الحصول على التزامات أمنية طوعية من كبرى شركات التكنولوجيا، من قبيل أوبن أيه آي، وأمازون، وجوجل، وميتا، ومايكروسوفت. وقد وافقت هذه الشركات على تنفيذ ضمانات تشمل الرقابة الخارجية واختبارات أمنية تجريها جهات مستقلة، وذلك بهدف معالجة المخاوف المتعلقة بالمخاطر المحتملة للذكاء الاصطناعي وآثاره السلبية على المجتمع. وقد صاغ الأطراف هذه الالتزامات على أنها مرحلة انتقالية ريثما يتم وضع الأطر التنظيمية اللازمة. وفي هذا السياق، صرحت أمبا كاك، المديرة التنفيذية لمعهد "أيه آي ناو" بأن "المشاورات المغلقة مع أصحاب المصلحة في الشركات والتي تؤدي إلى ضمانات طوعية ليست كافية"، ودعت إلى إجراء مشاورات عامة ووضع لوائح من شأنها أن لا توافق عليها الشركات طواعية.

وفي أكتوبر من عام 2023، أصدر الرئيس الأمريكي جو بايدن أمرًا تنفيذيًا بشأن "التطوير والاستخدام الآمن والموثوق للذكاء الاصطناعي". وبالإضافة إلى متطلبات أخرى، يفرض هذا الأمر وضع مبادئ توجيهية لأنظمة الذكاء الاصطناعي تمنع من "التحايل على السيطرة البشرية".

 المخاطر 

 أهداف محددة بشكل سيئ (كن حذرًا لما تريده) 
1. صعوبة تعديل الأجهزة بعد إطلاقها.
2. النقطة الأساسية: هل أجهزة الذكاء الاصطناعي تتجاهلنا؟
هناك أهداف يسعى أي جهاز ذكاء اصطناعي إليها مثل الموارد الإضافية أو الحفاظ على الذات، وتلك مشكلة لأنها قد تجعل هذه الأجهزة في منافسة مع البشر.
3. هل الذكاء الاصطناعي سيزيد من الأخلاق؟
أحد الاعتقادات الشائعة هو أن البرامج فائقة الذكاء خاضعة للإنسان، أو بشكلٍ أدق أنه سيتعلم الأخلاق والقيم من الإنسان، ومع ذلك فإن "orthogonality thesis" التي وضعها نيست بوستروم تناقض ذلك، وتقول بأنه مع بعض التحذيرات التقنية يمكن دمج أي مستوى من الذكاء والتطور إلى حد ما مع الهدف النهائي، مما يعني أنه لا توجد قواعد أخلاقية ستمنعها من تحقيق هدفها الذي برمجت من أجله، ويحذر من أن أجهزة الذكاء الاصطناعي لا تعطي اعتبارًا لوجود أو رفاهية البشر حولها بل تهتم فقط بالانتهاء من المهمة.

 الإجماع والنظام 
هناك اتفاق عالمي يجمع على أن منع البحث في مجال الذكاء الاصطناعي قرار عقيم، يقول البعض إنه لا يوجد خطر على البشرية، في حين يتفق معظم العلماء على وجود الخطر، ولكنهم يتفقون على أن منع البحث في هذا المجال قرار لا يمت للصواب بصلة.

 المنظمات 
هناك مؤسسات مثل معهد أبحاث استخبارات الآلات، ومعهد المستقبل للإنسانية، ومعهد المستقبل للحياة، ومركز دراسة المخاطر الوجودية، ومركز منظمة الذكاء الاصطناعي المتوافق مع الإنسان في التخفيف من المخاطر الوجودية للذكاء الاصطناعي المتقدم.

 انظر أيضًا 

 الاستناد على احتمالية الوقوع
 مشكلة التحكم في الذكاء الاصطناعي
 سلامة الذكاء الاصطناعي
 كثيب (فرنشايز)
 إيثار فعال
 غراي غو
 فلسفة الذكاء الاصطناعي
 تفرد تقني

 مراجع 

*
تصنيف:انقراض البشر
تصنيف:سلامة الذكاء الاصطناعي
تصنيف:سيناريوهات نهاية العالم
تصنيف:علوم المستقبل
تصنيف:مخاطر النقانة
تصنيف:مشاكل مستقبلية