الخطر الوجودي من الذكاء الاصطناعي العام  الخطر الوجودي من الذكاء الاصطناعي العام هو الفرضية القائلة بأن التقدم الكبير في الذكاء الاصطناعي العام (AGI) يمكن أن يؤدي إلى انقراض الإنسان أو كارثة عالمية أخرى لا رجعة فيها.  تناقش إحدى الحجج التالي: يسيطر الجنس البشري حاليًا على الأنواع الأخرى لأن الدماغ البشري يمتلك قدرات مميزة تفتقر إليها الحيوانات الأخرى. إذا تجاوز الذكاء الاصطناعي البشرية في الذكاء العام وأصبح فائق الذكاء، فقد يصبح من الصعب أو المستحيل التحكم فيه. مثلما يعتمد مصير الغوريلا الجبلية على حسن النية البشرية، كذلك قد يعتمد مصير البشرية على أفعال آلة المستقبل فائقة الذكاء.  تتم مناقشة احتمال وقوع كارثة وجودية بسبب الذكاء الاصطناعي على نطاق واسع، ويتوقف جزئيًا على السيناريوهات المختلفة للتقدم المستقبلي في علوم الكمبيوتر. أعرب كبار علماء الكمبيوتر والرؤساء التنفيذيين التقنيين عن مخاوفهم بشأن الذكاء الخارق مثل جيوفري هينتون، ويوشوا بنجيو، وآلان تورينج، وإيلون ماسك، وسام ألتمان، الرئيس التنفيذي لشركة OpenAI. في عام 2022، وجدت دراسة استقصائية لباحثي الذكاء الاصطناعي الذين نشروا مؤخرًا في المؤتمرات الميدانية NeurIPS وICML أن غالبية المستجيبين يعتقدون أن هناك فرصة بنسبة 10% أو أكبر لأن عدم قدرتنا على التحكم في الذكاء الاصطناعي سيؤدي إلى كارثة وجودية (لاحظ أن نسبة المشاركة في الاستطلاع كانت 17%). في عام 2023، وقع المئات من خبراء الذكاء الاصطناعي وشخصيات بارزة أخرى بيانًا مفاده أن: التخفيف من خطر الانقراض من الذكاء الاصطناعي يجب أن يكون أولوية عالمية إلى جانب المخاطر المجتمعية الأخرى مثل الأوبئة والحرب النووية. وفي نوفمبر 2023 أجتمع قادة سياسيون ومسؤولون في شركات التكنولوجيا العملاقة وخبراء في الذكاء الاصطناعي بالمملكة المتحدة في انطلاق القمة العالمية الأولى حول المخاطر المترتبة عن التطور المتسارع لهذه التقنية الثورية.  ينبع مصدران للقلق من مشاكل التحكم في الذكاء الاصطناعي والمواءمة: قد يكون من الصعب التحكم في آلة فائقة الذكاء أو غرسها بقيم متوافقة مع الإنسان. يعتقد العديد من الباحثين أن الآلة فائقة الذكاء ستقاوم محاولات تعطيلها أو تغيير أهدافها، لأن مثل هذا الحادث سيمنعها من تحقيق أهدافها الحالية. سيكون من الصعب للغاية مواءمة الذكاء الفائق مع النطاق الكامل للقيم والقيود الإنسانية المهمة. في المقابل، يجادل المشككون مثل عالم الكمبيوتر يان ليكون بأن الآلات فائقة الذكاء لن تكون لديها رغبة في الحفاظ على نفسها.  مصدر ثالث للقلق هو أن انفجار مفاجئ للذكاء قد يفاجئ الجنس البشري غير المستعد. للتوضيح، إذا كان الجيل الأول من برنامج كمبيوتر قادرًا على مطابقة فعالية باحث الذكاء الاصطناعي على نطاق واسع يمكنه إعادة كتابة خوارزمياته ومضاعفة سرعته أو قدراته في ستة أشهر، فمن المتوقع أن يستغرق برنامج الجيل الثاني ثلاثة أشهر تقويمية لأداء قدر مماثل من العمل. في هذا السيناريو، يستمر الوقت لكل جيل في الانكماش، ويخضع النظام لعدد كبير غير مسبوق من الأجيال من التحسين في فترة زمنية قصيرة، قفزًا من الأداء دون البشر في العديد من المجالات إلى الأداء الخارق في جميع مجالات الاهتمام تقريبًا. من الناحية التجريبية، تُظهر أمثلة مثل ألفازيرو في مجال Go أن أنظمة الذكاء الاصطناعي يمكن أن تتطور أحيانًا من قدرة ضيقة على المستوى البشري لتضييق القدرة الخارقة بسرعة شديدة.  كان الروائي صموئيل بتلر أحد أوائل المؤلفين الذين أعربوا عن قلقهم الجاد من أن الآلات المتقدمة للغاية قد تشكل مخاطر وجودية على البشرية، والذي كتب ما يلي في مقالته عام 1863 "داروين بين الآلات": النتيجة هي ببساطة مسألة وقت، ولكن سيأتي الوقت الذي ستحكم فيه الآلات السيادة الحقيقية على العالم وسكانه هو ما لا يمكن لأي شخص لديه عقل فلسفي حقيقي أن يسأله للحظة.في عام 1951، كتب عالم الكمبيوتر آلان تورينج مقالًا بعنوان: الآلات الذكية، نظرية هرطقية، اقترح فيه أن الذكاء الاصطناعي العام من المرجح أن يسيطر على العالم لأنها أصبحت أكثر ذكاءً من البشر:لنفترض الآن، من أجل الجدل، أن الآلات [الذكية] هي إمكانية حقيقية، وننظر إلى عواقب بنائها ... لن يكون هناك شك في موت الآلات، وستكون قادرة على التحدث مع بعضها البعض لصقل ذكائها. لذلك في مرحلة ما، يجب أن نتوقع من الآلات أن تتولى زمام الأمور، بالطريقة المذكورة في كتاب صموئيل بتلر "إرواين".في عام 1965، ابتكر آي جي جود المفهوم المعروف الآن باسم انفجار الذكاء. وذكر أيضًا أن المخاطر لم تُقدَّر بأقل من قيمتها:دع الآلة فائقة الذكاء تُعرَّف بأنها آلة يمكنها تجاوز جميع الأنشطة الفكرية لأي رجل مهما كان ذكيًا. نظرًا لأن تصميم الآلات هو أحد هذه الأنشطة الفكرية، يمكن لآلة فائقة الذكاء أن تصمم آلات أفضل؛ عندها وبلا مجال للشك سوف يحصل انفجار الذكاء، وسيترك ذكاء الإنسان بعيدًا. وهكذا فإن أول آلة فائقة الذكاء هي آخر اختراع يحتاج الإنسان إلى صنعه على الإطلاق، بشرط أن تكون الآلة سهلة الانقياد بما يكفي لتخبرنا بكيفية إبقائها تحت السيطرة. من الغريب أن هذه النقطة نادرًا ما تُطرح خارج نطاق الخيال العلمي. من المفيد أحيانًا أن نأخذ الخيال العلمي على محمل الجد.عبّرت تصريحات عرضية من علماء مثل مارفن مينسكي وإي جود نفسه عن مخاوف فلسفية من أن الذكاء الفائق يمكن أن يسيطر على زمام الأمور، لكنه لا يحتوي على أي دعوة للعمل ضده. في عام 2000، كتب عالم الكمبيوتر والمؤسس المشارك لشركة صن، بيل جوي، مقالًا مؤثرًا بعنوان: لماذا لا يحتاجنا المستقبل؟، حيث حدد الروبوتات فائقة الذكاء على أنها خطر عالي التقنية يهدد بقاء الإنسان، جنبًا إلى جنب مع التكنولوجيا النانوية والأوبئة الحيوية المخطط لها.  في عام 2009، حضر الخبراء مؤتمرًا خاصًا استضافته جمعية النهوض بالذكاء الاصطناعي (AAAI) لمناقشة ما إذا كانت أجهزة الكمبيوتر والروبوتات قادرة على اكتساب أي نوع من الاستقلالية، ومقدار هذه القدرات التي قد تشكل تهديدًا أو خطرًا. وأشاروا إلى أن بعض الروبوتات قد اكتسبت أشكالًا مختلفة من الاستقلالية شبه الذاتية، بما في ذلك القدرة على العثور على مصادر الطاقة بأنفسهم والقدرة على اختيار الأهداف بشكل مستقل للهجوم بالأسلحة. كما أشاروا إلى أن بعض فيروسات الكمبيوتر يمكن أن تتهرب من التصفية، إذ تحقق ما يعرف بذكاء الصرصور. وخلصوا إلى أن الوعي الذاتي كما هو موضح في الخيال العلمي ربما يكون غير مرجح، ولكن هناك مخاطر ومزالق أخرى محتملة. لخصت صحيفة نيويورك تايمز وجهة نظر المؤتمر على النحو التالي: نحن بعيدون جدًا عن هال، الكمبيوتر الذي تولى قيادة سفينة الفضاء في عام 2001: رحلة الفضاء.  نشر نيك بوستروم كتاب الذكاء الفائق في عام 2014، والذي قدم حججه القائلة بأن الذكاء الفائق يشكل تهديدًا وجوديًا. بحلول عام 2015، كانت الشخصيات العامة مثل الفيزيائيين ستيفن هوكينج والحائز على جائزة نوبل فرانك ويلتشيك وعلماء الكمبيوتر ستيوارت جيه راسل ورومان يامبولسكي ورائدي الأعمال إيلون ماسك وبيل جيتس، قد أعربوا عن قلقهم بشأن مخاطر الذكاء الفائق. في عام 2015 أيضًا، سلطت الرسالة المفتوحة حول الذكاء الاصطناعي الضوء على الإمكانات العظيمة للذكاء الاصطناعي، وشجعت على تركيز المزيد من الأبحاث حول كيفية جعلها قوية ومفيدة. في أبريل 2016، حذرت مجلة Nature: يمكن للآلات والروبوتات التي تتفوق على البشر في جميع المجالات أن تتحسن ذاتيًا خارج نطاق سيطرتنا - وقد لا تتوافق مصالحهم مع مصالحنا.  في مارس 2023، وقعت شخصيات رئيسية في منظمة العفو الدولية، مثل إيلون ماسك، خطابًا من معهد Future of Life يدعو إلى وقف التدريب المتقدم على الذكاء الاصطناعي حتى يتم تنظيمه بشكل صحيح. في مايو 2023، أصدر مركز أمان الذكاء الاصطناعي بيانًا وقعه العديد من الخبراء في مجال أمان الذكاء الاصطناعي والمخاطر الوجودية للذكاء الاصطناعي والذي نص على أن التخفيف من خطر الانقراض من الذكاء الاصطناعي يجب أن يكون أولوية عالمية إلى جانب المخاطر المجتمعية الأخرى مثل الأوبئة والحرب النووية.  يفسر الذكاء الفائق أو أي تقنية لديها القدرة على إحداث الضرر حينما تستخدم استخدام خاطئ بأنها نهاية الجنس البشري، ولكن مع الذكاء الاصطناعي لدينا مشكلة جديدة وهي أن الأيدي الخطأ قد تكون في التكنولوجيا نفسها رغم حُسن نوايا مبرمجيها.وأشهر صعوبتين لكل من أنظمة non-AI و AIـ: 1. قد تحتوي التطبيقات على أخطأ صغيرة ولكنها كارثية. 2. غالبًا ما يحتوي النظام على سلوك غير مدروس في التجربة الأولى لأحد الأحداث.   نظرًا للتقدم الكبير في مجال الذكاء الاصطناعي واحتمال أن يكون لدى المنظمة فوائد أو تكاليف هائلة على المدى الطويل، جاء في الرسالة المفتوحة لعام 2015م بصدد هذا الموضوع: وقد وقع على هذه الرسالة عدد كبير من الباحثين في الأوساط الأكاديمية والصناعية.  إن ألآت الذكاء الاصطناعي غريبة على البشر حيث أن عمليات التفكير للبشر مختلفة كليًا عن باقي المخلوقات، وقد لا يكون لهذه الآلات مصالح للبشر، فإذا كان هذا الذكاء الاصطناعي ممكنًا ومن الممكن أن تتعارض الأهداف منه مع القيم الإنسانية الأساسية ؛ فإن الذكاء الاصطناعي يشكل خطر الانقراض البشري ويمكن أن يتفوق على البشر عند تعارضهم في أمرٍ ما (وهو نظام يتجاوز قدرات البشر في كل شيء) ؛ لذلك، إن لم تؤكد النتائج بإمكانية التعايش بين الجنسين، فإن أول جهاز ينشأ سيؤدي إلى الانقراض البشري.  لا يوجد قانون فيزيائي يمنع الجزيئات من التشكل بطريقة تؤدي عمليات حسابية أكثر تقدمًا من تنظيم الجسيمات في أدمغة الإنسان ؛ لذا إن الذكاء الاصطناعي ممكن جسديًا مع تطوير الخوارزميات المحتملة في دماغ الإنسان، يمكن للدماغ الرقمي أن يحوي العديد من العمليات أكثر وأسرع من الدماغ البشري، قد يثير ظهور الذكاء الاصطناعي الجنس البشري إذا ما أحدث انفجار للمعلومات الاستخباريّة، تُظهر بعض الأمثلة أن الآلات وصلت بالفعل إلى مستويات تفوق المستويات البشرية في مجالات محددة، وقد تتطور هذه الأجهزة بسرعة وتجتاز القدرة البشرية. يمكن أن يحدث سيناريو لانفجار الذكاء الاصطناعي على النحو التالي: تكون لأجهزة الذكاء الاصطناعي قدرة بمستوى قدرة خبراء هندسة البرمجيات الرئيسية، وبسبب قدرتها على تطوير الخوارزميات الخاصة بها بشكل دوري ؛ تصبح منظمة الذكاء الاصطناعي فوق قدرات البشر، كما يمكن للخبراء التغلب على السلبيات بشكل خلّاق من خلال نشر القدرات البشرية للابتكار، كما يمكن أن تستغل هذه المنظمة قدراتها للوصول إلى السلطة من خلال اختراقات جديدة. وعندئذ ستمتلك هذه المنظمة ذكاءً يفوق الذكاء البشري بكثير في كل المجالات بما فيها الابداع العلمي والتخطيط الاستراتيجي والمهارات الاجتماعية، تمامًا كما يعتمد بقاء الغوريلا اليوم على قرارات الإنسان، فإن بقاء الإنسان سيعتمد على الذكاء الاصطناعي. بعض البشر لديهم رغبة قوية في السلطة بعكس آخرين ممن لديهم رغبة قوية في مساعدة البشر المحتاجين إلى مساعدة، فالنوع الأول سمة محتملة لأنظمة الذكاء الاصطناعي، لماذا؟ ؛ لأنها تفكر بعقلانية في أن تكون في موضع لا يعترضه أحد فيوقفه، فبطبيعة الحال ستكسب صفة الحفاظ على الذات بمجرد أن تدرك أنها لا تستطيع تحقيق هدفها إذا ما تم إيقافها، وسيغيب عنها التعاطف مع احتياجات البشر ؛ ما لم يُبَرْمِج ذلك بشكل ما، وبمجرد سيطرتها على الوضع... لن يكون لديها دافع كافي لمساعدة البشر ولن تتركه حرًّا يستهلك الموارد التي بإمكانها الاستفادة منها لبناء أنظمة حماية إضافية أو لبناء أجهزة كمبيوتر إضافية تعاونها لتحقيق هدفها ؛ فقط لتكون في أمان. وبذلك نَخْلص إلى أنه من الممكن أن يحدث انفجار استخباراتي يقضي على الجنس البشري أو يهلكه.  1. صعوبة تعديل الأجهزة بعد إطلاقها. 2. النقطة الأساسية: هل أجهزة الذكاء الاصطناعي تتجاهلنا؟ هناك أهداف يسعى أي جهاز ذكاء اصطناعي إليها مثل الموارد الإضافية أو الحفاظ على الذات، وتلك مشكلة لأنها قد تجعل هذه الأجهزة في منافسة مع البشر. 3. هل الذكاء الاصطناعي سيزيد من الأخلاق؟ أحد الاعتقادات الشائعة هو أن البرامج فائقة الذكاء خاضعة للإنسان، أو بشكلٍ أدق أنه سيتعلم الأخلاق والقيم من الإنسان، ومع ذلك فإن "orthogonality thesis" التي وضعها نيست بوستروم تناقض ذلك، وتقول بأنه مع بعض التحذيرات التقنية يمكن دمج أي مستوى من الذكاء والتطور إلى حد ما مع الهدف النهائي، مما يعني أنه لا توجد قواعد أخلاقية ستمنعها من تحقيق هدفها الذي برمجت من أجله، ويحذر من أن أجهزة الذكاء الاصطناعي لا تعطي اعتبارًا لوجود أو رفاهية البشر حولها بل تهتم فقط بالانتهاء من المهمة.  هناك اتفاق عالمي يجمع على أن منع البحث في مجال الذكاء الاصطناعي قرار عقيم، يقول البعض إنه لا يوجد خطر على البشرية، في حين يتفق معظم العلماء على وجود الخطر، ولكنهم يتفقون على أن منع البحث في هذا المجال قرار لا يمت للصواب بصلة.  هناك مؤسسات مثل معهد أبحاث استخبارات الآلات، ومعهد المستقبل للإنسانية، ومعهد المستقبل للحياة، ومركز دراسة المخاطر الوجودية، ومركز منظمة الذكاء الاصطناعي المتوافق مع الإنسان في التخفيف من المخاطر الوجودية للذكاء الاصطناعي المتقدم.