سلامة الذكاء الاصطناعي  يُعد سلامة الذكاء الاصطناعي مجال متعدد التخصصات يهتم بمنع الحوادث وسوء الاستخدام والعواقب الضارة الأخرى التي يمكن أن تنتج عن أنظمة الذكاء الاصطناعي. يشمل المصطلح الأخلاقيات الآلية ومشكلة التحكم في الذكاء الاصطناعي، التي تهدف إلى جعل أنظمة الذكاء الاصطناعي أخلاقية ومفيدة. كما يشمل مجال سلامة الذكاء الاصطناعي المشاكل التقنية كمراقبة الأنظمة بحثًا عن المخاطر وجعلها عالية الموثوقية. يشمل ذلك أيضًا تطوير الأسس والسياسات التي تعزز السلامة.  تبنى باحثو الذكاء الاصطناعي آراء مختلفة إزاء خطورة التكنولوجيا الحالية والمصادر الرئيسية للمخاطر، رغم إشارة الاستطلاعات إلى أن الخبراء يأخذون المخاطر ذات العواقب الوخيمة على محمل الجد. كان متوسط المشاركين متفائلًا بشأن الذكاء الاصطناعي عمومًا، في استطلاعين لباحثي الذكاء الاصطناعي، ولكنهم وضعوا احتمالية 5% لعواقب «سيئة للغاية (كانقراض الإنسان)» للذكاء الاصطناعي المتقدم. وافق 37%، أو قبلوا على مضض، في استطلاع لمجتمع معالجة اللغة الطبيعي لعام 2022، أنه من الممكن أن تؤدي قرارات الذكاء الاصطناعي إلى كارثة «كالحرب النووية الشاملة على أقل تقدير». يناقش العلماء المخاطر الحالية من فشل الأنظمة الحيوية، والانحياز، والمراقبة بسبل الذكاء الاصطناعي، والمخاطر الناشئة من البطالة التقنية، والتلاعب الرقمي، والتسليح، والمخاطر التقديرية جراء فقدان السيطرة على وكلاء الذكاء العام الاصطناعي.  انتقد بعض الناس المخاوف السائدة المتعلقة بالذكاء الاصطناعي، كالأستاذ المشارك في جامعة ستانفورد أندرو نج الذي قارنها بـ«القلق بشأن التعداد السكاني في المريخ بينما لم تطأ قدم الكوكب بعد». يحث آخرون كالأستاذ في جامعة كاليفورنيا في بركلي ستيوارت راسل على الحذر، مؤكدًا أن «من الأفضل استباق الإبداع البشري بدلًا بخسه قدره».  بدأت المخاطر المتعلقة بالذكاء الاصطناعي تناقش جديًا في بداية عصر المعلومات:«يجب أن نواجه، علاوة على ذلك، إذا تبنينا اتجاه صنع الآلات التي تتعلم ويُعدل سلوكها بالتجربة، حقيقة أن كل درجة من الاستقلالية التي نمنحها للآلة هي درجة من التحدي المحتمل لرغباتنا».ـــ نوربرت وينر 1949  كُلفت جمعية النهوض بالذكاء الاصطناعي، في الفترة منذ عام 2008 إلى 2009، بإجراء دراسة لاستكشاف ومعالجة الآثار الاجتماعية طويلة الأمد للأبحاث والتطوير في مجال الذكاء الاصطناعي. شككت اللجنة عمومًا في الآراء المتطرفة المعبر عنها من قبل كُتاب الخيال العلمي ولكنها اتفقت على أن «البحث الإضافي عن طرق فهم سلوك أنظمة الحوسبة المعقدة والتحقق منها سيكون ذا قيمة لتقليل النتائج غير المتوقعة».  قدم رومان يامبولسكي مصطلح «هندسة سلامة الذكاء الاصطناعي» في مؤتمر فلسفة ونظرية الذكاء الاصطناعي في عام 2011، مدرجًا الأخطاء السابقة لأنظمة الذكاء الاصطناعي» ومؤكدًا أن «تردد هذه الأحداث وحدتها في ازدياد بتحسن قدرات الذكاء الاصطناعي».  نشر الفيلسوف نيك بوستروم كتاب "الذكاء الفائق: مسارات ومخاطر واستراتيجيات". أثارت حجته التي تقول إن الأنظمة المتقدمة قد تشكل تهديدًا مستقبليًا لوجود الإنسان قلق إيلون ماسك وبيل غيتس وستيفن هوكينغ وعبروا عن قلق مماثل..  وقع العشرات من خبراء الذكاء الاصطناعي، عام 2015، على رسالة مفتوحة بشأن الذكاء الاصطناعي تدعو إلى البحث حول الآثار الاجتماعية للذكاء الاصطناعي وتحديد الاتجاهات العملية. وقع الرسالة حتى الآن أكثر من 8000 شخص، من بينهم يان ليكون، وشاين ليغ، ويوشوا بنجيو، وستيوارت راسل.  أسس مجموعة من الأكاديميين بقيادة الأستاذ ستيوارت راسل، في العام نفسه، مركز الذكاء الاصطناعي المتوافق مع الإنسان في جامعة كاليفورنيا في بيركلي، كما خصص معهد مستقبل الحياة 6.5 مليون دولار في صورة منحة للبحث الذي يهدف إلى «ضمان بقاء الذكاء الاصطناعي آمنًا وأخلاقيًا ومفيدًا».  أعلن مكتب السياسة العلمية والتكنولوجيا في البيت الأبيض وجامعة كارنيجي ميلون، في عام 2016، عن ورشة عمل عامة حول سلامة ومراقبة الذكاء الاصطناعي. كانت الورشة واحدة من سلسلة من أربع ورش عمل في البيت الأبيض تهدف إلى التحقيق في «المزايا والعيوب» في الذكاء الاصطناعي. نُشرت مشاكل الصلابة في سلامة الذكاء الاصطناعي في العام نفسه، وهي واحدة من أولى وأكثر أجندات سلامة الذكاء الاصطناعي التقنية تأثيرًا.  رعت مؤسسة مستقبل الحياة مؤتمر أسيلومار حول الذكاء الاصطناعي المفيد في عام 2017، إذ صاغ أكثر من 100 من قادة الفكر مبادئ للذكاء الاصطناعي المفيد، كـ«تجنب العرقية: يجب على الفرق التي تطور أنظمة الذكاء الاصطناعي التعاون لتجنب السهو عن معايير السلامة».  حدد فريق ديب مايند سيفتي في عام 2018، مشكلات سلامة الذكاء الاصطناعي وهي التعيين والصلابة والسلامة. نظم الباحثون ورشة عمل في العام التالي لتناول هذه المشكلات.  نُشر بحث معضلات غير محلولة في سلامة تعلم الآلة في عام 2021، إذ وضعت اتجاهات البحث في الصلابة والمراقبة والمواءمة والسلامة النظامية.  صرح ريشي سوناك في عام 2023، أنه يريد للمملكة المتحدة أن تكون «الموطن الجغرافي لتنظيم السلامة العالمي للذكاء الاصطناعي»، وأن تستضيف أول قمة عالمية حول سلامة الذكاء الاصطناعي.  تشمل مجالات البحث في سلامة الذكاء الاصطناعي الصلابة والمراقبة والمواءمة. تركز الصلابة على ضمان أن تتصرف الأنظمة بالطريقة المنشودة في مجموعة واسعة من المواقف المختلفة، وتشمل المشاكل الفرعية التالية:   يمكن أن تتسبب المدخلات النادرة في فشل أنظمة الذكاء الاصطناعي على نحو كارثي. تفاعلت أنظمة التداول الآلية مثلًا على نحو غير متوقع مع انحرافات السوق، في انهيار السوق السريع عام 2010، ما أدى إلى تدمير تريليون دولار من قيمة الأسهم في دقائق. يجب ملاحظة أنه لا يلزم تحول في التوزيع لحدوث ذلك. قد يحدث فشل البجع الأسود بسبب المدخلات طويلة الذيل، وهو الحال في الكثير من البيئات الحقيقية. لا تزال المركبات الذاتية تواجه صعوبة في حالات «الزوايا الصعبة» التي قد لا تظهر أثناء التدريب، فقد تتجاهل المركبة مثلًا علامة توقف تضيء بشكل شبكة إل إي دي. على الرغم من أن مثل هذه المشاكل قد تُحل بينما تطور أنظمة التعلم الآلي فهمًا أفضل للعالم، يشير بعض الباحثين إلى أن الناس نفسهم يعجزون عن التصدي لكل المشكلات، كوباء فيروس كورونا، مجادلًا أن الصلابة ضد البجع الأسود ستكون مشكلة سلامة مستمرة.  غالبًا ما تكون أنظمة الذكاء الاصطناعي عرضة للأمثلة العدوانية أو «المدخلات إلى نماذج التعلم الآلي والمصممة من قبل المهاجم لتسبب خطأ في النموذج». اكتشف زيجيدي وآخرون في عام 2013 أن إضافة تشويشات محددة لا يمكن اكتشافها إلى صورة قد يتسبب في تصنيفها على نحو خاطئ بثقة عالية. لا تزال هذه مشكلة في الشبكات العصبية، رغم أن الأعمال الأخيرة تشير إلى أن التشويشات عادة ما تكون كبيرة بما فيه الكفاية ليتسنى اكتشافها.  غالبًا ما ترتبط قوة العدائية بالأمان. أظهر الباحثون أنه يمكن تعديل إشارة الصوت على نحو غير ملحوظ حتى تتولى أنظمة تحويل الكلام إلى نص تحويلها إلى أي رسالة يختارها المهاجم. كما يجب أن تكون أنظمة كشف الاختراقات الشبكية والبرامج الضارة شديدة الصلابة ضد العدائية لأن المهاجمين قد يصممون هجماتهم لخداع مكتشفي الاختراقات.  يجب أن تكتسب النماذج التي تمثل الأهداف (نماذج المكافأة) صلابة ضد العدائية أيضًا. قد يقدر نموذج المكافأة مدى فائدة الرد النصي، وقد يُدرب نموذج اللغة على تحقيق أقصى درجات النجاح في هذه العملية. أظهر الباحثون أنه إذا دُرب نموذج اللغة لمدة كافية، فسوف يُستغل هذا النموذج سواء لتحقيق درجة أفضل أو أن يؤدي أداءً أسوأ في المهمة المقصودة. يمكن معالجة هذه المشكلة عن طريق تحسين الصلابة ضد العدائية لنموذج المكافأة. يجب أن تكتسب أنظمة الذكاء الاصطناعي المعنية بالتقييم صلابة ضد العدائية. كما يمكن أن يشمل ذلك أدوات المراقبة، إذ يتلاعب المهاجم بها أيضًا لإنتاج مكافأة أعلى.