ความเสี่ยงมหันตภัยทั่วโลก
แหล่งกำเนิดความเสี่ยง > ภัยจากมนุษย์ > ปัญญาประดิษฐ์

มีการเสนอว่า คอมพิวเตอร์ที่เรียนรู้ได้ ที่กลายเป็นสิ่งชาญฉลาดเหนือมนุษย์ (ซูเปอร์ฉลาด) อาจจะมีพฤติกรรมที่ไม่คาดฝัน หรือว่า มนุษย์อาจจะเก่งสู้หุ่นยนต์ไม่ได้ (ที่เรียกว่า technological singularity หรือภาวะเอกฐานทางเทคโนโลยี)
เพราะเหตุที่มันมีสมรรถภาพในการจัดลำดับและการจัดแจงอย่างยอดเยี่ยม และอาจสามารถพัฒนาเทคโนโลยีใหม่ ๆ ได้มากมาย
เป็นไปได้ว่า เครื่องคอมพ์ซูเปอร์ฉลาดเครื่องแรกของโลกที่ปรากฏ อาจจะกลายเป็นสิ่งฉลาดที่หาคู่แข่งไม่ได้
และสามารถคิดได้ว่า มันอาจจะสามารถทำเหตุเพื่อสร้างผลอะไรก็ได้
และสามารถที่จะป้องกันความพยายามของสิ่งอื่น ที่จะขัดขวางการถึงเป้าหมายของมัน
คือสามารถที่จะกำจัดคู่แข่งที่ชาญฉลาดถ้าเลือกที่จะทำ
หรืออาจจะจัดการหรือชักชวน ให้คู่แข่งเปลี่ยนพฤติกรรมเพื่อประโยชน์ของตน
หรืออาจจะเพียงขัดขวางความพยายามของผู้อื่น ที่จะมาแทรงแซงการกระทำของตน 
ในหนังสือ Superintelligence: Paths, Dangers, Strategies (สิ่งซูเปอร์ฉลาด แนวทาง ภัย และกลยุทธ์) ดร. บอสตรอม กำหนดปัญหาแบบนี้ว่า เป็นปัญหาในการควบคุม (control problem)
ศ. คณิตศาสตร์และนักเขียนรางวัลฮิวโก ดร. เวอร์นอน วินจ์ เสนอว่า จะมีวันหนึ่งที่คอมพิวเตอร์และหุ่นยนต์ จะฉลาดกว่ามนุษย์ เขาเรียกเหตุการณ์นี้ว่า "the Singularity (ภาวะเอกฐาน)" 
และเสนอว่า เหตุการณ์จะเป็นอันตรายหรือเป็นอันตรายอย่างยิ่งต่อมวลมนุษย์
ปัญหาเหล่านี้ เป็นประเด็นในระบบปรัชญาที่เรียกว่า Singularitarianism
นักฟิสิกส์ ดร. สตีเฟน ฮอว์คิง, ผู้จัดตั้งบริษัทไมโครซอฟท์ บิล เกตส์, และผู้จัดตั้งบริษัท SpaceX ล้วนแต่ได้แสดงความเป็นห่วง เกี่ยวกับความเป็นไปได้ว่า ปัญญาประดิษฐ์ (AI) อาจจะพัฒนาการไปจนกระทั่งมนุษย์ไม่สามารถควบคุมได้ ดร. ฮอว์คิงได้สันนิษฐานว่า นี้อาจจะเป็น "จุดจบของของมวลมนุษย์" 
ในปี ค.ศ. 2009 ผู้เชี่ยวชาญได้มางานประชุมจัดโดย Association for the Advancement of Artificial Intelligence (สมาคมเพื่อการพัฒนาปัญญาประดิษฐ์) เพื่อที่จะปรึกษากันว่า คอมพิวเตอร์และหุ่นยนต์ จะสามารถได้เป็นอิสระหรือไม่ และความสามารถเช่นนี้ จะเป็นภัยอันตรายมากน้อยแค่ไหน
พวกเขาตั้งข้อสังเกตว่า หุ่นยนต์ได้มีอิสรภาพโดยส่วนหนึ่งแล้ว
เช่นสามารถหาแหล่งพลังงานของตน และเลือกเป้าหมายในการโจมตีด้วยอาวุธ
และไวรัสคอมพิวเตอร์สามารถหลีกเลี่ยงการถูกกำจัด และฉลาดเท่ากับแมลงสาบ
พวกเขายังตั้งข้อสังเกตอีกด้วยว่า แม้ว่าการสำนึกตนได้ ที่จินตนาการในบันเทิงคดีแนววิทยาศาสตร์ ไม่น่าจะเป็นไปได้ แต่ว่าก็ยังมีปัญหาและอันตรายอย่างอื่น ๆ
สื่อและกลุ่มนักวิทยาศาสตร์ต่าง ๆ สังเกตเห็นแนวโน้มพัฒนาการในด้านต่าง ๆ ที่เมื่อมารวมกันแล้ว อาจมีผลเป็นความสามารถและความเป็นอิสระยิ่ง ๆ ขึ้นของหุ่นยนต์ ซึ่งทำให้น่าเป็นห่วง
นักเขียนเกี่ยวกับปัญญาประดิษฐ์ผู้หนึ่งเชื่อว่า ความเสี่ยงจากปัญญาประดิษฐ์ เป็นเรื่องที่พยากรณ์ได้ยากกว่าความเสี่ยงที่รู้จักอื่น ๆ
และอ้างว่า งานวิจัยในด้านนี้มีความเอนเอียงจากมานุษยรูปนิยม
เพราะว่าเราตัดสินประเมินปัญญาประดิษฐ์ โดยใช้ประสบการณ์ของตน
ดังนั้น เราจะประเมินความสามารถที่เป็นไปได้ของปัญญาประดิษฐ์ ต่ำเกินไป
เขาแยกแยะความเสี่ยงที่เกิดจากความล้มเหลวทางเทคนิคของ AI ซึ่งหมายความว่า ขั้นตอนวิธีที่บกพร่อง อาจขัดขวาง AI ไม่ให้ทำงานได้ตามเป้าหมายของตน 
และความล้มเหลวทางด้านปรัชญา (หรือความคิด) ซึ่งหมายความว่า มีการตั้งโปรแกรมให้ AI เข้าถึงคตินิยมที่ผิด ๆ
ผู้เชี่ยวชาญและนักวิชาการบางส่วน ไม่ค่อยเห็นด้วยในการใช้หุ่นยนต์ในการสงคราม โดยเฉพาะเมื่อให้อิสรภาพในการทำงานเป็นบางส่วน
นอกจากนั้นแล้ว ยังมีความเป็นห่วงเกี่ยวกับเทคโนโลยี ที่ให้หุ่นยนต์ควบคุมหุ่นยนต์ที่ติดอาวุธด้วยกันเอง
กองทัพนาวีสหรัฐอเมริกา ได้ให้ทุนการทำรายงานที่ชี้ว่า เพราะว่า หุ่นยนต์การทหารเริ่มที่จะซับซ้อนขึ้นเรื่อย ๆ ควรที่จะใส่ใจเพิ่มขึ้นเกี่ยวกับผลที่อาจจะมี เนื่องจากสมรรถภาพของหุ่นยนต์ในการตัดสินใจอย่างเป็นอิสระยิ่ง ๆ ขึ้น
มีนักวิจัยคนหนึ่งที่กล่าวว่า หุ่นยนต์ที่เป็นอิสระอาจจะมีมนุษยธรรมมากกว่า 
เพราะว่าจะสามารถตัดสินใจได้ดีกว่า
แต่ผู้เชี่ยวชาญอื่น ๆ ไม่เห็นด้วย
โดยนัยตรงกันข้าม ปัญญาประดิษฐ์ที่เป็นมิตร อาจช่วยลดความเสี่ยงต่อการอยู่รอด โดยช่วยสร้างพัฒนาเทคโนโลยีที่แก้ปัญหาภัยต่าง ๆ
ในรายการของสถานีพีบีเอ็ส (สหรัฐอเมริกา) นักจิตวิทยาคนหนึ่งถามว่า "จะเกิดอะไรขึ้น ถ้า AI ตัดสินใจว่า เราไม่มีประโยชน์อีกต่อไป" แต่ก็ยังอ้างด้วยว่า เราไม่สามารถและไม่ควรที่จะห้ามพัฒนาการของ AI ดังนั้น สิ่งที่ควรทำก็คือ เริ่มพิจารณาตั้งแต่บัดนี้ว่า จริยธรรมของ AI ควรจะเป็นอย่างไร