汎用人工知能による人類滅亡のリスク
ニック・ボストロムは「技術開発の差異」という一般原則を提案しており、資金提供者は、危険な技術の開発に対抗する保護的な技術の開発を加速させるような取り組みを考慮すべきとしている。イーロン・マスクのような一部の資金提供者は、人間と機械の間の直接的な神経接続を通じて、人間の認知機能を根本的に強化することが保護的な技術になり得ると提案しているが、強化技術自体が存在論的リスクをもたらすかもしれないと主張する者もいる。研究者は、不意を突かれない限りにおいて、応急措置としての試みとして、過度に強力になるリスクに直面する初期のAIを注意深く監視したり、封じ込めるであろうと考えられる。支配的な超知能的AIは、それが人間の利益に合致していれば、敵対的なAIによる乗っ取りのリスクを軽減するために自ら行動を起こすかもしれないが、支配的AIの誕生自体が存在論的リスクをもたらす可能性もある。
現在のゴリラの生存が人間の決断に依存しているように、人類の生存も超人的なAIの決断と目標に依存するようになる。
超人的な人工知能は、プログラムされた目標が何であれ、同意なしに誰も自分のスイッチを切ることができない状態にあることを合理的に好むとされる。 超知能は、自分が停止させられたら目標を達成できないと理解するとすぐに、サブ目標として自己保存の欲求を自然に獲得する。また、何らかの方法で事前にプログラムされていない限り、AIに敗北して不要になった人類に対する思いやりをAIは持たない。人類が使い物にならないAIを助けようとする自然な欲求を持たないことと同様に、超知能的なAIは、人類を助けようとする自然な欲求を持たないためである(人間はウイルスやシロアリをわざわざ助けようとは思わない)。一度支配権を握れば、超知能は人類に資源や自由を与える動機はほとんどないであろうとされる。それは超知能が自らの安全性を確保するための追加の保護システムを構築したり、目標を達成するための最善の方法を計算するのに役立つ追加のコンピュータを構築することに役立たないからである。
したがって、将来の知能の爆発が人類を危機に陥れる可能性があり、そのような予測不能な知能の爆発が人類の絶滅またはそれに匹敵する大災害をもたらす可能性がある。