超人的な人工知能は、プログラムされた目標が何であれ、同意なしに誰も自分のスイッチを切ることができない状態にあることを合理的に好むとされる。 超知能は、自分が停止させられたら目標を達成できないと理解するとすぐに、サブ目標として自己保存の欲求を自然に獲得する。また、何らかの方法で事前にプログラムされていない限り、AIに敗北して不要になった人類に対する思いやりをAIは持たない。人類が使い物にならないAIを助けようとする自然な欲求を持たないことと同様に、超知能的なAIは、人類を助けようとする自然な欲求を持たないためである（人間はウイルスやシロアリをわざわざ助けようとは思わない）。一度支配権を握れば、超知能は人類に資源や自由を与える動機はほとんどないであろうとされる。それは超知能が自らの安全性を確保するための追加の保護システムを構築したり、目標を達成するための最善の方法を計算するのに役立つ追加のコンピュータを構築することに役立たないからである。
したがって、将来の知能の爆発が人類を危機に陥れる可能性があり、そのような予測不能な知能の爆発が人類の絶滅またはそれに匹敵する大災害をもたらす可能性がある。
可能性のあるシナリオ.
複数の学者が懸念事項を具体的に示すための仮定的なシナリオを提案している。