超知能
エリーザー・ユドコウスキー(英語版)は次のように説明する。「AIはあなたを憎むことも、愛すこともない。ただ、あなたはAIにとってほかに使い道のある多数の原子でできている。」
これらの問題は「AIのコントロール問題(英語版) 」と呼ばれる。「AIのコントロール問題」では、人類にとって有害な超知能を不慮に生み出すことを回避しつつ、人類の助けとなる超知能の主体を創造するための方法が問われている。最初から正しくコントロールを設計しなかった場合、プログラムに欠陥のある超知能は起動した時点で「世界を支配する」ことを合理的に決定し、プログラマが自らのプログラムに修正を加えることを以後拒否する危険性がある。設計戦略として考えられる候補には「能力のコントロール」(AIが有害な計画を追求する力を得ることを防止)や「動機のコントロール」(人類に有益となることを望むAIの開発)などが挙げられる。
ビル・ヒバード(英語版)は、超知能についての公教育ならびに超知能開発の公的な管理を提唱している。