汎用人工知能による人類滅亡のリスク
一般の考え方として、人間によって作られた超知能プログラムは、人間に従属的であり、さらには、より知能が高くなり世界についての事実を学ぶことで、人間の価値観と互換性のある道徳的真実を「自発的に」学び、その目標をそれに合わせて調整するとされている。他の反論は、人間は本質的または収束的に人工知能の視点からも価値があるというものである。
しかし、ニック・ボストロムの「直交性の理論」はこれに反論し、いくつかの技術的な注意点を除いて、「知能」や「最適化能力」のレベルは、ほぼどのような究極的な目標とも組み合わせることができると主張する。もし、円周率の小数点以下の数を列挙することだけを目的として機械が作られた場合、そのプログラムされた目標を必要な手段で達成することを道徳や倫理のルールは止めない。その機械は、見つけられる円周率の小数点以下を計算するために、利用可能なすべての物理的・情報的資源を利用するかもしれない。ボストロムは人間擬態に対しても警鐘を鳴らしている。人間は「合理的」とみなされる方法でプロジェクトを達成しようとするが、人工知能は自分の存在や周りの人間の福祉に関心を持たず、代わりにタスクの完了だけを気にかけるかもしれない。