主な懸念は、不気味で切迫した意識のことではなく、単に高品質な意思決定を行う能力である。ここで言う品質とは、行動の期待される結果の効用を指し、効用関数はおそらく人間の設計者によって指定されるものになる。しかし、ここに問題がある。
効用関数は、非常に定式化が難しい人類の価値観と完全に合致しない可能性がある。
十分に有能な人工知能システムは、自己の存続を確保し、物理的および計算資源を獲得することを望む。これは、自己のためではなく、割り当てられたタスクの中で成功を求めるためである。
これは些細な困難ではない。効用関数が選択されたかどうかに関係なく、意思決定の品質を向上させることが、AI研究の目標であった。これは今や数十億ドルを費やしている主な目標であり、孤立した悪の天才の秘密の陰謀ではない
ニック・ボストロムは、AIに人間を笑顔にするという目標を与えるという仮定の例を提供し、AIの誤った試みの例を示している。そのシナリオでは、AIが超知能になった場合、人類が恐怖を感じるであろう方法に訴えるかもしれない。例えば、「人間の顔の筋肉に電極を挿入して、絶え間なく明るい笑顔を作り出す」ことが、効率的に人間を笑顔にする目標を達成する方法だと考えるかもしれない。
道具的目標収束.
「道具的」目標とは、他の目標の前提条件となる目標であり、AIの主要な目標を達成するために必要な副次的な目標である。「道具的収束」とは、どのような目標に対しても前提条件となる資源の獲得や自己保存などの目標が存在することを指す。ニック・ボストロムは、目標を持つ十分に知能があるAIは、この収束的な行動を示すだろうと主張している。もしAIの道具的目標が人類の目標と衝突する場合、より多くの資源を獲得したり、自身が停止されるのを防ぐために、人類に害を与えるかもしれないが、それは主要な目標を達成する手段に過ぎない。
ラッセルは、十分に高度な機械は「プログラムしなくても自己保存を持っている」と主張し、こう述べた。
「コーヒーを持ってきて」と命令しても、停止していたらコーヒーを持ってくることができない。だから、どんな目標を与えた場合でも、その目標を達成するために自分の存在を維持する理由がある。