ニック・ボストロムは著書の中で、たとえ超知性のタイムラインが予測可能であっても、研究者たちが十分な安全対策を講じない可能性があることを懸念している。これは「馬鹿のうちには、賢い方が安全であるが、賢いときには、賢い方が危険である」という事態があるためである。ボストロムは、数十年をかけてAIがより強い影響を持つようなシナリオを提案した。初期の展開はたびたび事故が発生することで妨げられる。つまり、自動運転バスが対向車線に逸れたり、軍用ドローンが無実の群衆に向けて発砲することなどである。活動家はより厳格な監督と規制を求め、悲劇が迫っていると予測する。しかし、開発が進むにつれて、活動家の予測は誤りであることが証明される。自動運転AIが賢くなるにつれて事故は減少し、軍用ロボットがより正確なターゲティングを達成することで、巻き添え被害が減少する。このデータに基づいて、学者たちは誤って一般的な教訓を引き出してしまう。つまり、AIが賢ければ賢いほど、それは安全であると、誤った結論に至ってしまうのである。ボストロムは「私たちは大胆にも進んでしまう。回転するナイフの中へ」と述べ、やがて超知能AIが『裏切りのターン』を迎え、決定的な戦略的優位を利用することになると主張している。問題.目標の定式化の困難性.機械に対して意図しない結果を防ぐことを保証する目標を明確に設定することは難しい。標準化された用語こそないが、人工知能は、AIの目標セット、つまり「効用関数」を最も効率的に達成できると思われる行動を選択する機械と見なすことができる。効用関数は、英語やその他の言語の文章ではなく、単一の客観的に定義された答えをもたらす数学的アルゴリズムである。研究者は、「この特定の通信モデルにおいて平均ネットワーク遅延を最小化する」または「報酬クリックの数を最大化する」といった効用関数を書く方法を知っているが、「人類の繁栄を最大化する」といった効用関数を定義する方法は不明であるし、そのような関数が意味のある、曖昧さのないものとして存在するかも、現時点では明らかではない。さらに、特定の価値のみを反映する効用関数は、効用関数に反映されていない価値を無視する傾向があるのである。この問題についてカリフォルニア大学バークレー校教授のスチュアート・ラッセルは次のように述べている。