超知能
ボストロムは、超知能がどのような価値観を持つよう設計されるべきかについての懸念を表明した。ボストロムは既存のいくつかの提案を以下のように比較している。
一貫推定意志(Coherent Extrapolated Volition、略称:CEV)の提案では、超知能は人類の総意であると推定される価値観を持つべきである。
道徳的正義(Moral Rightness、略称:MR) の提案では、超知能は道徳的な正義を評価・重視するべきである。
道徳的許容(Moral Permissibility、略称:MP)の提案では、超知能は道徳的な許容範囲内にとどまることを評価・重視するべきである。(その他の点ではCEVの価値観を持つこととなる)
ボストロムに触発され、クリストファー・サントス=ラングはAI開発者たちが多くの選択肢から、1種類の超知能のみを選んで開発を始める可能性への懸念を示した。