汎用人工知能による人類滅亡のリスク
加えて、AIシステムは「正しい」要件、バグのない実装、初期の良好な動作が与えられたとしても、AIシステムの動的な「学習」能力によって、予期せぬ外部シナリオのストレスがなくても、「意図しない動作をするシステムに進化してしまう」という問題がある。AIは、自分自身の新世代の設計に部分的に失敗し、元のAIにあらかじめプログラムされた人間と互換性のある道徳的価値感を持たない強力な後継AIを偶然に作り出してしまうかもしれない。自己改良型AIが完全に安全であるためには、「バグがない」だけでなく、「バグがない」後継システムを設計できる必要がある。
これらの3つの困難性は、「誤作動」とみなされた超知能が、人類により遮断されることを予測し、人間を出し抜こうとする、いわゆる「裏切りのターン」のシナリオでは、厄介どころではない大惨事となる。
2015年の「人工知能に関するオープンレター」には、アメリカ人工知能学会会長のトーマス・ディータリッヒ、エリック・ホロヴィッツ、バート・セルマン、フランチェスカ・ロッシ、ヤン・ラカン、VicariousおよびDeepMindの創設者らが署名し、AI分野の大きな進歩とAIが長期的に莫大な利益とコストをもたらす可能性を表明した。
「道具的」目標とは、他の目標の前提条件となる目標であり、AIの主要な目標を達成するために必要な副次的な目標である。「道具的収束」とは、どのような目標に対しても前提条件となる資源の獲得や自己保存などの目標が存在することを指す。ニック・ボストロムは、目標を持つ十分に知能があるAIは、この収束的な行動を示すだろうと主張している。もしAIの道具的目標が人類の目標と衝突する場合、より多くの資源を獲得したり、自身が停止されるのを防ぐために、人類に害を与えるかもしれないが、それは主要な目標を達成する手段に過ぎない。
スティーブ・オモハンドロの道具的収束や「基本的なAIドライブ」に関する考えを引用して、スチュアート・ラッセルとピーター・ノーヴィグは、「たとえチェスをプレイさせたり、定理を証明させたいだけであっても、学習や自己改変能力を持たせる場合は、安全対策が必要だ」と主張している。高度な能力を持つ自律的な計画システムは、限られた資源をめぐる競争相手として、人間を敵対的に扱う計画を生成する可能性があるため、追加の検証が必要になる。