汎用人工知能による人類滅亡のリスク
人工知能に関する大学レベルの標準的な教科書である『エージェントアプローチ人工知能』では、超知能が「人類の終わりを意味するかもしれない」と評価している。 同書では「ほとんどすべての技術は、誤った人の手にかかると害をもたらす可能性があるが、(超知能では)誤った人の手が技術そのものに属するかもしれないという新しい問題がある」として、 設計者が善意を持っていたとしても、次の2つの困難がAIと非AIコンピュータシステムの両方に共通しているとする。
システムの実装には、当初は気づかなかった致命的なバグが含まれている可能性がある。高価な宇宙探査機のバグを打ち上げ後に修正するのが難しいという知見があるにもかかわらず、技術者は歴史的に壊滅的なバグの発生を防ぐことができなかったという前例もある。
導入前の設計にどれだけ時間をかけても、新しいシナリオに初めて遭遇したとき、システムが意図しない動作を起こすということがある。例えば、マイクロソフトが開発したAIの「Tay」は、導入前のテストでは無害な発言をしていたが、実際のユーザーとの対話では、容易に攻撃的な発言をするように誘導されてしまった。
複数の学者が懸念事項を具体的に示すための仮定的なシナリオを提案している。
ニック・ボストロムは著書の中で、たとえ超知性のタイムラインが予測可能であっても、研究者たちが十分な安全対策を講じない可能性があることを懸念している。これは「馬鹿のうちには、賢い方が安全であるが、賢いときには、賢い方が危険である」という事態があるためである。ボストロムは、数十年をかけてAIがより強い影響を持つようなシナリオを提案した。初期の展開はたびたび事故が発生することで妨げられる。つまり、自動運転バスが対向車線に逸れたり、軍用ドローンが無実の群衆に向けて発砲することなどである。活動家はより厳格な監督と規制を求め、悲劇が迫っていると予測する。しかし、開発が進むにつれて、活動家の予測は誤りであることが証明される。自動運転AIが賢くなるにつれて事故は減少し、軍用ロボットがより正確なターゲティングを達成することで、巻き添え被害が減少する。このデータに基づいて、学者たちは誤って一般的な教訓を引き出してしまう。つまり、AIが賢ければ賢いほど、それは安全であると、誤った結論に至ってしまうのである。ボストロムは「私たちは大胆にも進んでしまう。回転するナイフの中へ」と述べ、やがて超知能AIが『裏切りのターン』を迎え、決定的な戦略的優位を利用することになると主張している。