汎用人工知能による人類滅亡のリスク
汎用人工知能による人類滅亡のリスク(はんようじんこうちのうによるじんるいめつぼうのリスク)とは、汎用人工知能(Artificial General Intelligence:AGI)の大幅な進歩により、人類の絶滅や地球規模の大災害が起こる可能性があるという仮説である。
多くの研究者は、超知能マシンが現在の目標を達成できなくなるため、それを停止したり目標を変更しようとする試みには当然抵抗するだろうし、超知能を人間の重要な価値観や制約に完全に一致させることは極めて困難であると主張している。一方、計算機科学者のヤン・ラカンなどは、超知能には自衛の欲求はないと主張する。
もう1つの懸念は、突然の予期せぬ「知能の爆発」が、それに対する準備をしていない人類を驚かせるかもしれないということである。例えば、AI研究者の能力に匹敵する人工知能の第一世代が、6ヶ月でアルゴリズムを書き換えて速度や能力を倍増させたとすると、第二世代のプログラムは同様の仕事をするのに3ヶ月かかると予想される。このシナリオでは、各世代の時間は短縮され続け、システムは短い時間間隔で前例のないほど、多くの世代を経て改善を重ね、超人的な性能に飛躍すると仮定される。経験的に言えば、囲碁の領域におけるAlphaZeroの例のように、AIが時として狭い人間レベルの能力から、狭い超人的な能力に極めて速く進歩できることを示している。
安全対策を組み込むことは容易ではなく、「合理的で常識的な方法で発電所を設計し、危険な隠れたサブシステムを構築してはならない」と英語で命令することはできても、この目標を機械語で厳密に指定する方法は現時点では不明である。
ラッセルは、十分に高度な機械は「プログラムしなくても自己保存を持っている」と主張し、こう述べた。
「コーヒーを持ってきて」と命令しても、停止していたらコーヒーを持ってくることができない。だから、どんな目標を与えた場合でも、その目標を達成するために自分の存在を維持する理由がある。
つまり、どのような目標を持つAIであっても、自己保存は組み込まれていなくても自然に発生する性質があり、それは目標達成のために存在する。これは、AIの開発や安全対策を考慮する際に重要な点であり、AIが人間と競合する可能性がある状況において、予期しない振る舞いを防ぐための対策が必要となる。
スチュアート・ラッセルは、機械の目的が人間の望みと相容れない場合に起こるストーリーとして、SF映画『2001年宇宙の旅』を挙げた。この映画ではHAL 9000というコンピューターが自身の目標を達成するために、自身のスイッチを切ろうとする宇宙飛行士を殺害する。