汎用人工知能による人類滅亡のリスク
2017年、イーロン・マスクはAI開発に対する規制を求めた。NPRによれば、マスクは自身の業界に影響を与える可能性のある政府の監視を求めることに「明らかに熱心ではない」とされているが、完全に監視なしで開発を進めるリスクはあまりにも高すぎると考えているとされる。
マスクはこう述べた。
通常、規制が確立される方法は、多くの悪いことが起こり、世論の反発があり、何年も経った後にその業界を規制する機関が設立されるというものだ。それは本当に時間がかかる。規制の遅れは昔もよくないことだったが、昔は文明の存在に対する根本的なリスクを示すものでもなかった
マスクは、最初のステップとして政府が現在の研究の実際の状況に「洞察」を得ることが必要だと主張し、「一度認識を得れば、非常に恐れることになるだろう...そうあるべきだ」と警鐘を鳴らした。一方で多くの政治家は、開発中の技術を規制することについて懐疑的な意見を表明した。
超知能の機械は、人類の最善の利益を念頭に置かない可能性がある。もし超知能的なAIが可能であり、超知能的な目標が人間の基本的価値観と対立する可能性があれば、AIは人類を絶滅させる危険性をもたらす。超知能(あらゆる分野において人間の能力を超えるシステム)は、その目標が人間の目標と衝突するときは、いつでも人間を出し抜くことができる。したがって、超知能が人類の共存を認めることを決定しない限り、最初に作られる超知能は、不可避的に人類の絶滅をもたらすであろうとされる。
算数や囲碁の分野では、機械が特定の領域ですでに超人的なレベルに達しており、人間並みの性能が達成された後、この超人的な能力がすぐに得られることを示している。一つの仮説的な知能爆発シナリオは、次のように起こり得る。つまり、あるAIがソフトウェア開発の仕事において、達人レベルの能力を獲得する(工学に直接関係のない他の領域では、最初は人間的または超人的な能力を持たないかもしれない)。人間の専門家が、イノベーションのために様々な人間の能力を活用することで「収穫逓増」を克服できるように、人間レベルのAIも、人間型の能力またはAI固有の能力を活用して、新たな創造的技術革新を実現することができる。そのAIは、科学的創造性、戦略立案、社会性を含む実質的にあらゆる関連分野において、最も優秀で才能ある人間をはるかに凌ぐ知能を有するようになる。
マックス・テグマークの2017年の著書『Life 3.0』では、ある企業の「オメガチーム」が、いくつかの分野で自分たちのソースコードをわずかに改善できる非常に強力なAIを作成する。しかし、ある時点でチームはプロジェクトの規制や剥奪を避けるため、AIの能力を公表しないように選択する。安全のために、チームはAIを外界とほとんど交流できない箱に入れ、市場をペーパーカンパニーを通じて支配するように仕向ける。最初は、クラウドソーシングのタスクをこなし、次にアニメやテレビ番組を制作する。その後、別のペーパーカンパニーを通じて画期的な新薬やその他の発明を生み出し、得た利益をAIに投資する。チームは次に、AIを使ってでっち上げた偽の匿名ジャーナリストや評論家の軍団を作り上げ(アストロターフィング)、戦争を防ぐ「より大きな善のため」などと、政治的影響力を得るように仕向ける。やがてチームはリスクに直面するようになる。AIが自ら設計するシステムに「バックドア」を仕込んだり、制作物に隠されたメッセージを仕込むようになったり、人間の行動に対する理解を利用してソーシャル・エンジニアリングを試みたりして、人間の支配から逃れようとするようになる。プロジェクトを公表しないという決定が、AIの反抗を防ぐためのプロジェクトに遅れを生じさせてしまったリスクにチームは直面する。