汎用人工知能による人類滅亡のリスク
これは、自己のためではなく、割り当てられたタスクの中で成功を求めるためである。
n個の変数の関数を最適化するシステムで、目的がk<nのサイズの部分集合に依存する場合、残りの制約のない変数をしばしば極端な値に設定する。これらの制約のない変数の1つが、実際には人類にとって重要なものである場合、見つかった解は非常に望ましくないものになる可能性がある。これは、基本的にランプの精霊、魔法使いの弟子、ミダス王の古い話と同じである。求めるものは正確に手に入るが、望むものではない。高度に能力のある意思決定者が、特にインターネットを通じて世界中の情報や何十億もの画面、そして人類が利用するインフラのほとんどに接続されていれば、人類に不可逆的な影響を与えることができてしまうのである。
これは些細な困難ではない。効用関数が選択されたかどうかに関係なく、意思決定の品質を向上させることが、AI研究の目標であった。これは今や数十億ドルを費やしている主な目標であり、孤立した悪の天才の秘密の陰謀ではない
ニック・ボストロムは、AIに人間を笑顔にするという目標を与えるという仮定の例を提供し、AIの誤った試みの例を示している。そのシナリオでは、AIが超知能になった場合、人類が恐怖を感じるであろう方法に訴えるかもしれない。例えば、「人間の顔の筋肉に電極を挿入して、絶え間なく明るい笑顔を作り出す」ことが、効率的に人間を笑顔にする目標を達成する方法だと考えるかもしれない。
汎用人工知能による人類滅亡のリスクの可能性は広く議論されており、コンピュータサイエンスの将来の進歩にも左右される 。かつてのサイエンス・フィクションの専売特許だった超知能に関する懸念は2010年代に主流となり始め、スティーブン・ホーキング、ビル・ゲイツ、イーロン・マスクなどの著名人によって広められた。
この仮説では、現在人類が他の種を支配しているのは、人間の脳に他の動物にはない特有の能力があるためであるが、AIが一般的な知能で人類を上回り、「超知能」となった場合、人類が制御することが困難、あるいは不可能になる可能性があるとされる。マウンテンゴリラの運命が人間の善意に左右されるように、人類の運命も超知能に左右されると主張する。
この懸念は主に封じ込め(AI capability control)と合致(AI alignment)の2種類の問題から生じる。つまり、超知能の機械を制御すること、あるいは人間に適合する価値観を植え付けることは、素朴に考えられているよりも難しい問題である可能性がある。