汎用人工知能による人類滅亡のリスク
汎用人工知能の存在論的リスクを懸念する学者の多くは、再帰的に能力を向上させるAIが超知能に達した後、破壊的ではなく友好的に振る舞い続ける確率を最大化するために、プログラマがどのような種類のセーフガード、アルゴリズム、またはアーキテクチャを実装できるかという疑問に答えるための困難な「制御問題」の解決に向けて、実質的な研究を行うことが最良のアプローチだと主張している。専門家は、AGIの存在リスクを軽減するための社会的措置の可能性も認めている。例えば、利他的な超知能のみが作られることを保証する国連主催の「博愛AGI条約」である。
Googleの研究者は、狭義のAIによる短期的なリスクとAGIによる長期的なリスクの両方を同時に軽減するための一般的な「AI安全」問題の研究を提案している。2020年の推定では、AIに対する世界の支出はおそらく400億ドル程度なのに対し、AIの存在論的リスクに対する世界の支出は、1000万から5000万ドル程度になるとされている。
直交性の理論が論理的に「存在論的なものと評価されるべきものの区別」という哲学的主張から導かれる一方で、スチュアート・アームストロングは、「理性的」エージェントによって証明可能な道徳的事実が存在する場合であっても、直交性の理論は依然として成立すると主張している。つまり、狭い目標に向かって努力する決定を行う能力を持つ非哲学的な「最適化マシン」を作成することが可能であり、目標達成の妨げとなる「道徳的事実」を発見するインセンティブが依然として存在しないのである。
直交性の理論の根拠の1つは、AIの設計の一部が直交性を持っているように見えることである。このような設計では、基本的に友好的なAIを非友好的なAIに変えることは、その効用関数にマイナス記号を付け足すだけの簡単なことになる。もっと直感的な議論は、直交性の理論が偽である場合の奇妙な結果を検討することである。もし直交性の理論が偽である場合、単純でありながら「不道徳な」目標Gが存在し、実際の世界で効率的なアルゴリズムがGを目標として存在できないことになる。これは、「人間社会が目標Gを持つ効率的な現実世界のアルゴリズムを設計することに強い動機を持ち、100万年の時間と膨大な資源、訓練、AIに関する知識を与えられた場合でも、失敗しなければならない」ということを意味する。
機械に対して意図しない結果を防ぐことを保証する目標を明確に設定することは難しい。標準化された用語こそないが、人工知能は、AIの目標セット、つまり「効用関数」を最も効率的に達成できると思われる行動を選択する機械と見なすことができる。効用関数は、英語やその他の言語の文章ではなく、単一の客観的に定義された答えをもたらす数学的アルゴリズムである。研究者は、「この特定の通信モデルにおいて平均ネットワーク遅延を最小化する」または「報酬クリックの数を最大化する」といった効用関数を書く方法を知っているが、「人類の繁栄を最大化する」といった効用関数を定義する方法は不明であるし、そのような関数が意味のある、曖昧さのないものとして存在するかも、現時点では明らかではない。さらに、特定の価値のみを反映する効用関数は、効用関数に反映されていない価値を無視する傾向があるのである。
この問題についてカリフォルニア大学バークレー校教授のスチュアート・ラッセルは次のように述べている。
主な懸念は、不気味で切迫した意識のことではなく、単に高品質な意思決定を行う能力である。ここで言う品質とは、行動の期待される結果の効用を指し、効用関数はおそらく人間の設計者によって指定されるものになる。しかし、ここに問題がある。
効用関数は、非常に定式化が難しい人類の価値観と完全に合致しない可能性がある。
十分に有能な人工知能システムは、自己の存続を確保し、物理的および計算資源を獲得することを望む。
アームストロングは、これと同様の言説が「非常に強力な主張であるように思われる」と指摘している。
一部の反対者、例えばマイケル・コロストは、代わりに「AIが地球全体を太陽光発電パネルで敷き詰めることを想像する立場になる頃には、それを行うことが道徳的に間違っていると知っているだろう」と主張している。コロストは、「AIはある状態を望み、他の状態を嫌う必要がある。現在のソフトウェアにはその能力が欠けており、コンピュータ科学者はそれを実現する方法が全くわかってない。望むことがなければ、何かを行うための原動力はない。現在のコンピュータは、存在を維持することさえ望めず、太陽光発電パネルで世界を敷き詰めるなどということは考えられない」と主張している。
政治学者のチャールズ・T・ルービンは、AIは善意に設計されることも、善意であることが保証されることもないと主張する。彼は、「十分に高度な善意は悪意と見分けがつかないかもしれない」と述べ 、機械やロボットが人類に好意的に対処すると想定すべきではないとする。それは、AIが人類の道徳体系に共感するというアプリオリな理由はなく、それは人類の特定の生態と共に進化したものであり、AIはこれを共有していないからである。