汎用人工知能
人工超知能が実現した場合、人類は本質的にその行動・思考・原理を理解できない可能性がある。この可能性はすでに現れており、例えば汎用人工知能や人工超知能にすら達していない特化型AI(弱いAI)のコンピュータ囲碁ソフトであるAlphaGoとトッププロ囲碁棋士である李世ドルが対局を果たしたAlphaGo対李世ドルにおいては、開発者ですらどのように動作しているか正確に理解できておらず、解説者を務めたマイケル・レドモンドは「これが良い手なのか悪い手なのか本当に理解できない」と述べている。
これは人工超知能が実現し、ある行動や決定をした場合、たとえその結果が正確なものであっても、その思考経緯が人間には理解できないほど複雑であり、数学的証明を求めようにもあまりにも長大すぎて理解できない可能性があるということを示唆している。2020年にローマン・ヤンポルスキーはこう述べている。人間は複雑な概念を説明しなければならないときがある。例えば、人間の大人が幼児や知的障害者などに「赤ちゃんはどこから来るの?」などという複雑な概念を質問された場合、我々はDNAや受精、子宮といったものではなく、答えを非常に簡略化したり、時には嘘を付いたりする。もちろん専門的で正確な説明をしてもいいが、そのような専門的な説明を幼児が理解できるかはわからないし、誤解をうむ可能性もある。説明の有用性は相対的なものであり、ある人にとっては理解できても、ある人にとっては理解できないことが往々にしてある。
超知能と人類の知能差は、おそらく人間の大人と幼児以上の差がある。これは知能の差がコミュニケーションの幅を非常に狭めることを意味する。そのため、超知能が導き出した概念を人間が理解するのは難しい。それはオオカミに育てられた知的障害のある4歳児に、量子物理学を教えるようなものである。
人類にとって人工知能は存亡の危機を左右する存在であり、そのリスクが高まっているという主張は多くの公人の間で広く支持されている。この危機を訴える著名人として代表的なのはスティーヴン・ホーキング、イーロン・マスク、ビル・ゲイツなどである。人工知能研究者としてこの危機を強く警鐘している人物として知られるのがスチュアート・J・ラッセルやローマン・ヤンポルスキー、アレクセイ・ターチンなどである。しかしながら人工知能による人類滅亡リスクを気にしない人々も存在し、ビル・ゲイツは「一体なぜ心配しない人がいるのかが理解不能だ」と述べている。2014年にスティーヴン・ホーキングはこの危機に関する無関心を以下のように強く批判している。 もし人類より遥かに優れた文明を持つ異星人が「数十年後にそちらに到着する予定だ」とメッセージを送ってきたとき、我々はただ「わかった、着いたら連絡してね。待っとくよ」と返信してそのまま何もせずにしておくだろうか?しかしながら、これは人工知能においてまさにいま起こっていることだ。
2021年、サンシャイン・コースト大学の人間工学者・社会情報システムセンターの研究者が実施した、汎用人工知能に関するリスクを分析する研究においては、データの少なさに苦言を呈しながらも、以下のような潜在的なリスクがあると結論づけられた。「汎用人工知能が人間の管理者や所有者のコントロール下から脱すること、汎用人工知能に人々に危害を与える命令を与えること、根本的に安全ではない汎用人工知能を開発すること、倫理観・道徳観がプログラミングされていない汎用人工知能を開発すること、そして汎用人工知能を不適切に管理することは、我々の実存的リスクを招く可能性がある」。
実存的リスク、すなわち人類滅亡の可能性は「AIのコントロール問題」という難問を解決する必要がある。この問題を解決することが、人工知能を安全に管理する最善の方法だとみなされているが、大規模で非常にリソースが必要な研究であるとみなされている。人工知能のコントロール問題で重要視されるのは以下の概念である。すなわち「どのように自己複製を繰り返し、人間には遥かに理解できないほどの超知能を手に入れた人工知能を、人類に友好的な人工知能にできるのか?」ということである。汎用人工知能を各国が軍拡競争的に開発していくとすると、複数の国家によって汎用人工知能を搭載した軍事兵器の開発が行われることが想定される。汎用人工知能を前提とした国際紛争が発生した場合、軍事戦略をも汎用人工知能に頼ることになり、結果的には汎用人工知能同士が戦争を行うという自体もシナリオの1つとして研究されている。
もちろん、人工知能が人類滅亡を促すという考えには多くの懐疑主義者たちも存在する。懐疑主義者たちは、自己複製を繰り返して超知能が誕生する可能性(シンギュラリティ)自体を疑問視し、宗教的であると批判している。すなわち、神への信仰が人工知能にすり替わっただけではないか、という批判である。ジャロン・ラニアーは機械が知的になるという概念自体が金持ちによる「大規模な詐欺」である、と主張している。
2023年現在、汎用人工知能は未だ実現していないため、すべては推論の域を出ていない。根本的に汎用人工知能が実現可能なのか、またいつ実現するのかについては様々な見解が存在し、統一されていない。そのために、根本的に汎用人工知能自体が実現不可能だと考える研究者もいる。1965年、人工知能のパイオニアとして知られるハーバート・サイモンは「今後20年以内に人間が実行できるあらゆる仕事が機械によってできるようになるだろう」と予想したが、この予想は完全に外れた。哲学者のヒューバート・ドレイファスやロジャー・ペンローズは、強いAI自体が根本的に実現不可能だと考えている。マイクロソフトの共同創業者であるポール・アレンは、汎用人工知能を実現するためには「根本的に予測不可能なブレイクスルー」と「認知に関する科学的な深い解明」が必要であるため、21世紀中には実現不可能だと予想している。ロボット工学者のアラン・ウィンフィールドはガーディアン紙に「現在のコンピュータ科学と汎用人工知能のレベルの差は、現在の宇宙飛行と光速を超える宇宙飛行と同じぐらいの差がある」と寄稿している。コンピュータ科学者であるゴードン・ベルは、人類は技術的特異点に到達する前に絶滅すると主張している。また、「ムーアの法則」の発案者として知られるゴードン・ムーアは「私は汎用人工知能の実現に懐疑的だ。なぜならば、技術的特異点は長い間起こりそうにないと思っているからだ。この感覚に根拠はない。そしてなぜそう感じるのかもわからない」と述べている
人工知能の歴史#AIの冬第1期 1974−1980#問題1956年に人工知能の研究が始まって以降、人間に匹敵する知能を持つ機械を作成するというこの分野の進歩は、遅々として進んでいない。その原因として挙げられるのは、現在のコンピュータは計算機科学や神経科学を進めるために特化しておらず、これらの研究を推進するためのメモリや処理能力、柔軟性が欠けていることがなどが考えられる。また、そもそも人工知能研究が複雑すぎるために強いAIの進展を阻害している可能性もある。
概念上の限界が人工知能研究の遅れの原因であり、人工知能研究者は強いAIの実現に向けて概念的な枠組みを修正する必要があるとも考えられる。
この問題からはモラベックのパラドックスと呼ばれる根本的な矛盾が生じる。つまり、これまで作成されてきた人工知能は、膨大な数の計算やチェスのプレイなどといった人間には困難な仕事をこなすことは容易なのだが、逆に人間にとって簡単な「歩く」と言った動作や「1歳児レベルの知覚」といったものは難しいのである。とはいえ、これらのギャップは一部の労働者にとっては脅威になる場合がある。このパラドックスについて、ランジャニ・C・ナラヤンはこう記述している。多くの人々は肉体労働が人工知能による自動化によって取って代わると思っているが、現実はその逆である。人工知能にとっては、知的に難しい仕事のほうが遥かに容易である。
別の言い方をすれば、チェスのグランドマスターであるマグヌス・カールセンを倒せるのは人工知能であり、その後の掃除をするのが人間である。
過去数十年に渡る人工知能研究における遅れは、人工知能分野そのものに対する不信感をも生み出し、その不信感が更に汎用人工知能の研究を妨げている。人工知能研究者が予想した結果が外れたり、人工知能が人間の行動を部分的にしか理解できないことによって、人間レベルの人工知能を作成するという原初の発想に対する極度の楽観主義は消滅した。とはいえ、人工知能に関する研究は失望や衰退を繰り返しながらも改善が進んでいるのは事実であり、多くの研究者は21世紀中には汎用人工知能が完成することに肯定的である。
他に提唱されている汎用人工知能の遅れの原因と考えられるのは、学問分野間での連携が取れていないことなどが挙げられる。具体的には、多くの汎用人工知能研究者はコンピュータ上で人間の脳を再現しようと試みてきたが、それらを達成するためには神経生理学や心理学において人間の脳を完全に理解することが必要不可欠である。しかしながら人工知能に関する研究者の多くは、人工知能の将来予測にかかわる疑念の多くを過小評価する傾向があり、人間の脳のモデル化といった本質的な問題の解決策を見落としている可能性がある。
ウィリアム・クロクシンは人工知能研究を妨げる概念上の理由として、人工知能研究者が装置やコンピュータプログラムを使用するに当たって、誤った技法を用いている可能性があると述べている。人工知能研究者が汎用人工知能を目標として研究を始めた当初、主な関心は人間の推論をエミュレートすることであった。初期の研究者たちは、人間の推論を通じて人間の知性の数学的なモデル化を確立し、特定の認知機能を持つコンピュータを設計する方法について研究していた。
これに対し、研究において抽象化・再定義をしつつ作業を進める方法を用いれば、人工知能研究者にとっては複雑な概念に取り組むよりも、数個の概念に集中できる。人工知能研究においては、計画と問題解決をする方法として抽象化を用いることが多い。これらの方法は計算の高速化を目的として用いられるが、あまりに抽象化しすぎると問題が生じることもある。
さらに挙げられる人工知能の研究が遅れている理由としては、多くの研究者が人間のひらめき(ヒューリスティクス)がコンピュータの性能よりも圧倒的に優れていると認めている点にある。しかしながら、よりコンピュータが高性能化すれば、人間のひらめきという能力すらも人工知能で再現できる可能性がある。ひらめきという人間の能力は、必ずしも強いAIを実現するための必須条件であるとはみなされていないが、大きな課題であることは広く認められている。
根本的には、そもそも機械に感情を持たせるべきなのかという問題が存在する。典型的な人工知能のモデルには感情という機能は実装されておらず、感情をプログラムとして実装することで初めて機械が感情を持つと主張するものもいる。しかしながら、人間の感情というものは、個々人がそれまで経験してきたことの総括として存在するものでもある。デヴィッド・ゲランターは「人間の感情のニュアンスをすべてシュミレートできないかぎり、機械は創造的にはなれない」と発言している。このように感情に関する問題は多数存在し、強いAIの研究が発展するにあたっては、これらの問題に向き合う必要があると言える。