超知能
もっとも頻繁に引用されるAI関連書籍の著者100人(2013年5月時点、マイクロソフト・アカデミック・サーチによる)を対象にした調査では、『世界規模の大惨事が起こらないと仮定した場合、「人間の職業のほとんどを典型的な人間と少なくとも同等にこなす」機械の実現は西暦何年までに達成されるか』という質問への回答において、10パーセントの確信での中央値(年)は2024(平均値2034、標準偏差33)であり、同様に50パーセントの確信では2050(平均値2072、標準偏差110)、90パーセントの確信では2070(平均値2168、標準偏差342)となった。これらの推計からは除外されたものの、1.2パーセントの調査対象者が「未来のどの時点でも、10パーセントの確信にも達しない」と回答した。同様に4.1パーセントの調査対象者が50パーセントの確信で「永遠に達成されない」と答え、16.5パーセントは90パーセントの確信で「永遠に達成されない」と回答した。一方、人間レベルの人工知能の完成から30年以内に人工超知能が発明される可能性についての質問において、調査対象者が回答した可能性の中央値は50パーセントだった。
急速に超知能を獲得する学習型コンピュータは予見できない行動をとる可能性があり、超知能のロボットは人類を競争で打ち負かす可能性がある。(技術的特異点がもたらす可能性のあるシナリオのひとつとして挙げられている) 複数の研究者による主張では、来世紀のどこかの時点で発生する「知能爆発」を経由して、自己改善型のAIは人類が歯止めをかけられないほど強力な存在に進化することができる。
人類滅亡のシナリオに関して、ボストロム (2002)は超知能をその原因となりうる候補のひとつと見なし、以下のように述べた。
理論上、超知能のAIは(起こりうる)あらゆる結果を引き起こすことができる上に、自らの目標遂行を阻もうとする企てをすべて頓挫させることができるため、制御も予期もされない結果が多くもたらされる可能性がある。超知能のAIには、自分以外のすべての主体を全滅させることも、それらが行動を変えるよう仕向けることも、それらからの干渉をブロックすることも可能になる。
哲学者デイヴィッド・チャーマーズは、 汎用人工知能が超知能実現への経路となる可能性が極めて高いと主張している。チャーマーズはこの主張を分解して説明し、AIは人類の知能と「同等」になることができること、AIは「拡張」されることで人類の知能を超えることができること、そしてAIの知能はさらに「増幅」されることで任意のタスクにおいて人類を圧倒できることを述べた。
人類レベルの知能の実現について、チャーマーズは人間の脳が機械的システムであり、したがって人工的な材料で再現することができると主張する。チャーマーズはまた、人類の知能が生物学的に進化することができた事実に言及し、人間のエンジニアが同様の過程でAIを進化させることができる可能性は高いとしている。特に進化的アルゴリズムは高い可能性で人類レベルの知能のAIをつくり出すことができるとされる。知能の拡張ならびに増幅についてチャーマーズは、新たに登場するAI技術は一般的に改良可能なものであり、AIが新技術の開発に力を貸す場合は特に(改良がなされる)可能性は高いと主張している。
強いAIに関する研究が進み、十分に高知能なソフトウェアが開発された場合、そのソフトウェアは自らを再プログラムし、自己を改善することができる。この特性は「再帰的自己改善」と呼ばれる。再帰的自己改善型のAIは、自己改善により自己を改善する能力をさらに向上させ、急激に増加する周期のなかで自己改善を続けることになり、結果的に超知能の獲得に至ると考えられる。このシナリオは知能爆発として知られている。
コンピュータの構成部品は、速度において既に人類のパフォーマンスを大幅に上回っている。ボストロムは次のように述べた。