技術的特異点
」 「また、あのぶどうの何とかを飲み過ぎたんだな。」 「今、俺たちがしていることだよ!」 「何だって?」
組織の次の段階が始まるとき、現在の段階にいる間は新しい段階を把握できない。なぜならば、その認識は新しい段階において起こるはずだからである。全世界的な文化が出現する中で、新しい段階への転換は実際に起こっているが、その変化の途中では認識できない。[中略] 従って、私たちは次のようなことを予期することができる。今後数百年にわたって、生命が当たり前のように途切れることなく続いて、決して大変動はなく、その間ずっと新しいものが蓄積する。それはやがて私たちが、ある種の道具を手に入れたことに気づくまで続く。その道具を使って、何か新しい道具が存在することを認識し、さらに、その新しい道具はしばらく前にすでに出現していたことを認識するのである。
私がこのことをエスター・ダイソンに話すと、彼女は、私たちが毎日特異点に近い経験をしていることを指摘した。 「それは目覚めである。後から振り返ると何が起こったのか理解できるが、夢の中にいるときには、目が覚めるかどうかわからない......」
宇宙物理学者スティーブン・ホーキングは、人類の能力を超えるAIが人類を滅ぼしかねない危険性があり、生物学的進化に制約される人類がAIの発達に対抗することは困難だと考えており、国連代表部と国際連合地域間犯罪司法研究所が主催した会議でも懸念を表明した。この国連の会議では、ニック・ボストロムも、特に人間の能力を超えるAIを制御する方法は未解決であり、解決のための研究の必要性を訴えている。
ホーキングは、2015年5月12日にロンドンで開催されたツァイトガイスト2015でも、人工知能が「100年以内に人間の文明を終わらせる」可能性を指摘した。ホーキングはまた、2014年でも、マックス・テグマーク(物理学者)、フランク・ウィルチェック(ノーベル物理学受賞者)、スチュワート・ラッセルらとともに、人工知能に関する理解が一般に浸透していない問題を指摘した。
ハーバード・ロー・スクールとヒューマン・ライツ・ウォッチは、完全な自律兵器の開発・運用を国際的に禁止するべきだと2015年4月の報告書で要求した。
物理学的・技術的に可能でも、経済・社会・法律的な要請によって普及していない技術も存在する。たとえば超音速旅客機は1960年代に実用化されたが、採算が取れないため、2016年時点でも商業飛行は無い。同様に、研究室ではAGI(汎用人工知能)が実現できたとしても、経済合理性の問題があって社会で普及できず、特異点発生に必要な超越的知性が不十分になり得る。
マーティン・フォードは『トンネルの中の光:オートメーション、テクノロジーの加速と未来の経済』で、「テクノロジーのパラドックス」を示している。いわく、技術的特異点の発生前に、ほとんどのルーチンワークが自動化されるだろう。何故ならルーチンワークの自動化に必要な技術は、技術的特異点よりも簡単だからだ。ルーチンワークの自動化は莫大な失業を発生させ、消費者の有効需要を下げ、結果的に技術への投資を低下させるだろう。そうなると、技術的特異点の実現は遠ざかることになる。産業革命期のような大規模な産業構造の転換と新産業による失業者の吸収は未だ起きておらず、慢性的な高失業率が続いており、この傾向は短期的には変わる気配を見せていない。
一般的に、技術革新に対する投資の見返りは次第に低下していくことが示されている。Theodore Modis と Jonathan Huebner は技術革新の加速が止まっただけではなく、現在減速していると主張した。John Smart は彼らの結論を批判している。また、カーツワイルは理論構築のために過去の出来事を恣意的に選別した、という批判もある。