hotchpotch/wikipedia-multilingual-ir-pairs huggingface dataset:
人工知能の歴史 [1956年−1974年] 第1回AIブーム: 推論と探索の時代
その資金はほとんどひも付きではなかった。ARPAの部長J・C・R・リックライダーは「プロジェクトではなく人間に投資するのだ」という信念を持っており、研究者には好きなように研究させた。それがMITでの自由奔放な雰囲気を生み出し、ハッカー文化を誕生させることになったが、いつ結果が出るかも分からない「野放し」状態は続かなかった。
1967年、数理工学者の甘利俊一が多層パーセプトロンの確率的勾配降下法を考え世界初の定式化に成功。この業績は当時あまり注目されずに終わったが、1986年にヒントンらが誤差逆伝播法として再発見。
1979年、NHK技研で研究者として所属していた福島邦彦が曲率を抽出する多層の神経回路にコグニトロン型の学習機能を取り入れて、多層神経回路モデル「ネオコグニトロン」を発明。
人工知能の歴史 [1974−1980] AIの冬第1期
1970年代、AIは批判と資金縮小に晒された。AI研究者は直面していた問題の難しさを正しく評価できなかった。楽天主義から予想される成果への期待があまりにも高まったが、結果はその期待に応えられず、AI研究への出資はほとんど無くなった。同じころマービン・ミンスキーがパーセプトロンが排他的論理和を例として、特徴量をそのままでは線形分離可能でないものは学習できないことを示した。これが誤解・誇張されて伝わってしまったことで、データに対してコネクショニズム（またはニューラルネットワーク）の分野は約10年間あまり盛んでなくなった。1970年代後半のAIは一般大衆の受けが悪かったが、新たに論理プログラミングや常識推論などの新たな領域が生まれている。
1970年代前半、AIプログラムの能力は限定的だった。最も進んだものでも小さな問題しか扱えず、どのプログラムも言ってみれば「おもちゃ」だった。AI研究者は1970年代には解決できない根本的限界に直面した。その一部は後に克服されているが、21世紀の今も残っている問題もある。
コンピュータ性能の限界
人工知能の歴史 [1974−1980] AIの冬第1期
実用化に当たっては、コンピュータのメモリ容量や速度の不足は深刻であった。例えば、Ross Quillian の自然言語処理プログラムはわずか20の語彙しか扱えず、それが当時のメモリに収まる限界だった。1976年、ハンス・モラベックはコンピュータが知性を持つには数百万倍も強化する必要があると主張した。彼は、人工知能がコンピュータの能力を必要とするのは、航空機が動力を必要とするのと同じだという比喩を示唆した。あるしきい値以下では不可能だが、性能が高まっていけば最終的に容易に知性が得られるだろうと主張した。例えばマシンビジョンについてモラベックは、人間の網膜がリアルタイムで物体の境界や動きを検出する能力を機械で実現するには、毎秒109回の命令実行が可能な（1000 MIPSの）汎用コンピュータが必要だと推定している。2011年現在、実用的なコンピュータビジョンのアプリケーションは10,000から1,000,000MIPSの処理能力を要する。1976年当時の最速のスーパーコンピュータ Cray-1 は、せいぜい80から130MIPSの能力であり、当時のデスクトップ型コンピュータは1MIPSにも達していなかった。
Intractabilityと組合せ爆発
人工知能の歴史 [1974−1980] AIの冬第1期
1971年のスティーブン・クックの定理に基づき、1972年、リチャード・カープが指数関数時間（入力のサイズに対して指数関数的になる時間）でしか解けない問題が多数あることを示した (en)。それらの問題の最適解を求めるには、問題がごく小さい場合を除いて極めて多大な処理時間を要する。これは、AIプログラムが「おもちゃ」のような問題に適用している解法の多くを、そのままスケールアップしても使えないことを意味していた。
常識的知識と推論
コンピュータビジョンや自然言語処理といった重要な人工知能アプリケーションの多くは、実世界についての大量の情報を必要とする。見えているものが何なのか、話している内容が何についてなのか、といったことをプログラムが知る必要がある。つまり、そのようなプログラムは話題や見えているものについて子ども程度の知識を持っている必要がある。研究者はそういった情報の量が非常に膨大になることに気付いた。1970年当時、そのような知識を蓄えられるほど巨大なデータベースは構築できなかったし、それだけの情報を蓄積するプログラムをどう書けばいいのかも不明だった。
モラベックのパラドックス
人工知能の歴史 [1974−1980] AIの冬第1期
定理証明や幾何学問題を解くといったことはコンピュータにとって比較的簡単だが、人間にとって簡単な顔の識別や物に当たらずに部屋を横切るといったタスクはコンピュータには非常に難しい。1970年代中ごろまでマシンビジョンやロボット工学があまり進展しなかった原因はそのあたりにあった。
フレーム問題と条件付与問題
ジョン・マッカーシーのように論理学に基づいているAI研究者らは、論理そのものの構造を変更しないと自動計画における普通の推論を表現できないことを発見した。このため、新たな論理（非単調論理や様相論理）を開発して問題を解こうと試みた。
人工知能の歴史 [1974−1980] AIの冬第1期
AI研究に資金を供給していた機関（イギリス政府、DARPA、NRCなど）は、成果がないことに苛立ち、AI研究へのひもなしの資金供給がほぼ全て削減対象となった。最初の動きは1966年、機械翻訳の進展のなさを批判した ALPAC の報告書である。2000万ドルを注ぎ込んだ後、NRCは全サポートを終了させた。1973年、イギリスにおけるAI研究の現状を報告した Lighthill report では「壮大な目標」の達成には完全に失敗していることが批判され、イギリスでのAI研究の解体が始まった。この報告書ではAI研究失敗の原因として組合せ爆発問題を挙げている。DARPAはCMUでの音声認識プロジェクトの進展に失望し、毎年300万ドルの資金を停止した。1974年ごろにはAI研究への公的資金提供はほぼ見られなくなった。
人工知能の歴史 [1974−1980] AIの冬第1期
ハンス・モラベックは同僚たちの非現実的な予測がこの危機の原因だとし、「多くの研究者が誇張を増大させるクモの巣に巻き込まれた」と述べている。しかし問題はそれだけではない。1969年、マイケル・マンスフィールドの改正案が可決され、DARPAは「方向を定めない基礎研究よりも方向を定めた任務的研究」に資金提供するよう圧力がかかった。60年代のDARPAからの自由奔放な研究への資金提供は継続できなくなった。その代わりに目標がはっきりしているプロジェクト、例えば自律式戦車や戦闘指揮システムなどといったものへ方向性が変化した。
人工知能の歴史 [1974−1980] AIの冬第1期
一部の哲学者は、AI研究者の主張に強く反論した。最初の批判者の1人 John Lucas は、ゲーデルの不完全性定理が形式体系（コンピュータプログラムなど）では人間が真偽を判断できることも判断できない場合があることを示していると主張した。ヒューバート・ドレイファスは60年代の守られなかった約束を嘲笑し、人間の推論は「記号処理」などではなく、大部分が身体的かつ本能的で無意識なノウハウによっているとし、AIの前提を批評した。1980年、ジョン・サールが提示した中国語の部屋は、プログラムが記号群を使っているからといって、それについて「理解」しているとは言えないことを示したものである（志向性）。記号群が機械にとって何の意味もないなら、その機械は「思考」しているとは言えないとサールは主張した。
人工知能の歴史 [1974−1980] AIの冬第1期
これらの批判は、AI研究者には的外れに見えたため、ほとんど真剣に受け取られなかった。intractabilityと常識推論の問題の方が身近で差し迫ったものとして感じられていた。「ノウハウ」または「志向性」が実際のコンピュータプログラムにどんな違いを生じさせるかは不明瞭だった。ミンスキーはドレイファスとサールについて「彼らは誤解しているから、無視してかまわない」と述べた。当時MITで教えていたドレイファスは冷たくあしらわれることになった。後に彼はAI研究者らが「あえて私と昼食をとり、目を合わせないようにした」と述べている。ELIZAの作者ジョセフ・ワイゼンバウムは、同僚たちのドレイファスへの対応が子どもっぽいと感じた。彼もまたドレイファスの考え方には率直に批判していたが、彼は「彼らのやり方が人を扱う方法ではなかったと意図的に明らかにした」
人工知能の歴史 [1974−1980] AIの冬第1期
ケネス・コルビーがELIZAを使ってDOCTORというセラピストの会話ボットを書いたことをきっかけとして、ワイゼンバウムはAIについて真剣に倫理的疑念を抱くようになった。コルビーがそれを実際の治療に使えるツールと考えたことにワイゼンバウムは混乱した。確執が始まり、コルビーがそのプログラムへのワイゼンバウムの寄与を認めなかったことで事態は悪化した。1976年、ワイゼンバウムは『コンピュータ・パワー 人工知能と人間の理性』という本を出版し、人工知能の誤用が人命軽視につながる可能性があると主張した。
パーセプトロンはニューラルネットワークの一種で、1958年にフランク・ローゼンブラットが発表した。彼はマービン・ミンスキーとは高校の同級生だった。他のAI研究者と同様ローゼンプラットも楽観的で「パーセプトロンは最終的には学習でき、意思決定でき、言語を翻訳できるようになるだろう」と予言している。このパラダイムの研究は60年代に活発に行われたが、ミンスキーとパパートが1969年に出版した著書『パーセプトロン』によって状況が一変した。同書はパーセプトロンに重大な制限があることを示唆し、ローゼンブラットの予測がひどく誇張されたものだったことを示唆していた。その影響は破壊的で、コネクショニズムに関する研究は10年間事実上まったくなされなかった。結局、新世代の研究者が後に研究を再開させ、人工知能の有効な一部となった。ローゼンプラットはミンスキーらの著書が出版されて間もなくボートの事故で亡くなったため、コネクショニズムの復活をその目で見ることはできなかった。
論理学をAI研究に導入したのはジョン・マッカーシーで、1958年に Advice Taker の提案書でのことである。1963年、ジョン・アラン・ロビンソンがコンピュータで演繹を実装する簡単な方法、導出とユニフィケーションのアルゴリズムを発見した。しかし、マッカーシーと彼の学生達が60年代後半に試みたように、直接的な実装は非常に困難だった。そのプログラムは単純な定理の証明にも天文学的なステップ数を必要とした。論理へのより有効なアプローチは70年代にエジンバラ大学のロバート・コワルスキーが発展させ、間もなくフランスの研究者アラン・カルメラウアーとフィリップ・ルーセルと共同で論理プログラミング言語 Prolog を生み出すことになる。Prologは論理のサブセット（「プロダクションルール」と密接に関連するホーン節）を使い、扱いやすい計算を可能にしている。ルールの考え方は長く影響を及ぼし、エドワード・ファイゲンバウムのエキスパートシステムやアレン・ニューウェルのSoarの基盤となっている。
ドレイファスのように論理的アプローチを批判する者は、人間が問題解決の際に論理をほとんど使わないと指摘する。ピーター・ウェイソン、エレノア・ロッシュ、エイモス・トベルスキー、ダニエル・カーネマンといった心理学者の実験でそれが証明されている。マッカーシーは人間がどうやっているかは無関係だと応えた。彼は、必要とされているのは問題を解くことができる機械であって、人間のように考える機械ではないと主張した。
マッカーシーの方向性はMITのAI研究者にも批判された。マービン・ミンスキー、シーモア・パパート、ロジャー・シャンクは「ストーリー理解」や「物体認識」といった問題を解決しようとしており、それには人間のように思考する機械が「必要」だった。「椅子」や「レストラン」といった概念を普通に扱えるようにするには、人間が普通に行っているように非論理的な仮定をする必要がある。だが、そういった不正確な概念は論理で表現しづらい。ジェラルド・サスマンは「本質的に不正確な概念を説明するのに精密な言語を使っても、正確さは向上しない」と気付いた。ロジャー・シャンクは彼らの「非論理的」アプローチを "scruffy"、マッカーシー、コワルスキー、ファイゲンバウム、ニューウェル、サイモンといった研究者のアプローチを "neat" と称した。
1975年、ミンスキーは論文で "scruffy" の研究者らが似たようなツールを使っていることを記した。それは何らかの事物についての我々の常識的知識を全て捉えるフレームワークである。例えば、「鳥」という概念を考えたとき、飛ぶ、虫を食べる、などといった一連の事実がすぐさま思い浮かぶ。我々はそれらの事実が常に真実ではないと知っているし、そういった事実を使った推論が「論理的」ではないと知っているが、我々が何かを語り考えるときそういった一群の構造化された前提が文脈の一部を形成している。彼はその構造を「フレーム」と呼んだ。シャンクはある種のフレーム群を「スクリプト」と呼び、それを使って英語の短いストーリーについての質問に答えることに成功した。
人工知能の歴史 [1980年–1987年] 第2回AIブーム: 知識工学の時代
1980年代、AIプログラムの一形態である「エキスパートシステム」が世界中の企業で採用されるようになり、知識表現がAI研究の中心となった。同じころ、日本政府は第五世代コンピュータプロジェクトでAI研究に積極的に資金提供を行った。また、ジョン・ホップフィールドとデビッド・ラメルハートの業績によりコネクショニズムが復活を果たした。AI研究は再び活況を呈するようになった。
1980年代から急速に普及し始めたコンピュータゲームでは、敵キャラクターやNPCを制御するため、パターン化された動きを行う人工無脳が実装されていた。
エキスパートシステムは、特定領域の知識について質問に答えたり問題を解いたりするプログラムで、専門家の知識から抽出した論理的ルールを使用する。初期の例として、エドワード・ファイゲンバウムらが開発した分光計の計測結果から化合物を特定するDendral(1965)、伝染性血液疾患を診断するMycin(1972)がある。それらがこのアプローチの有効性を示した。
エキスパートシステムは扱う領域を狭くし（それによって常識的知識の問題を回避し）、単純な設計でプログラムを構築しやすくすると同時に運用中も修正が容易となっている。エキスパートシステムは実用的であり、それまでのAIが到達できていなかった段階にまで到達した。
人工知能の歴史 [1980年–1987年] 第2回AIブーム: 知識工学の時代
1980年、CMUがDECのためにエキスパートシステムXCONを完成させた。これはDECのVAXシステムの注文に対応したコンポーネントを過不足なく抽出するもので、1986年まで毎年4000万ドルの節約効果を発揮するという大成功を収めた。世界各国の企業がエキスパートシステムの採用を始め、1985年には全世界で10億ドル以上をAIに支出しており、そのほとんどが企業内のAI部門への支出だった。それをサポートする産業も成長してきた。例えばハードウェア企業のシンボリックスやLMI、ソフトウェア企業のインテリコープや Aion がある。
エキスパートシステムの能力は内蔵している専門家の知識に由来する。70年代を通して進展していたAI研究における新しい方向性の1つである。「AI研究者らは、それが倹約を旨とする科学の戒律を破ることになると知りつつ、知能が様々な方法で大量の多様な知識を使う能力に基づいている可能性が十分あると疑い始めていた」とパメラ・マコーダックは書いている。「1970年代からの大きな教訓は、知的行動は知識、時にそのタスクに関わる領域の非常に詳細な知識の扱い方に大きく依存しているということだった」 1980年代には知識ベースシステムと知識工学がAI研究の大きな領域となった。
人工知能の歴史 [1980年–1987年] 第2回AIブーム: 知識工学の時代
1980年代にはCycプロジェクトも始まった。常識的知識問題に正面から立ち向かう最初の試みであり、一般人が知っているレベルのあらゆる知識を集めた巨大なデータベースを構築するものである。このプロジェクトの創始者ダグラス・レナートは、機械に人間の様々な概念の意味を教えるには近道はなく、人の手で概念を1つずつ学習させるしかないと主張した。プロジェクトの完了には何十年もかかると見られていた。
1981年、日本の通商産業省が570億円をかけた第五世代コンピュータプロジェクトを開始した。自然言語での人間との対話、機械翻訳、画像認識、人間のような推論など、様々な目標を実現するプログラムとマシンを構築することが目的とされていた。"scruffy"側が悔しがったのは、彼らがProlog系の論理プログラミング言語をプロジェクトの主要言語とした点だった。
人工知能の歴史 [1980年–1987年] 第2回AIブーム: 知識工学の時代
これに他国も反応し、それぞれ新たな計画を立てた。イギリスは3億5000万ポンドをかけて Alvey プロジェクトを開始した。アメリカでは企業群がコンソーシアム Microelectronics and Computer Technology Corporation (MCC) を結成し、AIおよび情報技術の大規模プロジェクトに資金提供した。DARPAも Strategic Computing Initiative を創設し、1984年から1988年にかけてAI研究への資金供給を3倍に増やした。
1982年、物理学者のジョン・ホップフィールド（後にホップフィールド・ネットワークと呼ばれるようになった）は、ある形式のニューラルネットワークが従来とは全く異なる方法で学習し、情報を処理出来ることを示した。同じ頃、デビッド・ラメルハートは、ニューラルネットワークの新たな訓練方法である「バックプロパゲーション」を一般化させた（ポール・ワーボスより数年早く発見した）。それら2つの発見によって、1970年以来下火になっていたコネクショニズムが復活した。
1986年にラメルハートと心理学者のジェームズ・マクレランドの出版した2巻の論文集 Parallel Distributed Processing は、PDPモデルを提唱した。
人工知能の歴史 [1980年–1987年] 第2回AIブーム: 知識工学の時代
ニューラルネットワークは1990年代には商業的成功を達成し、簡単な光学文字認識や音声認識のプログラムで使われるようになった。
日本においてはエキスパートシステムの流行の後、1980年代後半から1990年代中頃にかけてニューロファジィが流行した。しかし、研究が進むにつれて計算リソースやデータ量の不足、シンボルグラウンディング問題、フレーム問題に直面し、産業の在り方を激変させるようなAIに至ることは無く、遅くとも1994年頃までにはブームは終焉した。第二次AIブームにおける計算リソースと学習用データの不足は特に深刻であり、機械学習というパラダイムを本格的に試すことが難しく、人間による知識表現に重きを置く傾向にあった。1994年5月25日に計測自動制御学会から第二次AIブームの全容をB5判1391ページにわたって学術論文並みの詳細度でまとめた『ニューロ・ファジィ・AIハンドブック』が発売されている。この書籍ではシステム・情報・制御技術の新しいキーワード、ニューロ・ファジィ・AIの基礎から応用事例までを集めている。
なお、日本政府や中央官庁が主導した第五世代コンピュータプロジェクト（1982年 - ）やΣプロジェクト（1985年-）は巨額の費用を投入したが、当初に掲げた理想とは異なり産業応用が困難であったことから、1992年頃には失敗が明らかとなっていた。
人工知能の歴史 [1980年–1987年] 第2回AIブーム: 知識工学の時代
この当時、パソコンやワークステーションを遥かに下回る性能の小規模コンピュータにもAIが搭載された。電卓の発展形であるポケットコンピュータではAI開発環境（LISP言語）を搭載した『CASIO AI-1000』という製品が発売された。本製品はポケットコンピュータでは唯一のAI開発に対応した製品であった。
1990年2月11日に発売された大人気ファミコンゲームの『ドラゴンクエストIV 導かれし者たち』では最新技術として学習を行うAIの搭載がパッケージに書かれていることから、エンタメを通して一般家庭にもAIが認知され浸透し始めたことが分かる。このAIはファミコンでは最高水準であり、様々な評価値や先読みのシミュレーションとルールベースを組み合わせて構築されており、1990年というデジタルゲームのAIとしては極めて早い時期に発表されたまとまった成果であった。
人工知能の歴史 [1980年–1987年] 第2回AIブーム: 知識工学の時代
1980年代後半から1990年代中頃にかけて、従来から電子制御の手法として用いられてきたON/OFF制御，PID制御，現代制御の問題を克服するため、知的制御が盛んに研究され、知識工学的なルールを用いるファジィ制御，データの特徴を学習して分類するニューラルネットワーク，その2つを融合し、ファジィルールをニューラルネットワークで調整するニューロファジィという手法が日本を中心にブームを迎えた。1987年には予見ファジィ制御が仙台市において開業した地下鉄のATOに採用され、バブル期の高級路線に合わせて、白物家電製品でもセンサの個数と種類を大幅に増やし、多様なデータを元に運転を最適化するモデルが多数発売され始めた。更に後には、人工知能とは異なるものの制御対象のカオス性をアルゴリズムに組み込んで制御するカオス制御が実用化されることになる。従来の単純な論理に基づく制御と比較して柔軟な制御が可能になることから、遅くとも2000年頃にはファジィ制御，ニューロ制御，カオス制御などの曖昧さを許容する制御方式を総称してソフトコンピューティングと呼ぶようになっている。この当時のソフトコンピューティングについては理論的な性能向上の限界が判明したため、各種機器の制御の柔軟性を限定的に向上させただけでブームが終わったが、ブームが去った後も実用的な知的制御技術として用いられ続けている。
人工知能の歴史 [1980年–1987年] 第2回AIブーム: 知識工学の時代
ファジィについては、2018年までに日本が世界の1/5の特許を取得している事から、日本で特に大きなブームとなっていたことが分かっている。
人工知能の歴史 [1980年–1987年] 第2回AIブーム: 知識工学の時代
松下電器（現パナソニック）が1985年頃から人間が持つような曖昧さを制御に活かすファジィ制御についての研究を開始し、1990年2月1日にファジィ洗濯機第1号である「愛妻号Dayファジィ」の発売に漕ぎ着けた。「愛妻号Dayファジィ」は従来よりも多数のセンサーで収集したデータに基づいて、柔軟に運転を最適化する洗濯機で、同種の洗濯機としては世界初であった。ファジィ制御という当時最先端の技術の導入がバブル期の高級路線にもマッチしたことから、ファジィは裏方の制御技術であるにもかかわらず世間の大きな注目を集めた。その流行の度合いは、1990年の新語・流行語大賞における新語部門の金賞で「ファジィ」が選ばれる程であった。その後に、松下電器はファジィルールの煩雑なチューニングを自動化したニューロファジィ制御を開発し、従来のファジィ理論の限界を突破して学会で評価されるだけでなく、白物家電への応用にも成功して更なるブームを巻き起こした。松下電器の試みの成功を受けて、他社も同様の知的制御を用いる製品を多数発売した。1990年代中頃までは、メーカー各社による一般向けの白物家電の売り文句として知的制御技術の名称が大々的に用いられており、洗濯機の製品名では「愛妻号DAYファジィ」，掃除機の分類としては「ニューロ・ファジィ掃除機」，エアコンの運転モードでは「ニューロ自動」などの名称が付与されていた。
人工知能の歴史 [1980年–1987年] 第2回AIブーム: 知識工学の時代
ニューロ，ファジィ，ニューロファジィという手法は、従来の単純なオン・オフ制御や、対象を数式で客観的にモデル化する（この作業は対象が複雑な機構を持つ場合は極めて難しくなる）必要があるPID制御や現代制御等と比較して、人間の主観的な経験則や計測したデータの特徴が利用可能となるファジィ、ニューロ、ニューロファジィは開発工数を抑えながら、環境適応時の柔軟性を高くできるという利点があった。しかし、開発者らの努力にもかかわらず、計算能力や収集可能なデータ量の少なさから、既存の工作機械や家電製品の制御を多少改善する程度で限界を迎えた。理論的にもファジィ集合と深層学習ではない3層以下のニューラルネットワークの組み合わせであり、計算リソースや学習データが潤沢に与えられたとしても、勾配消失問題などの理論的限界によって認識精度の向上には限界があった。
以降、計算機の能力限界から理論の改善も遅々として進まず、目立った進展は無くなり、1990年代末には知的制御を搭載する白物家電が大多数になったことで、売り文句としてのブームは去った。ブーム後は一般には意識されなくなったが、現在では裏方の技術として、家電製品のみならず、雨水の排水，駐車場，ビルの管理システムなどの社会インフラにも使われ、十分に性能と安定性が実証されている。2003年頃には、人間が設計したオントロジー（ファジィルールとして表現する）を利活用するネットワーク・インテリジェンスという分野に発展した。
日本の気象庁では1977年に気象数値モデルの補正に統計的機械学習の利用を開始した。具体的には、カルマンフィルタ、ロジスティック回帰、線形重回帰、クラスタリング等である。また地震発生域における地下の状態を示すバロメータである応力降下量を、ベイズ推定やマルコフ連鎖モンテカルロ法によって推定したり、余震などの細かい地震の検知を補正するガウス過程回帰といった手法を気象庁は導入した。
米国では郵便局システムに導入する郵便番号の文字認識(OCR)アルゴリズムとして、SVMやニューラルネットを応用する研究が始まった。1989年、ベル研究所のヤン・ルカンらはバックプロパゲーションのアルゴリズムを初めて実用化し、タスクのドメインからの制約条件を与えることで、ネットワークの汎化学習性能を大きく向上させることができると考えた。彼は、バックプロパゲーションアルゴリズムによって学習した畳み込みニューラルネットワークを組み合わせて手書きの数字を読み取り、1990年以降それを郵便番号の識別を目的としてシステムとして提供することを推し進め、この手法は米国以外の先進国でも導入されることとなった。この事例が公官庁における最初のDXであるとも捉えられる。
また1989年、カーネギーメロン大学のディーン・A・ポメルローという人物が畳み込みニューラルネットワークを自動運転の分野に持ち込もうとする最初のアイデアを発表した。
人工知能の歴史 [1987−1993] AIの冬第2期
1980年代商業界でのAIへの関心の高まりは一時的であり、バブル経済の古典的パターンを踏襲した。批判はあったが、AI研究はさらに進歩し続けた。ロドニー・ブルックスとハンス・モラベックはロボット工学を専門とする研究者で、人工知能について全く新しいアプローチを主張した。
「AIの冬」という言葉は1974年の資金供給停止を生き延びた研究者らが作った用語であり、彼らはエキスパートシステムへの熱狂が制御不能となってその後に失望が続くのではないかと心配した。彼らの心配は現実となり、80年代から90年代初めにかけてAI研究は再び資金難に陥った。
最初の兆候は、1987年にAI専用ハードウェアの市場が突然崩壊したことだった。AppleやIBMのデスクトップコンピュータは徐々に性能が向上し、1987年には両社のマシンがシンボリックスなどが生産する高価なLISPマシンを性能的に凌駕するようになった。LISPマシンを購入する理由がなくなり、5億ドルの市場が一瞬で消え去った。
また、XCONなどの成功を収めた初期のエキスパートシステムは、維持コストが非常に高くつくことが判明した。更新が難しく学習機能もなく、入力が間違っているととんでもない答を返してくるという問題もあり、数年前に明らかとなっていた条件付与問題の餌食となった。エキスパートシステムは確かに有効だったが、それはごく限られた状況でのみだった。
人工知能の歴史 [1987−1993] AIの冬第2期
80年代末、Strategic Computing InitiativeがAI研究への資金供給をカットした。新たなリーダーを迎えたDARPAはAIが「次の波」ではないと判断し、直近の成果が期待できるプロジェクトに資金を供給することにした。
1991年、第五世代コンピュータプロジェクトも当初掲げた様々な目標を達成することなく完了した。なお、人間と目的もなく普通に会話するなどの目標は2010年ごろまで達成されなかった。他のAIプロジェクトと同様、目標は当時実際に可能だったものよりずっと高く設定されていた。
80年代末、一部の研究者はロボット工学に基づく全く新しいアプローチを主張した。彼らは機械が真の知性を獲得するには「身体」が必要だと信じていた。すなわち、知覚し、動き、生き残り、世界とやりとりできる身体が必要だとした。常識推論のような高いレベルの能力には感覚運動能力が必須であり、抽象的推論は人間の能力としては興味深くないし重要でもないという主張である（モラベックのパラドックス）。彼らは知能を「ボトムアップで」構築することを主張した。
人工知能の歴史 [1987−1993] AIの冬第2期
このアプローチは60年代以来下火だったサイバネティックスと制御理論の考え方を復活させた。もう1人の先駆者は70年代末にMITにやってきたデビッド・マーで、それ以前に視覚の理論神経学的研究で成功を収めていた。彼は全ての記号的アプローチ（マッカーシーの論理やミンスキーのフレーム）を廃し、記号処理の前にボトムアップで視覚の物理的機構を理解する必要があると主張した。なお、マーは1980年に志半ばで白血病で亡くなった。
1990年の論文"Elephants Don't Play Chess"で、ロボット工学者ロドニー・ブルックスは物理記号システム仮説を正面から扱い、「世界はそれ自身の最良のモデルである。それは正に常に最新である。知るべき詳細は常にそこにある。秘訣は適切かつ十分頻繁に世界を感知することである」と述べ、記号は常に必要とは限らないと主張した。80年代から90年代にかけて、多くの認知科学者が精神の記号処理モデルを退け、推論には身体が本質的に必要だと主張し、その理論を「身体化された心のテーゼ」と呼んだ。
人工知能の歴史 [1987−1993] AIの冬第2期
AIは半世紀以上の歴史を経て、当初のいくつかの目標を達成するまでになった。裏方的ではあるが、産業界の様々な場所で使われ始めた。成功の一因はコンピュータの性能向上だが、具体的な特定の問題に集中した結果でもある。それでもビジネスの世界でのAIの評判は純粋なものとは言えない。1960年代に人間並みの知能をコンピュータで実現するという夢が何故失敗したかについて、AI研究者の間でも意見は一致していないが、少なくともコンピュータの性能が低かったことは非常に大きな障壁となっていた。様々な要因からAIは競合する小さな領域に分かれていき、それぞれ特定の問題やアプローチを扱うようになり、時には「人工知能」の流れを汲んでいることをごまかした新しい名称で呼ばれるようになった。AI研究は従来よりも特定のアプリケーションに対して特化することで地味ではあるが成功を収めた。
ボードゲーム用AI
1990年代はAIの多くの分野で様々なアプリケーションが成果を上げ、特にボードゲームでは目覚ましかった。
1992年にIBMは世界チャンピオンに匹敵するバックギャモン専用コンピュータ・TDギャモン（英語版）を開発した。
人工知能の歴史 [1987−1993] AIの冬第2期
1997年5月11日、IBMが開発したディープ・ブルーがチェスの世界チャンピオンであるガルリ・カスパロフに勝利した。同年8月にはオセロで日本電気のオセロ専用コンピュータ・ロジステロに世界チャンピオンの村上健が敗れた。
ロボットカー
2005年のDARPAグランド・チャレンジで、スタンフォード大学のロボットカーが優勝した。これは、リハーサルなしで砂漠の中の131マイルの道のりをロボットカーが自律的に走破するレースである。2年後のDARPAアーバンチャレンジでは、市街地を想定した55マイルのコース（障害物があり、法律遵守も求められる）をロボットカーが自律的に走破し、CMUのチームが優勝した。
成功の要因
それらの成功は何か革新的な新パラダイムがもたらしたのではなく、アプリケーションの地道な改良とコンピュータのすさまじい性能向上によるものである。実際、1951年に世界初のチェスプログラムが動作した Ferranti Mark 1 に比べると、ディープ・ブルーは1000万倍の性能である。この劇的な進化はムーアの法則に沿ったもので、コンピュータの速度とメモリ容量は2年ごとに倍増すると予言した法則である。かつて根本問題の1つだった「コンピュータ性能の限界」はこうして徐々に克服されていった。
人工知能の歴史 [1987−1993] AIの冬第2期
元々はAI研究者が開発したアルゴリズムが大規模システムの一部として使われ始めた。AIは様々な非常に難しい問題を解決してきており、その解法は実用的であることが証明されてきた。例えば、データマイニング、産業用ロボット、物流、音声認識、銀行のソフトウェア、医療診断、Googleの検索エンジンなどが挙げられる。
それらの成功がAIのおかげだということはほとんど知られていない。AIの偉大な技術革新の多くは、達成と同時に計算機科学のありふれたアイテムとして扱われてきた。ニック・ボストロムは「AIの最先端の多くは、十分に実用的で一般的になった途端AIとは呼ばれなくなり、一般のアプリケーションに浸透していく」と説明している。日本語圏ではこれら現象を”AI効果”と呼ぶこともある。
1980年代の産業界ではファジィ理論を指す「ファジィ」と並んで、ニューラルネットワークを指す「ニューロ」という言葉がバズワード化し、白物家電製品にも搭載が明記されていた。1990年代に入るとファジィ理論とニューラルネットワークを組み合わせたニューロファジィが様々な製品に搭載されるようになり、白物家電製品にも機能として「ニューロファジィ」等と明記されるようになった。しかし、"裏方の" 制御技術とも言え、利用者にとっては目立った機能では無いため、2000年頃には、使用しているのに殆どの製品で明記されなくなっていた。
人工知能の歴史 [1987−1993] AIの冬第2期
1990年代のAI研究者の多くは、意図的に自らの仕事をAI以外の名前で呼んでいた。例えば、インフォマティクス、知識ベース、認知システム、計算知能などである。その理由は、もしかすると彼らが自分の研究をAIとは異なるものだと思っていたからかも知れないが、実際の理由は、新しい名前をつけるほうが資金提供を受けられると考えたからだろう。少なくとも産業界では「AIの冬」をもたらした失敗の影が払拭されておらず、ニューヨークタイムズ紙は2005年に「無謀な夢を見る人とみなされることを恐れ、計算機科学者やソフトウェア工学者は人工知能という用語の使用を避けた」と記している。
90年代になると「知的エージェント」と呼ばれる新たなパラダイムが広く受け入れられるようになった。初期の研究者らはAIに迫るためにモジュール化された分割統治法を提案していたが、知的エージェントが現代的形態に到達するのはジューディア・パールやアレン・ニューウェルといった研究者がAI研究に決定理論や経済学の概念を持ち込んで以降である。経済学における合理的エージェントの定義と計算機科学におけるオブジェクトまたはモジュールの定義が出会い、知的エージェントのパラダイムが完成した。
人工知能の歴史 [1987−1993] AIの冬第2期
知的エージェントは環境を知覚し、成功の確率を最大化する行動をとる。この定義によれば、特定の問題を解く単純なプログラムも「知的エージェント」であり、人間も人間の組織、例えば企業も知的エージェントである。「知的エージェント」パラダイムでは、AI研究は「知的エージェント研究」と定義される。これは初期のAIの定義の一部を一般化したもので、単に人間の知能を研究するのではなく、あらゆる知性を研究対象とすることになる。
このパラダイムにより、孤立した問題を研究し、検証可能で実用的な解法を求めることが意味のあることだと言えるようになった。問題を説明し、経済学や制御理論など抽象的エージェントの概念を扱う他の分野も含めて問題の解決策を共有できる共通語を提供している。いつの日か、完全なエージェントアーキテクチャ（例えば、ニューウェルのSOAR）によって、対話型知的エージェントからより多用途で知的なシステムが構築できるようになることが望まれている。
人工知能の歴史 [1987−1993] AIの冬第2期
AI研究者はかつてないほど洗練された数学的ツールを開発し使い始めた。AI研究で解決する必要のあった多くの問題が、数学、経済学、オペレーションズ・リサーチなどの分野の研究者によって既に解決されている。共通の数学的言語を使うことで、より確立された分野と高いレベルで協力でき、測定可能かつ検証可能な成果が生み出され、AIはさらに厳密な「科学的」領域となった。Russell & Norvig (2003)はこれを「革命」であり「"neat"の勝利」に他ならないと記している。
ジューディア・パールの1988年の著書は、AIに確率と決定理論をもたらし、大きな影響を及ぼした。多くの実用化されたツールが、ベイジアンネットワーク、隠れマルコフモデル、情報理論、確率的モデリング、古典的最適化などを活用している。ニューラルネットワークや進化的アルゴリズムといった「計算知能」パラダイムのための正確な数学的記述も発展してきた。
1968年、アーサー・C・クラークとスタンリー・キューブリックは、2001年には人間並みか人間を越えた知性を持ったマシンが存在するだろうと想像した。彼らが創造したHAL 9000は、当時のAI研究者が2001年には存在するだろうと予測していたものだった。マービン・ミンスキーは、「そこで問題は、なぜ我々は2001年になってもHALを実現していないのかだ」と問題提起した。
人工知能の歴史 [1987−1993] AIの冬第2期
ミンスキーは当時、「AIの中心的課題（例えば常識推論）が無視され、多くの研究者がニューラルネットワークや遺伝的アルゴリズムの商用アプリケーションを追求しているのが原因だ」と思っていた。一方ジョン・マッカーシーは条件付与問題を非難していた。レイ・カーツワイルはコンピュータの性能がまだ十分ではないからだと考え、ムーアの法則から人間並みの知能を持った機械が出現するのは2029年だと予測していた。ジェフ・ホーキンスは、ニューラルネットワークの研究が人間の大脳皮質の基本的性質を無視し、簡単な問題または学習済みの問題を解くことに成功した簡単なモデルを好む傾向があると主張していた。他にも、HAL 9000のような人工知能の開発に至っていない原因について様々な、あてずっぽう的な指摘があり、それぞれの指摘に反応していくつもの研究計画が練られた。
1999年にソニーの初代AIBO、2000年にホンダのASIMO発表に代表される第2次ロボットブームがあったが、汎用ロボットの開発は進まないまま時が過ぎていった。AIBO開発当時のソニー社内では「なんで、こんなおもちゃを作るんだ」「19世紀のテクノロジー」と評判は散々であったという。
2000年に制限ボルツマンマシンやコントラスティブ・ダイバージェンスの提案が行われた。これらの提案は、2006年のディープラーニングの提案に向かう道筋を作った。
2002年以降、自然言語処理分野である品詞タグ付けや構文解析などの領域で、パーセプトロンや隠れマルコフモデルの適用が人気となりはじめた。
2005年、レイ・カーツワイルは著作で、「生物学的制約から解放された存在が知能の点で人間を超越し、科学技術や経済の進歩を担い世界を変革する技術的特異点（シンギュラリティ）が2045年にも訪れる」とする説を発表し、物議を醸した。
人工知能の歴史 [2006年-2019年] 第3回AIブーム: ディープラーニングの時代
2006年にジェフリー・ヒントンによりオートエンコーダを利用したディープラーニングが発明された。この発明は人手を介さず特徴量を抽出できる点で、人間による知識表現の必要が無くなり、人工知能における大きなブレイクスルーとなった。この瞬間、長らく暗黒時代を迎えていたコネクショニズムが突如として復活することになった。同時に、人間が知識表現を行うことで生じていた記号接地問題も解決された。
2007年以降、Googleはボストンに拠点を置くニュアンス社から技術者を引き抜き、隠れマルコフモデルや順伝播型ニューラルネットを用いた音声認識アルゴリズムの開発を強化した。
2010年には、インターネットを流れるデータ転送量の増大を受けて、英国エコノミスト誌で「ビッグデータ」という用語が提唱された。同年に質問応答システムのワトソンが、クイズ番組「ジェパディ!」の練習戦で人間に勝利し、大きなニュースとなった。2010年代に入り、膨大なデータを扱う研究開発のための環境が整備されたことで、”過去データに基づく結果を出力するAI”関連の研究が再び大きく前進し始めた。
2010年代になると自動車や航空機での完全自動運転が実現可能と目されるようになり、自動車を中心に研究が盛んになった。商業販売を目指して公道走行試験が続き、限定的なオートクルーズ機能を持つ車も現れた。
人工知能の歴史 [2006年-2019年] 第3回AIブーム: ディープラーニングの時代
また軍事利用の可能性についても議論されるようになった（この時代にも既に各国は無人戦闘機UCAV、無人自動車ロボットカーを運用していたが、遠隔操作であり完全な自動化には至っていなかった。UCAVは利用されているが、一部操作は地上から行っている）。日本ではP-1(哨戒機)のように戦闘指揮システムに支援用の人工知能が搭載された。
2016年6月、米シンシナティ大学の研究チームが開発した戦闘機操縦用のAIプログラム「ALPHA」が、元米軍パイロットとの模擬空戦で一方的に勝利したと発表された。AIプログラムは遺伝的アルゴリズムとファジィ制御を使用しており、アルゴリズムの動作に高い処理能力は必要とせず、Raspberry Pi上で動作可能。
人工知能の歴史 [2006年-2019年] 第3回AIブーム: ディープラーニングの時代
2012年、画像認識のコンペティション(ILSVRC)で驚異的なエラー低減を実現し画像認識精度で高スコアを叩き出したAlexNetが登場。これを受け開発者のジェフリーヒントンやイリアサツケバーが所属するDNN Research社をGoogleが買収した。同年のGoogleによるディープラーニングを用いたYouTube画像からの猫の認識成功の発表により、世界各国において再び人工知能研究に注目が集まり始めた。この社会現象は第3次人工知能ブームと呼ばれる。これを受け、Google社内では深層学習をはじめとしたAI基礎研究専門チーム「Google Brain」を立ち上げ多大な開発投資と国際的な人材獲得へ動き出す。ニューラルネットワークの学習過程の数学処理を簡素化するフレームワーク「TensorFlow」も構築した。その後、ディープラーニングの研究の加速と急速な普及を受けて、レイ・カーツワイルが2005年に提唱していた技術的特異点という概念は、急速に世界中の識者の注目を集め始めた。
人工知能の歴史 [2006年-2019年] 第3回AIブーム: ディープラーニングの時代
2013年、国立情報学研究所（新井紀子がリーダー）や富士通研究所の研究チームが開発した人工知能「東ロボくん」で東京大学入試の模擬試験に挑んだと発表した。数式の計算や単語の解析にあたる専用プログラムを使い、実際に受験生が臨んだ大学入試センター試験と東大の2次試験の問題を解読した。代々木ゼミナールの判定では「東大の合格は難しいが、私立大学には合格できる水準」だった。しかし2016年11月、「東ロボくん」は東大合格を諦めるとの報道があった。
2014年、GoogleBrain所属のイリアサツケバー氏含む研究者らは自然言語処理のアーキテクチャとして''Seq2Seq''を提案し、論文を公開した。時系列データを処理するためのLSTMモデルを応用した。
人工知能の歴史 [2006年-2019年] 第3回AIブーム: ディープラーニングの時代
2014年、弱いAI「Eugene」が英国のレディング大学で行われたイベントで33％の試験官に人間であると判定されチューリングテストに合格。しかし13歳で英語が母国語でないという設定から物議をかもす。
2014年には、1990年代からシリコンバレーにて医療用システムの研究開発を行い、2010年代からは日本でスーパーコンピュータの研究開発を推進している斎藤元章により、特異点に先立ち、オートメーション化とコンピューター技術の進歩により衣食住の生産コストがゼロに限りなく近づくというプレ・シンギュラリティという概念も提唱された。
ジェフ・ホーキンスが独自の理論に基づき、人工知能の実現に向けて研究を続けた。ジェフ・ホーキンスは、著書『考える脳　考えるコンピューター』の中で自己連想記憶理論という独自の理論を展開した。
ロボット向け人工知能としては、MITコンピュータ科学・人工知能研究所のロドニー・ブルックスが提唱した包摂アーキテクチャという理論が登場している。これは従来型の「我思う、故に我あり」の知が先行する人工知能ではなく、体の神経ネットワークのみを用いて環境から学習する行動型システムを用いている。これに基づいたゲンギスと呼ばれる六本足のロボットは、いわゆる「脳」を持たないにも関わらず、まるで生きているかのように行動する。
人工知能の歴史 [2006年-2019年] 第3回AIブーム: ディープラーニングの時代
2015年10月に、DeepMind社は2つの深層学習技術と強化学習、モンテカルロ木探索を組み合わせ「AlphaGo」を開発し、人間のプロ囲碁棋士に勝利することに成功した。
2016年10月、DeepMindが入力された情報の関連性を導き出し仮説に近いものを導き出す人工知能技術「ディファレンシャブル・ニューラル・コンピューター」を発表。
2016年10月、Microsoftの開発する音声認識ソフトの聞き取りエラー率が人間並みになったと発表。
2016年11月、DeepMindが大量のデータが不要の「ワンショット学習」を可能にする深層学習システムを開発。
2016年11月、DeepMindがAIの学習を従来比で10倍高速化させる新手法を発表。
2016年11月、ニューラル機械翻訳システムGoogle Neural Machine Translationが翻訳にあたって独自に普遍的な言語を作成しており、それに基づいて学習していない言語も翻訳できるという論文が発表される。
人工知能の歴史 [2006年-2019年] 第3回AIブーム: ディープラーニングの時代
2017年1月、初歩的な自己改良プログラムが成功しているとのレポートをMITが公表。
2017年3月、DeepMindがニューラルネットワークが持つ欠陥「破滅的忘却」を回避するアルゴリズムを開発。
2017年6月、DeepMindが関係推論のような人間並みの認識能力を持つシステムを開発。
2017年6月、Facebookが開発したチャットボット同士に会話させていたところAIが英語を基にした独自の言語を生み出したと発表。
2017年8月には、DeepMindが記号接地問題（シンボルグラウンディング問題）を解決したと主張。
2017年10月、ジェフリー・ヒントンにより要素間の相対的な位置関係まで含めて学習できるCapsNet(カプセルネットワーク)が提唱された。
従来、AIには不向きとされてきた不完全情報ゲームであるポーカーでもAIが人間に勝利するようになった。
Googleの関係者はさらに野心的な取り組みとして、単一のソフトウェアで100万種類以上のタスクを実行可能なAIを開発していると明らかにした。
ディープラーニングの発明と急速な普及を受けて、研究開発の現場においては、デミス・ハサビス率いるDeepMindを筆頭に、Vicarious、OpenAI、IBM Cortical Learning Center、全脳アーキテクチャ、PEZY Computing、OpenCog、GoodAI、NNAISENSE、IBM SyNAPSE、Nengo、中国科学院自動化研究所等、汎用人工知能（AGI）を開発するプロジェクトが数多く立ち上げられている。これらの研究開発の現場では、脳をリバースエンジニアリングして構築された神経科学と機械学習を組み合わせるアプローチが有望とされている。
2018年3月16日の国際大学GLOCOMの提言によると、課題解決型のAIを活用する事で社会変革に寄与できると分析されている。
2018年8月31日、原油高が大きな負担となっていたJALがNECに開発を依頼して新たにAI支援による旅客システムを導入し、約50年続けてきた人間の経験に基づく旅客システム運用を取り止めたことで、空席を殆ど0にまで削減することに成功し、大幅に利益率を向上させた事例が報告された。この事例はディープラーニング以後のAIが絶大な社会的インパクトをもたらす根拠となる事例と言える。
2018年8月、OpenAIが好奇心を実装しノーゲームスコア、ノーゴール、無報酬で目的なき探索を行うAIを公表。これまでのAIで最も人間らしいという。
2018年9月、MITリンカーン研究所は従来ブラックボックスであったニューラルネットワークの推論をどのような段階を経て識別したのかが明確に分かるアーキテクチャを開発した。
一般的に2018年頃はまだ、人工知能は肉体労働や単純作業を置き換え、芸術的・創造的仕事が「人間の領域」となると予想されてきたが、実際には2020年代前半から芸術的な分野へ急速に進出していると学術界でさえ予想できなかった節がある。また人工知能の実用化後も残るとされた翻訳、意思決定、法律相談など高度なスキルを必要とする分野への応用も進んでいる。
2019年、BERTなどの言語モデルにより、深層学習では困難とされてきた言語処理において大きな進展があり、Wikipediaなどを使用した読解テストで人間を上回るに至った。
人工知能の歴史 [2020年代以降] 第4回AIブーム: 大規模言語モデル（LLM）と生成AIの台頭
2010年代後半には、深層学習の実用化成功により、AIの文字を新聞で見かけない日がないほどのAIブームが再来し、企業も人工知能という言葉を積極的に使っている。最終的には人間が生み出した知性が宇宙を満たし、情報処理が物理法則までも支配するというシンギュラリティ仮説や労働が不要の「瑞穂の国」が出現するというプレ・シンギュラリティ仮説が一定の支持を集めるなど、AIに対する期待は高まった。一方でAIによるディストピア論や、現状はAIに対する期待に技術が追い付いていないAIバブルだと批判する声もあった。デミス・ハサビスは「AIの歴史は誤ったはしごに登っては下りるの繰り返しだった。 『正しいはしご』にたどり着いたのは、大きい」と、AIの冬が再び訪れない可能性に言及した。医療分野では、患者の大量の医療記録をAIに学習させる事で自殺願望があるかどうかを80％以上の精度で特定できるという研究結果がいくつかあり、AIをセラピストのように人を救う事に活用できないか模索されている。
人工知能の歴史 [2020年代以降] 第4回AIブーム: 大規模言語モデル（LLM）と生成AIの台頭
2020年には、OpenAIがニューラルネットワークと自己注意機構を基盤としたトランスフォーマー（Transformer）および大規模言語モデル（LLM）を採用した1750億パラメータを持つ自然言語処理プログラムGPT-3を開発し、アメリカの掲示板サイトRedditで1週間誰にも気付かれず人間と投稿・対話を続けた。プログラムと気付かれた理由は文章の不自然さではなく、その投稿数が異常というものだった。
DeepMindが開発したタンパク質の構造予測を行うAlphaFold2がCASPのグローバル距離テスト (GDT) で90点以上を獲得し、計算生物学における重要な成果であり、数十年前からの生物学の壮大な挑戦に向けた大きな進歩と称された。
最先端のAI研究では2年で1000倍サイズのモデルが出現し、1000倍の演算能力を持つコンピュータが必要になって来ている。2020年の時点で、メタ分析によれば、いくつかのAIアルゴリズムの進歩は停滞している。
2021年4月、NVIDIAの幹部、パレシュ・カーリャは「数年内に100兆パラメータを持つAIモデルが出てくるだろう」と予想した。
2021年5月、マイクロソフトリサーチが32兆パラメーターのAIを試験。
2021年6月、中国政府の支援を受けている北京智源人工知能研究院がパラメーター数1兆7500億のAI「悟道2.0」を発表。
人工知能の歴史 [2020年代以降] 第4回AIブーム: 大規模言語モデル（LLM）と生成AIの台頭
2021年6月、グーグルの研究者達がグラフ畳み込みニューラルネットと強化学習(方策勾配法最適化)を用いて配線とチップの配置を自動設計させたところ、消費電力、性能など全ての主要な指数で人間が設計したもの以上の行列演算専用チップ(TPU4.0)のフロアプランを生成した。そして、設計にかかる時間は人間の1/1000であった。
2021年8月、グーグルの量子人工知能研究部門を率いるハルトムート・ネベンは量子コンピュータの発達の影響がもっとも大きい分野として機械学習分野などAIを挙げた。
2021年8月、DeepMindはさまざまな種類の入力と出力を処理できる汎用の深層学習モデル「Perceiver」を開発した。
2021年10月、GoogleBrainは視覚、聴覚、言語理解力を統合し同時に処理するマルチモーダルAIモデル「Pathways」を開発中であると発表した。
人工知能の歴史 [2020年代以降] 第4回AIブーム: 大規模言語モデル（LLM）と生成AIの台頭
2020年にOpenAIは自然言語を用いた大規模言語モデルであるGPT-3を開発した。2022年11月30日、OpenAIは同様に大規模言語モデルのGPT-3.5を用いて人間とチャット（会話）をするChatGPTをリリースした。全世界的に従来よりも圧倒的に人間に近い回答を返す質問応答システムとして話題となり、世界各国で産官学を巻き込んだブームを引き起こした。非常に使い勝手の良いChatGPTの登場により、AIの実務応用が爆発的に加速すると予想されたため、これを第4次AIブームの始まりとする意見も挙がっている。対話型の生成AIであるChatGPTはプログラミングを含む多種多様な用途・業務への応用が可能であり、これを利用して論文を書く例も現れている。
人工知能の歴史 [2020年代以降] 第4回AIブーム: 大規模言語モデル（LLM）と生成AIの台頭
2022年12月、Googleは、「Flan-PaLM」と呼ばれる巨大言語モデルを開発した。米国医師免許試験(USMLE)形式のタスク「MedQA」で正答率67.6%を記録し、PubMedQAで79.0%を達成した。57ジャンルの選択問題タスク「MMLU」の医療トピックでもFlan-PaLMの成績は他の巨大モデルを凌駕した。臨床知識で80.4%、専門医学で83.8%、大学生物学で88.9%、遺伝医療学で75.0%の正答率である。Googleロボティクス部門はまた、ロボットの入力と出力行動(カメラ画像、タスク指示、モータ命令など)をトークン化して学習し、実行時にリアルタイム推論を可能にする「Robotics Transformer 1(RT-1)」を開発した。
人工知能の歴史 [2020年代以降] 第4回AIブーム: 大規模言語モデル（LLM）と生成AIの台頭
2022年4月、Googleは予告どおりPathwaysを使い、万能言語モデルPaLMを完成させた。とんち話の解説を行えるほか、9-12歳レベルの算数の文章問題を解き、数学計算の論理的な説明が可能であった。デジタルコンピュータは誕生から80年弱にして初めて数学計算の内容を文章で説明できるようになった。その後、自然言語処理としてPathwaysをベースにした数学の問題を解けるモデル「Minerva」を開発した。また、Pathwaysをベースにした自然言語処理とDiffusion Modelを連携し、画像生成モデルPartiを発表した。