ニューラルネットワーク
第二次世界大戦の最中の1943年のこと、ウォーレン・マカロックとウォルター・ピッツが神経回路網理論を提出したが(形式ニューロンを参照)、この理論は現実の脳と比べてあまりに単純化するものだったので当時はほとんど注目されなかった。また1949年にドナルド・ヘッブが神経回路の学習理論として発表した 「シナプスの可塑性の理論」 も " 単なる机上の空論 " の扱いを受けてしまった。
状況が変わりはじめたのは1967年のことで、同年に小脳の神経回路網の構造が明らかになり、そのおかげで上述のマカロック、ピッツ、ヘッブらの理論が現実の小脳をうまくモデル化していることが分かり、すでに発表されて10年ほど経っていたパーセプトロンが俄然ブームとなった。
ところが1970年代になるとマービン・ミンスキーとシーモア・パパートがパーセプトロンの限界を数学的に証明したことで、神経回路網的手法に対する期待が一気にしぼみ、その研究者の数が急激に減ってしまった。それでも地道な研究を続けていた人はおり、(1986年にデビッド・ラメルハートらがバックプロパゲーション(誤差 逆伝播法)を再発見(再提案)したことで、それまでの限界を突破する道がとうとう開け) 「ニューラルネットワーク」として多くの研究者の注目を浴びるようになった。
フィードフォワードニューラルネットと違い、双方向に信号が伝播するモデル。すべてのノードが他の全てのノードと結合を持っている場合、全結合リカレントニューラルネットと呼ぶ。シーケンシャルなデータに対して有効で、自然言語処理や音声、動画の解析などに利用される。
ホップフィールド・ネットワーク