ニューラルネットワーク
1943年、ウォーレン・マカロックとウォルター・ピッツが形式ニューロンを発表した。
1958年、フランク・ローゼンブラットがパーセプトロンを発表した。
1969年、マービン・ミンスキーとシーモア・パパートが著書『パーセプトロン』の中で、単純パーセプトロンは線形分離不可能なパターンを識別できない事を示した。
1979年、福島邦彦がネオコグニトロンを発表し、文字認識に使用し、後にこれが畳み込みニューラルネットワークへと発展する。
1982年、ジョン・ホップフィールドによってホップフィールド・ネットワーク(再帰型ニューラルネットワーク)が提案された。
1985年、ジェフリー・ヒントンらによりボルツマンマシンが提案された。
1986年、デビッド・ラメルハートらにより誤差逆伝播法(バックプロパゲーション)が提案(再発見)された。
1988年、畳み込みニューラルネットワークを本間俊光らが音素の認識に、1989年にヤン・ルカンらが文字の認識に使用した。LeCunらの多層の畳み込みニューラルネットワークは後にディープラーニングの一種に分類されることになる。
2006年、ジェフリー・ヒントンらによりオートエンコーダおよびディープ・ビリーフ・ネットワークが提案され、この理論が、2010年代にディープラーニングと呼ばれる分野を形成した。
(実際にはニューロンの数もさまざまに設定可能であるし、結合のしかたもさまざまに設定可能である。右図はあくまで、とりあえず説明にとりかかるための "一例" と理解いただきたい。 ユニットの構成(例: 線形変換の次元、非線形変換の有無・種類)やネットワークの構造(例: ユニットの数・階層構造・相互結合、入出力の再帰)に関して様々な選択肢があり、様々なモデルが提唱されている。)
各ユニットは入力の線形変換を必ず含み、多くの場合それに後続する非線形変換を含む( u n i t ( x ) = σ ( w x ) {\displaystyle unit({\boldsymbol {x}})=\sigma ({\boldsymbol {w}}{\boldsymbol {x}})} )。
ニューラルネットワークは機械学習のモデルとして利用され、分類・回帰・生成など様々なクラスのタスクに教師あり/教師なし問わず利用される。利用分野にはパターン認識やデータマイニング(例: 画像認識、レコメンデーション)が挙げられる。学習法は誤差逆伝播法が主流である。
三層以上のニューラルネットワークは可微分で連続な任意関数を近似できることが証明されている(線形分離不可能な問題を解ける)。
形式ニューロンなど研究の源流としては生物の神経系の探求であるが、その当初から、それが実際に生物の神経系のシミュレーションであるか否かについては議論がある。生物学と相互の進展により、相違点なども研究されている。