バックプロパゲーション
バックプロパゲーションに相当(連鎖律+勾配法)するニューラルネットワーク学習手法は何度も再発見されてきた。
1960年, B. Widrow & M.E. Hoff, Jr. : Widrow-Hoff法(デルタルール)、隠れ層のない2層のニューラルネットワークでの出力誤差からの確率的勾配降下法
1967年, 甘利俊一: 隠れ層のあるニューラルネットワーク
1969年, アーサー・E・ブライソン(英語版)& 何毓琦(英語版): 多段動的システム最適化手法として提案
1974年, ポール・ワーボス(英語版): ニューラルネットワークにおける応用を示唆
1986年, デビッド・ラメルハート、ジェフリー・ヒントン、ロナルド・J・ウィリアムス(英語版): backwards propagation of errors(後方への誤差伝播)の略からバックプロパゲーションの名で再発明、以後定着
21世紀におけるディープラーニングではバックプロパゲーションが学習法としてよく用いられる。