バックプロパゲーション
ネットワーク y ^ = f ( x ; w ) {\displaystyle {\hat {y}}=f(x;w)} に対する誤差関数 E ( y ^ , y ) {\displaystyle E({\hat {y}},y)} を定義したとき、現在の重み w k = a n o w {\displaystyle w_{k}=a_{now}} における E {\displaystyle E} の傾きすなわち偏微分値 ∂ E ∂ w k | w k = a n o w {\displaystyle \left.{\partial E \over \partial w_{k}}\right|_{w_{k}=a_{now}}} がわかれば、最適化手法である勾配法を用いて誤差 E {\displaystyle E} が小さくなるように w k {\displaystyle w_{k}} を更新(=学習)できる。学習アルゴリズムであるバックプロパゲーションの目的はこの勾配値を得て重みを学習することである。