多層パーセプトロン
と単純化できることを証明するのは容易である。上式において、 φ ′ {\displaystyle \phi ^{\prime }} は上述した活性化関数の導関数であり、それ自身は変化しない。隠れ層への重みの変化についての解析はより難しいが、 関連のある導関数は以下のように表わすことができる。
− ∂ E ( n ) ∂ v j ( n ) = φ ′ ( v j ( n ) ) ∑ k − ∂ E ( n ) ∂ v k ( n ) w k j ( n ) {\displaystyle -{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=\phi ^{\prime }(v_{j}(n))\sum _{k}-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{k}(n)}}w_{kj}(n)} .
これは、出力層を表わす k {\displaystyle k} 番目のノードの重みの変化に依存する。したがって隠れ層の重みを変化させるには、活性化関数の導関数にしたがって出力層の重みを変化させる。したがってこのアルゴリズムは活性化関数の逆伝播(バックプロパゲーション)に相当する 。