自動微分
多変数の場合はヤコビ行列の積として一般化できる。
トップダウン型自動微分と比較すると、ボトムアップ型自動微分は自然であり、偏微分に関する情報の流れが計算の順序と一致するため簡単に実行できる。それぞれの変数にその偏導関数値 w ̇ i {\displaystyle {\dot {w}}_{i}}
w ̇ i = ∂ w i ∂ x {\displaystyle {\dot {w}}_{i}={\frac {\partial w_{i}}{\partial x}}}
の計算値を保存する領域を付け加えるだけで、変数値の計算と同時に偏導関数値を計算することができる。
連鎖律より、 w i {\displaystyle w_{i}} が計算グラフで先行ノードを持つ場合、
w ̇ i = ∑ j ∂ w i ∂ w j w ̇ j {\displaystyle {\dot {w}}_{i}=\sum _{j}{\frac {\partial w_{i}}{\partial w_{j}}}{\dot {w}}_{j}} , j ∈ {i の先行ノード}
例として次の関数を考える。
y = f ( x 1 , x 2 ) = x 1 x 2 + sin  x 1 = w 1 w 2 + sin  w 1 = w 3 + w 4 = w 5 {\displaystyle {\begin{aligned}y&=f(x_{1},x_{2})\\&=x_{1}x_{2}+\sin x_{1}\\&=w_{1}w_{2}+\sin w_{1}\\&=w_{3}+w_{4}\\&=w_{5}\end{aligned}}}