微分動的計画法
ベルマン方程式
ハミルトン-ヤコビ-ベルマン方程式
動的計画法
最適制御
Δ V ( i ) = − 1 2 Q u Q u u − 1 Q u V x ( i ) = Q x − Q u Q u u − 1 Q u x V x x ( i ) = Q x x − Q x u Q u u − 1 Q u x . {\displaystyle {\begin{alignedat}{2}\Delta V(i)&=&{}-{\tfrac {1}{2}}Q_{\mathbf {u} }Q_{\mathbf {u} \mathbf {u} }^{-1}Q_{\mathbf {u} }\\V_{\mathbf {x} }(i)&=Q_{\mathbf {x} }&{}-Q_{\mathbf {u} }Q_{\mathbf {u} \mathbf {u} }^{-1}Q_{\mathbf {u} \mathbf {x} }\\V_{\mathbf {x} \mathbf {x} }(i)&=Q_{\mathbf {x} \mathbf {x} }&{}-Q_{\mathbf {x} \mathbf {u} }Q_{\mathbf {u} \mathbf {u} }^{-1}Q_{\mathbf {u} \mathbf {x} }.\end{alignedat}}}
i = N − 1 {\displaystyle i=N-1} から i = 1 {\displaystyle i=1} に向かって、再帰的に価値関数 V ( i ) {\displaystyle V(i)} の局所的な二次形式のモデルと、制御の修正量 { k ( i ) , K ( i ) } {\displaystyle \{\mathbf {k} (i),\mathbf {K} (i)\}} を求めるのが逆方向パスの計算である。
今、 U i {\displaystyle \mathbf {U} _{i}} を制御入力の部分系列 U i ≡ { u i , u i + 1 ... , u N − 1 } {\displaystyle \mathbf {U} _{i}\equiv \{\mathbf {u} _{i},\mathbf {u} _{i+1}\dots ,\mathbf {u} _{N-1}\}} とし、 残余コスト(cost-to-go) J i {\displaystyle J_{i}} を i {\displaystyle i} から N {\displaystyle N} までの部分和として定義する:
J i ( x , U i ) = ∑ j = i N − 1 l ( x j , u j ) + l f ( x N ) . {\displaystyle J_{i}(\mathbf {x} ,\mathbf {U} _{i})=\sum _{j=i}^{N-1}\ell (\mathbf {x} _{j},\mathbf {u} _{j})+\ell _{f}(\mathbf {x} _{N}).