微分動的計画法
微分動的計画法 (DDP) では、新しい制御系列を計算するために、ノミナルな軌道に沿って逆方向パスの計算を行い、次に(得られた制御系列のもとでの)新しい軌道とその評価値を得るために順方向パスの計算を行うことを繰り返す。逆方向パスの計算から始めよう。
式(2)の min [ ] {\displaystyle \min[~]} 演算子の引数
l ( x , u ) + V ( f ( x , u ) , i + 1 ) {\displaystyle \ell (\mathbf {x} ,\mathbf {u} )+V(\mathbf {f} (\mathbf {x} ,\mathbf {u} ),i+1)}
に関して、その値の変分を時刻 i {\displaystyle i} の状態-入力ペア ( x , u ) {\displaystyle (\mathbf {x} ,\mathbf {u} )} 周辺でとったものを Q {\displaystyle Q} としよう:
Q ( δ x , δ u ) ≡ l ( x + δ x , u + δ u ) + V ( f ( x + δ x , u + δ u ) , i + 1 ) − l ( x , u ) − V ( f ( x , u ) , i + 1 ) {\displaystyle {\begin{aligned}Q(\delta \mathbf {x} ,\delta \mathbf {u} )\equiv &\ell (\mathbf {x} +\delta \mathbf {x} ,\mathbf {u} +\delta \mathbf {u} )&&{}+V(\mathbf {f} (\mathbf {x} +\delta \mathbf {x} ,\mathbf {u} +\delta \mathbf {u} ),i+1)\\-&\ell (\mathbf {x} ,\mathbf {u} )&&{}-V(\mathbf {f} (\mathbf {x} ,\mathbf {u} ),i+1)\end{aligned}}}
ここで x 0 ≡ x {\displaystyle \mathbf {x} _{0}\equiv \mathbf {x} } であり、時刻 i > 0 {\displaystyle i>0} における状態 x i {\displaystyle \mathbf {x} _{i}} は式(1)によって与えられる。この最適制御問題の解は、上式を最小化する制御系列 U ∗ ( x ) ≡ argmin U  J 0 ( x , U ) . {\displaystyle \mathbf {U} ^{*}(\mathbf {x} )\equiv \operatorname {argmin} _{\mathbf {U} }J_{0}(\mathbf {x} ,\mathbf {U} ).} である。 これに対し、ありえる初期状態すべてを考えるのではなく、特定の初期状態 x 0 {\displaystyle \mathbf {x} _{0}} に対して最適な入力系列 U ∗ ( x ) {\displaystyle \mathbf {U} ^{*}(\mathbf {x} )} を求めるのが 軌道最適化である。