ハミルトン-ヤコビ-ベルマン方程式
V ( x ( t + d t ) , t + d t ) = V ( x ( t ) , t ) + V ̇ ( x ( t ) , t ) d t + ∇ V ( x ( t ) , t ) ⋅ x ̇ ( t ) d t + o ( d t ) , {\displaystyle V(x(t\!+\!dt),t\!+\!dt)\;=\;V(x(t),t)+{\dot {V}}(x(t),t)\,dt+\nabla V(x(t),t)\cdot {\dot {x}}(t)\,dt\;+\;o(dt),}
o ( d t ) {\displaystyle o(dt)} はテイラー展開の2次以上の高次項をランダウ記法で表現したものなので無視することにする。価値関数の式にこれを代入した後、 両辺の V ( x ( t ) , t ) {\displaystyle V(x(t),t)} を相殺し、 d t {\displaystyle dt} で割ってゼロに漸近させれば、上述のHJB方程式が導出できる。