ハミルトン-ヤコビ-ベルマン方程式
HJB方程式は連続時間の最適制御において基本となる方程式であり、様々な分野で応用されている。例えば、
金融工学、数理ファイナンスにおける最適投資選択問題や金融資産の価格付け問題
ゲーム理論における微分ゲーム
などが挙げられる。
システムの制御問題にベルマンの最適性原理を適用し、最適制御戦略を時間を遡る形で解く手法は、確率微分方程式で表現されるシステムの制御問題へ拡張することができる。上述の問題に良く似た次の問題を考えよう。
min E  { ∫ 0 T C ( t , X t , u t ) d t + D ( X T ) } {\displaystyle \min \operatorname {E} \left\{\int _{0}^{T}C(t,X_{t},u_{t})\,dt+D(X_{T})\right\}}
ここでは、最適化したい(1次元)確率過程 ( X t ) t ∈ [ 0 , T ] {\displaystyle (X_{t})_{t\in [0,T]}\,\!} とその入力 ( u t ) t ∈ [ 0 , T ] {\displaystyle (u_{t})_{t\in [0,T]}\,\!} を考える。確率過程 ( X t ) t ∈ [ 0 , T ] {\displaystyle (X_{t})_{t\in [0,T]}\,\!} は次の確率微分方程式に従う拡散過程(英語版)であるとする。
d X t = μ ( t , X t , u t ) d t + σ ( t , X t , u t ) d w t , {\displaystyle dX_{t}=\mu (t,X_{t},u_{t})dt+\sigma (t,X_{t},u_{t})dw_{t},}
HJB方程式は通常、 t = T {\displaystyle t=T} から t = 0 {\displaystyle t=0} へ向かって時間を遡る方向で解かれる。
全状態空間で解かれた場合、HJB方程式は最適性の必要十分条件を与える。 V {\displaystyle V} に関して解ければ、そこからコスト関数を最小化する制御入力 u {\displaystyle u} が得られる。
u ( t ) = arg  min u { ∇ V ( x , t ) ⋅ F ( x , u ) + C ( x , u ) } {\displaystyle u(t)=\arg \min _{u}\left\{\nabla V(x,t)\cdot F(x,u)+C(x,u)\right\}}
一般的にHJB方程式は古典的な(なめらかな)解をもたない。 そのような場合の解法として、粘性解 (Pierre-Louis Lions と Michael Crandall)、ミニマックス解 (Andrei Izmailovich Subbotin 露) などが存在する。