ハミルトン-ヤコビ-ベルマン方程式
ただし、 ( w t ) t ∈ [ 0 , T ] {\displaystyle (w_{t})_{t\in [0,T]}\,\!} は標準ブラウン運動(ウィーナー過程)であり、 μ , σ {\displaystyle \mu ,\;\sigma } は標準的な仮定を満たす可測関数であるとする。直観的に解釈すれば、状態変数 X {\displaystyle X} は瞬間的に μ d t {\displaystyle \mu dt} だけ増減するが、同時に正規ノイズ σ d w t {\displaystyle \sigma dw_{t}} の影響も受けている。この時、ベルマンの最適性原理を用い、次に価値関数 V ( X t , t ) {\displaystyle V(X_{t},t)} を伊藤のルールを使って展開することにより、価値関数についてのHJB方程式が得られる。
− ∂ V ( x , t ) ∂ t − min u { A u V ( x , t ) + C ( t , x , u ) } = 0 , {\displaystyle -{\frac {\partial V(x,t)}{\partial t}}-\min _{u}\left\{{\mathcal {A}}^{u}V(x,t)+C(t,x,u)\right\}=0,}
ここで、 A u {\displaystyle {\mathcal {A}}^{u}} は無限小生成作用素(英語版)と呼ばれる関数作用素で以下のように表される。