ハミルトン-ヤコビ-ベルマン方程式
A u V ( x , t ) := μ ( t , x , u ) ∂ V ( x , t ) ∂ x + 1 2 ( σ ( t , x , u ) ) 2 ∂ 2 V ( x , t ) ∂ x 2 {\displaystyle {\mathcal {A}}^{u}V(x,t):=\mu (t,x,u){\frac {\partial V(x,t)}{\partial x}}+{\frac {1}{2}}{\Big (}\sigma (t,x,u){\Big )}^{2}{\frac {\partial ^{2}V(x,t)}{\partial x^{2}}}}
非確率的な設定の下では存在しなかった σ 2 / 2 {\displaystyle \sigma ^{2}/2} に価値関数 V ( x , t ) {\displaystyle V(x,t)} の x {\displaystyle x} についての2回微分を掛けた項が足されているが、この項は伊藤の公式により生じている。終端条件は次式である。
V ( x , T ) = D ( x ) . {\displaystyle V(x,T)=D(x)\,\!.}
ランダム性が消えたことに注意しよう。 この場合、 V {\displaystyle V\,\!} の解は元の問題の最適解の候補であるにすぎず、さらなる検証が必要である。 この技術は金融工学において、市場における最適投資戦略を定めるため広く用いられている (例: マートンのポートフォリオ問題)。
次の最適停止問題を考える。
max τ E  { ∫ 0 τ C ( t , X t ) d t + D ( X T ) 1 { τ = T } + F ( τ , X τ ) 1 { τ < T } } {\displaystyle \max _{\tau }\operatorname {E} \left\{\int _{0}^{\tau }C(t,X_{t})\,dt+D(X_{T})\mathbf {1} \{\tau =T\}+F(\tau ,X_{\tau })\mathbf {1} \{\tau <T\}\right\}}
ここで 1 { ⋅ } {\displaystyle \mathbf {1} \{\;\cdot \;\}} は特性関数で { ⋅ } {\displaystyle \{\;\cdot \;\}} 内の事象が起きれば1、そうでなければ0を返す関数である。状態変数 ( X t ) t ∈ [ 0 , T ] {\displaystyle (X_{t})_{t\in [0,T]}\,\!} は次の確率微分方程式に従うとする。
d X t = μ ( t , X t ) d t + σ ( t , X t ) d w t {\displaystyle dX_{t}=\mu (t,X_{t})dt+\sigma (t,X_{t})dw_{t}}
すると、価値関数 V ( x , t ) {\displaystyle V(x,t)} は次のHJB方程式の粘性解となる。
時間範囲 [ 0 , T ] {\displaystyle [0,T]} における次式の最適制御問題について考える。
V ( x ( 0 ) , 0 ) = min u { ∫ 0 T C [ x ( t ) , u ( t ) ] d t + D [ x ( T ) ] } {\displaystyle V(x(0),0)=\min _{u}\left\{\int _{0}^{T}\!\!\!C[x(t),u(t)]\,dt\;+\;D[x(T)]\right\}}
ここで、 C [ ] {\displaystyle C[~]} は、スカラーの微分コスト関数(cost rate function)、 D [ ] {\displaystyle D[~]} は終端状態の望ましさ、ないし経済価値を与える関数、 x ( t ) {\displaystyle x(t)} はシステムの状態ベクトル、 x ( 0 ) {\displaystyle x(0)} はその初期値、 u ( t ) {\displaystyle u(t)} は我々が求めたいと考えている時間 0 ≤ t ≤ T {\displaystyle 0\leq t\leq T} の制御入力ベクトルである。
対象とするシステムは以下のダイナミクスに従うとする。
x ̇ ( t ) = F [ x ( t ) , u ( t ) ] {\displaystyle {\dot {x}}(t)=F[x(t),u(t)]\,}
ここで、 F [ ] {\displaystyle F[~]} はシステムの状態の時間発展を与える関数ベクトルである。