ハミルトン-ヤコビ-ベルマン方程式
min { − ∂ V ( x , t ) ∂ t − A V ( x , t ) − C ( t , x ) , V ( x , t ) − F ( t , x ) } = 0 , {\displaystyle \min \left\{-{\frac {\partial V(x,t)}{\partial t}}-{\mathcal {A}}V(x,t)-C(t,x),\quad V(x,t)-F(t,x)\right\}=0,}
ただし、無限小生成作用素 A {\displaystyle {\mathcal {A}}} は次のように表される。
A V ( x , t ) := μ ( t , x ) ∂ V ( x , t ) ∂ x + 1 2 ( σ ( t , x ) ) 2 ∂ 2 V ( x , t ) ∂ x 2 {\displaystyle {\mathcal {A}}V(x,t):=\mu (t,x){\frac {\partial V(x,t)}{\partial x}}+{\frac {1}{2}}{\Big (}\sigma (t,x){\Big )}^{2}{\frac {\partial ^{2}V(x,t)}{\partial x^{2}}}}
終端条件は次式である。
V ( x , T ) = D ( x ) . {\displaystyle V(x,T)=D(x)\,\!.}
最適制御となる停止時刻(英語版)は次で与えられる。
τ ∗ := min { inf { t ∈ [ 0 , T ] : V ( X t , t ) = F ( t , X t ) } , T } {\displaystyle \tau ^{*}:=\min\{\inf\{t\in [0,T]\;:\;V(X_{t},t)=F(t,X_{t})\},\;T\}}
最適停止問題はアメリカンオプションの価格付け問題などで現れる。
このシステムに関するハミルトン-ヤコビ-ベルマン(HJB)方程式は次の偏微分方程式で表される。
V ̇ ( x , t ) + min u { ∇ V ( x , t ) ⋅ F ( x , u ) + C ( x , u ) } = 0 {\displaystyle {\dot {V}}(x,t)+\min _{u}\left\{\nabla V(x,t)\cdot F(x,u)+C(x,u)\right\}=0}
その終端条件は以下の通り。
V ( x , T ) = D ( x ) , {\displaystyle V(x,T)=D(x),\,}
ここで、 a ⋅ b {\displaystyle a\cdot b} はベクトル a {\displaystyle a} と b {\displaystyle b} の内積、 ∇ {\displaystyle \nabla } は 勾配 オペレーター。
上述の方程式に現れる未知のスカラー関数 V ( x , t ) {\displaystyle V(x,t)} をベルマンの「価値関数」と呼ぶ。 V ( x , t ) {\displaystyle V(x,t)} は初期状態 x {\displaystyle x} と時刻 t {\displaystyle t} から、時刻 T {\displaystyle T} までシステムを最適に制御した場合に得られる最小コストを表している。