ハミルトン-ヤコビ-ベルマン方程式
Dimitri P. Bertsekas(英語版) (2005). Dynamic programming and optimal control. Athena Scientific. http://www.athenasc.com/dpbook.html
川合敏雄「自然法則と最適制御」『日本物理学会誌』第41巻第3号、1986年3月、227-235頁。 - ポントリャーギンの最大原理(英語版)とハミルトニアンについて平易に解説したエッセイ。
一例として、二次形式のコスト関数を持つ線形確率システムの問題を扱ってみよう。 以下のダイナミクスを持つシステムを考える。
d x t = ( a x t + b u t ) d t + σ d w t , {\displaystyle dx_{t}=(ax_{t}+bu_{t})dt+\sigma dw_{t},}
微分コスト関数が、 C ( x t , u t ) = r ( t ) u t 2 / 2 + q ( t ) x t 2 / 2 {\displaystyle C(x_{t},u_{t})=r(t)u_{t}^{2}/2+q(t)x_{t}^{2}/2} で与えられるとすれば、HJB方程式は以下のように与えられる。
− ∂ V ( x , t ) ∂ t = 1 2 q ( t ) x 2 + ∂ V ( x , t ) ∂ x a x − b 2 2 r ( t ) ( ∂ V ( x , t ) ∂ x ) 2 + 1 2 σ 2 ∂ 2 V ( x , t ) ∂ x 2 .