ハミルトン-ヤコビ-ベルマン方程式
ハミルトン-ヤコビ-ベルマン(HJB)方程式(ハミルトン–ヤコビ–ベルマンほうていしき、英: Hamilton–Jacobi–Bellman equation)は、最適制御理論の根幹をなす偏微分方程式である。その解を「価値関数(value function)」と呼び、対象の動的システムとそれに関するコスト関数(cost function)の最小値を与える。
HJB方程式の局所解は最適性の必要条件を与えるが、全状態空間で解けば必要十分条件を与える。解は開ループ制御則となるが、閉ループ解も導ける。以上の手法は確率システムへも拡張することができるほか、古典的変分問題、例えば最速降下線問題も解くことができる。
HJB方程式は1950年代のリチャード・ベルマンとその共同研究者を先駆とする「動的計画法(Dynamic programming)」理論の成果として得られた。その離散時間形式は通常「ベルマン方程式」と呼称される。
連続時間においては、古典物理学におけるハミルトン-ヤコビ方程式 (ウィリアム・ローワン・ハミルトン (William Rowan Hamilton) および、カール・グスタフ・ヤコブ・ヤコビ (Carl Gustav Jacob Jacobi)による) の拡張形とみなせる。
直感的には、HJB方程式は以下のように導出できる。 V ( x ( t ) , t ) {\displaystyle V(x(t),t)} が上述の価値関数(すなわち最小コスト)であったとすれば、Richard-Bellmanの「最適性の原理」から、 時間 t {\displaystyle t} から t + d t {\displaystyle t+dt} までの変化は次式で表現できる。
V ( x ( t ) , t ) = min u { ∫ t t + d t C ( x ( s ) , u ( s ) ) d s + V ( x ( t + d t ) , t + d t ) } . {\displaystyle V(x(t),t)=\min _{u}\left\{\int _{t}^{t+dt}\!\!\!\!\!\!\!\!C(x(s),u(s))\,ds\;\;+\;\;V(x(t\!+\!dt),t\!+\!dt)\right\}.}
右辺の第二項が次のように テイラー展開 できることに注目しよう。