ハミルトン-ヤコビ-ベルマン方程式

ハミルトン-ヤコビ-ベルマン(HJB)方程式（ハミルトン–ヤコビ–ベルマンほうていしき、）は、最適制御理論の根幹をなす偏微分方程式である。その解を「価値関数(value function)」と呼び、対象の動的システムとそれに関するコスト関数(cost function)の最小値を与える。
HJB方程式の局所解は最適性の必要条件を与えるが、全状態空間で解けば必要十分条件を与える。解は開ループ制御則となるが、閉ループ解も導ける。以上の手法は確率システムへも拡張することができるほか、古典的変分問題、例えば最速降下線問題も解くことができる。
HJB方程式は1950年代のリチャード・ベルマンとその共同研究者を先駆とする「動的計画法(Dynamic programming)」理論の成果として得られた。その離散時間形式は通常「ベルマン方程式」と呼称される。
連続時間においては、古典物理学におけるハミルトン-ヤコビ方程式 (ウィリアム・ローワン・ハミルトン (William Rowan Hamilton) および、カール・グスタフ・ヤコブ・ヤコビ (Carl Gustav Jacob Jacobi)による) の拡張形とみなせる。
最適制御問題.
時間範囲 formula_1 における次式の最適制御問題について考える。
ここで、formula_3は、スカラーの微分コスト関数(cost rate function)、formula_4は終端状態の望ましさ、ないし経済価値を与える関数、formula_5はシステムの状態ベクトル、formula_6はその初期値、formula_7は我々が求めたいと考えている時間 formula_8 の制御入力ベクトルである。
対象とするシステムは以下のダイナミクスに従うとする。
ここで、 formula_10はシステムの状態の時間発展を与える関数ベクトルである。
HJB方程式.
このシステムに関するハミルトン-ヤコビ-ベルマン(HJB)方程式は次の偏微分方程式で表される。
その終端条件は以下の通り。
ここで、 formula_13 はベクトル formula_14 と formula_15 の内積、 formula_16 は 勾配 オペレーター。
上述の方程式に現れる未知のスカラー関数 formula_17 をベルマンの「価値関数」と呼ぶ。formula_17は初期状態 formula_19と時刻 formula_20から、時刻formula_21までシステムを最適に制御した場合に得られる最小コストを表している。
HJB方程式の導出.
直感的には、HJB方程式は以下のように導出できる。formula_22 が上述の価値関数（すなわち最小コスト）であったとすれば、Richard-Bellmanの「最適性の原理」から、 時間 formula_20 から formula_24までの変化は次式で表現できる。
右辺の第二項が次のように テイラー展開 できることに注目しよう。
formula_27 はテイラー展開の2次以上の高次項をランダウ記法で表現したものなので無視することにする。価値関数の式にこれを代入した後、 両辺の formula_22 を相殺し、formula_29で割ってゼロに漸近させれば、上述のHJB方程式が導出できる。
HJB方程式の解法.
HJB方程式は通常、formula_30 から  formula_31へ向かって時間を遡る方向で解かれる。
全状態空間で解かれた場合、HJB方程式は最適性の必要十分条件を与える。 formula_32に関して解ければ、そこからコスト関数を最小化する制御入力 formula_33が得られる。
一般的にHJB方程式は古典的な（なめらかな）解をもたない。 そのような場合の解法として、粘性解 (Pierre-Louis Lions と　Michael Crandall)、ミニマックス解 (Andrei Izmailovich Subbotin 露) などが存在する。 
確率システムへの拡張.
システムの制御問題にベルマンの最適性原理を適用し、最適制御戦略を時間を遡る形で解く手法は、確率微分方程式で表現されるシステムの制御問題へ拡張することができる。上述の問題に良く似た次の問題を考えよう。
ここでは、最適化したい（1次元）確率過程 formula_36 とその入力 formula_37 を考える。確率過程 formula_36 は次の確率微分方程式に従うであるとする。
ただし、formula_40 は標準ブラウン運動（ウィーナー過程）であり、formula_41 は標準的な仮定を満たす可測関数であるとする。直観的に解釈すれば、状態変数 formula_42 は瞬間的に formula_43 だけ増減するが、同時に正規ノイズ formula_44 の影響も受けている。この時、ベルマンの最適性原理を用い、次に価値関数 formula_45 を伊藤のルールを使って展開することにより、価値関数についてのHJB方程式が得られる。
ここで、formula_47 はと呼ばれる関数作用素で以下のように表される。
非確率的な設定の下では存在しなかった formula_49 に価値関数 formula_50 の formula_19 についての2回微分を掛けた項が足されているが、この項は伊藤の公式により生じている。終端条件は次式である。
ランダム性が消えたことに注意しよう。 この場合、formula_53 の解は元の問題の最適解の候補であるにすぎず、さらなる検証が必要である。 この技術は金融工学において、市場における最適投資戦略を定めるため広く用いられている （例： マートンのポートフォリオ問題)。
ハミルトン–ヤコビ–ベルマン–アイザックス方程式.
プレイヤー1と2の二人からなる非協力ゼロサムゲームを考える。ミニマックス原理はこの設定でも成立し、プレイヤー1の最適制御問題はプレイヤー1の制御変数を formula_33 として以下のように表される。
ただし、状態変数 formula_36 は次の確率微分方程式に従うとする。
この問題においてはプレイヤー2の制御変数 formula_58 が問題に導入されている。プレイヤー1の問題の価値関数は以下のハミルトン–ヤコビ–ベルマン–アイザックス方程式（HJBI方程式、）の粘性解となる。
ここで、formula_60 は無限小生成作用素で以下のように表される。
終端条件は次式である。
HJBI方程式に含まれる formula_63 についての最大化問題と最小化問題の解がこのゲームの(マルコフ)ナッシュ均衡となる。
最適停止問題.
次の最適停止問題を考える。
ここで formula_65 は特性関数で formula_66 内の事象が起きれば1、そうでなければ0を返す関数である。状態変数 formula_36 は次の確率微分方程式に従うとする。
すると、価値関数 formula_50 は次のHJB方程式の粘性解となる。
ただし、無限小生成作用素 formula_71 は次のように表される。
終端条件は次式である。
最適制御となるは次で与えられる。
最適停止問題はアメリカンオプションの価格付け問題などで現れる。
Linear Quadratic Gaussian (LQG)制御への応用.
一例として、二次形式のコスト関数を持つ線形確率システムの問題を扱ってみよう。 以下のダイナミクスを持つシステムを考える。
微分コスト関数が、formula_76 で与えられるとすれば、HJB方程式は以下のように与えられる。
二次形式の価値関数を仮定する事により、通常のLQG制御と同様に、価値関数のヘシアンに関する一般的な リカッチ方程式を得ることが出来る。
HJB方程式の応用.
HJB方程式は連続時間の最適制御において基本となる方程式であり、様々な分野で応用されている。例えば、
などが挙げられる。