ベルマン方程式

ベルマン方程式（ベルマンほうていしき、英: Bellman equation）は、「動的計画法(Dynamic programming)」として知られる数学的最適化において、最適性の必要条件を表す方程式であり、発見者のリチャード・ベルマンにちなんで命名された。動的計画方程式 (dynamic programming equation)とも呼ばれる。 ベルマン方程式は、決定問題(decision problem)において、ある時刻の初期選択と、それ以降の決定問題の価値との関係を記述する。これにより、動的な最適化問題を、「ベルマンの最適性の原理」が示す指針にしたがって、より単純な部分問題(subproblems)に分解するのである。
ベルマン方程式は最初、制御工学や他の応用数学上の問題に適用され、その後、経済理論(economic theory)における重要なツールとなった。しかしながら、動的計画法の基本概念はもともとジョン・フォン・ノイマンとオスカー・モルゲンシュテルンのゲーム理論と経済活動 やエイブラハム・ウォールドの 時系列解析（Sequential Analysis) の研究の中で次第に形作られてきたものである。
最適制御理論で解かれるほとんどの問題は、適切なベルマン方程式を用いて解くことができる。 ただし、一般に「ベルマン方程式」という用語は離散時間の最適化問題を解く際に用いられる動的計画法の方程式を指す。 連続時間の最適化問題を解く場合には、ベルマン方程式の連続時間形式である偏微分方程式を用い、これをハミルトン-ヤコビ-ベルマン方程式と呼ぶ。

動的計画法の考え方

ベルマン方程式を理解するには、いくつかの背景となる概念を理解しなくてはならない。 第一に、最適化問題は何らかの目標を持つ。具体例を挙げれば、移動時間を最短にする、コストを最小に抑える、利益を最大化する、効用を最大化する、などである。これらの目標を数学の関数で表現したものを 目的関数 (objective function) と呼ぶ。
動的計画法は複数段階にわたる計画問題を、各時点の簡単な手順へと分解する。そのため、ある時点でなされた決定がそれ以降どのように影響を及ぼすか正しく記述しなくてはならない。正しい判断を下すために必要な現在の状況を示す情報を 状態 (state) と呼ぶ。例えば、人がある時点で何をどれだけ消費するか決めるには、（何よりもまず）現在の富（資産額）を知らなくてはならない。 そのゆえ、富は、経済活動を行う人が持つ状態変数の一つと考えられる。言うまでもなく、このような状態変数は他にも存在する。
任意の時点で選ぶことのできる変数を通常 制御変数 (control variables) と呼ぶ。 例えば、人々は与えられた富のもとで、どれだけ消費すべきか判断する。制御変数を選ぶことは、次の状態を選択することでもある。ただし、一般に次の状態は制御変数だけではなく他の要因によっても影響を受ける。具体例で示そう。最も単純には、今日の富（状態）と消費（制御変数）によって明日の富（次の状態）が決まる。だが、多くの場合、明日の富には別の要因（例：予期せぬボーナス、天災など）も影響するであろう。
動的計画法は、与えられたどんな状態に対しても、適切な制御の指針を与えるような最適な計画を記述する。一例として、消費  が富  だけに依存する場合には、我々は、財産の関数として消費を決定するような制御則  を探索することになる。 状態に基づいて制御変数を決定するこのような関数を、方策関数  (policy function)（Bellman、1957、Ch. III.2を参照)と呼ぶ。
最後に、最適な決定ルール（制御則）はその定義から、実現可能な最良の目的関数の値をもたらすものである。例えば、ある人が与えられた富のもと、満足度を最大化するための消費活動を選ぶとしよう。ただし、満足度  は効用関数(utility function)のような目的関数で表現できるとする。この時、各時刻の財産はそれで実現可能な満足度の最大値  と関係付けることができる。ある状態で実現しうる最良の目的関数の値を示す関数を 価値関数 (value function) と呼ぶ。
リチャード・ベルマンは、離散時間形式の動的最適化問題が、ある時刻の価値関数とその次の時刻の価値関数の間の関係式を書き下すことによって、再帰的な、後ろ向き帰納法(backward induction)と呼ばれる逐次的な形式で表現できることを示した。上述の時間的に隣接する二つの価値関数の関係式がベルマン方程式である。このアプローチでは、終端時刻における最適な方策は、その時刻の状態変数の関数としてすでに決まっており、結果として得られる目的関数の最適値は状態変数で与えられる。次に、最後から一つ前の時刻の最適化を考えると、決定に際して、その状態変数に付随する最適な方策のもとで、その時刻の目的関数と未来の目的関数の和を最大化する。このアルゴリズムは、再帰的に時間を遡る形で進み、初期時刻において、初期状態の関数としての決定ルールが初期時刻に固有の目的関数と2番目のステップの価値関数（第2ステップ以降すべての未来の価値）の和の最適化計算によって得られるまで繰り返される。ゆえに、各ステップにおける決定は、それ以降の未来すべての判断が最適である事を前提として行われるのである。

経済学への応用

経済学において最初にベルマン方程式を適用した例として知られるのが、Martin Beckmann と Richard Muth の研究である。さらに、Martin Beckmann はベルマン方程式を利用した消費理論に関する論文を1959年に発表した。彼の仕事は、特にエドムンド・フェルプスに影響を受けたものである。
ベルマン方程式の経済学への応用として、特に有名なのがロバート・マートンが1973年に発表した 異時点間CAPMである （マートンのポートフォリオ問題もまた参照)。マートンの理論モデルにおいて、投資家が現在の収入と将来の収入もしくはキャピタルゲインを比較して判断をおこなう場合の解はベルマン方程式となる。動的計画法を経済学に応用する場合、結果として得られるベルマン方程式は差分方程式となるため、経済学者は動的計画法を「再帰的方法」と呼ぶ。そのため現在では、「再帰的経済学」は、経済学の一分野として認識されている。
ナンシー・ストーキー、ロバート・ルーカス、エドワード・プレスコットは確率的／非確率的動的計画法について細部まで詳細に記述し、さまざまな条件における解の存在定理を得た。彼らは同時に再帰的手法を用いて経済学理論のさまざまな問題のモデル化について多くの例を示した。 この著作は経済学における様々な問題を解くために動的計画法を利用する道を開いた。例えば、最適な経済成長は、資源開発、プリンシパル＝エージェント理論、公共財政、事業投資、資産価格、供給要因、産業組織である。 ラース・リュングヴィストとトーマス・サージェントは金融政策、 財政政策、 課税、 経済成長、サーチ理論、 労働経済学などにおける様々な理論的問題を研究するために動的計画法を用いた。アビナッシュ・ディキシットとロバート・ピンダイクは、資本予算について考察することでこの手法の価値を示した。Andersonはこの手法を非公開企業を含んだ事業評価技術に適用した。
具体的な問題を解くために動的計画法を利用するには、観測できない割引率（discount rate）の決定のような、情報上の困難によって複雑なものになる。 さらに取りうる膨大な数のアクションと状態変数によって生ずる「次元の呪い」に起因する計算技術上の問題が、最適戦略を得る前に立ちはだかる。このような計算上の問題については、Miranda と Fackler、あるいは Meyn 2007 を見よ。