ベルマン方程式
未定係数法(英語版)(「山勘と確認 (guess and verify)」としても知られる)は、ある種の無限期間(infinite horizon)の自律的なベルマン方程式を解くために用いられる。
ベルマン方程式は後ろ向き推論(英語版)(backward induction)によって解くことができる。特別な場合には解析的に解けるほか、コンピュータにより数値解を得ることができる。数値的な後ろ向き推論は、さまざまな問題を解くのに応用できるが、状態変数が多い場合には次元の呪いのために非現実的な方法となる。これに対して、近似動的計画法は、ベルマン関数を近似するためにニューラルネットワーク(多層パーセプトロン)を用いる方法で、 D・P・BertsekasとJ・N・Tsitsiklisによって提案された。この方法は全状態空間の関数写像を記憶する問題を単一のニューラルネットワークのパラメータの記録によって置き換えることで、高次元における計算量爆発の問題を緩和する効果的な戦略である。
ベルマン方程式に関連する一次の条件を計算し、価値関数の微分項を包絡線定理 (envelope theorem) によって消去することにより、システムの差分方程式、ないし、オイラー方程式と呼ばれる微分方程式を導くことができる。これらの差分方程式や微分方程式は標準的な手法を用いて解くことができ、状態変数の動的な変化や最適化問題の解となる制御変数を計算できる。
経済学において最初にベルマン方程式を適用した例として知られるのが、Martin Beckmann と Richard Muth の研究である。さらに、Martin Beckmann はベルマン方程式を利用した消費理論に関する論文を1959年に発表した。彼の仕事は、特にエドムンド・フェルプスに影響を受けたものである。
ベルマン方程式の経済学への応用として、特に有名なのがロバート・マートンが1973年に発表した 異時点間CAPMである (マートンのポートフォリオ問題もまた参照)。マートンの理論モデルにおいて、投資家が現在の収入と将来の収入もしくはキャピタルゲインを比較して判断をおこなう場合の解はベルマン方程式となる。動的計画法を経済学に応用する場合、結果として得られるベルマン方程式は差分方程式となるため、経済学者は動的計画法を「再帰的方法」と呼ぶ。そのため現在では、再帰的経済学(英語版)は、経済学の一分野として認識されている。
ナンシー・ストーキー、ロバート・ルーカス、エドワード・プレスコットは確率的/非確率的動的計画法について細部まで詳細に記述し、さまざまな条件における解の存在定理を得た。
ベルマン方程式(ベルマンほうていしき、英: Bellman equation)は、動的計画法(dynamic programming)として知られる数学的最適化において、最適性の必要条件を表す方程式であり、発見者のリチャード・ベルマンにちなんで命名された。動的計画方程式 (dynamic programming equation)とも呼ばれる。 ベルマン方程式は、決定問題(decision problem)において、ある時刻の初期選択と、それ以降の決定問題の価値との関係を記述する。これにより、動的な最適化問題を、ベルマンの最適性の原理が示す指針にしたがって、より単純な部分問題(subproblems)に分解するのである。
ベルマン方程式は最初、制御工学や他の応用数学上の問題に適用され、その後、経済理論(economic theory)における重要なツールとなった。しかしながら、動的計画法の基本概念はもともとジョン・フォン・ノイマンとオスカー・モルゲンシュテルンのゲーム理論と経済活動 やエイブラハム・ウォールドの 時系列解析(sequential analysis) の研究の中で次第に形作られてきたものである。
最適制御理論で解かれるほとんどの問題は、適切なベルマン方程式を用いて解くことができる。 ただし、一般に「ベルマン方程式」という用語は離散時間の最適化問題を解く際に用いられる動的計画法の方程式を指す。 連続時間の最適化問題を解く場合には、ベルマン方程式の連続時間形式である偏微分方程式を用い、これをハミルトン-ヤコビ-ベルマン方程式と呼ぶ。