ベルマン方程式
決定論的な条件では、上述の最適制御問題を解くために動的計画法以外の手法を用いることが出来る。ある種の問題に対しては、この手法は便利であるが、確率過程のもつ性質に注意する必要がある。
経済学における具体的な例題として、時刻 0 {\displaystyle 0} において初期富(初期資産) a 0 {\displaystyle a_{0}} を持ち、無限の寿命を持つ消費者を考える。彼は、瞬間的効用関数 u ( c ) {\displaystyle u(c)} を持つとする。ただし、 c {\displaystyle c} は消費額を表し、次の時刻における割引率を 0 < β < 1 {\displaystyle 0<\beta <1} とする。時刻 t {\displaystyle t} において消費されなかった富は、金利 r {\displaystyle r} と共に次の時刻に繰り越される。すると消費者の効用最大化問題は、消費計画 { c t } {\displaystyle \{c_{t}\}} を次式によって決定する問題となる。
max ∑ t = 0 ∞ β t u ( c t ) {\displaystyle \max \sum _{t=0}^{\infty }\beta ^{t}u(c_{t})}
ただし次の条件のもとで:
具体例で示そう。最も単純には、今日の富(状態)と消費(制御変数)によって明日の富(次の状態)が決まる。だが、多くの場合、明日の富には別の要因(例:予期せぬボーナス、天災など)も影響するであろう。
動的計画法は、与えられたどんな状態に対しても、適切な制御の指針を与えるような最適な計画を記述する。一例として、消費 c {\displaystyle c} が富 W {\displaystyle W} だけに依存する場合には、我々は、財産の関数として消費を決定するような制御則 c ( W ) {\displaystyle c(W)} を探索することになる。 状態に基づいて制御変数を決定するこのような関数を、方策関数 (policy function)(Bellman、1957、Ch. III.2を参照)と呼ぶ。
最後に、最適な決定ルール(制御則)はその定義から、実現可能な最良の目的関数の値をもたらすものである。例えば、ある人が与えられた富のもと、満足度を最大化するための消費活動を選ぶとしよう。ただし、満足度 H {\displaystyle H} は効用関数(utility function)のような目的関数で表現できるとする。この時、各時刻の財産はそれで実現可能な満足度の最大値 H ( W ) {\displaystyle H(W)} と関係付けることができる。
彼らは同時に再帰的手法を用いて経済学理論のさまざまな問題のモデル化について多くの例を示した。 この著作は経済学における様々な問題を解くために動的計画法を利用する道を開いた。例えば、最適な経済成長は、資源開発、プリンシパル=エージェント理論、公共財政、事業投資、資産価格、供給要因、産業組織である。 ラース・リュングヴィスト(英語版)とトーマス・サージェントは金融政策、 財政政策、 課税、 経済成長、サーチ理論、 労働経済学などにおける様々な理論的問題を研究するために動的計画法を用いた。アビナッシュ・ディキシットとロバート・ピンダイク(英語版)は、資本予算について考察することでこの手法の価値を示した。Andersonはこの手法を非公開企業を含んだ事業評価技術に適用した。
具体的な問題を解くために動的計画法を利用するには、観測できない割引率(discount rate)の決定のような、情報上の困難によって複雑なものになる。 さらに取りうる膨大な数のアクションと状態変数によって生ずる次元の呪いに起因する計算技術上の問題が、最適戦略を得る前に立ちはだかる。このような計算上の問題については、Miranda と Fackler、あるいは Meyn 2007 を見よ。