経済数学（法政用）：第１６章
細矢祐誉
テーマ：ベルマン方程式と政策関数・政策関数
ラムゼイモデルの、ct を消去したバージョンを再掲しておこう。
∞∑max

δ t u(f (kt ) − kt+1 )

t=0

subject to. 0 ≤ kt ≤ f (kt−1 ),k0 = k̄ > 0,(1)

この問題の解を (kt∗ ) としたときに、値∞∑∗
δ t u(f (kt∗ ) − kt+1)

t=0のことを、V (k̄) と書く。V (k̄) は k̄ によって変動するので、これは k̄ を変数とする V という関数を定義すると見なすことができる。この関数 V を価値関数 (value function) と呼ぶ。
ところで、k0 = k̄ であるときの解を (kt∗ ) としたときに、k0 = k1∗ であるときの解は当∗) である。したがって、然ながら、この番号をひとつずらしただけの (kt+1V (k̄) =∞∑∗δ t u(f (kt∗ ) − kt+1)

t=0∗= u(f (k̄) − kt+1)+δ∞∑∗∗δ t u(f (kt+1) − kt+2)

t=0∗∗= u(f (k̄) − kt+1 ) + δV (kt+1)となる。一方で、0 ≤ k ≤ f (k̄) となる k をなんでもいいから取って来て k̄ と取り替えた+問題 (1) の解を (kt+ ) とすれば、k0 = k̄ とし、t > 0 ならば kt = kt−1とした数列 (kt ) は

問題 (1) の元の制約条件を満たしていて、よってV (k̄) =≥∞∑t=0∞∑∗δ t u(f (kt∗ ) − kt+1)

δ t u(f (kt ) − kt+1 )t=0= u(f (k̄) − k) + δ∞∑+
δ t u(f (kt+ ) − kt+1)

t=0= u(f (k̄) − k) + δV (k)である。以上をまとめると、以下の定理が得られたことになる。
定理１：価値関数は以下の関数方程式（ベルマン方程式 (Bellman equation) と言う）

V (k̄) = max{u(f (k̄) − k) + δV (k)|0 ≤ k ≤ f (k̄)}(2)

を満たす。さらに、問題 (1) の解 (kt∗ ) を取れば、k1∗ は右辺の最大を達成する k と一致する。
なお、最後の主張は、簡単に一般化できる。問題 (1) の k̄ を k1∗ で置き換えたものを考えれば、方程式 (2) の k̄ を k1∗ で置き換えたときに、右辺の最大は k2∗ で達成される。右辺の関数u(f (k̄) − k) + δV (k)は、狭義凹関数であることを後で証明するが、これを先取りして使うと、次のことがわかる。いま、関数 p を、k̄ に対して、(2) 式の右辺の最大を達成するただひとつの k を返す関数であると考えよう（ただひとつであることは狭義の凹性から保証される）。このとき、問題 (1) の解は差分方程式

kt+1 = p(kt ), k0 = k̄で与えられる。この関数 p は問題 (1) の政策関数 (policy function) と呼ばれる。
さて、V が凹関数であることの証明を与えておこう。
定理２：価値関数 V は凹関数であり、さらに微分可能で、V ′ (k̄) = u′ (f (k̄) − p(k̄))f ′ (k̄)
を満たす。

(3)

証明：まず、k 0 , k 1 > 0 と 0 ≤ s ≤ 1 を満たす s に対して、k s = (1 − s)k 0 + sk 1 と定義しよう。s = 0 や s = 1 のときに元の記号と整合性がとれていることに注意する。k̄ = k s に対応する問題 (1) の解を (kts ) と書くことにし、k̂ts = (1 − s)kt0 + skt1 とする。このとき、
01f (k̂ts ) ≥ (1 − s)f (kt0 ) + sf (kt1 ) ≥ (1 − s)kt+1+ skt+1= k̂ts ≥ 0

なので、k̂ts は問題 (1) の制約条件を満たしている。よって、sV (k ) =≥∞∑t=0∞∑sδ t u(f (kts ) − kt+1)sδ t u(f (k̂ts ) − k̂t+1)

t=0≥ (1 − s)∞∑0δ u(f (kt0 ) − kt+1)+stt=0∞∑1)
δ t u(f (kt1 ) − kt+1t=0= V (k0 ) + V (k1 )となって、V の凹性が証明できる。（ここの計算の途中で、前回の定理２の証明の最初で示した L という関数の凹性を用いていることに注意する）
以降、この授業で証明していない事実を少々用いる。q が点 k̄ における凹関数 V の劣微分 (subdiﬀerential) であるとは、不等式

V (k) − V (k̄) ≤ q(k − k̄)が常に成り立つことを言う。前回、補題１として、V ′ (k̄) が存在すれば、それが劣微分であることを示した。実は、実数値の凹関数については、すべての点で劣微分が存在することがわかっている。さらに、V は k̄ で微分可能であることと、劣微分がひとつしかないことが同値であることも、また示されている。そこでいま、q が V の k̄ における劣微分であるとしよう。ここで、V̄ (k) = u(f (k) − p(k̄)) + δV (k̄)と定義する。V̄ (k) はもちろん凹関数で、V (k) ≥ V̄ (k) を満たすが、V̄ (k̄) = V (k̄) である
ことは定義から明らかである。よって、V̄ (k) − V̄ (k̄) ≤ V (k) − V (k̄) ≤ q(k − k̄)であり、q は V̄ の k̄ における劣微分である。ところが V̄ (k) は微分可能であるから、その劣微分は微分しかあり得ない。よって

q = V̄ ′ (k̄) = u′ (f (k̄) − p(k̄))f ′ (k̄)

がわかった。q は V の k̄ における任意の劣微分だったから、これは V の k̄ における劣微分がu′ (f (k̄) − p(k̄))f ′ (k̄)
ただひとつしかないことを示しており、したがって (3) 式が成り立つ。以上で証明が完成した。 ■ここで (3) 式について、少し注釈を述べておこう。数学において、次のような関数

h(x) = max{g(x, y)|y ∈ A}
yについて微分したとき、右辺の最大を達成する y を y(x) と書くと、

h′ (x) =∂g(x, y(x))∂xになるという現象がしばしば発生する。この種の定理は通常、包絡線定理 (envelopetheorem) と呼ばれる。いま、g(x, y) のところに u(f (x) − y) + δV (y) を当てはめてみると、(3) 式はまさに、(2) 式についての包絡線定理の形をしていることがわかるだろう。
ただし、その理屈はまったく通常の包絡線定理とは異なる。この理由は以下の通りである。通常の包絡線定理では、y(x) で g が最大になることから、∂g(x, y(x)) = 0∂yとなることを使えば、

h(x) = g(x, y(x))
を x で微分して合成微分の公式を使ってh′ (x) =∂g∂g∂g(x, y(x)) +(x, y(x))y ′ (x) =(x, y(x))∂x∂y∂xとなって証明が完成する。しかし、この証明では y(x) の微分可能性を用いている。一方で p(x) の微分可能性は通常、証明できないので、このやり方では (3) は証明できない。
この結果はあまりにも重要なので、証明した人間の名前を取って、ベンベニスト＝シャインクマンの包絡線定理 (Benveniste-Scheinkman envelope theorem) と呼ばれている。
前に述べたオイラー方程式u′ (f (kt ) − kt+1 ) = δu′ (f (kt+1 ) − kt+2 )f ′ (kt+1 )は、ベルマン方程式 (2) と Benveniste-Scheinkman の包絡線定理 (3) を用いても簡単に得られる。つまり、右辺の関数

g(k) = u(f (kt ) − k) + δV (k)は、k = p(kt ) のところで最大になるので、g ′ (p(kt )) = 0 である。これを代入すると、

0 = g ′ (p(kt )) = − u′ (f (kt ) − p(kt )) + δV ′ (p(kt ))= − u′ (f (kt ) − p(kt )) + δu′ (f (p(kt )) − p(p(kt )))f ′ (p(kt ))である。p(kt ) = kt+1 とし、p(p(kt )) = kt+2 として上に代入して整理すれば、オイラー方程式が得られることは明白であろう。
ベルマン方程式については、以下のような結果が知られている。まず、任意の関数 V0を取ってきて、以降、Vt+1 (k) = max{u(f (k) − k ′ ) + δVt (k)|0 ≤ k ≤ f (k)}とする。すると関数の列 (Vt ) が作れるが、この (Vt ) は、u と f がそこそこいい条件を満たせば、価値関数 V に収束することが知られている。したがって、これを利用すれば我々は、V をコンピュータで近似計算するプログラムを簡単に書ける。しかし、実は u と fが満たすべき「そこそこいい条件」というのが、かなり厳しいことが理論的にはわかっている。このため、基礎理論的には (Vt ) が V に収束することが「保証されていない」にもかかわらず、応用の研究で上のやり方で V を近似計算していることが非常に多い。これはマクロ経済理論最大の課題のひとつであると思われる。

・価値関数の性質と定常状態ラムゼイモデルの価値関数 p(k) は次の条件を満たすことが知られている。

1) p は連続で単調増大であり、さらに k > 0 ならば 0 < p(k) < f (k) が成り立つ。
2) p(k ∗ ) = k ∗ を満たす点 k ∗ > 0 がただひとつ存在する。これを定常状態 (steady state)と呼ぶ。

3) p0 (k) = k とし、pt+1 (k) = p(pt (k)) として、関数 pt (k) を作る。このとき、すべてのk > 0 に対して limt→∞ pt (k) = k ∗ である。この性質は定常状態の安定性 (stability)と呼ばれる。

4) f ′ (k ∗ ) > 1 である。
5) c(k) = f (k) − p(k) とすると、c(k) も増加的である。

6) 次の無限積
x(k) =∞∏′tδf (p (k)) = lim

T →∞

t=1T∏

δf ′ (pt (k))

t=1は正の値に収束し、x は減少的な正の実数値関数である。
これらの性質の証明はしない。一部は簡単である（たとえば 4) は、オイラー方程式の両辺に k ∗ を代入すれば、f ′ (k ∗ ) = δ −1 が出てくるので、すぐにわかる）が、一部は難しい。
どうしても証明がほしい人間は Hosoya (2014) を参照すること。
実は、次のことが言える。まず、c > 0 をひとつ取り、k = c−1 (c) とする。このとき、オイラー方程式から、

u′ (c) = u′ (c(k))= u′ (f (k) − p(k))= δu′ (f (p(k)) − p2 (k))f ′ (p(k))= δ 2 u′ (f (p2 (k)) − p3 (k))f ′ (p(k))f ′ (p2 (k))
= ...
(T)
∏=
δf ′ (pt (k)) u′ (f (pT (k)) − pT +1 (k))
t=1となる。右辺を T → ∞ とすれば、u′ (f (pT (k)) − pT +1 (k)) は u′ (c(k ∗ )) に収束するので、6) から、

u′ (c) = x(k)u′ (c(k ∗ ))がわかったことになる。したがって、∗′∗∫ cu(c) = u(c(k )) + u (c(k ))x(c−1 (y))dyc(k∗ )ということで、u(c(k ∗ )) と u′ (c(k ∗ )) さえ指定すれば、u は逆算できてしまう！

4) から、δ も p と f から逆算できることに注意すると、我々は上のやり方で p と f から、u とδ を逆算する方法を得たことになる。
これに付随して、関数 f が与えられているときに、ラムゼイモデルの政策関数に課すことができる性質は、上の 1)-6) だけであることがわかる。なぜなら、上の条件を満たすどんな p に対しても、対応してそれが政策関数になる u と δ を、上のやり方で作れるからである！