講義ノート：総合講座（第十四回）
細矢祐誉
テーマ：ベルマンの最適性原理
・最適資本蓄積のモデル
すでに示したように、X 上で定義された有界な連続関数の列 (fn ) が f に一様収束していれば、f も有界な連続関数である。これを応用した問題をひとつ見せることにしよう。
まず、数列 (ct ) と (kt ) を選ぶ次の問題を考える。

max∞
Xδ t u(ct )t=0

subject to. ct ≥ 0, kt ≥ 0,kt+1 = f (kt ) − ct ,(1)k0 = k̄ ≥ 0.
この問題において、ct は t 年目の消費、kt は t 年目の資本蓄積を表す。資本というのは、簡単に言うと生産するための機械のようなものだと考えてもらえればよい。u(c) という関数は瞬時的効用関数と呼ばれ、t 年目の消費 ct がどのくらいよいかの評価値を与える関数である。δ は割引率と呼ばれ、通常は 0 < δ < 1 が仮定される。一年経つごとに u(c)の価値は δ 倍されていくので、これは後の年ほど u の値が小さく評価されるということである。
関係 kt+1 = f (kt ) − ct は、複雑ないくつもの関係をひとつに束ねた物である。最初の関係は、マクロ経済学でおなじみのＩＳ関係

Y = C + I + G + EX
を単純化した以下の式

yt = c t + i tである。G と EX は 0 と仮定している。yt が総生産で、ct が消費、it が投資である。第二の関係は総生産と資本蓄積の関係を表す生産関係であり、これは生産関数 g(k) を用いてyt = g(kt )と表される。第三の関係は資本蓄積の時間を通じた関係である。上にあるように、資本というのは「生産を行う機械」のようなものであるが、この機械は一年経つごとに d の割

1合だけ壊れる。0 < d ≤ 1 が通常仮定される。したがって t 年目の資本蓄積 kt のうち、t + 1 年目に残るのは (1 − d)kt である。これに、投資によって新たに作られた資本が加わるので、t + 1 年目の資本蓄積 kt+1 は以下の式で計算される。

kt+1 = it + (1 − d)kt .
最初の関係は it = yt − ct と書き直せるので、代入して整理すればkt+1 = g(kt ) − ct + (1 − d)ktとなる。そこで

f (k) = g(k) + (1 − d)kと定義すれば、kt+1 = f (kt ) − ctとなって、(1) の条件にある式が出てくる。したがってこの最大化問題 (1) は、限られた資本蓄積をどう増やし、生産物を投資と消費にどう振り分けるのが国家にとって最善かという問題である。
我々は u : R+ → R と f : R+ → R について、両方とも連続で増加的であることを仮定する。f (0) = 0 であることと、u が有界であること、つまりある定数 M > 0 について|u(c)| ≤ M がすべての c ∈ R+ に対して成り立つことも仮定する。これ以外にも (1) を解析するときに定番とされる仮定はいくつかあるのだが、さしあたり今回の議論には関係ないので、省略する。
さて、用語を付け加えよう。数列のペア (kt , ct )t は、kt ≥ 0, ct ≥ 0 で、かつ関係kt+1 = f (kt ) − ctを常に満たすとき、達成可能 (admissible) であると言う。達成可能な数列のペアで k0 = k̄を満たすものの集合を Ak̄ と書き、V̄ (k̄) = sup( ∞X)δ t u(ct ) (kt , ct )t ∈ Ak̄t=0と定義する。この関数 V̄ を価値関数 (value function) と呼ぶ。すぐにわかるように、∞Xδ t u(ct ) ≤t=0M1−δMなので、|V̄ (k̄)| ≤ 1−δである。後に使うために、以下の定理を示しておく。

2

定理１（ベルマンの最適性原理）：価値関数は以下の方程式

V̄ (k) = sup{u(f (k) − x) + δ V̄ (x)|0 ≤ x ≤ f (k)}

(2)

を満たす。
証明：まず、任意の x ∈ [0, f (k)] を選び、(kt , ct )t ∈ Ax を取る。このとき、k0′ = k, c′0 =′= kt , c′t+1 = ct と定義すると、(kt′ , c′t )t ∈ Ak である。よって定f (k0′ ) − x として、kt+1

義からV̄ (k) ≥∞Xδ u(c′t ) = u(f (k) − x) + δ
tt=0∞Xδ t u(ct )

t=0を得る。右辺を (kt , ct )t ∈ Ax について上限を取ることで、V̄ (k) ≥ u(f (k) − x) + δ V̄ (x)が得られ、さらに右辺の x についての上限を取ることでV̄ (k) ≥ sup{u(f (k) − x) + δ V̄ (x)|0 ≤ x ≤ f (k)}を得る。
一方、ε > 0 を任意に取ると、上限の定義から、ある (kt , ct )t ∈ Ak に対してV̄ (k) − ε <∞X

δ t u(ct )t=0である。k1 = y とすると、これはV̄ (k) − ε < u(f (k) − y) + δ∞X

δ t u(ct+1 )t=0を意味するが、一方で (kt+1 , ct+1 )t ∈ Ay なので、∞Xδ t u(ct+1 ) ≤ V̄ (y)t=0である。つなげることでV̄ (k) − ε < u(f (k) − y) + δ V̄ (y) ≤ sup{u(f (k) − x) + δ V̄ (x)|0 ≤ x ≤ f (k)}を得るので、ε ↓ 0 として極限を取ればV̄ (k) ≤ sup{u(f (k) − x) + δ V̄ (x)|0 ≤ x ≤ f (k)}3を得る。以上ふたつの不等式から (2) が導かれる。以上で証明が完成した。 ■実は、価値関数 V̄ がわかってさえいれば、上の (1) は簡単に解けてしまうことがわかっている。後で厳密に証明するが、いまは簡単化のために、V̄ はすでに見つかっていて、しかも連続だとしよう。このとき、k を固定して、変数 x についての以下の問題を考える。

maxu(f (k) − x) + δ V̄ (x)subject to. 0 ≤ x ≤ f (k).

(3)

制約条件を満たす x の集合 [0, f (k)] はコンパクトで、目的関数は連続なので、上の問題は解を必ず持つ。この問題 (3) の解の集合を P (k) と書こう。P (k) は常に非空である。
いま、k0∗ = k̄ として、以下のように数列のペアを構成する。まず、k1∗ ∈ P (k0 ) をひとつ、なんでもいいから取る。次に、c∗0 = f (k0∗ ) − k1∗ と定義する。以下、c∗t−1 と kt∗ まで∗∗と定義する。これを繰り定まったと仮定して、kt+1∈ P (kt∗ ) を取り、c∗t = f (kt∗ ) − kt+1

返せば、数列のペア (kt∗ , c∗t )t が得られる。すると次の結果が示せる。
定理２：上記のように定義した数列のペア (kt∗ , c∗t )t は元のモデル (1) の解である。
証明：作り方から、(kt∗ , c∗t )t ∈ Ak̄ であることは簡単にわかる。次に定理１を用いると、∗kt+1∈ P (kt∗ ) であることから、∗V̄ (kt∗ ) = u(c∗t ) + δ V̄ (kt+1)であることがわかる。よって、V̄ (k̄) = u(c∗0 ) + δ V̄ (k1∗ )= u(c∗0 ) + δu(c∗1 ) + δ 2 V̄ (k2∗ )
= ...
=TX

δ t u(c∗t ) + δ T +1 V̄ (kT∗ +1 )t=0Mを得る。ところがすでに示したように |V̄ (kT∗ +1 )| ≤ 1−δであり、よって上の評価式の最下段を T → ∞ とすることで、V̄ (k̄) =∞Xt=04

δ t u(c∗t )を得る。これは、任意の (kt , ct ) ∈ Ak̄ に対して∞X

δ u(c∗t ) ≥tt=0∞
Xδ t u(ct )t=0であることを意味するので、(kt∗ , c∗t )t が問題 (1) の解である。以上で証明が完成した。 ■・ベルマンの最適性原理
上のように、連続な価値関数が見つかってしまえば、これを使って問題 (1) が解ける。
だが、価値関数を、問題 (1) を解かずに得る方法などあるのだろうか？

実は、それこそがこの議論の肝であって、問題 (1) には一切手を触れずに V̄ を計算する方法があるのである。
まず、式 (2) のうち、V̄ を関数 V に置き換えた次の方程式

V (k) = sup{u(f (k) − x) + δV (x)|0 ≤ x ≤ f (k)}(4)を考えよう。これについて、次の結果が成り立つ。
定理３：有界で連続な関数 V : R+ → R が (4) を満たしていれば、V = V̄ が成り立つ。
証明：まず、先ほどと同様に最大化問題

maxu(f (k) − x) + δV (x)subject to. 0 ≤ x ≤ f (k)を考える。この問題の解の集合を Q(k) と書こう。制約集合 [0, f (k)] はコンパクトで、目的関数が連続なため、この Q(k) は常に非空である。ここで k0∗ = k̄ として、kt∗ まで定∗∗と定義しよう。する
まっているとき、kt+1∈ Q(kt∗ ) をひとつ取って、c∗t = f (kt∗ ) − kt+1と (kt∗ , c∗t )t ∈ Ak̄ である。(4) 式と定理２の証明で示したのと同じ計算から

V (k) =∞X

δ t u(c∗t ) ≤ V̄ (k)t=0が得られることになる。
一方、(kt , ct )t ∈ Ak を任意に取る。このとき、(4) 式から、

V (kt ) ≥ u(ct ) + δV (kt+1 )5

が成り立つので、V (k) ≥ u(c0 ) + δV (k1 )≥ u(c0 ) + δu(c1 ) + δ 2 V (k2 )
≥ ...
≥→

T
X
t=0∞
X

δ t u(ct ) + δ T +1 V (kT +1 )
δ t u(ct )t=0が得られる。ただし最後の極限は、関数 V が有界であるために成り立つ。よって、一番下の行について上限を取れば、V (k) ≥ V̄ (k)が得られ、よって V (k) = V̄ (k) である。以上で証明が完成した。 ■よって、価値関数を求めたければ、この方程式 (4) の有界で連続な解を計算すればよいことがわかった。問題は、そのようなものが求められるか、求められるとすればどうやって求められるかである。このためには、次の結果を用いる必要がある。いま、R+ 上で定義された有界で連続な実数値関数の空間を C と書こう。これは一様ノルムによって完備な距離空間と見なせる。以下、T : C → C となる関数を考えるのだが、定義域も値域も関数の空間のため、T も関数と呼ぶとわかりにくい。そこでこのような T は作用素(operator) という別の用語を使うことにしよう。また、f (x) ≥ g(x) が常に成り立つことは f ≥ g と略して書くことにする。f ≤ g も同様である。定数 a は定数関数と同一視できるため、f ∈ C ならば f + a ∈ C である。以上の注意を下に、以下の定理を見よう。
定理４（ブラックウェルの不等式）：作用素 T : C → C が以下の二条件を満たすとする。

1. もし f ≥ g ならば、T f ≥ T g である。
2. ある β ∈ (0, 1) が存在して、任意の f ∈ C と定数 a ≥ 0 と x ∈ R+ についてT (f + a) ≤ T f + βa が成り立つ。
このとき、T は縮小写像である。
証明：f, g ∈ C のとき、f ≤ g + ∥f − g∥ である。よって (a) と (b) から、

T f ≤ T (g + ∥f − g∥) ≤ T g + β∥f − g∥6であり、よってT f − T g ≤ β∥f − g∥が成り立つ。同様に g ≤ f + ∥f − g∥ であるから、T g ≤ T (f + ∥f − g∥) ≤ T f + β∥f − g∥であり、よってT g − T f ≤ β∥f − g∥が成り立つ。以上から、∥T g − T f ∥ ≤ β∥f − g∥が成り立つので、T は縮小写像である。以上で証明が完成した。 ■さて、我々が考える作用素は以下の定義式で与えられる。

(BV )(k) = sup{u(f (k) − x) + δV (x)|0 ≤ x ≤ f (k)}.
この作用素 B をベルマン作用素と言う。ベルジュの最大値定理から、B : C → C がわかる。次に、B が定理４の 1. と 2. を（ただし β = δ として）満たすことは、簡単な計算でわかる。よって、二回前の講義ノートの定理５を適用することで、B にはただひとつの不動点 V ∗ ∈ C が存在し、しかもどんな V ∈ C から出発したとしても、V0 = V, Vk+1 = BVk(5)として点列 (Vk ) を定義すれば、Vk は V ∗ に収束する。ところが BV ∗ = V ∗ ということは、V ∗ (k) = max{u(f (k) − x) + δV ∗ (x)|0 ≤ x ≤ f (k)}ということなので、これは V ∗ が (4) を満たすことを意味する。したがって定理３から

V ∗ = V̄ である。
上の結果は、V̄ が C に所属するベルマン作用素 B のただひとつの不動点であることを示しているが、それだけではなく、V̄ を近似計算する方法も与えていることに注意が必要である。たとえば V0 = 0 として、(5) で関数列 (Vk ) を定義すれば、十分大きな k について Vk は V̄ とほとんど同じ値になるはずである。実際、コンピュータで (1) を解析する経済学者の大半は、この理屈によって価値関数の近似計算を行い、それを価値関数として定理２を用いて元問題である (1) の近似解を計算している。
このように、縮小写像の不動点定理を用いることで、我々は難しい問題 (1) をかなり簡単にできるのである。

7

・先週の課題の解説
まず、弧状連結な空間は連結である。証明は背理法による。仮に X が弧状連結な距離空間であるにもかかわらず、X 内の非空な開集合 U と V で U ∩V = ∅ かつ U ∪V = X となるものが存在したとする。x ∈ U と y ∈ V を取り、f (0) = x, f (1) = y を満たす連続関数

f : [0, 1] → X を取る。このとき、f は連続であるから、逆像 U ′ = f −1 (U ), V ′ = f −1 (V )は [0, 1] の開集合である。一方、0 ∈ U ′ , 1 ∈ V ′ なので、U ′ と V ′ は両方非空である。明らかに U ′ ∩ V ′ = ∅ かつ U ′ ∪ V ′ = [0, 1] なので、[0, 1] 閉区間が連結でないことになるが、これは第五回講義ノートの定理８に矛盾する。
しかし一方で、連結な集合が弧状連結とは限らない。これは次の例からわかる。

X=1(x, y) ∈ R x ∈ [−1, 1], x ̸= 0, y = sinx2

∪ {(0, y)| − 1 ≤ y ≤ 1}.

この集合が弧状連結ではないが連結であることを示そう。まず、もし X が弧状連結であったとすれば、ある連続関数 f : [0, 1] → X に対して f (0) = (π −1 , 0) かつ f (1) = (0, 1) でなければならない。ここで、t∗ = inf{t ∈ [0, 1]|f1 (t) ≤ 0}と定義する。f1 (1) = 0 なので、右辺の集合は空集合ではなく、よって t∗ はきちんと定義されている。もし f1 (t∗ ) > 0 ならば、f1 (1) = 0 なので t∗ < 1 であるが、f1 の連続性からある ε > 0 が存在して t∗ < t < t∗ + ε ならば f1 (t) > 0 となり、これは t∗ の定義に矛盾する。逆に f1 (t∗ ) < 0 ならば、f1 (0) = π −1 > 0 なので t∗ > 0 であるが、やはりf1 の連続性からある ε > 0 が存在して t∗ − ε < t < t∗ ならば f1 (t) < 0 となり、こちらも t∗ の定義に矛盾する。よって f1 (t∗ ) = 0 でなければならない。故に t∗ > 0 である。

f2 (t∗ ) = y とする。
いま、y ̸= 1 としよう。t∗ の定義から、0 < t < t∗ ならば f1 (t) > 0 である。よって、∗2
中間値の定理から、 t2 < t1 < t∗ かつ f1 (t1 ) = 4n+1
π −1 となるような n が存在するような t1 が存在する。このとき f2 (t1 ) = 1 でなければならない。以下この作業を繰り返し、∗f2 (tk ) = 1 となる tk が与えられているとき、中間値の定理から、 tk +t< tk+1 < t∗ かつ
22f1 (tk+1 ) = 4n+1
π −1 となるような n が存在する tk+1 を取る。すると数列 (tk ) は増加的で、0 < tk < t∗ を常に満たし、さらに|tk − t∗ | <1 ∗t2kを満たす。これは (tk ) が t∗ に収束していることを意味する。よって f の連続性から、8f2 (tk ) も f2 (t∗ ) = y に収束していなければならないが、すべての k に対して f2 (tk ) = 1
なので矛盾が生ずる。
2以上は y ̸= 1 のときの証明であったが、y = 1 のときは今度は f1 (tk ) = 4n+3π −1 を満たすように (tk ) を構築すれば同様に矛盾が生ずる。よってこのような f は存在せず、Xは弧状連結ではあり得ない。
一方、X が連結ではないとする。すると、X の非空な相対開集合 U, V が存在して、U ∪ V = X, U ∩ V = ∅を満たす。どちらでも同じなので (0, 1) ∈ U としよう。ここで、A = {x ∈ [−1, 1]|(0, x) ∈ U }, B = {x ∈ [−1, 1]|(0, x) ∈ V }とすると、これは両方とも開集合である。しかし [−1, 1] は連結なのでどちらかが空集合でなければならず、一方で 1 ∈ A なので B が空集合である。よって U は、{(0, y)| − 1 ≤y ≤ 1} という集合を含む。
さらに、U は開集合なので、V = X \ U は閉集合である。X 自身が R2 の中で閉集合だから、V は R2 の位相でも閉集合である。明らかに V は有界なので、コンパクトである。そこで、次の最小化問題

min∥(x, y) − (0, y)∥subject to. (x, y) ∈ Vは解 (x∗ , y ∗ ) を持つ。しかしながら、(x∗ , y ∗ ) ∈ V かつ x∗ ̸= 0 なので、V が開集合であることから、0 < |x| < |x∗ | かつ (x, y) ∈ V となる (x, y) が存在する。このとき、∥(x, y) − (0, y)∥ = |x| < |x∗ | = ∥(x∗ , y ∗ ) − (0, y ∗ )∥となって、(x∗ , y ∗ ) よりも (x, y) の方が上の問題の目的関数の値が小さいことになり、(x∗ , y ∗ ) が解であることに矛盾する。よってこのようなことはあり得ず、X は連結である。
このように、弧状連結と連結の間には差があることがわかる。ただし、A が開集合である場合には、A が弧状連結であることと連結であることは同値であることが知られている。証明は簡単なので、興味がある学生は確かめてみるとよい。

9