エルゴード的確率制御から大偏差確率制御へ- 数理ファイナンスに現れる時間大域的問題を巡って 長井

英生 （大阪大・基礎工）
1. はじめに’90 年代に数理ファイナンスの分野の研究で中心的な話題となっていた完備な市場の理論を標準理論として研究する時期はすでに過ぎていると思われる。その背景に、誰にもその全体像が掴めない化け物のような「経済」が控えていると思われる数理ファイナンス、現時点においてその核心となる問題が何かをここで問おうとするものではない。もとより、筆者にそれを問う力量があるとも思えない。ただ、そこに現れる数学的に興味深いと思われる問題で、これまで関心を持って来た確率制御に関わるある問題を切り取って、ここでは紹介してみようと思う。最近の状況をみると、他にも確率制御の研究との関連から数理ファイナンスの問題に取り組もうとする研究が、多く見受けられる。 特に、これまで公理論的・測度論的に考察されてきた Risk measures （リスク尺度）について H-J-B (Hamilton- Jacobi-Bellman) 方程式との関連から具体的な解析を進めよ
うとしている動きは注目すべきことであると思われる。一方、ここでは、確率論とその関連諸分
野で広く研究されてきた大偏差原理との関連に注目して、ダウンサイドリスク最小化の問題を確率制御の研究の流れの中で、大偏差確率制御として考察しようと試みる。この試みを今後の研究の進展の契機とすることができ、そして、実用に供することができれば幸いである。
2. エルゴード的確率制御
８０年代に問題の定式化が進んだエルゴード的確率制御問題を導入するに当たって、まずは有限時間範囲の問題から議論を始めよう。有限時間範囲 [0, T ] の標準的な確率制御問題は評価基準
汎関数を
 T Ê
ÊT
t
(2.1)
J(x; 0, T ; h) := E[e 0 c(Xs ,hs )ds f (Xt , ht )dt + e 0 c(Xs ,hs )ds g(XT )]0とし、制御確率微分方程式を(2.2)

dXt = λ(Xt , ht )dBt + β(Xt , ht )dt,

X0 = xとするのが一般的な定式化である。ここで、ht は制御パラメーターである。フィルター付き確率空間 (Ω, F, P ; Ft ) 上で定義された確率微分方程式 (2.2) は、あらかじめ規定された制御領域 Γに値をとり、Ft 発展的可測な確率過程である制御パラメータ ht で制御され、評価関数 J は h の汎関数として定義されている。この h をあらかじめ規定した許容な制御全体の集合 A から選んでJ を最小（大）にするものを求めようという問題が考察の対象である。時間範囲 [t, T ] で考えた値関数 ṽ(t, x) := inf h∈A J(x; t, T ; h) をとるとき、Bellmann の動的計画原理を通じて その H-J-B(Hamilton-Jacobi-Bellman) 方程式は
(2.3)
∂v
1
∗
2
∗
∂t + inf h∈Γ { 2 tr[λλ (x, h)D v(t, x)] + β(x, h) Dv(t, x) + c(x, h)v(t, x) + f (x, h)} = 0v(T, x) = g(x)となることが導かれる。そして、一般的な (ある種の増大度と連続性を保証する）条件 の下で、値関数 ṽ は、この H-J-B 方程式の一意的な粘性解であることが示される。また、その解が十分な滑らかさを持つとき、(2.3) の inf を達成する h(t, x) に対して

dXt = λ(Xt , h(t, Xt ))dBt + β(Xt , h(t, Xt ))dt,

X0 = xが解を持つならば、h(t, Xt ), 0 ≤ t ≤ T は 評価基準関数 J(x; 0, T ; h) を最小にする最適制御を定義するというのが、一般的な構造である。
1

2

さて、時間無限範囲の問題であるエルゴード的確率制御を考えよう。すなわち、減価率は c(x, h) =0 とし、長時間平均評価基準汎関数
 T
1
(2.4)
π(h) = lim E[
f (Xt , ht )dt]T0を最小にする制御 h とその最小値 π̂ を求める問題である。形式的には、対応する、エルゴード型
H-J-B 方程式は、(2.3) の極限方程式として

(2.5)

1
π = inf { tr[λλ∗ (x, h)D2 u(x)] + β(x, h)∗ Du(x) + f (x, h)}h∈Γ 2となる。ここで、π はある定数で、u = u(x) は関数であり、この定数と関数の組 (π, u) が一つの解と考えられる。また、ある定数 π に対して u(x) が解であるならば、任意の定数を u に加えたものも解であるから、関数 u に対しては定数和に関するあいまいさがある。また、そのようなあいまいさを認めた上でも、解 (π, u) が多数ある場合が興味ある問題では一般的である。一方 (2.4)の最小値は一意に決まるものであるはずだから、このように多くある解の中から、その最小値を特徴付ける H-J-B 方程式の解を特定する必要が生じる。 エルゴード的確率制御問題においてこれは基本的な問題である。
一般的な設定の下でこの方程式を厳密に導く（解の存在を示す）のは必ずしも容易ではない。この導出は、(2.2) で決まる制御確率過程のエルゴード性に関係する。例えば、制御が介在しないとき、すなわち、λ, β が h によらないとき、この確率微分方程式の解の定める拡散過程の生成作用素
が対称であるならば、スペクトルの下限が固有値であり、スペクトルギャップがあるとき、強いエルゴード性が保証される。このとき、この拡散過程の不変測度をm(dx) とし、f¯(x) = inf h∈Γ f (x, h)∞
とおくとき、π = π(f ) := f¯(x)m(dx)，u(x) = 0 Tt (f¯ − π(f ))(x)dt として、(2.3) の解 (π, u)は決まり、これが求めるものである。ここで、Tt はこの拡散過程の推移半群。しかし、必ずしも対称でない場合は, このような強いエルゴード性を保証するよい条件を求めるのは多くの議論を必要とするところである。さらに、制御問題では制御確率過程に対称性を仮定するというのは無理があるだけでなく、係数が制御に依存する場合、最適制御は評価関数 f (x, h) にも依存して決まり、
その最適制御の決める制御確率過程がエルゴード的である状況で考えようとしているのであるか
ら、問題ははるかに複雑である。一般的な考察よりは、典型的な場合の詳しい解析が一定程度成されている段階である。この問題は１９８０年代頃から認識され、主に、Bensoussan 周辺の研究者によって、確率制御問題として定式化される各種具体的な問題を対象として考察された（[2]）。
典型的な場合について触れよう。、Γ = Rm , λ(x, h) = λ(x), β(x, h) = b(x) + H(x)h, f (x, h) =1 ∗2 h F (x)h + f (x), （F は正定値対称行列 ）とすると、(2.5) は

1
1
π = tr[λλ∗ (x)D2 u] + b(x)∗ Du − (Du)∗ HF −1 H ∗ (x)Du + f (x)22となり、u の 一階の導関数に関する二次の非線型項をもつ、非線型編微分方程式が得られる。この場合でさらに、λ, H(x), F (x) が定数行列で、b(x) が一次関数 b(x) = Bx + b， f (x) が二次関
数 f (x) = 12 x∗ U x + c の場合は、この (2.5)’ の解は二次関数として求まり、その二次の係数を定める代数リッカチ方程式(2.5)

(2.6)

B ∗ X + XB − XHF −1 H ∗ X + U = 0の問題に帰着される。そして、ある条件の下で、求める解はそのリッカチ方程式の解の符号を特定することで求まる。この場合は具体的な計算が可能であり、工学で特に詳しく研究されてきた代数リッカチ方程式の結果が援用される。(2.5)’ を含む一般的な場合を取り扱った研究 [4] はこのことおよび、後に述べるシュレーディンガー作用素の第一固有関数に関わるエルゴード型制御問
題を踏まえた上で、解析学的な興味から深められたもので、L を楕円型作用素とし、(2.7)

π = Lu − Q(x, Du) + V (x)の形の方程式の解の存在と正則性、そして u(∞) = ∞ となる解の一意性を、(2.8)k(x)|p|2 − k̂(x) ≤ Q(x, p) ≤ K(x)|p|2 + K̂(x)3の条件の下で考察したものである。ここで、k, k̂, K, K̂, はすべて正値関数である。この u(∞) = ∞となる解がエルゴード型制御問題に対応する解である。ここで特定される解は、特別な場合には、シュレーディンガー作用素の第一固有関数と関わる。Lψ := 12 ∆ψ とするとき、固有値問題µψ = −Lψ + V ψを考える。例えば V (x) → ∞, |x| → ∞ のとき、 −L + V のスペクトルの底は固有値となり, 対応する固有関数は正となるので u = − log ψ とおくと
1
1
(2.9)
µ = ∆u − |Du|2 + V
2
2
第一固有関数 ψ は |x| → ∞ としたとき指数的に減少し、従って u(∞) = ∞ であり、第一固有値が単純であることから、一意性と対応する。 この場合のエルゴード的確率制御問題との関連は、[6],[35] にある。

3. H∞ 制御との関連から研究の進んだリスク鋭感的確率制御
有限時間範囲 (ﬁnite time horizon) のリスク鋭感的確率最適制御問題では評価基準汎関数
 T
1
(3.1)
Jr (x; 0, T ; h; γ) = log Ex [exp(γf (Xs , hs )ds + γg(XT ))]γ0を考える。ここで、γ は定数でリスク鋭感的パラメーターと呼ばれる。f (x, h) は h に関して上に有界な関数とし、(3.1) を最大にする戦略 h を求めることを問題とする。ただし、制御確率過程
は通常の確率制御問題と同じように、(2.2) の解として定まる確率過程を考える。γ < 0 のとき、
(3.1) において γ → 0 とした漸近展開を考えると
 T
 T
γ
J(x; 0, T ; h; γ) ∼ Ex [f (Xs , hs )ds) + g(XT )] + Var[f (Xs , hs )ds + g(XT )] + O(γ 2 )200Tとなる。従って、これを最大化する問題は近似的に費用汎関数 0 f (Xs , hs )ds) + g(XT ) の期待値を最大化すると同時にその分散を最小化することになり、その意味で”リスク回避的”と呼ばれる。逆に、γ > 0 の場合は、近似的に同じ費用汎関数の期待値を最大化すると同時に分散も最大化する問題となり、”リスク志向的” と言われる。問題を時間範囲 [t, T ] で考察した値関数を
vr (t, x) := suph∈A Jr (x; t, T ; h; γ) とおくとき、その H-J-B 方程式は
⎧
γ
∂v
1
∗
2
∗
∗
⎪
∂t + suph∈Γ { 2 tr[λλ (x, h)D v(t, x)] + 2 (Dv) λλ(x, h) Dv(t, x)
⎪
⎪
⎪
⎨
(3.3)
+β(x, h)∗ Dv(t, x) + f (x, h)} = 0
⎪
⎪
⎪
⎪
⎩
v(T, x) = g(x)となる。この方程式は、Dv に関する二次の非線型項が自動的に入っており (2.3) よりさらに解析が困難なものである。上で (2.5) の特別な場合である (2.7) に制限して考察したように、これまで解析が進んだのは、次のような形に制限した場合である。
⎧
∂v
1
∗
2
∗
⎨
∂t + 2 tr[λλ (x)D v] + b(x) Dv + Qγ (x, Dv) = 0(3.4)⎩
v(T, x) = g(x)γQγ (x, Dv) := (Dv)∗ λλ(x, h)∗ Dv(t, x) + sup{B(x, h)∗ Dvr (t, x) + f (x, h)}2h∈ΓQγ (x, p) = Hγ (x, p) − V (x) で、Hγ (x, p) が (2.8) の条件を満たす場合に考察された解析が [5],[36]にある。γ < 0 でその絶対値が大きい場合には、(2.8) が満たされないことが起こる。そのとき、どのような制御をとっても評価基準関数 (3.1) が発散するという状況が起こりうる。このような状況を制御問題が崩壊 (break down) するといい、そのようなことが起こらない γ の最小値を知ることは、ロバストネスの観点から重要とされる。リスク鋭感的確率制御が、工学的に重要で広4く応用されている H∞ 制御との関連から研究されるようになった動機は、このロバストネスを確√率制御の枠組みで捉えようというものである。λ(x) = σ(x), γ = − θ とおいて  → 0 とした特異極限が非線型系に対する H∞ 制御に対応すると考えられている ([47],[1],[17],[7])。その特異極限
を Max-Plus 代数の枠組みで捉えようとする試みもある（ [14],[16]）。崩壊に関しては若干の考察が [8] にある。
さて、エルゴード型リスク鋭感的確率制御の評価基準汎関数
 T
1
log Ex [exp(γ(3.5)χ∞ (h; γ) = lim
f (Xs , hs )ds)]
T →∞ γT
0を導入しよう。この χ∞ (h; γ) を最大にする h 及びその最大値を求めることを問題とするが、対応する H-J-B 方程式の研究が進んでいるのは、(3.4) に対応する特別な場合,
1(3.6)
χ∞ (γ) = tr[λλ∗ (x)D2 w] + b(x)∗ Dw + Hγ (x, Dw) − f (x)2である。ここでも、定数 χ∞ (γ) と関数 w の組 (χ∞ (γ), w) が一つの解と考えられ、一般に多くの解がある。この方程式の解の存在と特別な解の一意性、そしてその特異極限を [27],[28] で考察した。Hγ (x, p) = 12 p∗ σσ ∗ (x)p の場合には解の構造を考察した研究 [26] がある。ただ、inf h. χ∞ (h; γ)に対応する (3.6) の解を特定することには指数型汎関数を考察することに起因する困難さがある。
特別な場合に限定してもそのような困難があることを後述する。また、リスク鋭感的確率制御との関連を見るにはパラメーター γ の値とのかかわりで H-J-B 方程式 (3.6) を考察する必要があり、その際、(2.5)’ を考えたのと同様に、β(x, h) = b(x) + H(x)h, f (x, h) = − 12 h∗ F (x)h − f (x) として得られる Hγ (x, p) = 12 p∗ (γλλ∗ (x) + HF −1 H ∗ (x))p の場合

11
χ∞ (γ) = tr[λλ∗ (x)D2 w] + b(x)∗ Dw + (Dw)∗ (γλλ∗ (x) + HF −1 H ∗ (x))Dw − f (x)22
を見ておくのは有益である。さらに、ここでも λ(x) = Λ, H(x), F (x) が定数行列で、b(x) が一次関数 b(x) = Bx + b， f (x) が二次関数 f (x) = 12 x∗ U x + c の場合は、(3.7) の解は二次関数として求まり、二次の係数を定める代数リッカチ方程式(3.7)

B ∗ X + XB + X(γΛΛ∗ + HF −1 H ∗ )X − U = 0(3.8)の問題に帰着される。注意すべきは γ < 0 でその絶対値が大きい場合にはこのリッカチ方程式の可解性の問題が生じるということであり、これが上で述べた崩壊の問題、従ってロバストネスに関わるということである。

4. 期待効用最大化とリスク鋭感的確率制御
市場の数理モデルを次のように定式化する。金融市場には１つの安全債券と m 個の危険証券があり、それぞれの時刻 t における価格を St0 , Sti , i = 1, ..., m と表すとき、それらは次の方程式で決まっているものとする。

dS 0 (t) = r(Xt )S 0 (t)dt,

(4.1)
(4.2)

i

i

i

dS (t) = S (t){α (Xt )dt +n+m
S 0 (0) = s0 ,σki (Xt )dWtk }, S i (0) = si , i = 1, ..., m.

k=1
n+m
1
2
ここで、Wt = (Wt , Wt , ..., Wt) は 確率空間 (Ω, F, P ; Ft ) で定義された n + m 次元標準ブラウン運動、Xt は、各証券価格過程のボラティリティ σ や瞬間期待収益率 (instantaneous mean

return) α に影響を与える、経済的要因 (economic factors)(以下ファクターという）で、次の確率微分方程式の解として定まる確率過程である。
(4.3)

dXt = β(Xt )dt + λ(Xt )dWt , X(0) = x ∈ Rn ,これは、ファクターモデルと呼ばれる市場モデルで、Merton により定式化されたとされている。
より一般的に上の係数、r, α, σ, β, λ が証券価格 S i , i = 0, 1, . . . , m にも依存する形で定式化することもできるが、要は、売買可能である証券の価格以外にランダムな量、確率過程 Xt が存

5

在し、そのランダムネスに売買可能な証券が依存しているという非完備な市場のモデルということであり、簡単のために上の形で以後考察することとする。投資家が時刻 t において持つ i 番
目の証券の量をN i (t) とし、 N (t) ≡ (N 0 (t), N 1 (t), ..., N m (t)) と表すとき、総資産価値過程は、
mi
V (t) := i=0 N (t)S i (t) である。i 番目の証券への投資比率を

hi (t) =(4.4)とし、h(t) = (h1 (t), h2 (t), ..., hm (t))
ると、

(4.5)

N i (t)S i (t), i = 0, 1, ...., mV (t)とおく。このとき、自己資金充足戦略をとることを仮定す

dV (t)= {r(Xt ) + h(t)∗ (α(Xt ) − r(Xt )1)}dt + h(t)∗ σ(Xt )dWt , V0 = v
V (t)

となる。
さて、まず有限時間範囲 (ﬁnite time horizon) の確率制御問題として Merton terminal wealthproblems と呼ばれる最適投資問題（期待効用最大化問題）の冪型効用の場合と同値なリスク鋭感的確率制御問題を考える。すなわち、γ < 1, = 0 とし、評価基準汎関数(4.6)

J(v, x; h; T ) =1
1
log E[eγ log VT (h) ] = log E[VT (h)γ ],γ
γを最大にする戦略 ht を求める問題である。ただし、ht は Gt = σ(S(u), X(u), u ≤ t) 発展的可測な範囲で考える。最近では実務的な観点から、さらに何らかのベンチマークをとって、それと比較した効用最大化を図る問題も考えられている。例えば、すべての資産を安全債券に投資する戦略をベンチマークとするとき、γ < 0 の場合にJ 0 (v, x; h; T ) = log E[(

(4.7)

V (h)

γ log( T 0 )VT (h) γ
S
T
)
]
=
log
E[e
],
ST0

を最小化する戦略を求める問題である。ここでは、簡単のため、(4.6) の分母のパラメータ γ < 0を省略し、(4.7) を最小化する問題としておく。0 < γ < 1 の場合は最大化する問題を考察することになる。 次節との関連から、以後 γ < 0 の場合についてのみ述べる。値関数
V

(4.8)

v̂(t, x) =を導入し、 α̂(x) = α(x) − r(x)10

γ log( T −t0infh. ∈A(T −t)log E[e

S

(h)

)

T −t

]

とおくとき、
ÊTÊT

γ2 Ê T ∗hs σσ∗ (Xs )hs ds
0∗eγ(log VT −log ST ) = v0γ eγ 0 η(Xs ,hs )ds+γ 0 hs σ(Xs )dWs − 2
ただし、

η(x, h) = h∗ α̂(x) −,1−γ ∗ ∗h σσ (x)h.
2であるので、測度変換
ÊT

γ2 Ê T ∗hs σσ∗ (Xs )hs ds0∗

P h (A) = E[eγ 0 hs σ(Xs )dWs − 2をすると、ファクター過程は新しいブラウン運動

(4.9)

t

: A]

Wth := Wt − γ 0 σ ∗ (Xs )hs ds を使って

dXt = {β(Xt ) + γλσ ∗ (Xt )ht }dt + λ(Xt )dWth ,X0 = xと書け、値関数は(4.10)v̂(t, x) = γ log v0 +inf

h. ∈A(T )Ê T −tlog E h [eγ 0η(Xs ,hs )ds]

6となる。こうして、評価基準汎関数を (3.1)、 制御確率微分方程式を (2.2) とするリスク鋭感的確率制御問題の枠組みで上記の問題を捉えられることになり、その H-J-B 方程式は (3.3) の特別な
場合として
⎧
∂v
1
1
∗ 2
∗
∗
∗ ∗
⎨
∂t + 2 tr[λλ D v] + 2 (Dv) λλ Dv + inf h {[β + γλσ h] Dv + γη(x, h)} = 0,
(4.11)⎩v(T, x) = γ log v0となるが、それは⎧⎨(4.12)
⎩

∂v
1
1
∗ 2
∗
∗
−1 ∗
∂t + 2 tr[λλ D v] + βγ Dv + 2 (Dv) λNγ λ Dv − Uγ = 0,v(t, x) = γ log v0と書ける。ただし、γγγβγ = β +λσ ∗ (σσ ∗ )−1 α̂, Nγ−1 = I +σ ∗ (σσ ∗ )−1 σ, Uγ = −α̂∗ (σσ ∗ )−1 α̂
1−γ
1−γ
2(1 − γ)(4.12) は [5] で考察した (3.4) の特別な場合であり、ある程度一般的な条件の下で、解の存在、正則性が示されるが、(4.13)α̂∗ (σσ ∗ )−1 α̂ → ∞, |x| → ∞を仮定すると v(t, x) → −∞, |x| → ∞, ∀t < T となる解の一意的な存在が示され、さらに、λλ∗ (x)と σσ ∗ (x) の一様楕円性と λ, σ, α, β, r の Lipshitz 連続性を仮定しておくと、必要となる詳しい勾配評価が得られ、その解 v(t, x) は、(4.14)v(0, x; T ) ≡ v(0, x) = v̂(0, x) ≡ inf J 0 (v, x; h; T )h∈Aを満たすものであることがわかる ([38])。ここで、勾配評価を得る際には、放物型 Harnack 不等式の証明に用いられる Bernstein の方法が援用される。
上で述べたエルゴード的リスク鋭感的確率制御に対応する無限時間範囲の問題は、評価基準汎
関数を
V (h)

(4.15)

γ log( T 0 )VT (h)
1
1
S
T
log E[( 0 )γ ] = lim
log E[eχ(h; γ) = lim],
ST
T →∞ TT →∞ Tとし、制御確率過程を (4.9) の解とするものである。従って、形式的にはその H-J-B 方程式は(4.16)

1
1
χ(γ) = tr[λλ∗ D2 w] + βγ∗ Dw + (Dw)∗ λNγ−1 λ∗ Dw − Uγ22となる。(4.16) は (3.7) の b と f がパラメータ γ に依存している場合となっているが、上で述べたように、一般的に多くの解があるので、その中から必要な解を特定するには議論が必要となる。
次節でそれについて触れる。ここでは、もう一つ次の値を用意しておこう。

1v(0, x; T )T →∞ T(4.17)

χ̃(γ) = lim

とおく。ここで、v(0, x; T ) は (4.12) の解の t = 0 における値であり、(4.13) の下で(4.18)

1
inf J 0 (v, x; h; T ) = χ̃(γ)
h∈A
T
T →∞
lim

となるが、この値を特徴付ける方程式も、形式的には (4.16) である。しかしながら、必ずしもχ̃(γ) = inf h.∈A χ(h; γ) となるわけではない。例で示そう。いわゆる、線形ガウスモデルを考える。
r(x) = r, α(x) = Ax + a, σ(x) = Σ, β(x) = Bx + b, λ(x) = Λ で A, B, Σ, Λ, a, b, r はすべて

7

定数行列（またはベクトル）。このとき、(4.12) の解は v(t, x) = 12 x∗ P (t)x + q(t)∗ x + k(t) なる表
現を持ち、P (t), q(t), k(t) は(4.19)⎧⎨Ṗ (t) + P (t)ΛN −1 Λ∗ P (t) + K1∗ P (t) + P (t)K1 − C ∗ C = 0, P (T ) = 0⎩(4.20)γ(A∗ + P (t)ΛΣ∗ )(ΣΣ∗ )−1 â = 0,q̇(t) + (K1 + ΛN −1 ΛP (t))∗ q(t) + P (t)b + 1−γq(T ) = 0k̇(t) + 12 tr[ΛΛ∗ P (t)] + 12 q(t)∗ ΛΛ∗ q(t)γ
+ 2(1−γ)(â + ΣΛ∗ q(t))∗ (ΣΣ∗ )−1 (â + ΣΛ∗ q(t)) = 0,の解である。ただし、γΛΣ∗ (ΣΣ∗ )−1 A, C :=K1 := B +
1−γ−k(T ) = γ log v0γγ
Σ∗ (ΣΣ∗ )−1 A, N −1 := I +Σ∗ (ΣΣ∗ )−1 Σ
1−γ
1−γ

ここで、G := B − ΛΣ(ΣΣ∗ )−1 A が安定行列であると仮定すると、P (t) = P (t; T ), q(t) = q(t; T ),−k̇(t) = −k̇(t; T ) は T → ∞ のとき、それぞれ、以下で決まる P , q, χ(γ) に収束する。
⎧
K1∗ P + P K1 + P ΛN −1 Λ∗ P − C ∗ C = 0
⎪
⎪
⎪
⎪
⎨
γ
(A∗ + P ΛΣ∗ )(ΣΣ∗ )−1 â = 0(K1 + ΛN −1 Λ∗ P )∗ q + P b + 1−γ(4.21)⎪⎪⎪⎪γ⎩(â + ΣΛ∗ q)∗ (ΣΣ∗ )−1 (â + ΣΛ∗ q)
χ(γ) = 12 tr[ΛΛ∗ P ] + 12 q ∗ ΛΛ∗ q + 2(1−γ)
ここで、P は非正定値であり、そのような解は一意である。従って、 T1 v(0; x; T ) は χ̃(γ) = χ(γ)
に収束し、w(x) = 12 x∗ P x + q ∗ x とおくと (χ(γ), w) は (4.16) の解となる。しかしながら、A ={h. ; {hs }s≤T ∈ AT , ∀T } と自然に定義しても、無条件では χ(γ) = inf h.∈A χ(h; γ) とはならない([31],[38])。評価関数が指数型汎関数であることによる困難さが現われていると考えられる。

5. ダウンサイドリスク最小化と大偏差確率制御
ダウンサイドリスク最小化の問題を述べる前に、ST0 をベンチマークとして、総資産 の成長率が目標値 κ より上回る確率を最大化する問題
VT (h)1¯
log P (log
(5.1)
J(κ)
= sup lim
≥ κT ).
ST0h∈H T →∞ Tについて述べよう。
VT (h)
1
1
T log( ST0 ) = − 2T

T

∗ −1
∗
∗
∗ −1
0 {ht − (σσ ) α̂(Xt )} σσ {ht − (σσ ) α̂(Xt )}dt

1
+ 2T
V (h)

であるので、 TS 0

T

T

1
∗
∗ −1
0 α̂(Xt ) (σσ ) α̂(Xt )dt + TT0h∗t σ(Xt )dWt

∗ −1の成長率を時間大域的に見て、道ごとに最大化するのは hK
t = (σσ ) α̂(Xt )であり、これを、Kelly portfolio (log utility portfolio)([30]) あるいは、numéraire portfolio と呼ぶ。一般的な設定で 対数効用を最大化するこのポートフォリオが 道ごとに最大成長率を実現する
ことを見ようとする研究がある ([29])。これは大数の法則のレベルの問題である。 それに対して、(5.1) は、大偏差確率制御問題であり、確率制御の標準的な問題にはならず、上で述べた、(4.15)
で 0 < γ < 1 とし、上極限をとった
V (h)

(5.2)

γ log( T 0 )VT (h)
1
1
S
T
log E[( 0 )γ ] = lim
log E[e],T →∞ TT →∞ TSTχ̌(h; γ) = lim

を最大化する問題の双対問題と捉えられる ([43],[44],[24],[25],[22])。 0 < γ < 1 の場合、ある条件の下で、臨界値 γ ∗ が存在し、γ ∗ < γ < 1 に対しては χ̌(γ) = suph. χ̌(h; γ) は発散する。そして、

8

χ̌(γ) が微分可能で limγ→γ ∗ χ̌ (γ) = ∞ ならば J¯u (κ) = − supγ∈[0,γ ∗ ) {γκ − χ̌(γ)} となる。しかしながら、この臨界値 γ ∗ の存在を具体的に示すことができるのは、m = n = 1 の特別な場合に限られている。この臨界値 γ ∗ は、H-J-B 方程式 (4.16) の解が 0 < γ < 1 において存在する範囲
0 < γ < γ ∗ と対応する。
さて、本題である、ST0 をベンチマークとしたときの、総資産 VT (h) の成長率が目標値 κ を下回る確率を最小化する問題
VT (h)
1log P (log
(5.3)
J(κ) = inf lim≤ κT )h∈H T →∞ T
ST0を考えよう。これを、γ < 0 に対する (4.15) を最小にする問題の双対問題と考えるのは、自然であろう。しかしながら、前節で述べたように必ずしも χ̃(γ) = inf h.∈A χ(h; γ) とはならない。そこ
で、まず、1VT (h)
inf log P (log≤ κT ),ST0
T →∞ T h∈H(T )(5.4)

J(κ) := lim

と
V (h)

(5.5)

γ log( T 0 )VT (h)
1
1
S
T
inf log E[( 0 )γ ] = lim
inf log E[eχ̂(γ) = lim
],
T
T
S
h∈A(T
)
h∈A(T
)
T →∞
T →∞
T

の関係を考察する。前節で述べた線形ガウス型モデルであれば、(4.21) で決まる χ(γ) に対して、 χ(γ) = χ̃(γ) = χ̂(γ) である。さらに、χ(γ) は下に凸な関数であり、かつ微分可能であり、
limγ→−∞ χ (γ) = 0 が示される。微分可能性を示すには、(4.19) の解の微分可能性を示し、その微分に対して T → ∞ とした漸近挙動を考察することになる。また、その極限で表される χ (γ)
について γ → −∞ とした際の挙動は ある 最適な 拡散過程が γ について一様にエルゴード性を持っていることを示すことによって得られる。この 最適な 拡散過程については後に触れる。
そして、limγ→−∞ χ (γ) = 0 < κ < χ (0−) なる κ を目標成長率としたとき、inf γ<0 {χ̂(γ) − γκ}の下限を達成する γ(κ) に対して、(4.14) の下限を達成する戦略 h(γ(κ),T ) をとると、(5.5) の極限
値 χ̂(γ(κ)) が得られ、次の定理を得る。

Theorem 5.1 ([23]). ΣΣ∗ > 0 と B − ΛΣ∗ (ΣΣ∗ )−1 A が安定であることを仮定する。このとき、J(κ) = inf {χ̂(γ) − γκ},γ<00 < κ < χ̂ (0−)

log VT (h(γ(κ),T ) ) − log ST0
1
log P (≤ κ)
T →∞ T
T

J(κ) = limである。また、J(κ) = inf {χ̂(γ) − γκ} = −∞,
γ<0

κ<0

さらに、もし、 B が安定であれば χ(0−) = 0 であり、

11dP̄(0−)] + (AB −1 b − â)∗ (ΣΣ∗ )−1 (AB −1 b − â),χ (0−) = tr[ΛΛ∗
2
dγ
2
ここで、

χ (0−) ≤ κdP̄(0−)) =
dγ
に対しては

 ∞
0

∗

esB A∗ (ΣΣ∗ )−1 AesB ds, â = a − r1

J(κ) = inf {χ̂(γ) − γκ} = 0,γ<01
(σσ ∗ )−1 (α̂ + σλ∗ Dv)(t, x) であるから、線型ガウス(4.11) の下限を達成する h は ĥ(t, x) = 1−γ1
モデルの場合、それは ĥ(t, x) = 1−γ(ΣΣ∗ )−1 [â+ΣΛ∗ q(t)+(A+ΣΛ∗ P (t))x] となり、(4.9) の ht と(γ(κ),T )して、 ht = ĥ(t, Xt ) として得られる、(4.9) の解を Xt とすれば、ht= ĥ(t, Xt ), t ≤ T であ

91る。同様に、エルゴード型 H-J-B 方程式の場合も ĥ(x) = 1−γ(σσ ∗ )−1 (α̂ + σλ∗ Dw)(x) で下限が達

1成され、線型ガウスモデルの場合、それは ĥ(x) = 1−γ(ΣΣ∗ )−1 [â + ΣΛ∗ q + (A + ΣΛ∗ P )x] となり、
11(4.9) から、最適な ht= ĥ(Xt ), t < ∞ が定まる ([31]) 。ht
= 1−γ
ht
+ 1−γ
ht
:=
1
1
∗
−1
∗
−1
∗
∗
1−γ (ΣΣ ) [â + AXt ] + 1−γ (ΣΣ ) [ΣΛ q + ΣΛ P Xt ] とおき、Davis-Lleo [11] はこの分解を
γ(κ)

γ(κ)

γ(κ),1γ(κ),2γ(κ),1

Merton の Mutual funds theorem の一般化と見なしている。ここで ht
は log utility portfolioである。 さて、さらに (5.3) と (5.4) が一致するという次の結果を得る。
Theorem 5.2 (ibid). Theorem 5.1 の条件を仮定する。 0 < κ < χ̂ (0−) とし、P̄ (γ(κ))∗ ΛΣ∗ (ΣΣ∗ )−1 ΣΛ∗ P̄ (γ(κ)) < A∗ (ΣΣ∗ )−1 A, γ = γ(κ)(5.6)

が成立するならばJ(κ) = J(κ) = inf {χ̂(γ) − γκ}
γ<0

であり、

log VT (h(γ(κ)) ) − log ST0
1
log P (≤ κ)
T →∞ T
T

J(κ) = lim

線型ガウスモデルは、具体的な計算が可能であることから実務でよく用いられる。とは言え、特別な場合であることは間違いなく、ある程度一般化できないかという疑問は当然であろう。一つの一般化を以下に述べよう。
線型ガウスモデルの場合には (4.16) の解 χ(γ) が常微分方程式の解の極限により表され、χ(γ) =χ̃(γ) = χ̂(γ) であった。そこで、一般の場合にまず、γ < 0 に依存しない条件の下で、w(∞) = −∞となる (4.16) 解の存在と一意性の結果を述べておく。係数はすべてリプシッツ連続で滑らかであるとし、λλ∗ と σσ ∗ は c1 In ≤ λλ∗ ≤ c2 In , c1 Im ≤ λλ∗ ≤ c2 Im を満たすと仮定しておく。
G(x) := β(x) − λσ ∗ (σσ ∗ )−1 α̂(x) とおくとき、G(x)∗ x ≤ −c0 |x|2 + c0 ,(5.7)

c0 , c0 > 0と (4.13) を仮定すると、(4.16) の w(∞) = −∞ なる解 (χ(γ), w) は一意的に存在し、|∇w(x)|2 ≤ K(|x|2 + 1),∃K > 0α̂(σσ ∗ )−1 α̂ ≥ C(1 + |x|2 ),C>0を満たす。 さらに強い条件(5.8)

を仮定し、その解が w(x) ≤ 0 となるように定数を加えておくと

w(x) ≤ −c(γ0 )|x|2を満たすことがわかるが、これは生成作用素が、以下の (5.13) で定義される最適拡散過程の不変測度が一様に指数可積分であることを示す鍵となる。 w̄ = −w とおき、(4.16) を次のように書き
換える。
(5.9)
−χ(γ) = 12 tr(λλ∗ D2 w̄) + βγ∗ Dw̄ − 12 (Dw̄)∗ λNγ−1 λ∗ Dw̄ − Uγ

=

1
1 ∗
∗ 2
∗
∗
∗ −1 ∗ −1 ∗∗∗ −1
2 tr(λλ D w̄) + G D w̄ − 2 (λ D w̄ − σ (σσ ) α̂) Nγ (λ D w̄ − σ (σσ ) α̂)+ 12 α̂∗ (σσ ∗ )−1 α̂
=

1
∗ 2
∗
∗
2 tr(λλ D w̄) + G D w̄ + inf z∈Rn+m {(λz) D w̄ + ϕ(y, z)}ϕ(y, z) =11 ∗z N z − z ∗ σ ∗ (σσ ∗ )−1 α̂ + α̂∗ (σσ ∗ )−1 α̂22

これは、制御確率過程を(5.10)

dXt = λ(Xt )dWt + {G(Xt ) + λ(Xt )Zt }dt,

X0 = x10の解とし、評価基準汎関数を

 T
1
ρ(γ) = inf lim E[
ϕ(Xs , Zs )ds]
Z. ∈A∞ T →∞ T
0(5.11)とするエルゴード型確率制御問題の H-J-B 方程式となっている。ここで、
1(Z)
A∞ = {Zt ; Rn+m − 値発展的可測過程 lim E[|XT |2 ] = 0}
T →∞ T
これは、第２節で述べたタイプの問題であり、上の条件の下で一意性が示される (χ(γ), w) に対して、 ρ(γ) = −χ(γ) となることを示すことができる。そして、

ẑ(x) = −Nγ−1 (λ∗ Dw̄ − σ ∗ (σσ ∗ )−1 α̂)(x),(5.12)とし、(5.10) で Zt = ẑ(Xt ) とした解 Xt がこの問題の最適拡散過程であり、その生成作用素は

L(γ)ψ :=
(5.13)=

1∗ 2∗∗
2 tr(λλ D ψ) + G Dψ + (λẑ) Dψ
1
∗ 2
∗
∗
−1 ∗
2 tr(λλ D ψ) + βγ Dψ − (D w̄) λNγ λ Dψである。またこの拡散過程はエルゴード的であることが示され、その不変測度は γ1 ≤ γ ≤ γ0 について一様に指数可積分性を持つ。さらに、−χ̃(γ) = ρ(γ) が示される。 χ(γ) の微分可能性であるが、その微分は形式的にポアッソン方程式
1(5.14)−θ(γ) = L(γ)ξ −{σλ∗ Dw + α̂}∗ (σσ ∗ )−1 {σλ∗ Dw + α̂},2(1 − γ)2の解 (−θ(γ), ξ) である定数 θ(γ) であることがわかる。L(γ) がエルゴード的であることから、適当な空間を用意すると、この方程式は一意解 (−θ(γ), ξ) を持つことがわかり、それが (−χ(γ), w̄) のγ に関する微分 χ (γ) = θ(γ), ∂∂γw̄ = ξ であることが示される。そして、L(γ) の不変測度 mγ (dx)
により

1

−χ (γ) = −{σλ∗ Dw + α̂}∗ (σσ ∗ )−1 {σλ∗ Dw + α̂}mγ (dx)2(1 − γ)2となる。また、χ(γ) は下に凸であり、以下の定理が得られる。

Theorem 5.3 ([41]). (5.7), (5.8) の仮定の下で 0 < κ < χ̂ (0−) に対してJ(κ) = inf {χ̂(γ) − γκ}
γ<0

であり、

log VT (ĥ(γ(κ),T ) ) − log ST0
1
log P (≤ κ)
T →∞ T
T
J(κ) = inf {χ̂(γ) − γκ} = −∞, κ < 0J(κ) = lim

γ<0定理 5.2 に相当する主張も同様に成立する。(5.6) に相当する条件(5.15)(Dw(γ) )∗ λσ ∗ (σσ ∗ )−1 σλ∗ Dw(γ) < α̂∗ (σσ ∗ )−1 α̂, γ = γ(κ)

の下で定理 5.2 の主張が成立するが、inf h. χ(h; γ) の最適拡散過程の生成作用素はL̃(γ)ψ : =
=

1
∗ 2
∗ ∗
2 tr[λλ D ψ] + [β + γλσ h̄] Dψ
γ
1
∗ 2
∗
∗ −1
∗
∗
2 tr[λλ D ψ] + [βγ + 1−γ λσ (σσ ) σλ Dw)] Dψ

である。またこのとき、 ψ := ew とおくと、χ(γ) は L̃(γ) + γη の第一固有値：(L̃(γ) + γη)ψ = χ(γ)ψ
であり、L(γ) と L̃(γ) はゲージ変換[e−w L̃(γ)ew ]ϕ = [L(γ) − (γη − χ(γ))]ϕ11で結ばれる。

6. 終わりに
本稿では部分情報下の問題には触れなかった。その問題については [22],[37],[41],[42],[45],[39] を参照されたい。
1970 年代半ばの一連の論文 [12] で Donsker - Varadhan は確率過程のレベルで大偏差原理の証明を発表し、その後の多くの研究に影響を与えた。本稿でも現われた楕円型作用素の第一固有値との関わりについては別に [13] に発表された。 その後、色々な方面での展開・応用が明らかにされてきたが、最近はファイナンスの分野でも、上で触れた以外にも、大偏差原理に関連する研究が現われるようになっている [21],[46]。 特に、数理ファイナンスの出発点とも言える有限時間
範囲での無裁定という条件が、時間大域的に見たときに覆される確率の評価を大偏差原理とのかかわりで見ようとする最近の研究 [21] は、理論の根幹に関わるものとして注目される。そこでも、期待効用最大化問題の無限時間範囲の問題との関係で考察しようとしており、数学的な観点からは本稿とも関係が深い。今後どのような研究に発展するのか興味深い。

References∞[1] T. Basar and P. Bernhard, H optimal control and related minimax design problems, Birkhäuser
Boston, Cambridge, MA (1991)[2] A. Bensoussan, “Perturbation Methods in Optimal Control,” Wiley/ Gauthier-Villars (1988)[3] A. Bensoussan, “Stochastic Control of Partially Observable Systems”, Cambridge University Press(1992)[4] A. Bensoussan and J. Frehse, Bellman equations of ergodic control in RN , J. Reine Angew.
Math., 429, (1992) 125-160[5] A. Bensoussan, J. Frehse and H. Nagai, Some results on risk-sensitive control with full information, Appl. Math. Optim.37, (1998) 1-41.
[6] A. Bensoussan and H. Nagai, An ergodic control problem arising from the principal eigenfunctionof an elliptic operator, Math. Sc. Japan, 43 (1991) 49-65[7] A. Bensoussan and H. Nagai, Min-max characterization of a small noise limit on risk sensitive
control, SIAM J. Control and Optimization, 35 (1997)1093-1115[8] A. Bensoussan and H. Nagai, Condition for no breakdown and Bellman equations of risk-sensitive
control, Appl. Math. and its Optimization, 42 (2000)91-101[9] T.R. Bielecki and S.R. Pliska, Risk sensitive dynamic asset management Appl. Math. Optimization 39,(1999) 337–360.
[10] T.R. Bielecki, S.R. Pliska and S.J. Sheu, Risk-sensitive portfolio management with CoxIngersoll-Ross interest rates: the HJB equation, SIAM J. Control and Optimization 44(5),(2005)
1811–1843.
[11] M. Davis and S. Lleo, Risk-sensitive benchmarked asset management, Quantitative Finance 8(2008) 415-426[12] M.D. Donsker and S.R.S. Varadhan, Asymptotic evaluation of certain Markov process expectations for large time, I,II,III, Comm. pure and Appl. Math (1975),(1976)[13] M.D. Donsker and S.R.S. Varadhan, On the principal eigenvalue of second-order elliptic differential operator, Comm. pure and Appl. Math. 29 (1976) 595-621[14] P.M. Dower and W.M. McEneaney, A max-plus aﬃne power method for approximation of aclass of mixed L∞ /L2 value functions, Proc. 42nd IEEE Conf. on Decision and Control, Maui (2003)
2573-2578[15] W.H. Fleming, Optimal investment models and risk sensitive stochastic control, “Mathematical
Finance”, edited by M. Davis et al., Springer-Verlag (1995)75-88[16] W.H. Fleming, Max-plus stochastic processes, Appl. Math. Optim. 49 (2004) 159-181[17] W.H. Fleming and M.R. James, The risk-sensitive index and H2 and H∞ norms for nonlinear
systems, Math. Control Signals Systems 8 (1995) 199-221[18] W.H. Fleming and W.M. McEneaney, Risk-sensitive control on an inﬁnite horizon, SIAM J.
Control and Optimization 33 (1995) 1881-1915

12[19] W.H. Fleming and S.J. Sheu, Optimal long term growth rate of expected utility of wealth, Ann.
Appl. Probab. 9(3), (1999) 871–903.
[20] W.H. Fleming and S.J. Sheu, Risk-sensitive control and an optimal investment model. II Ann.
Appl. Probab. 12(2),(2002) 730–767.
[21] H. Föllmer and W. Schachermayer, Asymptotic arbitrage and large deviations, Mathematics
and Financial Economics, 1(2009 213-249[22] H. Hata and Y. Iida, A risk-sensitive stochastic control approach to an optimal investment problem
with partial information, Finance and Stochastics, 10,(2006). 395–426.
[23] H. Hata, H. Nagai and S.J. Sheu, Asymptotics of the probability minimizing a ”down-side ”risk,
Preprint[24] H. Hata and J. Sekine, Solving long term optimal investment problems with Cox-Ingersoll-Ross
interest rates, Advances in Mathematical Economics 8,(2005) 231–255.
[25] H. Hata and J. Sekine , Solving a large deviations control problem with a nonlinear factor model,
preprint.
[26] H. Kaise and S.J. Sheu, On the structure of solutions of ergodic type Bellman equations related
to risk-sensitive control, Annals of Prob. 34 (2006) 284-320[27] H. Kaise and H. Nagai, Bellman-Isaacs equations of ergodic type related to risk-sensitive control
and their singular limits,, Asymptotic Analysis 16 (1998) 347-362[28] H. Kaise and H. Nagai, Ergodic type Bellman equations of risk-sensitive control with large parameters and their singular limits, Asymptotic Analysis 20 (1999) 279-299[29] I. Karatzas and C. Karadaras, The numeraire portfolio in semimartingale ﬁnancial markets,
Preprint[30] J. Kelly, A new interpretation of information rate, Bell Sys. Tech. J. 35 (1956) 917-926[31] K. Kuroda and H. Nagai, Risk sensitive portfolio optimization inﬁnite time horizon, Stochastics
and Stochastics Reports, 73, (2002)309–331.
[32] R.C. Merton, Optimum Consumption and Portfolio Rules in a Continuous-Time Model, Journalof Economic Theory 3 (1971) 373-413[33] R.C. Merton, An Intertemporal Capital Asset Pricing Model, Econometrica (1973) 867-887[34] R.C. Merton, “ Continuous Time Finance”, Blackwell, Malden (1990)[35] H. Nagai, Ergodic control problems on the whole Euclidean space and convergence of symmetricdiﬀusions, Forum Math. 4 (1992) 159-173[36] H. Nagai, Bellman equations of risk-sensitive control, SIAM J. Control and Optimization 34,(1996)
74-101[37] H. Nagai, Risk-sensitive dynamic asset management with partial information, “Stochastics in Finite
and Inﬁnite Dimensions”, a volume in honor of G. Kallianpur, Birkhäuser, (1999) 321-340[38] H. Nagai, Optimal strategies for risk-sensitive portfolio optimization problems for general factor
models, SIAM J. Cont. Optim. 41(2003) 1779–1800.
[39] H. Nagai, Risk-sensitive portfolio optimization with full and partial information ”Stochastic Analysis
and Related Topics”, Advanced Studies in Pure Mathematics 41(2004) 257–278.
[40] H. Nagai, Asymptotics of the probability minimizing a ”down-side ”risk under partial information,
Preprint[41] H. Nagai, Downside risk minimization as large deviation control, Preprint[42] H. Nagai, and S. Peng , Risk-sensitive dynamic portfolio optimization with partial informationon
inﬁnite time horizon, Ann. Appl. Probab. 12(1), (2002) 173–195.
[43] H. Pham, A large deviations approach to optimal long term investment, Finance and Stochastics,
7,(2003) 169–195.
[44] H. Pham, A risk-sensitive control dual approach to a large deviations control problem, Systems andControl Letters, 49(2003). 295–309.
[45] R. Rishel, Optimal portfolio management with partial observation and power utility function, “ Stochastic Analysis, Control, Optimization and Applications”, avolume in honor of W.H. Fleming,(1999)

605-620[46] M. Stutzer, Portfolio choice with endogeous utility: a large deviations approach,J. Econometrics 116, (2003)
365-386[47] P. Whittle, A risk-sensitive maximum principle, Systems Control Lett., 16 (1990) 183-192