数理解析研究所講究録
第 741 巻 1991 年 43-4943

スタンダードブラウン運動における停止時刻ゲーム問題の分割

千葉大教養安田正実 (Masami YASUDA)
はじめに時間一様な一次元確率過程, とくに standard Brownian motion にたいする最適停止時刻問題を考える. もし利得も時刻によらないなど適当な仮定があるならば, 最適政策は,状態だけの関数で閾値型 (threshold policy, control limit policy) となる. 例えば, 利得関数が増加関数であるときの最小化問題では, 状態の値が小さいうちは継続であるが, 大きくなると停止という決定を下すのが自明な最適となる.
一方, ゲーム問題として最適停止時刻問題を変形した停止ゲーム問題の場合においても, 具体的な閾値型として最適戦略が定められると予想されよう. 本報告では, 停止ゲーム問題における最適政策の閾値を定め,さらにゲーム値を 2 つの最適停止問題に分割することを考える.

1. Introduction
簡単にするため,ここではゼロ和ゲーム問題を対象とする. 競争的状態にある 2 人プレイヤーが混合戦略でなく, 単純戦略で均衡していて, 2 人プレイヤーそれぞれの決定が状態の関数である閾値型となるようなゲーム問題を取り扱う. 原点にほぼ対称的様相となるような条件を仮定し,ゲーム問題の停止継続の領域を分割する. 分割されたものは, それぞれ通常の最適停止問題となる. つまり, 与えられた停止ゲーム問題を, 適当な 2 っの最適停止問題に分離をする.

この状況に対応した最適戦略は, 数直線上の原点を中心とした部分では-1-

44継続で, 左右の半無限区間では停止という決定をする.

このようなゲームの戦略はごく自然なものと考えられる.
ごく簡単な確率過程として standard Brownian $motion:\{x_{t}; t\geq 0\}$ ,(1.1)$x_{t}=\mu dt+\sigma dw_{t}$(ただし$\sigma\neq 0$$\mu,$,$x_{0}=x$は定数とする) をあつかうことにする.

この systemにおける停止ゲーム

問題 ([2],[5] など) の定式化から述べよう.
3 つの payoff:

プレイヤー 1 はして,$\varphi(x),$$\tau$$\psi(x),$ $\chi(x);-\infty<x<\infty$

を選んで期待利得の最小化,と 2 つの stopping time:

プレイヤー 2 は$\sigma$$\tau,$$\sigma$にたいを選んで最大化を図るとする. ゼロ和ゲームとしての均衡を考え,$\overline{w}(x)=$$inf\sup$$E^{x}[R(\tau, \sigma)]$$0\leq\tau<\infty_{0\leq\sigma<\infty}$(1.2)$\underline{w}(x)=$$\sup$$\inf$$E^{x}[R(\tau, \sigma)]$$0\leq\sigma<\infty^{0\leq\tau<\infty}$を定義する.

ただし$R(\tau, \sigma)=e^{-\alpha\tau}\varphi(x_{\tau})1_{\{\tau<\sigma\}}+e^{-\alpha\sigma}\psi(x_{\sigma})1_{\{\tau>\sigma\}}+e^{-\alpha\tau}\chi(x_{\tau})1_{\{\tau=\sigma\}}$で $1_{\{A\}}$ は仮定 1.

$A$のindicator,$E^{x}$は初期値 $x_{0}=x$ とした条件つき期待値とする.

3 つの payoff について(13)$\varphi(x)<\chi(x)<\psi(x)$;$-\infty<x<\infty$.

この仮定があれば, (1.2) の 2 つの値は一致するから, それを $w(x)$ とおけぼ,$=\overline{w}(x)=\underline{w}(x)$が知られている ([121 など). つまり, ゼロ和行列ゲームが確定し,$w(x)$これらのminmax , maxmin 値は等しい. このゲーム値を payoff 行列にたいする記号 val をもちいると, 動的計画法の最適方程式に相当する式が得られる:

(1.4)

val

$\{\begin{array}{ll}\chi-w \varphi-w\psi-w Aw-\alpha w\end{array}\}=0$-2-

45
ただし $Aw= \frac{\sigma^{2}}{2}w’’+\mu w’$. さらにゲーム問題の最適戦略は, 混合戦略でなく単純戦略の中に存在し,$w=\varphi$,&$w=\psi$しか起らないことが知られている ([18]) .

$\mathcal{A}w-\alpha w=0$

これらの等式が成り立つ領域は, それぞれプレイ

ヤー 1 の stop, プレイヤー 2 の stop および両方の continue region を表している.

また双方同時に stop することが起らないことも意味している. したがって payoff にある程度の仮定を設ければ, 数直線が 3 つの区間に分割されることが期待される. このときには, 区間が 3 つに分れるのであるから,2 つの閾値ばれる自由境界問題である.と値$z_{1},$$z_{2}$$z_{1},$ $z_{2}$と関数 $w$ を求める two obstacle problem ([11]) とよ

したがって適当な条件のもとで, 関数 $w=w(x);-\infty<x<\infty$

が$w(x)=\varphi(x)$for$z_{1}<x$$w(x)=\psi(x)$for$x<z_{2}$$Aw(x)-\alpha w(x)=0$

for$z_{2}\leq x\leq z_{1}$(1.5)

を満たすように定める問題, 自由境界問題に帰着される.
ここではさらに, この停止ゲーム問題のゲーム値 $w=w(x)$ を分割することを考える.

もし上のように解が与えられるならば, その形から分るように数直線上の右の部分はプレイ
ヤー 1 だけの最小化停止問題であり,左の部分はプレイヤー 2 の最大化停止問題とみなせる.

したがって, つぎの節ではそれぞれがこのゲーム問題に対応するような最適停止問題の構成を考えることにする.

2. Two optimal stopping problems
つぎの 2 つは,いわゆる最適停止問題であるが, 原点で吸収をさせ, 正の部分だけ,あるいは負の部分だけに領域を制限している.
$\varphi,$$\psi$$k$と 2 っの関数は与えられたとする.

プレイヤー 1 の利得(2.1)

あらかじめ, 原点での利得$\varphi$の最小化問題 (1) :$u(x)=u(x;k)=$$\inf$$E^{x}[\varphi(x_{\tau})e^{-\alpha\tau}1_{\{\tau<\sigma 0\}}+ke^{-\alpha\sigma_{O}}1_{\{\sigma 0\leq\tau\}}]$$0\leq\tau<\infty$-3-,$x\geq 0$

46
プレイヤー 2 の利得(2.2)$\psi$の最大化問題 (II) :$v(x)=v(x;k)=$$\sup$$E^{x}[\psi(x_{\sigma})e^{-\alpha\sigma}1_{\{\sigma<\tau_{O}\}}+ke^{-\alpha\tau_{0}}1_{\{\tau 0\leq\sigma\}}]$,$x\leq 0$$0\leq\sigma<\infty$

ただしそれぞれの問題で $\tau_{0}=\inf\{t\geq 0;x_{t}\leq 0\}$2 つの関数仮定 2.

$\varphi(x),$$\psi(x)$)$\sigma_{0}=\inf\{t\geq 0;x_{t}\geq 0\}$についてそれぞれの領域についての $>0$

for

$x>0$

$A\psi(x)-\alpha\psi(x)<0$

鉤

$x<0$

紳 (のとする.

$-\alpha\varphi($(23)$r$を仮定する.
補題(1) 問題 (I),(II) にたいする最適方程式はそれぞれ, つぎで与えられる :$2.1_{\iota}$$\min\{Au(x)-\alpha u(x), \varphi(x)-u(x)\}=0$

for $x>0$ ,$u(O)=k$$\max\{Av(x)-\alpha v(x), \psi(x)-v(x)\}=0$

for $x<0$ ,$v(O)=k$(2.4)(2) 最小化問題 (I) の stop region は$(0,\infty)$, 最大化問題 (II) の stop region は $(-\infty,0)$ に含まれる.

(proof) (1) はよく知られた最適方程式で, 原点では吸収が起こるから, 利得$k$を得る関係式が加わる. (2) は Dynkin formula を用いた Infinitesimal Looking Ahead policy([14]) を考えてみると, 続ければ続けるほど期待利得が減少あるいは増加をするから,これらの領域は最大化, 最小化を考えると stop region になる. しかし Process の変動が単調ではないから,ILA policy での意味で closed になっていない. したがってそれぞれの領域のなかで, ある部分領域が最適な stop region である.
記号.

(i) 実数$\lambda_{1},$$\lambda_{1},$$\lambda_{2}$$\lambda_{2}$と関数 $C_{1}(x;f),$ $C_{2}(x;f),$ $C(x;f)$ の定義とは$\lambda_{1}\geq\lambda_{2}$で $\sigma^{2}\lambda^{2}+2\mu\lambda-2\alpha=0$ の 2 実数解とする.

(ii) 関数 $f=f(x),$ $-\infty<x<\infty$ にたいし,$C_{1}(x;f)= \frac{e^{-\lambda_{1}x}}{\lambda_{1}-\lambda_{2}}\{f’(x)-\lambda_{2}f(x)\}$(2.5)$C_{2}(x;f)= \frac{e^{-\lambda_{2}x}}{\lambda_{1}-\lambda_{2}}\{\lambda_{1}f(x)-f’(x)\}$$C(x;f)=C_{1}(x;f)+C_{2}(x;f)$-4-47を定める.

この関数を用いると, 最適停止問題 (I),(II) の最適値を表現できる.
補題 22.
$(2.6i)$$u(x;k)=\{\begin{array}{l}C_{1}(z_{1}\cdot.\varphi)e^{\lambda_{1}x}+C_{2}(z_{1}.\cdot\varphi)e^{\lambda_{2}x}\varphi(x)\end{array}$

ここで$z_{1}$

は$k$に依存して $k=C(z_{1} ; \varphi)$ . 同様に$(2.6ii)$

また$v(x;k)=\{C_{1}(z_{2}\cdot.\psi)e^{\lambda_{1}x}+C_{2}(z_{2}\cdot.\psi)e^{\lambda_{2}x}\psi(x)$$z_{2}$

は$k$$x\geq z0\leq x_{1}\leq z_{1}$$x^{2}\leq^{\leq}z_{2}^{x\leq 0}Z$に依存して $k=C(z_{2};\psi)$ .

( $proo$のこの standard Brownian motion は regular であるから, 最適値が連続微分可能.

したがって smooth fit([17]) が成り立っているから, $u(x)=\varphi(x)|_{x=z_{1}},$ $u’(x)=\varphi’(x)|_{x=z_{1}}$ を解いて $(2.6i)$ を得る. 同様に $(2.6ii)$ は $v(x)=\psi(x)|_{x=z_{2}},$ $v’(x)=\psi’(x)|_{x=z_{2}}$ から得られる.

3. Separation of the stopping game problem
2 っの最適停止問題を合併させ, 2 っを分けている原点での整合性をもたせなければならない. ゆえに)の値をうまく定める必要が生じる. そのためにある非線形連立方程式を$k$考える. 状態空間を正と負の部分に分割したから, 方程式では $\{(z_{1}, z_{2});z_{1}>0, z_{2}<0\}$ における解に注目する.

補題 31.
$0\}$関数$\varphi,$$\psi$が (2.3) を満たすよう与えられたとき, つぎの $\{(z_{1}, z_{2});z_{1}>0,$ $z_{2}<$に関する連立方程式 ;(3.1)$C_{1}(z_{1}; \varphi)=C_{1}(z_{2};\psi)$,$C_{2}(z_{1} ; \varphi)=C_{2}(z_{2};\psi)$

は高々一つの解をもつ.

(proof) まず (2.5) を微分すると, それぞれ

C\’i$(x;f)= \frac{2e^{-\lambda_{1}x}}{(\lambda_{1}-\lambda_{2})\sigma^{2}}${A $f(x)-\alpha f(x)$ }$C_{2}’(x;f)= \frac{-2e^{-\lambda_{2}x}}{(\lambda_{1}-\lambda_{2})\sigma^{2}}${A $f(x)-\alpha f(x)$ }-5-48となる. これから$\varphi,$$\psi$の仮定 1 より,$C_{1}(x;\varphi)$は strictly increasing, $C_{1}(x;\psi)$ は strictlydecreasing. し たがって曲線 $\{(x, y);C_{1}(x;\varphi)-C_{1}(y;\psi)=0\}$ は $\{x>0, y<0\}$ ですると$y$は減少する. 同様に$C_{2}(x;\varphi)$$x$が増加は strictly decreasing, $C_{2}(x;\psi)$ は strictly increasingであるから, 曲線 $\{(x, y);C_{2}(x;\varphi)-C_{2}(y;\psi)=0\}$ は$x$が増加すると$y$も増加する. 単調性により, 2 点で交わることは起らない.
定理 32.
は連立方程式 (3.1) の解$z_{1},$$z_{2}$l>\acute 存在すれば, 停止ゲーム問題のゲーム値 $w(x)$2 つの最適停止問題の最適値に分離することができる. すなわち(32)$w(x)=\{u(x_{)}..\cdot k)v(xk)$$x\leq 0x\geq 0$

ただし $k=C(z_{1} ; \varphi)=C(z_{2}; \psi)$ .

(proof) 仮定 (1.3) と仮定 (2.3) により, $w=w(x);-\infty<x<\infty$ は stop region では$w(x)=\{\varphi(x\psi(x)$$x\leq z_{2}^{1}x\geq z$

また continue region では $Aw(x)-\alpha w(x)=0;z_{2}<x<z_{1}$ の形で, 境界の点では smooth

砒が成り立っている.

もし$z_{1}$と$z_{2}$が上の連立方程式の解であれば, 補題 22 により, 2 回連続微分可能で接続することができる. したがって原点での$k$の値の定め方から, (3.2) の表現を得る.

参考文献[1] Bather, J.; Optimal stopping problems for Brownian motion, Adv. Appl. Prob.,2(1970) 259-286.
[2] Bismut, J. M.; Sur un probleme de Dynkin, Z. Wahr. Verw Gebiete 39 (1977) 31-53.
[3] Benes, V. E., Shepp, L. A. and Witsenhausen, H. S.; Some solvable stochastic contro$l$problems, Stochastics 4 (1980) 39-83.

[4] Bensoussan, A. and Lions, J. L.;Nouvelles Methodes en Control Impulsionnel,Appl. Math. Optim. 1 (1975) 289-312.

-6-49[5] Dynkin, E. B.; Game variant of a problem on optimal stoppin , Soviet Math. Dokl.
$g$10(1969) 270-274.

[6] Harrison, J. M.;Brownian motion and stochastic flow systems, John Wiley, NewYork, 1985.

[7] Harrison, J. M., Selleke, T. M. and Taylor, A. J.; Impulse Conrtol of BrownianMotion, Math. Oper. Res. 8 (1983) 454-466.
[8] Heyman, D. P. and Sobel, M.;Stochastic Models in Operations research, II: Stochas-tic optimization, McGraw-Hill, 1982.
[9] Karatzas, I. and Shreve, S. E.; Equivalent models for finite-fuel stochastic contro ,$l$Stochastics 18 (1986) 245-276.
[10] Karatzas, I.; Gittens indices in the dynamic allocation problem for diffusion pro-cesses, Ann. Prob. 12 (1984) 173-192.
[11] Kinderlehrer, D.,Stanpacchia, $G;An$ Introduction to Variational Ineqalities and theirApplications, Academic Press, 1980, New York.
[12] Neveu, J.;Discrete-Parameter Martingales, North-Holland, 1975, Amsterdam.
[13] Ohtsubo, Y.; Neveu’s martingate conditions and closedness in Dynkin stopping prob-lem with a finite constraint, Stoch. Proc. Appli. 22(1986) 333-342.
[14] Ross, S. M.;Applied Probability Models with optimization Applications, HoldenDay, 1970, San Francisco.
[15] Stanerfozo, R.;Monotone optimal policies for Markov decision processes, Math. Prog.
Study 6 (1976) 202-215.
[16] Stettner, L.; On closedness of general zero-sum stopping game, Bull. Polish Acad.

Sci. Math. 32(1984) 351-361.
[17] Van Moerbeke, P.; On optimal stopping and free boundary problems, Arch. Rat.

Mech. Anal. 60 (1976) 101-148.
[18] Yasuda, M.; On a randomized strategy in Neveu’s stopping problem, Stoch. Proc. Ap-

pli. 21(1985) 159-166.

-7-