数理解析研究所講究録
第 1864 巻 2013 年 4-11

4

集合値確率過程に対する最適停止問題
田中輝雄
広島市立大学大学院情報科学研究科システム工学専攻
Teruo Tanaka
Department of Systems Engineering, Graduate School of Information Sciences,HIROSHIMA CITY UNIVERSITY

1

はじめにAubin, fiankowska[2], Castaing, Valadier[5], Hu, Papageorgiou[13, 14], 丸山 [20, 21]

等をはじめとして，集合値解析学は多くの理論研究が行われている．集合値確率論，集合値確率過程論は，Li, Ogura, Kreinovich[19], Molchanov[22] 等にこれまでの研究成果がまとめられている．特に，集合値マルチンゲール理論については，Hiai[11], Hiai, Umegaki[12] 等の研
究，集合値確率微分方程式については，Li, Li $[18|$ , Zhang, Li, Mitoma, Okazaki[24] 等の研究がある．

集合値解析学は，非線形解析学，最適化理論，ファジー理論，数理経済学等と深く関連している．一方，集合値確率論，集合値確率過程論の応用は，Li, Ogura, Kreinovich[19] に論じられている．また，集合値解析学と stochastic differential inclusion の確率制御問題への応用

は，Kisielewicz, Michta, Motyl[15, 16] 等に論じられているが，確率制御問題への応用研究は少ない．

本稿では，集合値離散時間確率過程に対する最適停止問題について論じる．Krupa[17] は，弱コンパクト凸集合値の離散時間確率過程に対する最適停止問題について論じており，upwardsdirected の仮定の下で，有限期間と無限期間の場合に Snell 包，最適方程式，最適停止規則の構成法について述べている (構成的).

本稿の第 2 章では，集合値解析学からの準備，つまり，集合値写像の可測性および積分の定義，条件付期待値とマルチンゲールの定義について述べる．この章では，Li, Ogura, Kreinovich[19],
丸山 [20] を参照する．第 3 章では，Krupa[17] で論じられている集合値離散時間確率過程に対する最適停止問題を紹介する．第 4 章では，Debreu[6], 丸山 [20] 等で研究されている集合族のベクトル空間への埋め込み (ベクトル化) を用いて，集合値確率過程に対する最適停止問題をベクトル値確率過程に対する最適停止問題に帰着させ，最適停止規則の存在 (非構成的) について論じる．

2

集合値確率過程

2.1

記号

本稿では主に以下の記号等を用いる．

..
..
.
$\bullet$: 可分な Banach 空間の部分集合の全体$(X, ||\cdot||x)$$\mathcal{P}(X)$:$X$: $X$ の空でない部分集合の全体$K(X)$ : $X$ の空でない閉部分集合の全体$K_{c}(X)$ : $X$ の空でない閉凸部分集合の全体$K_{kc}(X):X$ の空でないコンパクト凸部分集合の全体$\mathcal{P}_{0}(X)$$\bullet A,$ $B\in \mathcal{P}_{0}(X),$$\lambda\in R$

に対して，$A+B :=\{x+y|x\in A, y\in B\}, \lambda A :=\{\lambda x|x\in A\}.$

命題
$A,$

$B\in K_{kc}(X)$

ならば $A+B\in K_{kc}(X)$ である．

5.
.
.

2.2

位相
$x\in X,$$d(x, A):= \inf\{||x-y||x:y\in A\}$ とおく．
に対して，$A\in \mathcal{P}o(X)$(Hausdorff 距離)$A,$ $B\in \mathcal{P}_{0}(X)$$H(A, B)$ $:= \max\{\sup_{x\in A}d(x, B),\sup_{y\in B}d(y, A)\}$に対して，に対して，$A\in \mathcal{P}_{0}(X)$$:= \sup\{||x||x :$||A||_{K}$x\in A\}$

とおく．

とおく．

命題
$(K_{kc}(X), H)$

2.3.

は完備な距離空間である．

集合値確率変数$(\Omega, \mathcal{F}, P)$$\circ\{\mathcal{F}_{n}, n\in N\}$$\bullet$$\bullet$$F$:: 確率空間:$\Omegaarrow \mathcal{P}o(X)$$A\in \mathcal{P}(X)$$N:=\{0,1,2, \ldots\}$
フィルトレーション，: 集合値写像$F^{-1}(A)$に対して，$:=\{\omega\in\Omega|F(\omega)\cap A\neq\emptyset\}$

とおく．

定義

(1) $F$ : $\Omegaarrow K(X)$ : 強可測$\Leftrightarrow$$F^{-1}(C)\in \mathcal{F}.$
任意の閉集合 $C\in \mathcal{P}(X)$ に対して，(2) $F$ : $\Omegaarrow K(X)$ : 集合値確率変数 ((弱) 可測，ランダム集合)$\Leftrightarrow$$F^{-1}(O)\in \mathcal{F}.$
任意の開集合 $O\in \mathcal{P}(X)$ に対して，

命題(1) 強可測ならば集合値確率変数である．

(2) $X$ が可分完備な距離空間，数は同値である．

$(\Omega, \mathcal{F}, P)$が完備確率空間ならば，強可測と集合値確率変

定義$F$: $\Omegaarrow K(X)$ とする．

(1)

(2)

$f$

: $\Omegaarrow X$ :$F$の選択子$\Leftrightarrow$: $\Omegaarrow X$ : $F$ の概選択子$=$ $P$ に関して殆どすべての任意の$\omega\in\Omega$に対して，$f(\omega)\in F(\omega)$.

$f$$\omega\in\Omega$に対して，$f(\omega)\in F(\omega)$.

定理$F$ は可測選択子を持つ．
可分な Banach 空間 $X$ , 集合値確率変数 $F:\Omegaarrow K(X)$ に対して，2.4.
$\bullet$

可積分性
集合値確率変数 $F$ : $\Omegaarrow K(X)$ の全体を$F\in \mathcal{U}(\Omega, K(X))$,$1\leq p\leq\infty$$\mathcal{U}(\Omega, K(X))$

とおく．

に対して，

$S_{F}^{p}:=\{f\in L^{p}(\Omega, \mathcal{F}, P;X)|f(\omega)\in F(\omega)P-a.e.

とおく．

\}$

6
定義

(1) $F\in \mathcal{U}(\Omega, K(X))$ : 可積分(2) $F\in \mathcal{U}(\Omega, K(X))$ : 積分有界$\bullet$$S_{F}^{1}\neq\emptyset.$$\Leftrightarrow$$\Leftrightarrow$$\int_{\Omega}||F(\omega)||_{K}dP<\infty.$

積分有界な集合値確率変数 $F$ : $\Omegaarrow K(X)$ の全体を $L^{1}(\Omega, K(X))$ とおく．

命題
$F\in \mathcal{U}(\Omega, K(X))$とする．

$F$ は可積分である．
(1) $F$ が積分有界ならば，(2) $F$ が積分有界であり， は2.5

$S_{F}^{1}$$s_{F}^{1}\neq\emptyset$$\Leftrightarrow$$L^{1}(\Omega, \mathcal{F}, P;X)$において有界である．

期待値 (Aumann 積分)(Aumann 積分)$F\in \mathcal{U}(\Omega, K(X))$ に対して，

定義$E[F] := \int_{\Omega}FdP:=\{\int_{\Omega}fdP|f\in S_{F}^{1}\}$とおく．
定理$F\in \mathcal{U}(\Omega, K(X))$(1)
は原子を持たず，が可積分ならば，c $1E[F]$ は凸である．
$F\in L^{1}(\Omega, K_{c}(X))$$E[F]$ は閉集合である．
(2) $X$ が回帰的 Banach 空間，ならば，$F\inL^{1}(\Omega,K_{kc}(X))$$E[F]$ はコンパクト集合である．
(3) $X$ が回帰的 Banach 空間，ならば，$(\Omega, \mathcal{F}, P)$

2.6

期待値 (Debreu 積分)定理$L^{1}(\Omega, K_{kc}(X))$ を $L^{1}(\Omega, G)$ の凸錐として，ある可分な Banach 空間 $(G, ||\cdot||c)$ が存在して，等長同型に埋め込むことが出来る．
定義(1)(Debreu 積分)$\{A_{i}\}$を$\Omega$の分割，$B_{i}\in K_{c}(X)$とする．単関数$F( \omega):=\sum_{i=1}^{n}1_{A_{i}}(\omega)B_{i}\in L^{1}(\Omega, K_{c}(X))$

に対して，$(B) \int_{\Omega}FdP:=\sum_{i=1}^{n}P(A_{i})B_{i}$とおく．

(2) $F\in L^{1}(\Omega, K_{c}(X))$ に対して，$\lim_{narrow\infty}\int_{\Omega}H(F(\omega), F_{n}(\omega))dP=0$となる単関数列$\{F_{n}\}$が存在するならば，$(B) \int_{\Omega}FdP:=\lim_{narrow\infty}(B)\int_{\Omega}F_{n}dP$

とおく．
定理

(Aumann 積分と Debreu 積分の関係)$F\in L^{1}(\Omega, K_{kc}(X))$

ならば，c$1 E[F]=(B)\int_{\Omega}FdP$である．

7
2.7

条件付期待値定理の部分$\mathcal{F}$$\sigma$集合体$F\in \mathcal{U}(\Omega, K(X))(S_{F}^{1}\neq\emptyset)$$\mathcal{G},$に対して，$S_{G}^{1}(\mathcal{G})=c1\{E[f|\mathcal{G}]|f\in S_{F}^{1}\}$となる $G\in \mathcal{U}(\Omega, \mathcal{G}, P;K(X))$ が一意に存在する．

定義
定理の $G\in \mathcal{U}(\Omega, \mathcal{G}, P;K(X))$ を$\mathcal{G}$$E[F|\mathcal{G}]$に関する $F$ の条件付期待値といい，と表す．

定義 (martingale)
任意の $n\in N$ に対して，$X_{n}\in \mathcal{U}(\Omega, \mathcal{F}_{n}, P;K(X))(S_{X_{n}}^{1}\neq\emptyset)$(1)$\{X_{n}, \mathcal{F}_{n}\}$: 集合値 martingale(2)$\{X_{n}, \mathcal{F}_{n}\}$: 集合値 supermartingale(3)$\{X_{n}, \mathcal{F}_{n}\}$: 集合値 submartingale

3$\Leftrightarrow$とする．

$E[X_{n+1}|\mathcal{F}_{n}]=X_{n}.$$E[X_{n+1}|\mathcal{F}_{n}]\subseteq X_{n}.$$\Leftrightarrow$$E[X_{n+1}|\mathcal{F}_{n}]\supseteq X_{n}.$$\Leftrightarrow$

集合値最適停止問題

3.1

...

.

$\bullet$$\bullet$

記号と定式化
$N=\{0,1,2, \ldots\},$$(\Omega, \mathcal{F}, P)$$\overline{N}=N\cup\{\infty\}$: 確率空間:

フイルトレーション，$C:=$ 停止規則の全体:
停止規則 :の全体$\{Z_{n}, n\in N\}$
: 弱コンパクト凸集合値，$\{\mathcal{F}_{n}, n\in N\}$$\mathcal{F}=\mathcal{F}_{\infty}=\sigma(\bigcup_{n\in N}\mathcal{F}_{n})$$\tau$$\Omegaarrow N$$\tau$$\Omegaarrow$$\overline{C}:=$$\{\mathcal{F}_{n}\}$-適合な確率過程問題$E[Z_{\sigma}]=$

3.2

clco

$\bigcup_{\mathcal{T}\in cE[Z_{\tau}|}$

有限期間の場合 (Krupa[17])$\{Z_{n}, 0\leq n\leq p\}$(i)となる $\sigma\in C$ を求める．

が 3.1 節の条件の他に，次を満たすとする ;$\sup_{n}\int_{\Omega}||Z_{n}(\omega)||_{K}dP<\infty.$(ii) $\{E[Z_{\tau}|\mathcal{F}_{n}], \tau\in C,p\geq\tau\geq n\}$ が集合の包含関係に関して upwards directed である．
に対して，
つまり，任意の$\tau_{1},$$\tau_{2}(\tau_{1}, \tau_{2}\in C,p\geq\tau_{1}, \tau_{2}\geq n)$$E[Z_{\tau_{1}}|\mathcal{F}_{n}]\cup E[Z_{\tau_{2}}|\mathcal{F}_{n}]\subseteq E[Z_{\tau_{3}}|\mathcal{F}_{n}]$となる $\tau_{3}(\tau_{3}\in C,p\geq\tau_{3}\geq n)$ が存在する．

このとき，(1)$W_{p-m}:=\{\begin{array}{l}Z_{p}(m=0) ,clco (Z_{p-m}\cup E[W_{p-m+1}|\mathcal{F}_{p-m}])(1\leq m\leq p)\end{array}$とおくと，$\{W_{n}\}$は $Z_{n}\subseteq W_{n}(\forall n)$となる最小の積分有界な supermartingale である．

(2) $\sigma:=\min\{n|0\leq n\leq p, W_{n}=Z_{n}\}$ は最適である．

8
3.3

無限期間の場合 (Krupa[17])$\{Z_{n}, n\in N\}$

(i)
(ii)

が 3.1 節の条件の他に，次を満たすとする ;$Z_{n}\subseteq Y(\forall n)$となる積分有界な弱コンパクト凸集合値確率変数$\{E[Z_{\tau}|\mathcal{F}_{n}], \tau\in C, \tau\geq n\}$

$Y$が存在する．

が集合の包含関係に関して upwards directed である．

このとき，

(1)

$W_{n}$とおくと，$:=essc1_{CO_{\mathcal{T}\in C,\tau\geq n}}E[Z_{\tau}|\mathcal{F}_{n}]$$W_{n}=clco(Z_{n}\cup E[W_{n+1}|\mathcal{F}_{n}])$が成立し，$\{W_{n}\}$は $Z_{n}\subseteq W_{n}(\forall n)$(2) $E[Z_{\sigma}]=clcoU_{\tau\in C}E[Z_{\tau}]$ となるとなる最小の積分有界な supermartingale である．

$\sigma\in C$が存在するための必要十分条件は，$\tau_{0}:=\{\begin{array}{l}\inf\{n|Z_{n}=W_{n}\},\infty (W_{n}\backslash Z_{n}\neq\emptyset, \forall n)\end{array}$が有限となることである．

注意

3.2 節，3.3 節において仮定されている条件 upwards directed は，通常の実数値確率過程に対する最適停止理論では成立する条件である．ベクトル値または集合値確率過程を考えることは半順序値確率過程を考えることであり (例えば，Furukawa[8], Hening[9, 10]) ,directed は半順序値を全順序値にするという意味がある．

4

埋め込みによるベクトル化

4.1

埋め込み

補題 (丸山 [20])(1) $K_{kc}(X)$ における加法演算$+$

この upwards$(K_{kc}(X), +)$ は可換半群である．
について，$A=B$ である．
$A+C=B+C$ ならば，(2) $A,$ $B,$ $C\in K_{kc}(X)$ に対して，$A,$ $B\in K_{kc}(X),$ $a,$ $b\geq 0$ に対して，(3) $K_{kc}(X)$ におけるスカラー乗法演算．について，$a(A+B)=aA+aB,$$(a+b)A=aA+aB,$$a(bA)=(ab)A,$

1. $A=A.$(4) $(K_{kc}(X), H)$ は，$H(A+C, B+C)=H(A, B)$ ,$H(aA, aB)=aH(A, B)(a\geq 0)$を満たし，加法演算とスカラー乗法演算は $H$ に関して連続である．

9定理 (丸山 [20])$(K_{kc}(X), H)$に対して，ある実ノルム空間と単射写像$(G, ||\cdot||_{G})$$\varphi$: $K_{kc}(X)arrow G$ が存在

して，$\varphi(A+B)=\varphi(A)+\varphi(B)$$\varphi(aA)=a\varphi(A)(a\geq 0)$,,$H(A, B)=||\varphi(A)-\varphi(B)||_{G}$が成立する．
注意(1) $(A, B),$ $(C, D)\in K_{kc}(X)\cross K_{kc}(X)$ に対して，$A+D=B+C$ が成立するとき同値関係$(A, B)\sim(C, D)$ を定め，$[A, B]$ を $(A, B)$ を代表元とする同値類とし，$G:=\{[A, B]|A, B\in K_{kc}(X)\}$とする．

(2) $[A, B]+[C, D]:=[A+C, B+D]$ により加法演算$P\in K_{kc}(X)$$+$を定め，任意に固定されたに対して，$\varphi(A);=[A+P, P]$と定める．

(3)$\varphi(K_{k}$$(X))$ は。

$G$の零元 $[\{0\}, \{0\}]$ を頂点とする凸錐である．

(4) span $(\varphi(K_{kc}(X)))=G.$(5) $K_{kc}(X)$ での半順序(6)での半順序$G$$\leq$$\leq$

は，$A\leq B\Leftrightarrow A\subseteq B$によって定める．

$[A, B]\leq[C, D]\Leftrightarrow A+D\subseteq B+C$ によって定める．
は，(7) $\varphi(A)\leq\varphi(B)\Leftrightarrow A\subseteq B.$
定理 (丸山 [20])$X$$(G, ||\cdot||_{G})$ は可分である．
が可分な Banach 空間ならば，4.2

ベクトル値最適停止問題

定理 (Edgar, Millet, Sucheston[7])(i) $(B, || ||_{B}),$

(ii)
(iii)

$\xi,$$\eta\in B^{+},$$\mathcal{F}$$\leq$

は Banach lattice とする．

$\xi<\eta$

ならば，$||\xi||_{B}<||\eta||_{B}$を満たす．

は可算生成とする．

(iv) $\{Y_{n}, n\in N\}$ は$B^{+}$-値，$\{\mathcal{F}_{n}\}$-適合な確率過程とする．

$( v)\int_{\Omega}su||Y_{n}(\omega)||_{B}dP<\infty n\in^{\frac{p}{N}}.$(vi)$||\cdot||_{B}$$\lim_{narrow\infty}Y_{n}=Y_{\infty}(P-ae)$となる．
に関して，とする．

このとき，ある$\sigma\in\overline{C}$が存在し，$\tau\in\overline{C}$に対して $E[Y_{\sigma}]\leq E[Y_{\tau}]$ ならば $E[Y_{\sigma}]=E[Y_{\tau}]$ である．

104.3

主結果

問題
ある$\sigma\in\overline{C}$が存在し，$\tau\in\overline{C}$に対して$E[Z_{\sigma}]\subseteq E[Z_{\tau}]$

ならば $E[Z_{\sigma}]=E[Z_{\tau}]$ である．

つまり，maximal な停止規則の存在を示す．

関数解析学でよく知られいる完備化可能定理により，4.1 節の$(G, ||\cdot||_{G})$が稠密部分空間となる様にある Banach 空間 $(B, ||\cdot||_{B})$ に埋め込むことが出来る．
定理(i) $X$ は回帰的，可分な Banach 空間とする．

(ii)

(iii)

$(\Omega, \mathcal{F}, P)$

は原子を持たない．

は可算生成とする．

$\mathcal{F}$(iv) $B$ は $G$ の半順序
(v)$\xi,$$\eta\in B^{+},$$\xi<\eta$(vi) $\{Z_{n}, n\in N\}$ :$\leq$を保存する Banach lattice とする．

ならば，$||\xi||_{B}<||\eta||_{B}$$K_{kc}(X)$-値，$\{\mathcal{F}_{n}\}$を満たす．

-適合な確率過程とする．となる $Z_{\infty}\in K_{kc}(X)$ が存在する．
$\lim_{narrow\infty}Z_{n}=Z_{\infty}(P-a.e.)$(vii) Hausdorff 距離 $H$ に関して，$( viii)\int_{\Omega}su||Z_{n}(\omega)||_{K}dP<\infty n\in^{\frac{p}{N}}.$(ix)$\varphi(Z_{n}(\omega))\in B^{+}(\forall n\in\overline{N})$.とする．

このとき，ある$\sigma\in\overline{C}$が存在し，$\tau\in\overline{C}$に対して$E[Z_{\sigma}]\subseteq E[Z_{\tau}]$

ならば $E[Z_{\sigma}]=E[Z_{\tau}]$ である．

References[1] 穴太克則: タイミングの数理．朝倉書店．(2000).
[2] Aubin, J.- ., Frankowska, H.: Set-valued analysis. Birkh\"auser Boson. (1990).
$P$[3] Aumann, R. .:(1965).
$J$

Integrals of set-valued functions. J. Math. Anal. Appl., 12, pp.1-12[4] Byme, C. .: Remarks on the set-valued integrals of Debreu and Aumann. J. Math. Anal.
Appl., 62, pp.243-246 (1978).
$L$[5] Castaing, C., Valadier, M.: Convex analysis and measurable multifunctions. SpringerVerlag, Berlin. (1977).

[6] Debreu, G.: Integration of correspondences.. Proc.Fifth Berkeley Symposium Math.
Stat. and Probab. II, Part I, Univ. Cahf. Press, pp.351-372 (1966).
[7] Edgar, G. ., Millet, A., Sucheston, L.: On compactness and optimality of stoppingtimes. Martingale theory in harmonic analysis and Banach spaces, LNM 939, Springer,
pp.36-61 (1981).
$A$11[8] Furukawa, N.: Characterization of optimal polices in vector-valued Markovian decision, pp.271-279 (1980).
processes.. Math. Oper.
${\rm Res}.,$$5$[9] Hening, M. .: Vector-valued dynamic programming. SIAM J. Control Optim., 21,pp.490-499 (1983).
$I$[10] Hening, M. .: The principle of optimality in dynamic programming with returns in$10$ ,
pp.462-470 (1985).
partially ordered sets. Math. Oper.
$I$${\rm Res}.,$[11] Hiai, F.: Convergence of conditional expectations and strong laws of large numbers for
multivalued random variables. hans.Amer.Math.Soc., 291, pp.613-627 (1985).

[12] Hiai, F., Umegaki, H.: Integrals, conditional expectations, and martingales of multivalued
functions. J. Multivariate Anal., 7, pp.149-182 (1977).
[13] Hu, S., Papageorgiou, N. .: Handbook of multivalued analysis vol.I Theory. Kluwer
Academic Publisher. (1997).
$S$[14] Hu, S., Papageorgiou, N. .: Handbook of multivalued analysis vol.II Applications. Kluwer
Academic Publisher. (2000).
$S$[15] Kisielewicz, M., Michta, M., Motyl, J.: Set valued approach to stochastic control, part
I, Existence and regularity properties. Dynam. Systems Appl., 12, pp.405-432. (2003).
[16] Kisielewicz, M., Michta, M., Motyl, J.: Set valued approach to stochastic control, partII, Viability and semimartingale issues. Dynam. Systems Appl., 12, pp.433-466. (2003).
[17] Krupa, G.: Snell’s optimization problem for sequences of convex compact valued random
sets. Probab. Math. Stat., 23, pp.77-91 (2003).

[18] Li, J., Li, S.: Ito type set-valued stochastic differential equation. J. Uncertain Systems,
3, pp.52-63 (2009).
[19] Li, S., Ogura, Y., Kreinovich, V.: Limit theorems and applications of set-valued andfuzzy set-valued random variables. Kluwer Academic Publishers (2002).
[20] 丸山徹: 函数解析学．慶応通信．(1980).
[21] 丸山徹: 積分と函数解析(2006).

実函数から多価函数へ．シュプリンガーフェアラーク東京．

[22] Molchanov, I.: Theory of random sets. Springer. (2005).

[23] Radstr\"om,H.: An embedding theorem for spaces of convex sets. Proc. Amer. Math.Soc.,
3, pp.165-169 (1952).

[24] Zhang, J., Li, S., Mitoma, I., Okazaki, Y.: On the solution of set-valued stochastic
differential equations in $M$-type 2 Banach spaces. Tohoku Math. . 61, 3, pp.417-440(2009).
$J$