171
171

マルコフ決定過程におけるリスク解析
名古屋市立大学 大学院芸術工学研究科

中国清華大学

Masayuki Kageyama 影山 正幸 *Graduate School of Design and Architecture,
Nagoya City University
Tsinghua University

1

背景と準備MDPs(Markov decision processes) 理論の初期の1980年代までの研究は,ほとんどは最適方程式とその解をみつけるための policy iteration と value iteration に関するものであった [5]. これらの研究は利得の期待値について議論している.ここでは,MDPs において,Conditional Value atRisk をリスク指標として用いることにする.

ボレル集合 Xに対して, B_{X} をXのボレル部分集合の \sigma ‐algebla とする.任意のボレル集合 Xに対して,X上のすべての有界なボレル可測関数の集合を B(X) と記す.ボレル集合 X と Y に対して, P(X), P(X|Y) を,それぞれ, X 上のすべての確率測度の集合, Y が与えられた時のすべての条件つき確率測度の集合とする.

I をある確率空間(\Omega, \mathcal{B}, P) 上の利得確率変数とする.

\mathbb{R} を実数の集合とする.

定義1.1 (Artzner et a1.[1] )確率変数 Yı, Y_{2}\in L^{1} に対して, \mathcal{R} : L^{1}arrow 亜が次の4つの性質を満たすとき, \mathcal{R} はcoherent 性を満たすという.

1.

(Monotonicity) \mathcal{R}(Y_{1})\leq \mathcal{R}(Y_{2}) whenever Y_{1}\geq Y_{2} a.s.,2.

(Translation Equivariance) \mathcal{R}(Y+c)=\mathcal{R}(Y)-c , if c\in \mathbb{R}3.

(Positive homogeneity) \mathcal{R}(\lambda Y)=\lambda \mathcal{R}(Y) if \lambda>0,

4.

(Convexity) \mathcal{R}((1-\lambda)Y_{0}+\lambda Y_{1})\leq(1-\lambda)\mathcal{R}(Y_{0})+ \lambda \mathcal{R}(Y_{1}) for 0\leq\lambda\leq 1.

これらの公理の必然性については,[1] を参照されたい.

*kageyama@sda.nagoya‐cu.ac.jp

172
定義1.2 (Artzner et a1.[1] )V @ R\gamma ( I )CV:= \inf\{x\in \mathbb{R}|F_{-I}(x)\geq\gamma\}(0\leq\gamma\leq 1) ,@ R\gamma ( ): = \frac{1}{1-\gamma}\int_{\gamma}^{1}V@R_{p}(I)dp (0 \leq\gamma\leq ı).
I(1)

ただし, F_{I}(x) :=P(I\leq x)(x\in \mathbb{R}) .

定理1.1 (Artzner et al.[1])CV@R \gamma (I) はcoherent 性を満たす.

定理1.2 (Rocafellar et a1.[9] )CV @ R\gamma(I)= \inf_{b\in R}\{b+\frac{1}{1-\gamma}E[ -I-b]^{+}]\} .

(2)

ただし, [x]^{+} := \max\{x, 0\}.

ボレル集合 \mathcal{S}, \mathcal{A} をそれぞれ,state space, action space とする. A(x) をシステムが x にいる状態の時の実行可能な action の集合とする. \mathcal{Q}\in P(\mathcal{S}|\mathcal{S}\mathcal{A}) を推移法則, \overline{r}\in B(\mathcal{S}\mathcal{A}\mathcal{S}) をimmediate
reward, \nu を初期分布とする. X_{t}, \triangle_{t} を時刻 t(t\geq 0) における状態と action とする. \prod をすべての policy の集合,つまり, \pi=(\pi_{0}, \pi_{1}, \cdots)\in H に対して, \pi_{t}\in P(\mathcal{A}|S(\mathcal{A}\mathcal{S})^{t}) は,すべての(x_{0}, a_{0}, \cdots , a_{t-1}, x_{t})\in \mathcal{S}(\mathcal{A}\mathcal{S})^ {t} に対して,\pi_{t} (\mathcal{A}(x_{t})|x_{0}, a_{0}, \cdots , at-{\imath}, x_{t})=1を満たすものとする.

定義1.3 (Kageyama et a1.[6] )\rho_{DS}(\tilde{r}|\pi):=\frac{1}{1-\beta}\sum_{t=1}^{\infty}E_{\pi} [CV@R_{\gamma}(\tilde{r}(X_{t-{\imath} , \triangle_{t-1}, X_{t})|H_{t-1}].
定義1.4 (Kageyama et a1.[6] )\rho_{AV}(\tilde{r}|\pi):=1 \dot{ \imath} m\sup_{Tar ow\infty}\frac{1}{T}E_{\pi} [CV @ R\gamma (\tilde{r}(X_{t-1}, \triangle_{t-1}, X_{t})|H_{t-1}].

Discounted case と Average case のvalue function を\rho_{DS}(\tilde{r})\dot{ \imath} nf\rho_{DS}(\tilde{r}|\pi)\pi\in\Pi^{:=}\rho_{AV}(\tilde{r})\dot{ \imath} nf\rho_{AV}(\tilde{r}|\pi)\pi\in\Pi^{:=}’とする.

2MDPs におけるリスク評価

定理2.1 (Kageyama et al.[6])任意の \pi\in\prod に対して, \rho_{D8} と \rho_{AV} はcoherent 性を満たす.

173任意の \overline{r}\in B(\mathcal{S}\mathcal{A}\mathcal{S}) に対して,r(x, a):= D_{-}^{-}\frac{1}{r}(\gamma|x, a)+\frac{1}{1-\^{i} \int[-\overline{r} (x, a, y)-D_{\overline{r} ^{-1}(\gamma|x, a)]^{+}Q(dy|x, a)とおく.

定理2.2 (Kageyama et a1.[6])ある仮定の下 [6] でvalue function \rho_{DS} は,\rho_{DS}(\tilde{r})=\int h_{DS}(\tilde{r}|x)\nu(dx)で与えられる.ただし, h_{DS}(\tilde{r}|\cdot) は,以下の最適方程式の unique な解である.

h_{DS}( \tilde{r}|x)=\min_{a\in A}\{r(x, a)+\beta\int h_{DS}(\tilde{r}|y) Q(dy|x, a)\}for x\in \mathcal{S}.

定理2.3 (Kageyama et al.[6])ある仮定の下 [6] で,次式をみたす \nu\in B(\mathcal{S}) が存在する.

\rho_{AV}(\tilde{r})+\nu(x)=\min_{a\in \mathcal{A} \{r(x, a)+\int\nu(y)Q(dy|x, a)\}.
参考文献[1] P. Artzner, F. Delbaen, J. M. Eber, D. Heath and H. Ku, “Coherent measures of risk
Math. Finance, 9, 1999, 203‐228.

[2] P. Artzner, F. Delbaen, J. M. Eber, D. Heath and H. Ku, “ Coherent muıtiperiod risk
adjusted values and Bellman’s principle

Ann., Oper. {\rm Res}. , 2007, 152, 5‐22.

[3] N. Bauerle, A. Popp, “Risk‐sensitive stopping problems for continuous‐time markov
chainsto appear in Stochastics.

[4] N. Bauerle, U. Rieder, “Partially observable risk‐sensitive Markov Decision Processes
Mathematics of Operations Research, 2017, 42 (4), 1180‐1196.
[5] A. Feinberg and A. Shwarltz edited, Handbook of Markov decision processes: Methods
and Applications, Kluwer, 2002.

[6] M. Kageyama, T. Fujii, K. Kanefuji and H. Tsubaki, “ Conditional Value‐at‐Risk for Ran‐dom Immediate Reward Variables in Markov Decision Processes

American Journal ofComputational Mathematics, 2011, 1, 183‐ı88.

[7] S. Kusuoka, “ On law invariant coherent risk measures

Advances in Mathematical Eco‐nomics, Vol.3, Springer, Tokyo, (2001), 83‐95.

[8] G. Ch. Phlug, A. Pichler, Multistage Stochastic optimization, Springer, 2014.
[9] R. T. Rockafellar and S. Uryasev, “optimization of Conditional Value‐at‐Riskof Risk, Vol. 2,N 2000, 3, 21‐42.

Journal