数理解析研究所講究録
第 1857 巻 2013 年 109-119

109

投資モデルに基づく逐次決定問題について
千葉大学教育学部 中井 達 (T\={o}ru Nakai)
Faculty of Education, Chiba University

1

はじめに
Nakai(2009) などにおいて、 評価と関連する状態をもとに、 予算の範囲内で支出を決定する逐次決定問題を部分観測可能なマルコフ決定過程のーつとして考えた。 このとき、 状態は支出によって変化する。 ここでは、 この問題を一般化することを考える。

消防活動や警察活動といった公共サービスに対する支出を、毎年度の予算の範囲内で行うとし、 これらの公共サービスに対する充足度合を 1 つの指標でとらえるとする。 この指標を状態と考え、 この状態は確率的に推移するとともに、予算から支出することによっても状態が変化する。 このモデルを状態空間が $(-\infty, \infty)$のマルコフ決定過程と考え、 この状態に関する情報を、 状態空間 $(-\infty,$
上の確率変数で表す。 この状態 $s\in(-\infty,$
が大きくなれば、 このサービスにより満足を感じることを示し、 小さくなれば満足を感じなくなるとする。
状態が のとき、決定 を取れば、 状態をとでき $(x\geq 0)$ この決定に対する費用を $C(x)$ とする。 さらに、 決定によって変化した状態はこの決定にかかわらず、 マルコフ過程にしたがって推移する。 このとき、 計画期間内で利得(効用) を最大化する最適政策と最適政策にしたがったときに得られる最適値を考える。
$\infty\}$$\infty\}$

$s$

2

$x$

$\sigma(s, x)$、

Stocahstic Convexity and Concavity$X$と $Y$ を 2 つの確率変数とする。 つぎのような確率的な順序関係を考える。

定義 1 確率密度関数 $f_{X}(x)$ と $f_{Y}(x)$ を持つ 2 つの確率変数 $X$ と $Y$ に対して、$x\geq y$となる任意の

$x$

と

$y$

に対して、 $f_{X}(y)f_{Y}(x)\leq f_{X}(x)f_{Y}(y)$ であるとき、 $X$

は $Y$ より尤度比の意味で大きいといい、 $X\geq_{LRD}Y$ あるいは $X\succeq Y$ と表す。

この定義を用いて導入される確率変数のあいだの順序が半順序であることは、簡単に示すことができる。
Shaked and Shanthikumar(1994) にしたがって、 Stocahstic Convexity と Stocahstic Concavity を考える。 $\{X(s)|s\in(-\infty, \infty)\}$ を をパラメータとする確率$s$

変数列とする。

(1) $\{X(s)|s\in(-\infty, \infty)\}$ が $SI$ (stocahstically increasing)$\Leftrightarrow$$u(s)$ に対して、 $E[u(X(s))]$ が、 $s$ の増加関数である。

任意の増加関数

110
任(2) $\{X(s)|s\in(-\infty, \infty)\}$ が SICX(stocahstically increasing and convex)
意の増加凸関数 $u(s)$ に対して、 $E[u(X(s))]$ が、 の増加凸関数である。
(3) $\{X(s)|s\in(-\infty, \infty)\}$ が SICV(stocahstically increasing and concave)e
任意の増加凹関数 $u(s)$ に対して、 $E[u(X(s))]$ が、 の増加凹関数である。
$\Leftrightarrow$

$s$

$s$

つぎに、 $s_{1}\leq s_{2}\leq s_{3}\leq s_{4}$ で $s_{1}+s_{4}=s_{3}+s_{2}$ のとき、 $X_{i}=X(s_{i})$ とおく$(i=1,2,3,4)_{0}(s_{4}-s_{3}=s_{2}-s_{1})$(1) $\{X(s)|s\in(-\infty, \infty)\}$ が SICX(sp}(stocahstically increasing and convex in
であり $(a.s.)_{\backslash }X_{2}+X_{3}\leq X_{1}+X_{4}$sample path sense)$\Leftrightarrow\max\{X_{2}, X_{3}\}\leq X_{4}$である。

(2) $\{X(s)|s\in(-\infty, \infty)\}$ が SICV(sp)(stocahstically increasing and concave insample path sense} $\Leftrightarrow X_{1}\leq\max\{X_{2},X_{3}\}$ であり $(a.s.)_{\backslash }X_{2}+X_{3}\geq X_{1}+X_{4}$である。

(1) $\{X(s)|s\in(-\infty, \infty)\}$ が SICX$(sp)$ ならば、 SICX である。
(2) $\{X(s)|s\in(-\infty, \infty)\}$ が SICV$(sp)$. ならば、 SICV である

補題 1$\circ$

補題 2(1) $\{X(s)|s\in(-\infty, \infty)\}$ が SICX$(sp)$ であり、

$u(\cdot)$

を増加凸関数とする。 このとき、 $\{u(X(s))|s\in(-\infty, \infty)\}$ もまた SICX$(sp)$ であるを増加凹関数とする。 この(2) $\{X(s)|s\in(-\infty, \infty)\}$ が SICV$(sp)$ であり、$\circ$$u(\cdot)$

とき、 $\{u(X(s))|s\in(-\infty, \infty)\}$ もまた SICV$(sp)$ である。

とする。 $Y(\mu)=e^{X(\mu)}$ とおけば、 $u(x)=e^{x}$ が増
例 1 $X(\mu)$ を正規分布加凸関数だから $\{Y(\mu)|\mu\in(-\infty, \infty)\}$ は SICX$(sp))$ である。 したがって、 $Y(\mu)$は対数正規分布であり、 SICX$(sp)$ であり、 SICX である。
$N(\mu, \sigma^{2})$3投資モデルに基づく逐次決定モデル
消防活動や警察活動といった公共サービスに対する支出を、年度ごとの予算の範囲内で行う。 これらの公共サービスに対する充足度合を $(-\infty, \infty)$ に含まれる実数で表し、 この値が大きくなれば、 このサービスにより満足を感じることを示し、小さくなれば満足を感じなくなるとする。 ここでは、 この指標を状態と考え、確率的に推移するとともに、 予算から支出することによっても状態を変化できる。

このモデルを状態空間が $(-\infty, \infty)$ のマルコフ過程と考え、状態を表す値 が$s$

大きくなれば充足度合が大きくなるとする。また、この状態は決定を取ることにより変化し、 この新しい状態からこのマルコフ過程の推移法則にしたがって推移する。 このとき、 計画期間内で利得を最大化する最適政策と最適政策にしたがったときに得られる最適値について考える。また、 [8] などと同様に、決定により状態を変化できることからマルコフ決定過程の一つと考えることができる。

111
状態空間を $(-\infty, \infty)$ とし、状態が のとき決定 を取れば、状態をとできる $(x\geq 0)_{0}$ ただし、 $\sigma(s, 0)=s$ とする $(s\in(-\infty, \infty))$ 。このときの決定に対応する費用を $C(x)$ とする ( $C$ ( ) $=$ 0)。決定期間が のとき、 $u(s)$ を最後の状態が のときの終端利得とし、 $u(s)$ は凹関数とする。 また、 決定を取ったあと、推移法則を $P=(p_{s}(t))_{s,t\in(-\infty,\infty\rangle}$ とするマルコフ過程にしたがって状態が推移する。
はじめに、 関数につぎの仮定を置く。
$\sigma(s, x)$

$x$

$s$

$O$

$n$

$s$

$\sigma(s, x)$

仮定 1 と の関数
は凹関数とする。すなわち、 $x<y$ および $s<t$ となる任意の $(t, y),$ $(s, x)$ と $0\leq\lambda\leq 1$ に対して
$s$

$x$

$\sigma(s, x)$$\sigma(\lambda(t, y)+(1-\lambda)(s, x))\geq\lambda\sigma(t, y)+(1-\lambda)\sigma(s, x)$とする。

仮定 2 と の関数
は submodular function とする。すなわち、 $x<y$ お
よび $s<t$ となる任意の $x,$ と
に対して
$s$

$x$

$\sigma(\mathcal{S}, X)$

$y$

$s,$

$t$

(1)

$\sigma(t, y)-\sigma(t, x)\leq\sigma(s, y)-\sigma(s, x)$とする。

つぎに、 関数-v(s) $= \max_{x\geq 0}\{-C(x)+u(\sigma(s, x))\}$ の性質を考える。 このとき、$u(s)$. がの増加関数であれば、も増加関数であることは明らかである。
$s$$\overline{v}(s)$補題 3 $C(x)$ が凸関数のとき、 $u(s)$ が凹関数ならば、だし、 $C(x)$ は増加関数とする。
証明:$\overline{v}(s)=C(x^{*})+u(\sigma(s, x^{*}))$$\overline{v}(s)$も凹関数である。 たおよび $\overline{v}(t)=C(x^{**})+u(\sigma(t, x^{**}))$ とおく。

であり、 任意の $\lambda(0<\lambda<1)$ と $s<t$ に対して $u(\lambda s+(1-\lambda)t)\geq\lambda u(s)+(1-\lambda)u(t)$ だ
から $C(x)$ に関する仮定を用いて$0\leq\lambda\sigma(s, x^{*})+(1-\lambda)\sigma(t, x^{**})\leq\sigma(\lambda s+(1-\lambda)t,$ $\lambda x^{*}+(1-\lambda\rangle x^{**})$$\overline{v}(\lambda s+(1-\lambda)t)=\max_{x\geq 0}\{-C(x)+u(\sigma(\lambda s+(1-\lambda)t, x)\}$$\geq-C(\lambda x^{*}+(1-\lambda)x^{**})$$+u(\sigma(\lambda s+(1-\lambda)t, \lambda x^{*}+(1-\lambda)x^{**}))$$\geq-C(\lambda x^{*}+(1-\lambda)x^{**})+u(\lambda\sigma(s, x^{*})+(1-\lambda)\sigma(t, x^{**}))$$\geq-(\lambda C(x^{*})+(1-\lambda)C(x^{**}))$$+\lambda u(\sigma(s, x^{*}))+(1-\lambda)u(\sigma(t, x^{**}))$$=\lambda\overline{v}(s)+(1-\lambda)\overline{v}(t)$となる。 したがって、 $u(s)$ は凹関数となる。

$\square$112
状態がマルコフ過程にしたがって推移し、推移法則が $P=(p_{s}(t))_{s,t\in(-\infty,\infty)}$ のとき、決定を $x\geq 0$ とする。 このとき、計画期間が で、状態が のとき、利得最とすれば、決定
大化問題において、最適に振る舞って得られる総期待利得を
$n$

$s$

$u_{n}(s)$$x$により状態は$\sigma(s, x)$となり、 この状態からマルコフ過程にしたがって推移する

から、最適性の原理より最適方程式はつぎのようになる。 ここで、 $T(s)$ を状態がのときつぎの状態を表す確率変数とすれば、 $E[u_{n-1}(T(s))]= \int_{0}^{\infty}p_{s}(t)u_{n-1}(t)dt$

$s$

である。

$u_{n}(s)$$=$$\max_{x\geq 0}\{-C(x)+E[u_{n-1}(T(\sigma(s, x)))]\}$

(2}

,

ここで、
$u_{1}(s)= \max_{x\geq 0}\{-C(x)+E[u(T(\sigma(s, x)))]\}$とする。 ただし、 $u(s)$ は の増加関数とし、 $C(x)$ は の増加関数とする。
だから、 確率変数列 $\{T(s)|s\in(-\infty, \infty)\}$ に対して、
推移法則が
$x$

$s$

$(p_{s}(t))_{0\leq s\leq 1}$

つぎの仮定を設ける。
仮定 3 に関する増加凹関数を $u(t)$ とすれば、 $E[u(T(s))]$ は に関する増加凹関数となっている。すなわち、 確率変数列 $\{T(s)|s\in(-\infty, \infty)\}$ は、 SICV である。
$t$

$s$

補題 4 $u_{n}(s)$ は、$s$に関する増加関数である。

証明:
に関する帰納法を用いる。 $u_{0}(s)=u(s\}$ だから、は増加凹関数である。 $u_{n-1}(s)$ が増加凹関数と仮定すると、 仮定 3 より $E[u_{n-1}(T(\sigma(s, x)))]$ もまた に関する増加関数でである。 $E[u_{n-1}(T(\sigma(s, x)))]$ が の増加関数なので、$u_{n}(s)= \max_{x\geq 0}\{-C(x)\cdot+E[u_{n-1}(T(\sigma(s, x)))]\}$ もの増加関数である。 さらに、補題 3 より、 $u_{n}(s)$ が凹関数となる。 口$u_{0}(s)$

$n$

$s$

$s$

$s$

補題 5 仮定 3 のもとで、 $u_{n}(s)$ は凹関数である。
計画期間が

$n$

であり、 状態が性質 1 仮定 3 のもとで、$x_{n}^{*}(s)$$s$のときの、 最適な決定をは$s$$x_{n}^{*}(s)$とする。

に関して減少する。

証明: に関する帰納法を用いる。 $n=1$ の場合は、 一般のときと同じように導ける o $t\geq s$ とする。 $n(>1)$ のとき、 $x_{n}^{*}(s)=x^{*}$ とおけば、 (2) 式より$n$$u_{n}(s)= \max_{x\geq 0}\{-C(x)+E[u_{n-1}(T(\sigma(s, x)))]\}$$= -C(x^{*})+E[u_{n-1}(T(\sigma(s, x^{*})))]$

(3)

113
となる。 $0<x^{*}\leq x$ となる任意の$x$に対して、 不等式$-C(x)+E[u_{n-1}(T(\sigma(t, x)))]\leq-C(x^{*})+E[u_{n-1}(T(\sigma(t, x^{*})))]$が成り立てば、となることが示される。
(3) 式より、 任意の $x\geq 0$ に対して
$x_{n}^{*}(s)=x^{*}\geq x_{n}^{*}(t)$$-C(x)+E[u_{n-1}(T(\sigma(s, x)))]\leq-C(x^{*})+E[u_{n-1}(T(\sigma(s, x^{*})))]$

(4)

だから、
$-C(x)+C(x^{*})\leq E[u_{n-1}(T(\sigma(s, x^{*})))]-E[u_{n-1}(T(\sigma(s, x)))]$(5)となる。 いっぽう、 仮定 3 より、 $E[u_{n-1}(T(\sigma(s, x)))]$ は に関する増加凹関数である したがって、 仮定 2 より、 $\sigma(t, x^{*})-\sigma(s, x^{*})\geq\sigma(t, x)-\sigma(s, x)$ である。
$s$$\circ$

いつぽう、 $\sigma(t, x)-\sigma(s, x)=\sigma(t, x^{*})-(\sigma(t, x^{*})-(\sigma(t, x^{*})-\sigma(t, x))+\sigma(s, x\}\})$
であり $0<x^{*}\leq x,$ $s<t$ である。 このことから$E[u_{n-1}(T(\sigma(t, x)))]-E[u_{n-1}(T(\sigma(s, x)))$$\leq E[u_{n-1}(T(\sigma(t, x^{*})))]-E[u_{n-1}(T(\sigma(s, x^{*})+(\sigma(t, x^{*})-\sigma(s, x^{*})$(6)$-(\sigma(t, x)-\sigma(s, x))\}))]$(7)$\leq E[u_{n-1}(T(\sigma(t, x^{*})))]-E[u_{n-1}(T(\sigma(s, x^{*})))]$となる。 (5) 式とこの不等式から、 (4) 式が導かれ、 この性質が成り立つ。 口

仮定 4 $t\geq s$ のとき任意の凹関数 $u(s)$ に対して、 $E[u(T(t))]-E[u(T(s))]\leq$$u(t)-u(s)$ である。
$u_{n}(s)$が増加凹関数だから、仮定 4 より $s<t$ なら $E[u_{n}(T(t))]-E[u_{n}(T(s))]\leq$となる。
$s<t$ のとき、 $E[u_{n}(T(t))]-E[u_{n}(T(s))]$ と $E[u_{n-1}(T(t))]-E[u_{n-1}(T(s))]$ の$u_{n}(t)-u_{n}(s)$関係を考える $(n\geq 1)$$u_{n}(t)-u_{n}(s)$。

$x^{*}=x_{n}^{*}(t)$

とおけば、

$=$

$-C(x^{*}) + E[u_{n-1}(T( \sigma(t, x^{*})))]-\max_{x\geq 0}\{-C(x)+E[u_{n-1}(T(\sigma(s, x)))]\}$$\leq E[u_{n-1}(T(\sigma(t, x^{*})))]-E[u_{n-1}(T(\sigma(s, x^{*})))]$となる。 いっぽう、 補題 5 より、 仮定 3 のもとで $E[u_{n-1}(T(s))]$ は

$s$

に関する増

加凹関数である。
$s<t,$ $0<x^{*}$ だから、 $\sigma(t, x^{*})-\sigma(s, x^{*})\leq\sigma(t, 0)-\sigma(s, 0)=t-\mathcal{S}$ であり、 (7)式と同じように$E[u_{n-1}(T(\sigma(t, x^{*})))]-E[u_{n-1}(T(\sigma(s, x^{*})))]\leq E[u_{n-1}(T(t))]-E[u_{n-1}(T(s))]$114となる。 これらの不等式から$u_{n}(t)-u_{n}(s)\leq E[u_{n-1}(T(t))]-E[u_{n-1}(T(s))]$となる。

補題 5 より、 $u_{n}(s)$ が凹関数なので、 仮定 4 より $E[u_{n}(T(t))]-E[u_{n}(T(s))]\leq$$u_{n}(t)-u_{n}(s)$ となる。 これらの不等式から、 任意の $n\geq 1$ に対して
$E[u_{n}(T(t))]-E[u_{n}(T(s))]\leq E[u_{n-1}(T(t))]-E[u_{n-1}(T(s))]$

(8)

となる。

性質 2 仮定 4 のもとで、$x_{n}(s\}$は $n$ に関して減少する。

に関する帰納法を用いる $n=1$ の場合は、 一般のときと同じように導ける。 $n(>1)$ のとする。 $s\leq t$ のとき、 $x_{n}^{*}(s)=x^{*}$ とおけば、任意の $1<x^{*}<x$

証明:

$n$

に対して、
$-C(x\}+E[u_{n-1}(T(\sigma(s, x)))]\leq-C(x^{*})+E[u_{n-1}(T(\sigma(s, x^{*}))\}]$である。 いっぽう、 (8) 式より$E[u_{n-1}(T(\sigma(s, x^{*})))]$$-$$E[u_{n-1}(T(\sigma(s, x)))]$$\leq E[u_{n}(T(\sigma(s, x^{*})))]-E[u_{n}(T(\sigma(s, x)))],$だから、$-C(x)+E[u_{n}(T(\sigma(s,x)))]\leq-C(x^{*})+E[u_{n}(T(\sigma(s, x^{*})))]$(9)となる。 このことから、 に関する帰納法より、 $x^{*}\geq x_{n+1}^{*}(s)$ となる。 口
したがって、 任意の $n\geq 1$ に対して、 $x_{n}^{*}(s)\geq x_{n+1}^{*}(s)$ なので、 仮定 4 のもと$n$で$x_{n}^{*}(s)$の $n$ に関する単調性が示される。

の に関する単調性についところで、最適政策にしたがったときの最適値て考える。基本的に、 公的サービスは、将来の満足度や充足度による期待効用が$u_{n}(s)$$n$現時点に比べて悪くなったとしても、これらのサービスを打ち切ることはできず、続けて行う必要がある。したがって、状態の関数である効用関数と、推移法則によっては、 $u_{n}(s)$ は$n$

ところで、 任意の$s$$E[u_{n-2}(T(\sigma(s, x)))]$

に関して増加することもあれば、減少することも考えられる。
に対して $u_{n-1}(s)\leq u_{n-2}(s)$ ならば、 $E[u_{n-1}(T(\sigma(s, x)))]\leq$となるので、$u_{n}(s) = \max_{x\geq 0}\{-C(x)+E[u_{n-1}(T(\sigma(s, x)))]\}$$u_{n-1}(s) = \max_{x\geq 0}\{-C(x)+E[u_{n-2}(T(\sigma(s, x)))]\}$

115
より、 $u_{n}(s)\leq u_{n-1}(s)$ となることがわかる。反対に、任意の に対して $u_{n-1}(s)\geq$$u_{n-2}(s)$ ならば、 $u_{n}(s)\geq u_{n-1}(s)$ となる。 したがって、帰納法を用いれば、 $n=1$$s$のときの性質によって、$u_{n}(s)$の $n$ に関する単調性が定まる。 すなわち、 $n=1$のときは、 $u_{1}(s)= \max_{x\geq 0}\{-C(x)+E[u_{0}(T(\sigma(s, x)))]\}$ であり、 $u_{0}(s)=u(s)$ だか

ら、 $\sigma(s, 0)=s$ より、 $E[u_{0}(T(s))]\geq u_{0}(s)$ であれば $u_{n}(s)$ は数であり、 $E[u_{0}(T(s))]\leq u_{0}(s)$ であれば $u_{n}(s)$ はことがわかる。

4$n$に関する非減少関に関する非増加関数となる$n$部分観測可能なマルコフ過程と情報

不完備情報のマルコフ過程のとき、 この逐次支出モデルの最適政策の単調性を示すことは困難であるが、 最適政策にしたがったときの総期待利得の性質について考えことができる。 ここでは、 Nakai[8] にしたがって簡単に結果をまとめる。 また、 ベイズの定理にしたがった学習プロセスを考えることから、 尤度比
順序に基づいて解析する。
つぎに、 状態を直接観測できないとする。 すなわち、 部分観測可能なマルコ
フ連鎖における多段決定問題を考える。 観測できない状態に関する情報は、 状
態空間 $(-\infty, \infty)$ 上の確率分布 として表す。 に含まれる情報のあいだに、 半
順序を $\mu\geq LRD\nu$ によって定義する。 いっぽう、 $T(t)\geq_{LRD}T(s)$ と仮定する。
このとき、 補題 6 が得られる。
$\mathcal{S}$$\mu$

補題 6 $\mu\geq_{LRD}\nu$ ならば $(\mu, \nu\in S)$$E_{\mu}[h(X)]\geq E_{\nu}[h(X)]$、$x$の非減少な非負関数 $h(x)$ に対して、となる。

状態 対して、 この状態に依存する確率変数鞠を情報プロセスとする。 すな
わち、 それぞれの状態に関する情報を確率変数鞠を通して得ることができる観$s$

測過程とする。学習プロセスはベイズ学習にしたがって解析することから、 仮
定 5 を設ける。 この仮定は、 Nakai [6] にしたがって一般化でき、 多段決定問題へ応用できる。

仮定 5 $s\leq t$ ならば、 $Y_{t}\geq LRDY_{S}$ である $(s, t\in(-\infty, \infty))$。

仮定 5 において、巧としたから、確率変数 は の値が小さくなるにしたがって小さな値をとり、 が大きくなるにしたがって良くなる。推移法則
に関する仮定から、 状態を表す が大きくなれば、 より良い状態に推移する確率は大きくなるのである。
確率過程の観測できない状態に関して、 確率変数を観測することによって、状態に関してベイズの定理を用いて学習を行う。その後、状態は推移し新しい状態になると考える。 もちろん、 この順序を変えても同じように解析できる。 を観測したとき、事後情報をとし、 その後で推移法則 $P$ にしたがって状態が推移し、 つぎの新しい状態に関する情報はとなる。
$Y_{S}\geq_{LRD}$$Y_{s}$

$s$

$s$

$s$

$\{Y_{s}\}_{s\in(-\infty,\infty)}$$y$$\mu_{y}$$\overline{\mu_{y}}$116
このとき、集合値関数 $h(y, s)$ に対して、定義 2 によって単調性を定義する。
定義 2 任意の $x\in\Re$ に関する非負の集合値関数 $h(x)=(h(x, s))_{s\in(-\infty,\infty)}$ に対して、 任意の と $(s\leq t かつ s, t\in(-\infty, \infty))$ について、 $x<y$ ならば$h(y)\geq LRDh(x)(h(x)\geq LRDh(y))$ とする。 このとき、 関数 $h(x, s)$ を に関する増加関数 (減少関数) という。
$s,$

$t$

$s$

$x$

事前情報が のとき、 推移後の事後情報を とする。 事前情報 と事後情報$\mu(x)$ のあいだには、 つぎの基本的な性質が成り立つ (Nakai [6] など)。
$\mu$$\overline{\mu}$$\mu$

補題 7 $\mu\geq_{LRD}\nu$ ならば、任意の に対して、
および–yとは に関する増加関数である。
である。任意の に対して、$\mu_{y}\geq_{LRD}\nu_{y}$

$y$

$\mu$

$\mu_{y}$$\overline{\mu_{y}}$$\mu$$\geq\overline{\nu}$$y$

補題 7 から、 事前情報 における順序関係は、
と事後情報
に対して保
たれる。 さらに、 同じ事前情報 であれば、 観測した値 が大きくなれば、 事$\mu$$\mu_{y}$$\overline{\mu_{y}}$

$y$

$\mu$

後情報巧もまたよくなる。
不完備情報の最適決定問題を考えるために、 いくつかの準備をする。 ここで、
(10)$\mu^{x}(t)=\int_{0}^{\infty}\mu(s)p_{\sigma(s,x)}(t)ds$

とおく。以下では、 $\sigma(s, x)=s+\sigma(x)$ と表される場合を考える。 このとき、 (10)式は、 事前情報が のとき、 決定 をとったときの、 状態空間上の事後分布を表す。 また、である。
状態全体の集合 $S$ に含まれる確率分布 が
$x$

$\mu$

$\overline{\mu}=\mu^{0}$$\mu$$s<t,$ $t<t’$ と$s-t=t-t’=c<0$ を満たす任意の $s<t,$$t\leq t’$に対して、$\frac{\mu(s)}{\mu(t)}\geq\frac{\mu(t)}{\mu(t’)}$となるとき、 この$\mu$

は性質 $(G)$ を満たすということにする。

例 2 状態空間上の正規分布$- \frac{(s-a)^{2}}{2\sigma^{2}}$$\mu(\mathcal{S})=\frac{1}{\sqrt{2\pi}\sigma}e$はこの性質を満足する。

補題 $S\mu\in S$ が性質 $(G)$ を満たすとき、 $x>x’$ ならば、
ただし、 $\mu^{x}=(\mu^{x}(t))$ とする。

$\mu^{x}\geq_{LRD}\mu^{x’}$である。

補題 9 状態全体の集合 $S$ に含まれる確率分布 と が性質 $(G)$ を満たすとき、$\mu\geq_{LRD}\nu$ ならば、 任意の $x(\geq 0)$ に対して、 $\mu^{x}\geq LRD\nu^{x}$ である。
$\mu$

仮定 6 任意の $s<t,$ $t\leq t’$ および $u<v$ となる$p_{u}(t)p_{V}(t)\geq p_{v}(s)p_{u}(t’)-p_{v}(t)p_{u}(t)$ とする。

補題 10 $\mu\in S$ が性質 $(G)$ を満たすならば、$\nu$$s,$ $t,$ $t,$ $t’,$ $u,$ $v$$\overline{\mu}$に対して $p_{u}(s)p_{v}(t’)-$もまた性質 $(G)$ を満たす。

117
例 3 正規分布による推移法則

は、 仮定 6 の条件を満足$p_{v}(s)= \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(s-v)^{2}}{2\sigma^{2}}}$

する。
確率変数

の密度関数 $f_{s}(y)$ が $(s\in (-\infty, \infty))$ 、任意の $s<t,$ $t<t’$ で $t-s=$$t’-t>0$ となるに対して、 性質
$Y_{s}$$t’$$s,$ $t,$ $t,$$\frac{f_{s}(y)}{f_{t}(y)}\geq\frac{f_{t}(y)}{f_{t},(y)}$が成り立つと仮定する。
補題 11 $\mu\in S$ が性質 $(G\}$ を満たすならば、 任意の$(G)$ を満たす。
補題 12

が性質 $(G)$ を満たすとする。
$\mu\geq_{LRD}\nu$ ならば、 任意の $x(\geq 0)$ に対してである。
$\mu,$$\nu\in S$$\overline{\mu^{x}}$

$y$

に対して

$\overline{\mu_{y}}$もまた性質

もまた性質 $(G)$ を満たす。
である。 $x>x’$ ならば$\overline{\mu^{x}}\geq_{LRD}\overline{\nu^{x}}$$\overline{\mu^{x}}\geq_{LRD\overline{\mu^{x’}}}$

5

部分観測可能なマルコフ決定過程としての逐次支出モデル
不完備情報のマルコフ決定過程として逐次支出モデルを考え、 最適政策にしたがったときの総期待利得の性質について考える。 状態に関する情報は、 状態
空間上の確率分布として表され、 状態に関する情報は、 情報プロセスを通して得られる。事前情報と事後情報の関係などについては、 4 節の部分観測可能なマ
ルコフ過程に関する性質を用いることが出来る。 したがって、 部分観測可能なマルコフ決定過程として定式化するとき、 以下では $\sigma(s, x)=s+\sigma(x)$ と表されることを仮定する。
4 節と同様に、 観測できない状態に関する情報は、 状態空間上の確率分布として表され、 情報プロセスから得られた観測値をもとにベイズの定理にしたがって学習を行う。 情報プロセスは、 それぞれの状態 $s(\in(-\infty, \infty))$ に対して、 確
率変数 を考え、 それらの値を観測することを観測過程とする。 観測できない状態に関する情報が で、 計画期間が のとき、 最適政策にしたがって得られる総期待利得をとすれば、 最適性の原理より、 つぎの再帰方程式が得ら$Y_{s}$

$n$

$\mu$

$v_{n}(\mu)$れる。
$v_{n}(\mu) = E[v_{n}(\mu|Y)]$(11)$v_{n}( \mu|y) = \max_{x\geq 0}\{-c(x)+v_{n-1}(\overline{\mu_{y}^{\sigma(x)})})\}$

ここで、 $v_{0}(\mu)=E[u(S)]$ とする。事前情報が$\mu$のとき、 まず始めに状態

$s$

に依存

する確率変数聡を観測し、 が得られたとき状態に関する情報をベイズの定理に
$y$

118
と改良する。状態が のとき、決定 を取れば状態は $s+\sigma(x)$ となとなる。そのあと、 この状態から推移法則
るので、情報はにしたがって状態が推移し 1 期間先に進む。この確率過程の状態は新しい状態となる。 それ以降、 最適政策にしとなり、 この新しい状態に関する情報はである。 したがったがって得られる残り計画期間での総期待利得はて、 に関する帰納法を用いることにより、 3 節の仮定の下でつぎの性質が得ら
したがって

$x$

$s$

$\mu_{y}$$(p_{s+\sigma(x)}(t))_{0\leq s\leq 1}$$\mu_{y}^{\sigma(x)}$$\overline{\mu_{y}^{\sigma(x)}}$$v_{n-1}(\overline{\mu_{y}^{\sigma(x)}})$

$n$

れる。

性質 3

$\mu,$$\nu\in S$

が性質 $(G)$. を満たすとき、 $\mu\geq LRD\nu$ ならば、 $v_{n}(\mu)\geq v_{n}(\nu)$である。
$\mu\geq LRD\nu$であれば補題 7 より観測値 に対して、 $\mu_{y}\geq\nu$ であり、補題 9$y$である。これらの事後情報に関する単調性から、任意の決定 と観測値 に対して、 $\mu\geq LRD\nu$ ならば、であり、 このことから性質 3 が に関する帰納法によって示される。
このように、不完備情報のマルコフ過程における逐次支出モデルにおいて、最適政策にしたがったときの総期待利得に関する単調性を求めることが出来る。 しかし、性質 1 や 2 と同様の性質が、不完備情報のマルコフ決定過程と考えたときの最適政策に成り立つかどうかは課題となっている。
から、決定 に対して、$\overline{\mu_{y}^{\sigma(x\rangle}}\geq\overline{\nu^{\sigma(x)}}$$x$$\overline{\mu_{y}^{\sigma(x\rangle}}\geq\overline{\nu^{\sigma(x)}}$

$x$

$y$

$n$

参考文献
[1] Albright, S. ., Structural results for partially observable Markov decision
processes. Oper. Res. 27 (1979), 1041-1053.
$C$[2] Cao, X. and Guo, X., Partially observable Markov decision processes withreward information: basic ideas and models. IEEE Trans. Automat. Control
52 (2007), 677-681.

[3] Fernandez-Gaucherand, E., Arapostathis, A., and Marcus, S. I. On the
average cost optimality equation and the structure of optimal policies forpartially observable Markov decision processes. Ann. Oper. Res. 29 (1991),

439-469.
[4] Grosfeld-Nir, A., two-state partially observable Markov decision processwith uniformly distributed observations. Oper. Res. 44 (1996), 458-463.
$A$[5] Itoh, H. and Nakamura, K., Partially observable Markov decision processes
with imprecise parameters. Artificial Intelligence 171 (2007), 453-490.

[6] T. Nakai, A Generalization of Multivariate Total Positivity of Order Two
with an Application to Bayesian Learning Procedure, Joumal of Information 8 optimization Sciences, vol. 23, 163-176, 2002.

119[7] T. Nakai, A Sequential Expenditure Problem for Public Sector Based on
the Outcome, Recent Advan ces in Stoch astic Operations Research (Eds. $T.$
Dohi, S. Osaki and K. Sawaki), World Scientific Publishing, 277-295, 2007.
[8] T. Nakai, A Sequential Decision Problem based on the Rate Depending
on a Markov Process, Recent Advances in Stochastic Operations Research 2(Eds. T. Dohi, S. Osaki and K. Sawaki), World Scientific Publishing, 11-30,

2009.
[9] Ohnishi, M., Kawai, H. and Mine, H., An optimal inspection and replacement policy under incomplete state information. European J. Oper. Res.
27 (1986), 117-128.

[10] Shaked, M. and Shanthikumar, J. ., Stochastic Orders and Their Applications (Probability and mathematical statistics : a series of monographs
and textbooks), Academic Press, Boston, Massachusetts, 1994.
$G$[11] White, D. J. Structural properties for contracting state partially observable
Markov decision processes. J. Math. Anal. Appl. 186 (1994), 486-503