数理解析研究所講究録 1224 巻 2001 年 187-193

187

Bayesian estimation of predictive densities
筑波大・数学 赤平昌文 (Masafumi Akahira)筑波大. VBL 西平祐治 (Yuji Nishihira)
筑波大・数学 飛田英祐 (Eisuke Hida)

1. はじめに
統計的推測理論において, 観測可能なデータに基づいて未観測な確率変数に関する何らかの知見を得る問題を統計的予測問題という. たとえば, 通常の推定論において母数の推定量に対応するものとして予測量があり, 何らかの意味で最良な予測量を求めることができることもある ([Gu70],[T75], [A90] .
.
最近, Bayes 的観点から未観測な確率変数の分布, すなわち予測分布についての研究が盛んに行われている. その場合に損失関数として情報量を用いることが多く, 適当な事前分布に関する Bayes リ$)$スクを最小にする予測分布を求めることができる. 本論では, まず Corcuera and Giummol\‘e[CG99]に従って, 彼らの結果を述べ, 次に, Akahira[A96] が非正則推定論において導入した情報量を損失関数として, その Bayes リスクの下界について考察する.

2. 設定
まず,$X_{1},$$\ldots,$$X_{n},$$\mathrm{Y}$を互いに独立に, いずれも ( -有限測度$\sigma$従う確率変数とする. ただし,$\Theta$の同時密度は $p(x; \theta)=\prod_{i=1}^{n}p_{0}$ (を観測可能なデータ,$\mathrm{Y}$は母数空間で,$x_{i}$$\Theta$$\mu$に関する) 密度 $p0(x;\theta)(\theta\in\Theta)$ には $R^{m}$ の開集合とする.

このとき, $(X_{1}, \ldots, X_{n})$; のになる. ただし) $x=(x_{1}, \ldots, x_{n})$ とする. いまを未観測な確率変数と見なし, $X=(X_{1}, \ldots, X_{n})$ に基づいて$X_{1},$$\mathrm{Y}$$\ldots,$$X_{n}$の密度$p_{0}$を密度$\hat{p}\mathrm{o}(y;x)$によって予測する.

める通常の方法は,

この$\theta$$\hat{p}_{0}$を$\mathrm{Y}$の推定量の予測密度 (predictive density) という. そのような予測密度を求$\hat{\theta}=\hat{\theta}(X)$を用いて$\hat{p}0(y;x)=p0(y;\hat{\theta}(x))$とすることである. もう 1 つの方法に Bayes 法がある. まず, 母数空間する) 事前密度$\pi$$\Theta$

上の (ルベーグ測度に関を与えたとき, Bayes 予測密度を$\hat{p}\mathrm{o}(y;x)=p0(y|x)=\int_{\Theta}p\mathrm{o}(y;\theta)\pi(\theta|x)d\theta$で定義する. ただし,$\pi(\theta|x)$

は $X=x$ を与えたときの.

$\theta$の事後密度, すなわち$\pi(\theta|x)=\frac{p(x,\theta)\pi(\theta)}{\int_{\Theta}p(x,\theta)\pi(\theta)d\theta}.$(2.1)

188とする. いま, 情報量 $D(p,\hat{p})$ を損失関数として, その平均損失

E[D(po, 九)]$= \int_{\mathcal{X}^{n}}D$($p\mathrm{o}$( ;\mbox{\boldmath $\theta$}), 九 $(y;$ $x)$ ) $p(x;\theta)d\mu^{n}(x)$によって, 予測密度九の良さについて考える. ただし,の直積空間とし,密度$\pi$$\mu^{n}$を$\mu$(2.2)$y$の $n$ 個の直積測度とする.

$\mathcal{X}$は各$X_{\dot{l}}$の標本空間で,しかし, (2.2) は未知の$p$$\mathcal{X}^{n}$は$\mathcal{X}$の $n$ 個に依存するので, 事前によって (2.2) を積分すれば $p$ に無関係にできる. よって, 九の Bayes リスクRD(九)は, 真の密度$p$$:= \int_{\Theta}$

E[D(p0, 九)]\pi (\mbox{\boldmath $\theta$})d\mbox{\boldmath $\theta$}(2.3)との近さの尺度と見なせるであろう.

Csisz\’ar[C67] は,$|\alpha|\leq 1$について, \mbox{\boldmath $\alpha$}-情報量$D_{\alpha}(p_{0}, \hat{p}_{0}):=\int_{\mathcal{X}}f_{\alpha}(\frac{\hat{m}(yx)}{p_{0}(y,\theta)}.)m(y;\theta)d\mu(y)$,を導入した. ただし,$(|\alpha|<1)$$z1\mathrm{o}\mathrm{g}z1\vec{-\alpha}4(1-z^{(1+\alpha)/2})$$f_{\alpha}(z)=\{$$(\alpha=1)$$-\log z$,,$(\alpha=-1)$とする. ここで, $\alpha=-1$ のときに $D_{-1}$ は Kullback-Leibler 情報量, $\alpha=0$ のときに距離の 2 倍の 2 乗になる.

この$\alpha$$D_{0}$は Hellinger-情報量を損失関数として Bayes リスクを最小にする予測密度はすでに得られている ([CG99]).
一方, Akahira[A96] は非正則分布族において, 統計量の情報損失を論じた際に, 一般情報量として$I^{(\alpha)}(p_{0}, \hat{p}_{0})=-\frac{8}{1-\alpha^{2}}\log\int_{\mathcal{X}}(p_{0}(y;\theta))^{(1-\alpha)/2}(\hat{p}_{0}(y;x))^{(1+\alpha)/2}d\mu(y)$を導入した. ただし, $-1<\alpha<1$ とする. ここで, $\alpha=0$ とすると積分は類似度 (affinity) になっていることに注意. また, 一般情報量の極限として Fisher 情報量を得ることができる.

本論では, 損失関数として -情報量をとった場合の [CG99] の結果を踏まえて (第 3 節), 一般情$\alpha$報量を用いた Bayes リスクの下界について論じ (第 4 節, [ANOI]), そして特に正規分布, 一様分布の場合に具体的に考察する (第 5 節).

3.

$\alpha$-情報量による Bayes 予測密度を与えたときに, 損失関数 $D$ として -情報量 D。をとって, Bayes
リスク (2.3) を最小にする予測密度を見つける問題を考える.
について
このとき,の一般 Bayes 予測密度を母数空間$\Theta$上の事前密度$|\alpha|\leq 1$$\pi$$\alpha$$p\mathrm{o}(y;\theta)$$\{\int_{\Theta}(p\mathrm{o}(y;\theta))^{(1-a)/2}$$\hat{p}_{0}^{(\alpha)}(y;x)\propto\{$\pi (\mbox{\boldmath $\theta$}|x)d\mbox{\boldmath $\theta$} 2’(1-0ゝ$\exp\{\int_{\Theta}\log p_{0}(y;\theta)\pi(\theta|x)d\theta\}$で定義する. ここで, $\alpha=-1$ のとき,$\hat{p}_{0}^{(\alpha)}$$(\alpha\neq 1)$$(\alpha=1)$

は (2.1) と一致することに注意.

,(3.1)

189-情報量 D。をとったときに, $p0(y$ ; のの Bayes 推定量, すである.
なわち Bayes リスク (2.3) を最小にする推定量は, (3.1) の一般 Bayes 予測密度定理 3.1([CG99]). 損失関数 $D$ として$\alpha$$\hat{p}_{0}^{(\alpha)}(y;x)$

証明の概略.

について, \mbox{\boldmath $\alpha$}-情報量は$|\alpha|<1$$D_{\alpha}(p_{0}, \hat{p}_{0}^{(\alpha)})=\frac{4}{1-\alpha^{2}}[1-\int_{\mathcal{X}}(p_{0}(y;\theta))^{(1-\alpha)/2}(\hat{p}_{0}^{(\alpha)}(y;x))^{(1+\alpha)/2}d\mu(y)]$になる. いま $\hat{r}(y;x)$ を$\hat{p}_{0}^{(\alpha)}$と異なる任意の予測密度とすれぼ$E[D_{\alpha}(p_{0},\hat{r})-D_{\alpha}(p_{0},\hat{p}_{0}^{(\alpha)})]$$= \frac{4}{1-\alpha^{2}}\int_{\mathcal{X}^{n}}\int_{\mathcal{X}}[(\hat{p}_{0}^{(\alpha)}(y;x))^{(1+\alpha)/2}-(\hat{r}(y;x))^{(1+\alpha)/2}](p_{0}(y;\theta))^{(1-\alpha)/2}p(x;\theta)d\mu(y)d\mu^{n}(x)$となり, この辺々を事前分布$\pi$で積分すれぼ$\int_{\Theta}E[D_{\alpha}(p_{0},\hat{r})-D_{\alpha}(p_{0},\hat{p}_{0}^{(\alpha)})]\pi(\theta)d\theta$$= \int_{\mathcal{X}^{n}}D_{\alpha}(\hat{p}_{0}^{(\alpha)},\hat{r})p(x)\{C_{\alpha}(x)\}^{(1-\alpha)/2}d\mu^{n}(x)\geq 0$になる. ただし,

$C_{\alpha}(x)$はの正規化定数で$\hat{p}_{0}^{(\alpha)}$$p(x):= \int_{\Theta}p(x;\theta)\pi(\theta)d\theta$とする. よって,$\hat{p}_{0}^{(\alpha)},\hat{r}$の Bayes リスクについて$R_{D_{\alpha}}(\hat{p}_{0}^{(\alpha)})\leq R_{D_{\alpha}}(\hat{r})$が成り立つから,は Bayes 推定量になる.

$\hat{p}_{0}^{(\alpha)}$

また, $\alpha=\pm 1$ についても同様に証明される.

口4. 一般情報量による Bayes リスクの下界
本節では, 事前密度
ク (2.3) を考える.

$\pi$を与えたときに, 損失関数 $D$ として一般情報量$I^{(\alpha)}$をとって, Bayes リス

まず, $|\alpha|<1$ について \mbox{\boldmath $\alpha$}-情報量は$D_{\alpha}(p_{0}, \hat{p}0)=\frac{4}{1-\alpha^{2}}\{1-\int_{\mathcal{X}}(p0(y;\theta))^{(1-\alpha)/2}(\hat{p}\mathrm{o}(y;x))^{(1+\alpha)/2}d\mu(y)\}$になるから, これと一般情報量$I^{(\alpha)}$との関係は(4.1)$D_{\alpha}(p_{0}, \hat{p}0)=\frac{4}{1-\alpha^{2}}[1-\exp\{-\frac{1-\alpha^{2}}{8}I^{(\alpha)}(p_{0},\hat{p}_{0})\}]$になる. このとき, 一般情報量$I^{(\alpha)}(p_{0},\hat{p}_{0})$を損失関数としたときの Bayes リスクの下界を求めよう.

定理 4.1([AN0I]). 損失関数 $D$ として一般情報量 $I^{(\alpha)}(|\alpha|<1)$ をとったとき,$\hat{p}0(y;x)$の Bayes リスク(2.3) の下界はRI(。)$( \hat{p}_{0})\geq-\frac{8}{1-\alpha^{2}}\log\{1-\frac{1-\alpha^{2}}{4}R_{D_{\alpha}}(\hat{p}_{0}^{(\alpha)})\}=:B_{\alpha}$$p\mathrm{o}(y$; のの予測密度190
によって与えられる. ただし,数にしたときの証明.

$\hat{p}_{0}^{(\alpha)}$$\hat{p}_{0}^{(\alpha)}$は一般 Bayes 予測密度 (3.1) で$R_{D_{\alpha}}(\hat{p}_{0}^{(\alpha)})$は \mbox{\boldmath $\alpha$}-情報量を損失関の Bayes リスクとする.

まず, 九の Bayes リスクは, (4.1) より$R_{D_{\alpha}}( \hat{\mu}_{1})=\int_{\Theta}E[D_{\alpha}(p_{0},\hat{p}_{0})]\pi(\theta)d\theta$$= \frac{4}{1-\alpha^{2}}\{1-\int_{\Theta}E[\exp\{-\frac{1-\alpha^{2}}{8}I^{(\alpha)}(p0,\hat{\mu}\})\}]\pi(\theta)d\theta\}$になるから, これを最小にする(九)を最大にする$\hat{p}_{0}$$\hat{p}_{0}$(4.2)

を求めるには$:= \int_{\Theta}E[\exp\{-\frac{1-\alpha^{2}}{8}$I(\mbox{\boldmath $\alpha$})(p0,内)}]$\pi(\theta)d\theta$を求めれぼよい. そこで Jensen の不等式を 2 回用いて$S_{\pi}( \hat{P}0)\geq\int_{\Theta}\exp\{E[-\frac{1-\alpha^{2}}{8}I^{(\alpha)}(p0,\hat{p}0)]\}\pi(\theta)d\theta$$\geq\exp\{-\frac{1-\alpha^{2}}{8}\int_{\Theta}E[I^{(\alpha)}(p_{0},\hat{p}_{0})]\pi(\theta)d\theta\}$(4.3)$= \exp\{-\frac{1-\alpha^{2}}{8}R_{I^{(\alpha)}}(\hat{p}0)\}$になる. 一方, 定理 3.1, (4.2) より$R_{D_{\alpha}}( \hat{p}_{0}^{(\alpha)})=\min_{\hat{p}0}R_{D_{a}}(\hat{P}0)=\frac{4}{1-\alpha^{2}}\{1-\max S_{\pi}(\hat{p}0)\}\hat{p}0$となるから, (4.3) から$\exp\{-\frac{1-\alpha^{2}}{8}R_{I(\alpha)}(\hat{n})\}\leq\max_{\hat{p}0}S_{\pi}(\hat{p}0)$$=1- \frac{1-\alpha^{2}}{4}$RD。

$(\hat{p}_{0}^{(\alpha)})$になる. よって, (4.3) を変形すれば

R,(。)(九)$\geq-\frac{8}{1-\alpha^{2}}\log\{1-\frac{1-\alpha^{2}}{4}R_{D_{a}}(\hat{p}_{0}^{(\alpha)})\}$

191

定理 4.1 で与えた Bayes リスクの下界 B。は達或可能ではないが, Bayes リスクと下界について正規分布と一様分布の場合に考えてみよう.
例 51.

をたがいに独立に, いずれも正規分布
ただし, $-\infty<\mu<\infty,$ $\sigma>0$ とする. このとき
$X_{1},$$\ldots,$$X_{n},$$\mathrm{Y}$$N(\mu, \sigma^{2})$$\theta:=(\mu, \sigma^{2})$$(1/n) \sum_{i=1}^{n}X_{i}=\overline{X},\hat{\sigma}^{2}:=(1/n)\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}$$(0<\sigma<\infty)$になる. いま,$\theta$に従う確率変数とする.

に対する十分統計量はの事前分布として$\pi(\theta)\propto 1/\sigma$をとると, 事後分布は$\pi(\theta|x)\propto p(x$;\mbox{\boldmath $\the a$} \pi (の$)$$\propto(\frac{1}{\sigma})^{n+1}\exp\{-\frac{1}{2}\sum_{i=1}^{n}(\frac{x_{i}-\mu}{\sigma})^{2}\}$になる. このとき,$\alpha\neq 1$に対して, 一般 Bayes 予測密度は$\hat{p}_{0}^{(\alpha)}(y;x)\propto\{\int_{0}^{\infty}\int_{-\infty}^{\infty}(p0(y;\theta))^{(1-\alpha)/2}\pi(\theta|x)d\mu d\sigma\}^{2/(1-\alpha)}$になり$\hat{p}_{0}^{(\alpha)}(y;x)=\frac{K_{n,\alpha}}{\hat{\sigma}}\{1+\frac{1-\alpha}{2n+1-\alpha}(\frac{y-\hat{\mu}}{\hat{\sigma}})^{2}\}^{-}\urcorner 2\neg 1-\alpha 2n-1-\alpha$になる ([CG99], 図 5.1 参照). ただし,

$K_{n,\alpha}= \frac{\Gamma(_{\mathrm{T}21\neg-\alpha}^{2n-1-\alpha})}{\sqrt{\pi}\Gamma(\frac{n-1}{1-\alpha})}\sqrt{\frac{1-\alpha}{2n-1-\alpha}}$とする.

この$\hat{p}_{0}^{(\alpha)}$について$B_{\alpha}=- \frac{8}{1-\alpha^{2}}\log\{1-\frac{1-\alpha^{2}}{4}R_{D_{\alpha}}(\hat{p}_{0}^{(\alpha)})\}$

となり

R,(。)

$\hat{\mu}:=$$( \hat{p}_{0}^{(\alpha)})=\int_{0}^{\infty}\int_{-\infty}^{\infty}E[I^{(\alpha)}(p_{0},\hat{p}_{0}^{(\alpha)})]\frac{1}{\sigma}d\mu d\sigma$になる. ただし$I^{(\alpha)}(p_{0}, \hat{p}_{0}^{(\alpha)})=-\frac{8}{1-\alpha^{2}}\log\int_{-\infty}^{\infty}\{\frac{1}{\sqrt{2\pi}\sigma}e^{-\zeta_{\mathrm{L}_{--}^{-*^{2}}}}2\sigma\}^{(1-\alpha)/2}\{\hat{p}_{0}^{(\alpha)}(y;x)\}^{(1+\alpha)/2}dy$

192

図 5.1 正規分布 $N(0,1/12)$ の密度

50 で反復数 500.
例 52.

$X_{1},$$\ldots,$$X_{n},$$\mathrm{Y}$$\mu$} に対する予測密度...................

$p\mathrm{o}(\cdot;1/2)$$\hat{p}_{0}^{(0)}(\cdot; oe)$,. ただし, $n=25$ ,$\hat{p}_{0}^{(0)}(\cdot;x)$をたがいに独立で, いずれも一様分布 $U(\theta-(1/2), \theta+(1/2))$ の密度をもつ確率変数とする. ただし, $-\infty<\theta<\infty$ とする. このとき,$p_{0}(\cdot;\theta)$$X:=(X_{1}, \ldots, X_{n})$ の同時密度は
$n$

(5.1)

$p(oe; \theta)=\prod$ 乃 $(X:;\theta)=\chi_{\llcorner\theta,\overline{\theta}]}(\theta)$$:=1$になる. ただし,$\underline{\theta}:=\max_{1\leq:\leq n}x:-(1/2),\overline{\theta}:=\max_{1\leq:\leq n}x:+(1/2)$

布として一様分布 $U(-c, c)(c>0)$ をとり, その密度を$\pi(\theta|x)\propto p(x$$\pi$とする. いま,$\theta$の事前分とすれば事後密度は, (5.1) より;\mbox{\boldmath $\the a$} \pi (の$)$$\chi_{[A,B]}(\theta)$$(A<B)$ ,0$(A\geq B)$(5.2)$\propto\{$になる. ただし,$oe=(x_{1}, \ldots, x_{n}),$$A:= \max\{\underline{\theta}, -c\},$$B:= \min\{\overline{\theta}, c\}$とする. このとき,に対して, 一般 Bayes 予測密度は$\hat{p}_{0}^{(\alpha)}(y;x)\propto\{\int_{-\infty}^{\infty}(p_{0}(y;\theta))^{(1-\alpha)/2}\pi(\theta|x)d\theta\}^{2/(1-\alpha)}$より, (5.2) から $A<B$ について$\hat{p}_{0}^{(\alpha)}(y;x)\propto(\int_{y-\frac{1}{2}}^{y+\frac{1}{2}}\chi_{[A,B]}(\theta)d\theta)^{2/(1-\alpha)}$0($=\{$になり,$A\geq B$$y \leq A-\frac{1}{2}$または $y>B+ \frac{1}{2}$ ),,$(y-A+ \frac{1}{2})^{2/(1-\alpha)}$$(A- \frac{1}{2}<y\leq\min\{A+\frac{1}{2}, B-\frac{1}{2}\})$

1$(A+ \frac{1}{2}<y\leq B-\frac{1}{2})$$(-y+B+ \frac{1}{2})^{2/(1-\alpha)}$$( \max\{A+\frac{1}{2}, B-\frac{1}{2}\}<y\leq B+\frac{1}{2})$について $\hat{p}_{0}^{(\alpha)}(y;x)=0$ になる (図 52 参照).

この$\hat{p}_{0}^{(\alpha)}$$B_{\alpha}=- \frac{8}{1-\alpha^{2}}\log\{1-\frac{1-\alpha^{2}}{4}R_{D_{\alpha}}(\hat{p}_{0}^{(\alpha)})\}$,につぃて,$\alpha\neq 1$

193R,(。)$( \hat{p}_{0}^{(\alpha)})=\frac{1}{2c}\int_{-c}^{c}E[I^{(\alpha)}(p_{0},\hat{p}_{0}^{(\alpha)})]d\theta$になる. ただし$I^{(\alpha)}(p_{0}, \hat{p}_{0}^{(\alpha)})---\frac{8}{1-\alpha^{2}}\log\int_{\theta-\frac{1}{2}}^{\theta+\frac{1}{2}}\{\hat{p}\mathrm{o}(y;x)\}^{(1+\alpha)/2}dy$とする.

図 52 一様分布 $U(-1/2,1/2)$ の密度 $p0(\cdot;1/2)$ に対する予測密度$n=25,50$ で反復数 500.

................... $p0(\cdot;1/2)$ ,$\hat{p}_{0}^{(0)}($; $x)$ . ただし,$\hat{p}_{0}^{(0)}(\cdot;x)$

参考文献[A90] Akahira, M. (1990). Theory of Statistical Prediction. Lecture Note at the Middle East
Technical University, Ankara.
[A96] Akahira, M. (1996). Loss of information of astatistic for afamily of non-regular distributions. Ann. Inst. Statist. Math., 48, 349-364.
[ANOI] Akahira, M. and Nishihira, Y. (2001). The lower bound for the Bayes risk of predictive
densities. In preparation.

[CG99] Corcuera, J. M. and Giummol\‘e, F. (1999). Ageneralized Bayes rule for prediction.
Scand. J. Stahst., 26, 265-279.

[Cs67] Csisz\’ar, I. (1967). Information-type measures of difference of probability distributions
and indirect observations. Studia Sci. Math. Hung., 2, 299-318.
[G93] Geisser, S. (1993). Predictive Inference :An Introduction. Chapman&Hall, New York.
[Gu70] Guttman, I. (1970). Statistical Tolerance Regions :Classical and Bayesian. Griffin,London.
[T75] 竹内啓. (1975). 統計的予測論. 培風館.