数理解析研究所講究録 1308 巻 2003 年 145-157

145 145
non-parametric な状況下での多次元分布の平均ベクトルの逐次点推定問題の regret の second order について
長尾壽夫 (大阪府立大・工学研究科)

Hisao Nagao (Dept. Math. Sci. Osaka Pref. Univ)

1. 序
ここでは多次元分布を特定せす, 連続でありその台は母数には依存しないという仮定のここでの推定問題は, 平均ベクトルの逐次点推定問題の regret の評価であ下で考える.
る.

この問題の一$\sqrt{}^{\text{、}}R$元の場合は, Martinsek(’83) があたえている.

また彼 (’ 匍) は回帰係数の問題に対しても分布を特に仮定せす, 平均に関して対称という仮定の下で同じ問題を考えている.

一方, Takada(’92) は一次元正規分布の平均の問題について, -\beta |‘‘だけ改良する stopping rule をあたえて reget の漸近展開を求めている.

Sriram $(’ 92)$ はTakada と同じ流儀で回帰係数の問題に対して特に分布を仮定せず平均に関して対称という仮定の下で求めている. ここでの問題は, Martisek(’83) の多次元化である.

基礎となるのは Martisek(’83) は勿論であるが, Chow and Martinsek(’82), Chow, Robbins andTeicher $(’ 65)$ などである.

2. 問題の設定
ここではまず初めに regret 等の問題について過去の結果についてふれておく.
トル $X,$$X_{1},$ $X_{2},$$\cdots$ベク

を独立で moment は未知であり known な関数形を持つ pdf を考える.
$\mathrm{E}(X)=\mu$とする.

$p\cross 1$

平均ベクトル

$\mu$

を

,

(X) $=\Sigma(|\Sigma|\neq 0)$$\overline{X}_{n}=\sum_{i=1}^{n}X_{\dot{l}}/n$で推定を行う.

loss として,$L_{n}=(\overline{X}_{n}-\mu)’(\overline{X}_{n}-\mu)+\mathrm{c}n$を考える.

ただし, $c>0$ . すると risk は$R_{n}= \mathrm{E}L_{n}=\frac{1}{n}\mathrm{t}\mathrm{r}\Sigma+\alpha[]$

したがって最小となる sample size は,$n_{c}=\sqrt{\frac{\mathrm{t}\mathrm{r}\Sigma}{c}}$

.

となる.

よって最小となる risk は

146$R_{n_{c}}=2cn_{c}$.

$\Sigma$が未知の時, n。は用いられない.

そこで$N_{c}=N= \inf\{n\geq m|n\geq\sqrt{\frac{\mathrm{t}\mathrm{r}S_{n}}{c}}\}$$= \inf\{n\geq m|n(\frac{\mathrm{t}\mathrm{r}\Sigma}{\mathrm{t}\mathrm{r}S_{n}})^{1/2}\geq n_{c}\}$$S_{n}=\Sigma_{i=1}^{n}(X_{i}-\overline{X}_{n})(X_{\dot{l}}-\overline{X}_{n})’/n$

であり,

$m$

は

$c$

(こ依存する.

.

よって Stopping time $N$に対する risk は$R_{c}^{*}=\mathrm{E}\{(\overline{X}_{N}-\mu)’(\overline{X}_{N}-\mu)+cN\}$となり,$\omega(c)=R_{c}^{*}$-R、c を regret という.

ここでは$carrow \mathrm{O}$のとき,$\omega(c)$の二次近似をあたえる. 過去の結果にふれると, $p=1$ で正規分布のとき, Robbins(’59) は$S_{m},$$\cdots,$$S_{n}(n=m, m+1, \cdots)$ が独立であることを示して,じ仮定の下で, Starr $(’ 66)$ は

結果 $\omega(c)=O(c)$らは, $m$ は$c$$R_{c}^{*}/R_{n_{e}}arrow 1$を示した.

$\overline{X}_{n}$とEN の数値例をあたえた. 同を示し, Starr and Woodroofe $(’ 69)$ はより強い

また Woodroofe $(’ 77)$ は $\omega(c)=\frac{c}{2}+o(c)$ を示した.

これに依存しない. 多次元正規分布のとき, Khan(’68), Rohatgi and O’Nei11(’73)

は共分散行列が未知な成分を持っ対角行列の仮定の下で推定問題を考えてぃる.

-oe の

正値行タリのとき, Ghosh, Sinha and Mukhapadyay $(’ 76)$ , Wang(’80) $l\mathrm{J}\omega(c)=O(c)$ をあたえた.

非正規分布として, Starr and Woodroofe $(’ 72)$ は指数分布の場合を扱ってぃる.

また\mbox{\boldmath $\omega$}(c) $\leq O(c)$ を示し$(’ 83)$$_{arrow}^{-}.\cdot$-‘R 元のとき, Ghosh and Mukhopadhyay $(’ 79)$ , Martinsek$\sqrt$はこの論文と同じ問題を扱っている.

order をあたえた.

前者は Rc*/R、c\rightarrow l を, 後者 t 化 (c) の second

また Ghosh, Mukhopadyay and Sen $(’ 97)$ を見よ.

また, Takffia and Nagao $(’ 01)$ と Nagao $(’ 02)$ は Linex loss の下で前者は多変量正規分布の平均, 後者は回帰係数の問題を取り扱っている.

Nagao and Srivastava $(’ 02)$ は多変量

正規分布の下での平均の fixed width confidence region を求めてぃる.

3. stopping time の平均$U_{c}=N(\mathrm{t}\mathrm{r}\Sigma/\mathrm{t}\mathrm{r}S_{N})^{1/2}$

いる。

–n。を excess といい、 $U_{c}arrow U$ に法則収束することが知られて$\mathrm{E}(\overline{X}_{N}-\mu)’(\overline{X}_{N}-\mu)$を求めるのであるから、 同じょうな問題を取り扱ってぃる

Aras and Woodroofe $(’ 93)$ とは異なる。 これを計算するには、 $\mu=0$ として良い。 $Z_{n}=$147 147$n(\mathrm{t}\mathrm{r}\Sigma/\mathrm{t}\mathrm{r}S_{n})^{1/2}$

とおくと,$Z_{n}=W_{n}+\xi_{n}$

となる.

なお,

$W_{n}=\Sigma_{i=1}^{n}(3-(\mathrm{t}\mathrm{r}\Sigma)^{-1}X_{i}’X_{i})/2$,$\xi_{n}=n(\mathrm{t}\mathrm{r}\Sigma)^{-1}\overline{X}_{n}’\overline{X}_{n}/2$$+3*^{-5/2}n(\mathrm{t}\mathrm{r}(S_{n}-\Sigma))^{2}(\mathrm{t}\mathrm{r}\Sigma)^{2}/8$

ただし、$*\in(\mathrm{t}\mathrm{r}\Sigma, \mathrm{t}\mathrm{r}S_{n})$,. よって Wald の Lemma 等を用いて,定理 3.1. stopping time $N$ に対して,$\mathrm{E}(N-n_{c})=$$\nu-\frac{1}{2}-\frac{3}{8}(\mathrm{t}\mathrm{r}\Sigma)^{-2}\mathrm{V}\mathrm{a}\mathrm{r}((X-\mu)’$$\mathrm{x}(X-\mu))+o(1)$ただし,$\nu=\mathrm{E}(U)$4. regret,.

$\omega(c)\sigma)_{\mathrm{n}^{4}}^{\overline{\Xi}}\ovalbox{\tt\small REJECT}$$\omega(c)$$=\mathrm{E}(\overline{X}_{N}’\overline{X}_{N})+c\mathrm{E}(N)-2cn_{c}$$=\mathrm{E}(\overline{X}_{N}’\overline{X}_{N}-cN)+2c\mathrm{E}(N-n_{c})$$=c \mathrm{E}(\frac{1}{c}\overline{X}_{N}’\overline{X}_{N}-N)+2c\mathrm{E}(N-n_{c})$そこで$\mathrm{E}(\frac{1}{c}\overline{X}_{N}’\overline{X}_{N}-N)$$\{Y_{n}, F_{n}, 1\leq n<\infty\}$$0,$ $Z_{n}=Y_{n}-Y_{n-1}$

.

を考える.

を確率過程とする.

とする.

ただし,

$Y_{n}$は$\mathcal{F}_{n}$-可測とし,$\mathcal{F}_{0}=\{\phi, \Omega\},Y_{0}=$すると,補題 4.1. (Chow, Robbins and Teicher). もし $Y_{n}\geq 0(n=1,2, \cdots)$ ならば, 任意のstopping time$t$

[こ対して,$\mathrm{E}(\dot{.}\sum_{=1}^{t}z.\cdot)=\mathrm{E}(\sum_{i=1}^{t}\mathrm{E}(z_{\dot{l}}|F_{-1}\dot{.}))$

上の補題より、$S_{n}^{*}= \sum_{\dot{\iota}=1}^{n}X_{i}$とおくと,である力 ら,$\backslash$$\mathrm{E}(S_{N}^{*’}S_{N}^{*})=(\mathrm{t}\mathrm{r}\Sigma)\mathrm{E}(N)$$\mathrm{E}(\frac{1}{c}\overline{X}_{N}’\overline{X}_{N}-N)=I+II$

148
ただし,

である.

$I$

$=\mathrm{E}(S_{N}^{*’}S_{N}^{*}((cN^{2})^{-1}-(\mathrm{t}\mathrm{r}S_{N})^{-1})$.

$II=\mathrm{E}(S_{N}^{*’}S_{N}^{*}((\mathrm{t}\mathrm{r}S_{N})^{-1}-(\mathrm{t}\mathrm{r}\Sigma)^{-1}))$

したがって,.

$I=- \mathrm{E}(S_{N}^{*}S_{N}^{*}\frac{(\mathrm{t}\mathrm{r}\Sigma)^{-1/2}}{N}U_{c}(\frac{1}{\sqrt{c}N}+\frac{1}{\sqrt{\mathrm{t}\mathrm{r}N}}))’$

すると,$n_{c}>(N-1)( \frac{\mathrm{t}\mathrm{r}\Sigma}{\mathrm{t}\mathrm{r}S_{N-1}})$を用いて、 Taylar 展開することにょり、$U_{c} \leq\frac{3}{2}n_{c}(N-1)^{-1}+\frac{3}{8}n_{c}(N-1)^{-3/2}$$\frac{n_{c}}{N}$が$\mathrm{u}.\cdot$.

. (uniformly integrable) を示す必要がある. またその他後の計算のために必要な事項をまとめる.

補題 42.

詳$\text{しく}$は,$Q_{n}=\Sigma_{\dot{\iota}=1}^{n}X_{1}’.X_{\dot{l}}$Chow and Martinsek $(’ 82)$ を見よ.

とおく.

ただし,

$Q_{0}=0$. ここで, $\delta c^{-1/4}\leq m=o(c^{-1/2})$ を満たす正の数\mbox{\boldmath $\delta$}が存在するとする.

(1) もし $\mathrm{E}(X’X)<\infty$ であるならば, 任意の $q>0$ に対して,(2) もし $t\geq 1$ に対して,$\mathrm{E}(X’X)^{t}<\infty$

ならば,(3) もし $t\geq 1$ に対して $\mathrm{E}(X’X)^{t}<\infty$ ならば,
(4) もし $t\geq 2$ に対して $\mathrm{E}(X’X)^{t}<\infty$ ならば,

これよ$\text{り},$$I=-2\nu+o(1)$ となる.

$( \frac{N}{n_{c}})^{t}\#\mathrm{h}\mathrm{u}.\mathrm{i}$1’$|_{\overline{n_{c}}}S_{N}^{*}S_{N}^{*}|^{t}$$( \frac{n_{c}}{N})^{q}$は$\mathrm{i}.\mathrm{u}$. である.

. である.

は$\mathrm{u}.\mathrm{i}$. である.

$| \frac{1}{\sqrt{n_{c}}}(Q_{N}-N\mathrm{t}\mathrm{r}\Sigma)|^{t}$は$\mathrm{u}.\mathrm{i}$. である.

149 149
次に,$II$について考える.

$II_{a}=$$II=II_{a}+II_{b}$ とおくと,$\frac{(\mathrm{t}\mathrm{r}\Sigma)^{-1}}{n_{c}}\mathrm{E}\{(S_{N}^{*’}S_{N}^{*}-\mathrm{t}\mathrm{r}V_{N})(N$$-(\mathrm{t}\mathrm{r}\Sigma)^{-1}\mathrm{t}\mathrm{r}V_{N})\}$$II_{b}=$$\frac{1}{n_{c}}\mathrm{E}\{(S_{N}^{*}S_{N}^{*}-\mathrm{t}\mathrm{r}V_{N})(n_{c}-’(\mathrm{t}\mathrm{r}\Sigma)^{-1}\mathrm{t}\mathrm{r}V_{N})$$\cross(\mathrm{t}\mathrm{r}V_{N})^{-1}(N-(\mathrm{t}\mathrm{r}\Sigma)^{-1}\mathrm{t}\mathrm{r}V_{N})\}$$+( \mathrm{t}\mathrm{r}\Sigma)^{-1}\mathrm{E}(\frac{1}{N}S_{N}^{*}S_{N}^{*})’$となる.

$II_{a}$.

を求めるために, 次の 2 つの補題を必要とする.

補題 4.3.
$\frac{1}{n_{c}}\mathrm{E}(\frac{1}{N}S_{N}^{*’}S_{N}^{*})^{2}=o(1)$,,$\frac{1}{n_{c}}\mathrm{E}(\frac{1}{N}(S_{N}^{*}S_{N}^{*})^{2})=’(\mathrm{t}\mathrm{r}\Sigma)^{2}+2\mathrm{t}\mathrm{r}\Sigma^{2}+o(1)$$\frac{1}{n_{c}}\mathrm{E}(\frac{1}{N}Q_{N}(S_{N}^{*’}S_{N}^{*}))=(\mathrm{t}\mathrm{r}\Sigma)^{2}+o(1)$.

証明の概略。 最初の項は H\"older の不等式を用いて、補題 42 を用いる。 次の項は、$\frac{1}{n_{c}}\mathrm{E}(\frac{1}{N}(S_{N}^{*’}S_{N}^{*})^{2})=\frac{n_{c}}{N}\mathrm{E}(\frac{1}{n_{c}}(S_{N}^{*’}S_{N}^{*})^{2})$とし、 再ひ補題 42 を用いる。 最後の項は$\frac{1}{n_{c}}\mathrm{E}(\frac{1}{N}Q_{N}(S_{N}^{*’}S_{N}^{*}))=\frac{1}{n_{c}}\mathrm{E}(\frac{1}{N}(Q_{N}-N\mathrm{t}\mathrm{r}\Sigma)(S_{N}^{*’}S_{N}^{*})+(\mathrm{t}\mathrm{r}\Sigma)^{-1}\mathrm{E}(\frac{N}{n_{c}})$より得る。
補題 4.1 を用いることによって次を得る。

150
補題 44.
$\mathrm{E}(S_{N}^{*’}S_{N}^{*}-Q_{N})^{2}=4\mathrm{E}(\Sigma_{k=1}^{N}S_{k-1}^{*’}\Sigma S_{k-1}^{*})$,$\mathrm{E}((\mathrm{t}\mathrm{r}\Sigma)^{-1}S_{N}^{*’}S_{N}^{*}-N)^{2}=4(\mathrm{t}\mathrm{r}\Sigma)^{-2}\mathrm{E}(\Sigma_{k=1}^{N}S_{k-1}^{*’}$$\cross\Sigma S_{k-1}^{*})+4(\mathrm{t}\mathrm{r}\Sigma)^{-2}\mathrm{E}((X’X)X’)\mathrm{E}\Sigma_{i=1}^{N}S_{i-1}^{*}$,$+\{(\mathrm{t}\mathrm{r}\Sigma)^{-2}\mathrm{E}(X’X. )^{2}-1\}\mathrm{E}(N)$$\mathrm{E}((\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N}-N)^{2}=((\mathrm{t}\mathrm{r}\Sigma)^{-2}\mathrm{E}(X’X)^{2}$-1)E(N).
$\mathrm{t}\mathrm{r}V_{N}=Q_{N}-\frac{1}{N}S_{N}^{*}S_{N}^{*}’$, 補題 4.2, 4.3 を用いて, 次を得る.

$II_{a}= \frac{(\mathrm{t}\mathrm{r}\Sigma)^{-1}}{n_{c}}\{\mathrm{E}$($S_{N}^{*’}S_{N}^{*}$-Ntrl)$(N-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N})$$+(\mathrm{t}\mathrm{r}\Sigma)\mathrm{E}(N-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N})^{2}\}+2(\mathrm{t}\mathrm{r}\Sigma^{2})$$\cross(\mathrm{t}\mathrm{r}\Sigma)^{-2}+o(1)$また次であることを用いる.

.

$2\mathrm{E}((\mathrm{t}\mathrm{r}\Sigma)^{-1}S_{N}^{*’}S_{N}^{*}-N)$’$\cross((\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N}-N)=-(\mathrm{t}\mathrm{r}\Sigma)^{-2}\mathrm{E}(S_{N}^{*}S_{N}^{*}-Q_{N})^{2}$$+\mathrm{E}((\mathrm{t}\mathrm{r}\Sigma)^{-1}S_{N}^{*’}S_{N}^{*}-N)^{2}+\mathrm{E}((\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N}-N)^{2}$.

補題 4.1 上り, 次の補題を得る.

補題 45.
$\mathrm{E}(S_{N}^{*’}S_{N}^{*}-Q_{N})^{2}=4\mathrm{E}(\sum_{k=1}^{N}S_{k-1}^{*’}\Sigma S_{k-1}^{*})$,$\mathrm{E}((\mathrm{t}\mathrm{r}\Sigma)^{-1}S_{N}^{*’}S_{N}^{*}-N)^{2}=4(\mathrm{t}\mathrm{r}\Sigma)^{-2}\mathrm{E}(\sum_{k=1}^{N}S_{k-1}^{*’}$$\mathrm{x}\Sigma S_{k-1}^{*})+4(\mathrm{t}\mathrm{r}\Sigma)^{-2}\mathrm{E}((X’X)X’)\mathrm{E}\sum_{i=1}^{N}S_{i-1}^{*}$$+\{(\mathrm{t}\mathrm{r}\Sigma)^{-2}\mathrm{E}(X’X)^{2}-1\}\mathrm{E}(N)$,$\mathrm{E}((\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N}-N)^{2}=((\mathrm{t}\mathrm{r}\Sigma)^{-2}\mathrm{E}(X’X)^{2}$-1)E(N).

151 151
また次の補題を必要とする.

補題 46. 次の関係式が成り立つ.
$\mathrm{E}\sum_{i=1}^{N}S_{i-1}^{*}=\mathrm{E}NS_{N}^{*}$

証明

$a$

$\text{。}$とおく$\text{。}$を $p\cross 1$ の固定したベクトノレとする。 $u_{i}=a’X_{i}$とし、 $a’S_{N}^{*}=U_{N}= \sum_{i=1}^{N}u_{\dot{l}}$また $U_{0}=0$ とし、 $Y_{n}=nU_{n}$ とおくと、$Y_{n}-Y_{n-1}=U_{n-1}+nu_{n}$.

となる。すると、 $Y_{n}=\Sigma_{j=1}^{n}(U_{j-1}+ju_{j})$ . 従って、$\mathrm{E}NU_{N}=\mathrm{E}\sum_{j=1}^{N}(U_{j-1}+ju_{j})=\mathrm{E}\sum_{j=1}^{N}U_{j-1}+\mathrm{E}\sum_{j=1}^{N}ju_{j}$この補題を示すためには、$\mathrm{E}\sum_{j=1}^{N}U_{j-1}$と$\mathrm{E}\sum_{j=1}^{N}juj$.

が絶対収束を示す必要がある。 すると、$\mathrm{E}|\sum_{j=1}ju_{j}|\leq \mathrm{E}(N\sum_{j=1}|u_{j}|)\leq(\mathrm{E}N^{2})^{1/2}\{\mathrm{E}(\sum_{j=1}|u_{j}|)^{2}\}^{1/2}$となる。
$\mathrm{E}(\Sigma_{j=1}^{N}|u_{j}|)^{2}=$$\mathrm{E}\{(\sum_{j=1}^{N}(|u_{j}|-\mathrm{E}|u_{j}|))+N\mathrm{E}|u_{1}|\}^{2}$$\leq 2\{\mathrm{E}(\sum_{j=1}^{N}(|u_{j}|-\mathrm{E}|u_{j}|))^{2}\}+(\mathrm{E}N^{2})(\mathrm{E}|u_{1}|)^{2}\}$であり、 また$\mathrm{E}\Sigma_{j=}^{N}\sim u_{j}$$\mathrm{E}(\Sigma_{j=1}^{N}(|u_{j}|-\mathrm{E}(|u_{j}|))^{2}=(\mathrm{E}N)\mathrm{V}\mathrm{a}\mathrm{r}(|u_{1}|)\leq(\mathrm{E}N)(\mathrm{E}(u_{1}^{2})$は絶対収束する。 次に$\Sigma_{j=1}^{N}U_{j-1}$を考える。 すると、,

である力] ら$|Uj-1|\leq\Sigma_{\dot{\iota}=1}^{j}|u_{i}|$であるから、 $\Sigma_{j=1}^{N}|U_{j-1}|\leq\Sigma_{i=1}^{N}(N-i+1)|u_{i}|\leq N\Sigma_{i=1}^{N}|u_{i}|$ を得る。 補題 4.1 と似た計算によって結果を得る。
上の関係式と$\mathrm{E}S_{N}^{*}=0$を用いて次を得る.

$II_{a}=-2 \frac{(\mathrm{t}\mathrm{r}\Sigma)^{-2}}{n_{c}}\mathrm{E}(X’XX’)\mathrm{E}(N-n_{c})S_{N}^{*}$$+2(\mathrm{t}\mathrm{r}\Sigma^{2})(\mathrm{t}\mathrm{r}\Sigma)^{-2}+o(1)$.

152$N-n_{c}=U_{c}+((\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N}-N)-\xi_{N}$であるから,$II_{a}=-\{\mathrm{E}(X’XX’)\}\{\mathrm{E}(XX’X)\}(\mathrm{t}\mathrm{r}\Sigma)^{-3}$$+2(\mathrm{t}\mathrm{r}\Sigma^{2})(\mathrm{t}\mathrm{r}\Sigma)^{-2}+o(1)$また,$II_{b}=II_{b_{1}}+II_{b_{2}}$

とおく.

.

ただし,

$II_{b_{1}}= \frac{1}{n_{c}}\mathrm{E}\{(S_{N}^{*}S_{N}^{*}-\mathrm{t}\mathrm{r}V_{N})(N-’(\mathrm{t}\mathrm{r}\Sigma)^{-1}\mathrm{t}\mathrm{r}V_{N})$$\cross((\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N}-U_{c}+\xi_{N}-(\mathrm{t}\mathrm{r}\Sigma)^{-1}\mathrm{t}\mathrm{r}V_{N})$,$\cross(\mathrm{t}\mathrm{r}V_{N})^{-1}\}+(\mathrm{t}\mathrm{r}\Sigma)^{-1}\mathrm{E}(\frac{1}{N}S_{N}^{*’}S_{N})$$II_{b_{2}}= \frac{3}{2}\frac{1}{n_{c}}\mathrm{E}\{(S_{N}^{*’}S_{N}^{*}-\mathrm{t}\mathrm{r}V_{N})(N-(\mathrm{t}\mathrm{r}\Sigma)^{-1}\mathrm{t}\mathrm{r}V_{N})$$\cross(N-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N})(\mathrm{t}\mathrm{r}V_{N})^{-1}\}$$( \mathrm{t}\mathrm{r}V_{N})^{-1}\leq(\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t})\frac{n_{c}^{2}}{N^{3}}$であるから,.

$II_{b_{1}}=1+o(1)$ である.

trVN=QN-SN*’SN*/N を用

いると,$II_{b_{2}}$$= \frac{3}{2n_{c}}\mathrm{E}\{\frac{(\mathrm{t}\mathrm{r}\Sigma)^{-1}}{N}(S_{N}^{*’}S_{N}^{*})^{2}(N-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N})$’$\cross(\mathrm{t}\mathrm{r}V_{N})^{-1}\}-\frac{3}{2n_{c}}(\mathrm{t}\mathrm{r}\Sigma)^{-1}\mathrm{E}(\frac{1}{N}S_{N}^{*}S_{N}^{*}(N-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N}))$$- \frac{3}{2n_{c}}\mathrm{E}(N-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N})^{2}$.

$+ \frac{3}{2n_{c}}\mathrm{E}\{S_{N}^{*’}S_{N}^{*}(N-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N})^{2}(\mathrm{t}\mathrm{r}V_{N})^{-1}\}$

上の最初の項は H\"older の不等式で評価すると $O(n_{c}^{-1/2})$ . また次の項も $o(n_{c}^{-1/2})$ となり、
$II_{b_{2}}=$$- \frac{3}{2n_{c}}\mathrm{E}(N-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N})^{2}$$+ \frac{3}{2n_{c}}\mathrm{E}\{S_{N}^{*’}S_{N}^{*}(N-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N})^{2}(\mathrm{t}\mathrm{r}V_{N})^{-1}\}+o(1)$153 153となる。 上の を除いた第 2 項は$\frac{3}{2}$$\frac{1}{n_{c}}\mathrm{E}\{S_{N}^{*’}S_{N}^{*}(N-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N})^{2}(\mathrm{t}\mathrm{r}V_{N})^{-1}\}$$= \frac{(\mathrm{t}\mathrm{r}\Sigma)^{-1}}{n_{c}^{2}}\mathrm{E}\{S_{N}^{*’}S_{N}^{*}(N-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N})^{2}\}+\frac{1}{n_{c}^{2}}\mathrm{E}\{S_{N}^{*’}S_{N}^{*}$$\cross(N-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N})^{2}(n_{c}-(\mathrm{t}\mathrm{r}\Sigma)^{-1}(\mathrm{t}\mathrm{r}V_{N}))(\mathrm{t}\mathrm{r}V_{N})^{-1})\}$となる。
$\mathrm{E}S_{N}^{*’}S_{N}^{*}(N-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{N})^{2}=\mathrm{E}(1-(\mathrm{t}\mathrm{r}\Sigma)^{-1}X’X)^{2}\mathrm{E}\sum_{\alpha=1}^{N}S_{\alpha-1}^{*’}S_{\alpha-1}^{*}$$+4 \mathrm{E}\sum_{\alpha=1}^{N}\mathrm{E}(1-(\mathrm{t}\mathrm{r}\Sigma)^{-1}X’X)(X’S_{\alpha-1}^{*})(\alpha-1-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{\alpha-1})$$+2 \mathrm{E}\sum_{\alpha=1}^{N}\mathrm{E}(1-(\mathrm{t}\mathrm{r}\Sigma)^{-1}X’X)^{2}(X’S_{\alpha-1}^{*})+(\mathrm{t}\mathrm{r}\Sigma)\mathrm{E}\sum_{\alpha=1}^{N}(\alpha-1$$-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{\alpha-1})^{2}+2\mathrm{E}(X’X)(1-(\mathrm{t}\mathrm{r}\Sigma)^{-1}X’X)$$\mathrm{x}\mathrm{E}\Sigma_{\alpha=1}^{N}(\alpha-1-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{\alpha-1})+\mathrm{E}(X’X)(1-(\mathrm{t}\mathrm{r}\Sigma)^{-1}X’X)^{2}\mathrm{E}(N)$

補題 4.7.

$a$

を

$p$

$\cross 1$

ベクトルとする。 すると次が成り立つ。

$\frac{1}{n_{c}^{2}}\mathrm{E}\sum_{\alpha=1}^{N}S_{\alpha-1}^{*’}S_{\alpha-1}^{*}=\frac{1}{2}\mathrm{E}(X’X)+o(1)$.

$\frac{1}{n_{c}^{2}}\mathrm{E}\sum_{\alpha=1}^{N}a’S_{\alpha-1}^{*}(\alpha-1-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{\alpha-1})=\frac{1}{2}\mathrm{E}a’X$$\cross(1-(\mathrm{t}\mathrm{r}\Sigma)^{-1}X’X)+o(1)$.

$\frac{1}{n_{c}^{2}}\mathrm{E}a’\sum_{\alpha=1}^{N}S_{\alpha-1}^{*}=\frac{1}{n_{c}^{2}}\mathrm{E}a’NS_{N}^{*}=o(1)$$\frac{1}{n_{c}^{2}}$E\mbox{\boldmath $\alpha$}\Sigma N=l(\mbox{\boldmath $\alpha$}-l-(tr\Sigma )-lQ。-1)2$= \frac{1}{2}\mathrm{E}(1-(\mathrm{t}\mathrm{r}\Sigma)^{-1}X’X)^{2}+o(1)$$\frac{1}{n_{c}^{2}}\mathrm{E}\sum_{\alpha=1}^{N}(\alpha-1-(\mathrm{t}\mathrm{r}\Sigma)^{-1}Q_{\alpha-1})=o(1)$補題 4.1. と$U_{c}$.

, N-n。の関係式を用いると次を得る.

,

.

154
$II_{b}=3(\mathrm{t}\mathrm{r}\Sigma)^{-1}\mathrm{E}(X’XX’)\mathrm{E}(XX’X)+2(\mathrm{t}\mathrm{r}\Sigma)^{-2}$$\cross(\mathrm{t}\mathrm{r}\Sigma^{2})+1+o(1)$.

従って, 次を得る.

定理 4.1. あるて,$\epsilon>0$に対して,$\delta c^{-1/4}\leq m=o(c^{-1/2})$$\mathrm{E}((X-\mu)’(X-\mu))^{4+\epsilon}<\infty$のとき, regret$\omega(c)$であり, ある $\delta>0$ に対しは$\omega(c)=c\{2(\mathrm{t}\mathrm{r}\Sigma)^{-3}(m_{3}m_{3}’)+2(\mathrm{t}\mathrm{r}\Sigma)^{-2}(\mathrm{t}\mathrm{r}\Sigma^{2})$$-3(\mathrm{t}\mathrm{r}\Sigma)^{-2}\mathrm{V}\mathrm{a}\mathrm{r}((X-\mu)’(X-\mu))/4\}+o(c)$ただし,$m_{3}=\mathrm{E}(X-\mu)’(X-\mu)(X-\mu)’$

,

.

5. 例
ここでいくつかの例を述べる。
$p$次元正規分布を考える。 すると$\frac{c}{2p}+o(c)\leq\omega(c)=\frac{c}{2}\frac{\mathrm{t}\mathrm{r}\Sigma^{2}}{(\mathrm{t}\mathrm{r}\Sigma)^{2}}+o(c)\leq\frac{c}{2}+o(c)$これより、すべての$p$に対して、 regret は$carrow \mathrm{O}$.

のとき\Sigma には無関係に有界となる。

この定理は多変量解析での多くのモデルを含む。例えば、 Khan (68) および Rohatagi andO’Neill $(’ 73)$$\text{ら}$regretでは共分散行列として\Sigma$=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\sigma_{1}^{2}, \cdots, \sigma_{\mathrm{p}}^{2})$を考えた。 すると上の結果が$1\mathrm{h}$.

$\omega(c)=\frac{c}{2}\frac{\sum_{i_{-}^{-}1}^{p}\sigma_{i}^{4}}{(\sum_{i=1}^{p}\sigma_{i}^{2})^{2}}+o(c)$つぎに 次元正規分布の共分散行列が\Sigma $=\sigma^{2}[(1-\rho)I_{p}+\rho(1, \cdot\cdot’, 1)’(1, \cdots, 1)]$ のとき、
$p$regret は$\omega(c)=c(\frac{1+\overline{p-1}\rho^{2}}{2p})+o(c)$.

155 155
ただし、 $- \frac{1}{p-1}<\rho<1$ . この表現からは、$\omega(c)$は$\sigma^{2}$に無関係になる。 終わりに、誤差分布として、 自由度 を持つ多次元 分布を考
$k$

$t$

える。

確率ベクトル $U$ と確率変数 V は互いに独立とする。 その分布は前者は平均 0 共分散行列$\Sigma$を持つ p 次元正規分布とする。 また V は自由度 k の\chi 2 分布とする。 このとき、

V/k\sigma ) 分布を多次元 分布という。例えば Anderson (1984) を見よ。 すると、
Z=U/ $\sqrt$$t$

Var(Z’Z)$=2( \frac{k}{k-2})^{2}\{\frac{k-2}{k-4}\mathrm{t}\mathrm{r}\Sigma^{2}+\frac{1}{k-4}(\mathrm{t}\mathrm{r}\Sigma)^{2}\}$.

であるから、

また $\mathrm{E}(Z’ZZ’)=0$$\omega(c)=$$c \{\frac{(k-10)}{2(k-4)}\frac{\mathrm{t}\mathrm{r}\Sigma^{2}}{(\mathrm{t}\mathrm{r}\Sigma)^{2}}-\frac{3}{2(k-4)}\}+o(c)$if $10<k<13$ .

$\leq\frac{c(k-13)}{2(k-4)}+o(c)$また $4<k\leq 10$ のとき、$\omega(c)\leq\frac{c}{2(k-4)}\{\frac{(k-10)}{p}-3\}+o(c)$$= \frac{c}{2(k-4)}(\frac{k-10-3p}{p})+o(c)$従って、 $4<k<13$ となる k を選ぶと、すべての$p$.

に対して、 regret 11 近的に negatiとなる。 これはこの逐次法がたとえ共分散行列がkn0

爾任△辰討癲 よりよいことを示している。 $p=1$ のとき、 Martinsek $(’ 88)$ は数値

例を通じて negative regret を論じている。 また $p=1$ のとき、 Ghosh, Mukhopadhyay

and Sen $(’ 97)$ I ま$t$

分布 [こついて、 $k\leq 7$ のとき、 negative であると述べて$\mathrm{a}$$\mathrm{A}$

る。

参考文献

[1] Anderson,$\mathrm{T}.\mathrm{W}.(1984)$

An introduction to Multivariate Statistical Analysis.

tion. John Wiley&Sons, New York.

$2\mathrm{n}\mathrm{d}$

Edi-

156
[2] Chow,$\mathrm{Y}.\mathrm{S}$. and Martinsek,$\mathrm{A}.\mathrm{T}.(1982)$

Bounded regret of a sequential procedure for

estimation of the mean. Ann. Statist., 10, 909914.
[3] Chow, Y.S., Robbins, H. and Teicher, H.(1965). Moments of randomly stopped sums.

Ann. Math. Statist. 36, 789799.
[4] Ghosh,$\mathrm{M}.$and Mukhopadhyay,$\mathrm{N}.(1979).$

Sequential point estimation of the mean

when the distribution is unspecified. Commun. Statist. Theory Methods A., 8, 637-652.

[5] Ghosh, M., Mukhopadhyay, N. and$\mathrm{S}\mathrm{e}\mathrm{n},$$\mathrm{P}.\mathrm{K}.(1997).$

Sequential Estimation. John

Wiley&Sons, New York.
[6] Ghosh, M., Sinha,$\mathrm{B}.\mathrm{K}.$and Mukhopadhyay, N.(1976). Multivariate sequential point

estimation. Jour. Multivar. Anal., 6, 281-294.
[7] Khan,$\mathrm{R}.\mathrm{A}.(1968).$

distribution.

$\mathrm{S}\mathrm{a}\mathrm{n}\mathrm{k}\mathrm{h}\mathrm{y}\overline{\mathrm{a}}$Sequential estimation of the mean vector of amultivariate normal

Ser. A. 30, 331-342.

[8] Martinsek, AT.(1983). Second order approximation to the risk of asequential procedure. Ann. Statist., 11, 827-836; Correction (1986), Ann. Statist., 14, 359.
[9] Martinsek,$\mathrm{A}.\mathrm{T}.(1988)$. Negative regret, optional stopping, and the elimination ofoutliers. Jour. Amer. Statist. Assoc. 83, 160163.

[10] Nagao, H.(2002) Sequential estimations of some vector in linear regression model
under alinex loss. To appear in Scien. Math. Japon.
[11] Nagao, H. and Srivastava,$\mathrm{M}.\mathrm{S}.(2002)$. Fixed width confidence region for the meanof a multivariate normal distribution. Jour. Multivar. Anal., 81, 259273.

157 157[12] Robbins, H.(1959). Sequential estimation of the mean of anormal population. In

Probability and Statistics, H. Cram\’er Volume (ed. by U. Grenander),$23\mathrm{k}245$. Uppsala:Almquist and Wiksell.

[13] Rohatgi,$\mathrm{V}.\mathrm{K}$. and O’Neill,$\mathrm{R}.\mathrm{T}.(1973)$. On

multinormal population. Ann. Inst. Statist.

$\mathrm{s}\Re \mathrm{u}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{a}\mathrm{l}$$\mathrm{M}\mathrm{a}\mathrm{t}\mathrm{h}.,25\backslash$estimation of the mean of a’321-325.

[14] Starr, N.(1966). On the asymptotic efficiency of asequential procedure for estimating

the mean. Ann. Math. Statist., 36, 117&1185.
[15] Starr, N. and Woodroofe, M.(1969). Remarks on sequential point estimation. Proc.

Nat. Acad. Sci. USA, 63, 285-288.
[16] Starr, N. and Woodroofe, M.(1972). Further remarks on sequential estimation: The

exponential case. Ann. Math. Statist., 43, 1147-1154.
[17] Takada, Y. and Nagao, H. (2001). Sequential point estimation of amultivariate nor-mal mean vector under alinex loss function. Submitted for publication.

[18] Wang,$\mathrm{Y}.\mathrm{H}.(1980)$. Sequential estimation of the$\mathrm{m}\mathrm{e}\mathrm{m}$of a multinomal population.

Jour. Amer. Statist. Assoc., 75, 977-983.
[19] Woodroofe, M.(1977). Second order approximations for sequential point and interval

estimation. Ann. Statist., 5, 984995.