数理解析研究所講究録
第 723 巻 1990 年 15-23

15

点推定における漸近有効性とその問題点
M2

大阪大学基礎工学部

高木祥司

平成元年 11 月 16 日
1

序文

以前より, 推定量の良さの測度として有効性の概念が考えられてきた. そして,この概念において, 最尤推定量 (MLE) は最良な推定量であるか,という理論が様々な方法で研究されてきた. そこで, 2 節でいくつかのよく知られた概念を述べ、 3 節で、 BAadur の意味での漸近有効性の概念を述べ, その特長や問題点を例を用いて考えてみることにする.

2 記号と一般的な概念
以下で用いる記号を次のように定義する.

確率変数を$X_{1},$ $X_{2},$$\cdots$, 母数空間$\Theta$は開区間,

密度を $j(x|\theta)$ , 尤度を $f(s| \theta)=\prod_{j}^{n_{=1}}f(x;|\theta)$
対数密度を $l(x|\theta)=\log f(x|\theta)$ , 導関数を
対数尤度を
とする.

$l(s|\theta)=1ogf(s|\theta)$$l’(x| \theta)=\frac{\partial}{\partial\theta}l(x|\theta)$, Fisher 情報量を$I(\theta)$, 統計的曲率を$\gamma(\theta)$

ここで、$\mu_{ijk}=E(\frac{f’}{f})^{i}(\frac{f^{n}}{f})^{j}(\frac{j’’’}{f})^{k}$とすると、 $I(\theta)=\mu_{200}$ ,$\gamma(\theta)^{2}=\frac{1}{I^{2}}(\mu_{020}-2\mu_{210}+\mu_{400})-1-\frac{1}{I^{3}}(\mu_{110}-\mu_{300})^{2}$とな り、 この統計的曲率は、分布がどれ程指数族に近いかを表していて、指数族の場合に$0$となり、一般には

また推定量鴎の Fisher 情報量を$0$より大きい.

$I_{T}(\theta)$とする.

Fisher は, 情報量の損失で推定量の有効性を測ることを提案した $(Fisher[5],[6])$ .
つま り,

(2.1)

$nI(\theta)-I_{T}(\theta)$16の値が小さいほど亀は良い推定量であるとし, MLE の漸近有効性を予想した.

以後の Rao-Efron の研究により,

MLE の最適性に関する次の定理が成立す

6. (Rao[13],Efron[4])定理 21ある正則条件の下で

(2.2)

(2.3)
ここで,
$\Gamma$

は,

また,

,

$\lim_{narrow\infty}\{nI(\theta)-I_{T}(\theta)\}\geq I(\theta)\gamma^{2}(\theta)$$Var(T_{n}) \geq\frac{1}{nI}+\frac{1}{n^{2}I}(\gamma^{2}+4\frac{\Gamma^{2}}{I})+2\frac{\dot{b}}{n^{2}I}+o(n^{-2})$$b(\theta)$

はバイアス, つまり,$\perp_{n}b\theta 1_{=E(T_{n}}-\theta$

) で,

.

$\dot{b}=\frac{d}{d\theta}b(\theta))$

鍛に依存しない数である.
$T_{n}=\hat{\theta}_{\hslash}$(MLE) の時, いずれも等号が成立する.

また、 Rao は、適当な

馬 $b$ が存在して、$| \frac{1}{\sqrt{n}}\frac{d}{d\theta}l(s|\theta)-a-b\sqrt{n}(T_{n}-\theta)|arrow_{P}0$

ならば、 Rao の意味で一次漸近有効であると定義した.

この時、 Fisher 情報

量と次の様な関係がなりたつ.
定理 22$(Rao[12])$

Rao の意味で一次漸近有効ならば、$\underline{I}n^{Z}arrow.I$

また $\frac{d}{d\theta}l(s|\theta)-a\sqrt{n}-bn(T_{n}-\theta)-\lambda n(T_{t}-\theta)^{2}$ の分散を最小にする

び、 その分散の最小値$E_{2}$$\lambda$

を選の大きさを二次の漸近有効性の基準と考えた.

そして、$\lim_{\mathfrak{n}arrow\infty}(nI-I_{T})=E_{2}$を予想したが. Efron[4] によって否定された.

3

Bdadur に よる漸近有効性

Bahadur は一致推定量鍛の良さを$\theta$の $e$ - 近傍外での集中確率の大きさ, つまり,$\alpha(T_{n}, \theta, \epsilon)=Pr(|T_{\hslash}-\theta|>\epsilon)$

で測ることを提案し,かし,

この値が小さいほどよい推定量であると, 考えた.

しこの値を計算するのは難しく, 正確に取扱うことができない. ましてや, 最良なものは, 容易には見つけることができない. そこで,

2

この値が,

–

17

般に,

の時, 指数的に$narrow\infty$$0$に収束することより,$\beta(T_{n},\theta,\epsilon)=\lim-\log Pr(|T_{n}-\theta|>\epsilon)\underline{1}$$uarrow\infty$$n$の大きさを, 一つの測度とする (Bahadur[l]). ここで, この量は?

exponential

rate または, inaccuracy rate と呼ばれ, この値が大きいほど良い推定量であると考える. そこで, この量を$\epsilonarrow 0$

で評価することにより, 推定量の有効性を定義する. 一般に次の定理が, 成立する.
定理 31

鍛を任意の一致推定量とする.

(1) (3.1)
ここで,$\lim_{narrow}\sup_{\infty}-\frac{1}{n}\log Pr(|T_{n}-\theta|>\epsilon)\leq\inf\{K(\theta’, \theta):|\theta’-\theta|>e\}$$K(\theta’, \theta)$と呼ばれ,Kullback 情報量を表わす. また, 右辺は, Bahadur boundは,$B(\theta, \epsilon)$

.

で表わす.

(2) 次の正則条件 (RC) の下で, 以下の 2 っの式が, 成立する. (Fuu[7])
は,
に対して,
内の
において, 局
近傍(i) すべての$\theta\in\Theta$$K(\theta’, \theta)$$\delta$$\theta’$$N_{\theta,\delta}$

所 convex 関数である.

(ii) すべてのての$\theta’,$$\theta\in\Theta$$\theta’’\in N_{\theta,\delta}$(iii) すべてのが存在して,

に対して, 適当な N 廊と, 関数 $A(x, \theta)$ が存在して, すべに おいて,$\theta\in\Theta$$E(A^{2})<\infty,$ $|l’(x|\theta’’)-l’(x|\theta’)|\leq A|\theta’’-\theta’|$に対して,2 っの定数 $u=u(\theta)>0,$ $w=w(\theta)>0$$0<e<u$ に おいて, $Pr\{l’(x|\theta+\epsilon)>0\}>0$ かつ,$Pr\{l’(x|\theta-\epsilon)<0\}>0$ であり,

しかも,$\phi(t, \theta,\epsilon)=E[exp\{tl’(x|\theta+\epsilon)\}]$が, すへての $(t, \epsilon)\in(-u, u)x(-w, w)$ に関して有限である.

(iv) 偏導関数て,$( \frac{\partial}{\partial l})(\frac{\partial}{\partial\theta})\phi(t, \theta, \epsilon)$

が存在し,$(t, \epsilon)\in(-u, u)x(-w, w)$ に対し連続である.

(v) 各

$n$

と

$s$

に対して,

(3.2)
(3.3)

MLE

$\hat{\theta}_{\hslash}$は,$l_{n}’(s|\theta)=0$の,唯一の解である.

$\lim_{earrow 0}\sup\lim_{rarrow}\sup_{\infty}-\frac{1}{n\epsilon^{2}}\log\alpha(T_{n}, \theta, \epsilon)\leq\frac{I(\theta)}{2}$$e arrow 0narrow\lim 1jm_{\infty}-\frac{1}{n\epsilon^{2}}\log\alpha(\hat{\theta}_{\hslash}, \theta, \epsilon)=\frac{I(\theta)}{2}$(33) の等式を満たす推定量を, Bahadur の意味で, 一次漸近有効な推定量と呼ぶ. したがって, MLE は, Bahadur の意味で, 一次漸近有効となる.
(定理 3.1 の証明の概略)

3

18

この定理は. large deviation 理論と関連しており. 次の Chernoff の定理 (Cher$noff[3],Bahadur[1])$ を用いて証明される.
$X_{1},$ $X_{2},$$\cdots,$$X_{n}$

は独立同分布で、 $E(X_{i})\leq a$ の時、$\lim_{narrow\infty}-\frac{1}{n}\log Pr(\overline{X}_{\hslash}\geq a)=-\log[\inf_{t\geq 0}E(e^{t(X-a)})]$.

方針としては、 まず、 (v) の解の一意性より、$l’(s|\theta’)\geq 0$

if$l’(s|\theta’)\leq 0$

if$\theta’\leq\hat{\theta}_{n}$$\theta’\geq\hat{\theta}_{n}$したがって、$Pr(\frac{1}{n}\Sigma l’(x;|\theta+e)>0)=Pr(\hat{\theta}_{\hslash}-\theta>\epsilon)$$Pr(\frac{1}{n}\Sigma l’(x:|\theta-\epsilon)<0)=Pr(\hat{\theta}_{\hslash}-\theta<-e)$

ここで、 各 $l’(x;|\theta+\epsilon),$ $l’(x;|\theta-\epsilon)$ に Chernof の定理を適応すると、$\lim_{\hslash\vee\infty}-\frac{1}{n}\log Pr(\hat{\theta}_{\hslash}-\theta>\epsilon)=-\log[\inf_{t\geq 0}\phi(t, \theta,\epsilon)]$$\lim_{narrow\infty}-\frac{1}{n}\log Pr(\hat{\theta}_{n}-\theta<-\epsilon)=-\log[\inf_{t\leq 0}\phi(t, \theta, arrow\epsilon)]$

次に、 (ii) の条件より剰余項の収束性がいえて、$E(l’(x|\theta+\epsilon))=-\epsilon I+o(\epsilon)$

また、 (iii) より、$\frac{\partial}{\partial 1}\phi(t, \theta, \epsilon)=0$の解$\tau_{\theta}(\epsilon)$の一意性がいえる.

そして N(iii)(iv) より順序交換と展開を用いて、最後に、$\inf_{1\geq 0}\phi(t, \theta, e)=\phi(\tau_{\theta}(\epsilon), \theta, \epsilon)$を$\epsilon^{2}$の項まで展開すればよい.

$\tau_{\theta}(\epsilon)=\epsilon+o(\epsilon)$

であることより、$-\log[ini_{t\leq 0}\phi(t, \theta, -\epsilon)$となる.

$-\log[\phi(\tau_{\theta}(\epsilon), \theta, \epsilon)]$についても同様にす

ればよい.

分布が位置母数に対して対称である場合には, 次のような 2 つの計算上有用な命題が, 成立する.

命題 3.2

標本平均(Sievers[14]), メデイアン$\overline{X}_{\hslash}$$X_{(\})}$, MLE$\hat{\theta}_{\hslash}$の場合には s exponential rate は,次のように計算される.

,$\beta(\hat{\theta}_{\iota},\theta,\epsilon)=-\log[\inf_{t\geq 0}\phi(t, \theta,\epsilon)]$4

19$\beta(\overline{X}_{n},\theta,\epsilon)=-\log[\inf_{1\geq 0}E\{e^{t(X-\theta-e)}\}]$$\beta(X_{(\})}, \theta,\epsilon)=-\frac{1}{2}\log\{4P(1-P)\}$,.

$P=Pr(X>\theta+\epsilon)$ である.

ここで,

命題 3.3 $(Fu[8])$,$\lim_{earrow 0}-\frac{1}{\epsilon^{2}}\beta(-n\epsilon, \theta)=\frac{1}{2\sigma^{2}}$$\lim_{earrow 0}-\frac{1}{\epsilon^{2}}\beta(X_{(\})},\epsilon, \theta)=2f(0)^{2}$

ここで,

.

は, 分布の分散を表す.

$\sigma^{2}$

したがって, 相対効率は, 漸近分散のものと一致する.
また,より一般的に, 次の命題は, exponential rate と漸近分散の密接な関係を示している.

命題 3.4 ($Jures\dot{c}ov\overline{a}$一致推定量$T_{\hslash}$

and KaUenberg[ll])が, ある正則条件の下で,$\sqrt{n}(T_{n}-\theta)arrow LN(0, v(\theta))$

である

なら,
$\lim_{earrow 0}\lim_{narrow\infty}-\frac{1}{n\epsilon^{2}}\log Pr(|T_{\hslash}-\theta|>\epsilon)=\frac{1}{2v(\theta)}$が成立する.

Bahadur の意味で一次漸近有効な推定量の中で, 区別をつけるためには,より高次の有効性を考えなければならない. その時, 次の定理が成立する.
定理 3.

$(Fu[9],Fu[10])$$S$(1) 正則条件 (RC) において, (ii) と (iv) を, 次の様にかえると, (3.4) が成立する.

(ii)’ すべての$\theta\in\Theta$$\theta’,$に対して, $E(A_{4}^{2})<\infty,$ $|l^{(4)}(x|\theta’’)-l^{(4)}(x|\theta’)|\leq A_{4}|\theta’’-\theta’|$$\theta’’\in N_{\theta,\delta}$(iv)’ 偏導関数

に対して, 適当な$( \frac{\partial}{\partial\ell})^{4}(\frac{\partial}{\partial\theta})^{4}\phi(t, \theta, \epsilon)$$N_{\theta,\delta}$と,$A_{4}(x, \theta)$が存在して, すべてのが, $(t, \theta)\in(-u, u)x(-w, w)$ に対して,連続である.

(3.4)$\lim_{earrow 0}\frac{1}{\epsilon^{j}}\{B(\theta,e)-\beta(\hat{\theta}_{n}, \theta, \epsilon)\}=\{\begin{array}{l}0if\iota_{I^{2}\gamma^{2}}8ii\end{array}$5$i=4i=1,2,3$

20(2) 分布が位置母数に対して対称な場合, 位置不変一致推定量八の中で

.

(3.5)

八

$\lim_{earrow 0}\frac{1}{\epsilon^{4}}\{B(\theta, e)-\beta(T_{n}, \theta, \epsilon)\}\geq\frac{1}{8}I^{2}\gamma^{2}$の時, 等号が成立する.

$=\hat{\theta}_{\hslash}$(35) で等号が成立する推定量を, Bahadur の意味で二次漸近有効であるという. したがって, MLE は, 二次漸近有効である.
注意 3.1 exponential rate による比較での限界とバイアスの調整$\lim_{narrow\infty}C_{n}=1$

となる数列

において,

$C_{\hslash}$

一般に, 鴎と C, 勾 は同じ

exponential rate をもち, Bahadur の意味では, 推定量の良さを区別することはできない.

MLE は、

例 31

一様分布 $U(O, \theta)$ において,$\frac{n+1}{n}X_{(n)}$である. この 2 っの推定量において、$n$$X_{(n)}$で、不偏推定量は、が十分に大きいとき、$\alpha(X_{n}, \theta, \epsilon)=(\frac{\theta-\epsilon}{\theta})^{n}$$\alpha(\frac{n+1}{n}X_{n}, \theta, \epsilon)=(\frac{n}{n+1})^{u}(\frac{\theta-e}{\theta})^{i1}$となり、 exponential rate は共に、一致している. ただし, 集中度$\log\frac{\theta}{\theta-\epsilon}$$\alpha(\cdot, \theta, e)$となる. これは Bahadur bound との値では,$\frac{n+1}{n}X_{(n)}$一般に, バイアスを調整した MLE を, 最適とみなす.

の方が良い.

この考え方は, 定理

21 での Rao-Efron による平均二乗損失の下での主張と一致する.

注意 3.2 exponential rate と, 漸近分散との対比
命題 3.3 と命題 3.4 より,になる.

この 2 っの量での有効性は,ある場合には全く同じ

また, 一般には, 前者の方が, 得るのが難しく, 有用性に欠けるよ

うに思える.

しかし, 正則条件が, 満たされない時には, 次の例の様に, 前者の場合のみ, 推定量の良さを比べる事が出来る.
例 3.2$X_{1},$ $X_{2},$(Jures\v{c}ova and kallenberg[ll])$\cdots,$$X_{n}$

は,$Y_{u}=\frac{1}{n-1}\sum_{j^{-}=2}^{n}X;$$N(\theta, 1)$,の独立同分布に従っている.

$Z_{l}= \sum_{i=2}^{\hslash}(X;-Y_{\hslash})^{2}$6,$n=2,3,$$\cdots$,

21$n=2,3,$$H_{n}=\{\begin{array}{l}0ifZ_{\hslash}\leq\chi_{\hslash-2,1-\mathfrak{n}1}^{2}lotherwise\end{array}$と定義する.
して,ここで,$\chi_{k,\alpha}^{2}$

は,

自由度

$k$

の

$\chi^{2}$分布の$\alpha$$\cdots$

分位点である. そ推定量鍛を,$T_{\hslash}=(1-H_{n})Y_{n}+H_{\hslash}X_{1}$$n=2,3,$$\cdots$と定義すると,$\sqrt{n}(T_{\hslash}-\theta)arrow_{L}N(0,1)$となり,$narrow\infty$と同じ漸近分布を持つことがわかる. しかし,$\overline{X}_{n}$

この鴎において$\alpha(T_{\hslash}, \theta,\epsilon)=Pr(H_{n}=1, |X_{1}-\theta|>\epsilon)+Pr(H_{n}=0, |Y_{\hslash}-\theta|>\epsilon)$となり、 $Y_{n},$$Z_{\hslash},$$H_{\hslash}$の独立性を考えると、.

$\alpha(T_{\hslash}, \theta,\epsilon)=\frac{2}{n}\Phi(-\epsilon)+2(1-\frac{1}{n})\Phi(-\epsilon\sqrt{n-1})$

ここで,$\Phi(\cdot)$は,標準正規分布の分布関数を表す. 故に、$\alpha(T_{n}, \theta,\epsilon)\geq\frac{2}{n}\Phi(-\epsilon)$$\beta(T_{\hslash}, \theta, \epsilon)\leq\lim_{narrow\infty}-\frac{1}{n}\log\frac{2}{n}\Phi(-e)=0$

従って, exponential rate は,

$0$

となる.

このことより,近分散では区別できないが, exponential rate では j$\overline{X}_{n}$$\overline{X}_{n}$と$T_{n}$とは, 漸の方が, 慶れている事がわかる.

注意 3.3 Cauchy 分布の有効推定量

Cauchy 分布の位置母数の推定においては, 尤度方程式が多解をもつことより $(RC)(v)$ を満たさず定理 3.1 を適応できないが, この場合にも, (3.3) が成立し ‘ MLE が Bahadur の意味で一次有効であることが示されている. (Baland Fu[2])注意 3.4 超有効推定量の影響

Bahadur の有効陛は, 漸近分散の場合と違って, 超有効推定量の害を除くことができる.
例 33$N(\theta, 1)$の推定における Hodges の超有効推定量$\overline{X_{\hslash}\alpha}\overline{X}_{n}$$if|\overline{X}_{n_{1}}otherwIse|\geq n^{-\}}$$\tilde{\theta}_{n}=($

7

22

とすると

$(0<\alpha<1)$ ,$\sqrt{n}(\hat{\theta}_{\hslash}-\theta)arrow\iota N(0,1)$$\sqrt{n}(\tilde{\theta}_{n}-\theta)arrow L\{\begin{array}{l}N(0,l)N(0,\alpha^{2})\end{array}$となり, \mbox{\boldmath $\theta$}=0 で超有効点をもつ. しかし,べての$\theta$$ifif$,$\theta=0\theta\neq 0$

Bahadur の有効性た関しては, すに対して$\lim_{arrow 0}\lim_{narrow\infty}-\frac{1}{n\epsilon^{2}}\log Pr(|\tilde{\theta}_{n}-\theta|>\epsilon)=\frac{1}{2}$となり, 超有効点をもたない.

参考文献[1] Bahadur, R. R. (1971)Some limit theorems in statistics., Regional
Conference Series in Applied Mathematics, 4. SIAM, Philadelphia.
[2] Bai, Z. D. and Fu, J. C. (1987) On the maximum-likelihood estimator
for the location parameter oi a Cauchy distribution. Canadian J. of
Stat., 15, 137-146.

[3] Chernoff, H. (1952) A measure of as ymptotic efficiency for tests of ahypothesis based on the sum of observations. Ann. Math. Stat., 23,493-507.
[4] Efron, B. (1975) Defining the curvature of a statisticar problem. Ann.
Stat., 3, 1189-1242.
[5] Fisher, R. A. (1922) On the mathematical foundations of theoreticalstatistics. Philos. Trans. $Roy$. Soc. London, Ser. A., 222, 309-368.

[6] Fisher, R. A. (1925) Theory of statistical estimation. Proc. Cambridge$Ph$ ilos. Soc., 22,
700-725.
[7] Fu, J. C. (1973) On a theorem of Bahadur on the rate of convergenceof oint estimators. Ann. stat., 1, 745-749.
$p$[8] Fti, J. C. (1975) The rate of convergence of consistent point estimators.
Ann. Stat., 3, 234-240.

8

23[9] Fh, J. C. (1982) Large sample point estimation: A large deviation
theory approach. Ann. Stat. , 10, 762-771.
[10] Fu, J. C. (1985) On exponential rates of likelihood ratio estimators forlocation parameters. Stat. &Prob. Let., 3, 101-105.

[11] Jure\v{c}kova, J. and Kallenberg, W. C. M. (1987) On local inaccuracy
rates and asymptotic variances. Stat. &Dec., 5, 139-158.
[12] Rao, , R. (1961) Asymptotic efficiency and limiting information. Proc.
fifth Berk. Sympo., 1, 531-545.
$C$[13] Rao, C. R. (1963) Criteria of estimation in large sample.
189-206.

$Sakhy\overline{a}_{7}2S$,[14] Sievers, G. L. (1978) Estimates of location: A large deviation comparison. Ann. Stat., 6, 610-618.

9