数理解析研究所講究録
第 749 巻 1991 年 61-75

61Consistency of the maximum likelihood estimator :An approach from uniform consistency
赤平
鹿島

筑波大 数学系
筑波大 数学系

昌文 (Masafumi Akahira)
浩之 (Hiroyuki Kashima)

1. はじめに

最尤推定量が一致性を持つための十分条件については、 Wald $(1949)$ によって与えられたものが本質的であり、 その後多くの研究者達によってその条件を変形したものが得られている (例えば Zacks $(1971)$ ) 。ここでは少し見方を変えて次の方針で最尤推定量の一致性を示す。 まず母数空間がコンパク
ト集合である場合に、最尤推定量が一様一致性を持つための十分条件を Wald
条件から抽出して簡単化する。 次に一般の母数空間の場合に、 その条件にさらにある条件を付加することによって最尤推定量が一致性を持つための十分条件を求める。 ここで得られた十分条件は、 Wald 条件と比べると単純である点と、 ある分布が十分条件を満足しているかどうかを確認するときに、 それが容易であるという点で意義があると思われる。

2. 定義と Wald 条件

を標本空間とし、ここで\Theta は母数空間である。

上の確率測度の族とする。
を
を 次元のの部分集合と仮定し、のユークリッドノルムとする。 さらに・
とし・
個の直積を
その上の
の
から
とする。 このとき\mbox{\boldmath $\theta$}の推定量を個の直積測度をへの An-可測関数列として定義し、 これを単に で表す。 このとき、の推定量が任意のに対して、と任意の$(\mathcal{X}, A)$$\{P_{\theta};\theta\in\Theta\}$$\Theta$

を$(\mathcal{X}, \mathcal{A})$$R^{k}$$||\cdot||$$(\mathcal{X}, \mathcal{A})$$P_{\theta}$

$n$

$k$

$(\mathcal{X}^{n},\mathcal{A}^{n})$$\mathcal{X}^{n}$$n$$P_{\theta}^{n}$$\{\hat{\theta}_{n}\}$$\hat{\theta}_{n}$$\Theta$$\theta$$\epsilon>0$$\theta\in\Theta$$limP_{\theta}^{n}\{||\hat{\theta}_{n}-\theta||>\epsilon\}=0$$narrow\infty$を満たすとき、は\mbox{\boldmath $\theta$}の一致推定量であるという。 また母数空間\Theta の部分集
合 $K$ について、 \mbox{\boldmath $\theta$}の推定量\mbox{\boldmath $\theta$}n が任意のに対して、$\hat{\theta}_{n}$$\epsilon>0$$limsupP_{\theta}^{n}\{\Vert\hat{\theta}_{n}-\theta||>\epsilon\}=0$$narrow\infty_{\theta\in K}$162を満たすとき、の\mbox{\boldmath $\theta$}\in$\Theta$$\hat{\theta}_{n}$については $K$ 上で\mbox{\boldmath $\theta$}の一様一致推定量であるという。 さらに、任意$P_{\theta}$

は\mbox{\boldmath $\sigma$}有限測度\mbox{\boldmath $\mu$} に対して絶対連続で、 その密度関数を$\frac{dP_{\theta}}{d^{\mu}}=f(x :\theta)$とする。

Wald(1949) は、$\theta_{0}$を真の母数とし、最尤推定量が一致性を持つための十分条件として次の $(W1)\sim(W7)$ を上げている。

(W1)$\Theta$は閉集合である。

(W2)$f(x:\theta p)=$$su^{p}$$f(x:\theta’)$$||\theta-\theta’||\leq\rho$とし、 さらに、$f^{*}(x:\theta\rho)=\{\begin{array}{l}f(x.\theta,p)(f^{x}\theta^{\rho})>1)1(\text{その}ft\Delta)\end{array}$とするとき、十分小さな $\rho>0$ について限である。

$E_{\theta_{0}}[lo^{g}f^{*}(X:\theta^{\rho})]$

は有

(W3)
$\emptyset(x;r)=supf(x:\theta)$$||\theta||>r$とし、 さらに、$\phi^{*}(x:r)=\{\begin{array}{l}\emptyset(x.r)(\emptyset(x.r)>1)1(k\emptyset ftL)\end{array}$とするとき、十分大きな $r>0$ について

$E_{\theta_{0}}[lo^{g\phi^{*}(x} :

r)]$

は有限

である。

(W4)

$\mu$

に対してほとんど至る所の$x$2について、 $f(x:\theta)$ は$\theta$の連続関数で

63
ある。

(W5)

$\theta_{1}\neq\theta_{2}$(W6)$\lim_{iarrow\infty}||\theta_{i}||=\infty$のとき・

とんど至る所の(W7)$P_{\theta_{1}}\neq P_{\theta_{2}}$

$x$

である。

のとき、 $\lim_{i}arrow\infty f(x:\theta_{i})=0$ がについて成り立つ。

$P_{\theta_{0}}$に対してほ$E_{\theta_{0}}[|lo^{gf(X:\theta_{0})|]<\infty}$

Wald はこれらの条件の下で最尤推定量の一致性を示すために、 いくつかの補題を証明しているが、 その中でここで後に必要となる 2 つの補題のみ
を証明なしで次に述べる。

補題 2.1.
の$\theta\in\Theta$

条件 (W2)、$(W5)$ 、 $(W7)$ を仮定すれば、$\theta\neq\theta_{0}$

となる任意

について、
$E_{\theta_{0}}[logf(X : \theta)]<E_{\theta_{0}}[logf(X : \theta_{0})]$が成り立つ。

補題 22.

条件 (W2)、(W4) を仮定すれば、$\lim_{\rhoarrow 0}E_{\theta_{0}}[lo^{gf(x} :\theta\rho)]=E_{\theta_{0}}[logf(X : \theta)]$が成り立つ。

3. 最尤推定量の一様一致性と一致性を互いに独立にいずれも密度関数 $f(x:\theta)$ を持つ分布に従う確率変数であるとする。 \mbox{\boldmath $\theta$}の最尤推定量についてまず、 がコンパクト集合の場合にその上で一様一致性を考え、 さらに一般の集合の場合に一致性について考察する。
$X_{1},X_{2},$ $\cdots X_{n}$$\Theta$364
定理. 母数空間\Theta がコンパクト集合であるとき、条件 $(W4)$と、 さらに次の条件$3\cdot 1$

(A1)

$\mu$

について可積分な関数\mbox{\boldmath $\psi$}(x) が存在して、任意の$|logf(x :\theta)|f(x :$\theta,\theta’$$\in\Theta$、$(W5)$

について・\theta’)\leq\psi(x)$が成り立つならば、最尤推定量は、 \Theta 上で\mbox{\boldmath $\theta$}の一様一致推定量である。

証明. 任意の$\epsilon>0$、$\delta>0$

について、$\theta^{S_{0}u_{\in\Theta}^{pP_{\theta^{n_{0}}}\{\frac{sup_{||\theta-\theta_{0}||\geq\epsilon}f(X_{1}.:\theta)\cdots f(X_{n}:\theta)}{f(X_{1}:\theta_{0})\cdot\cdot f(X_{n}.\theta_{0})}>\delta\}}}arrow 0$$(narrow\infty)’$$(3\cdot 1)$

であることを示せぱ十分である。何故なら、 もし (3.1) が成り立つならば、を最尤推定量とすると・$\hat{\theta}_{MLn}$$f(x_{1} :\hat{\theta}_{MLn})\cdots f(x_{n} :であり、従って任意の$a.e.[\mu^{n}]$\hat{\theta}_{MLn})=su_{\Theta}\theta\in^{pf(x_{1}:\theta)\cdots f(x_{n}:\theta)}$$\epsilon>0$に対して、$P_{\theta_{0}}^{n}\{||\hat{\theta}_{MLn}-\theta_{0}\Vert>\epsilon\}$$\leq P_{\theta_{0}}^{n}$$\{$$f(X_{1} :$su^{p}$\theta)\cdots f(X_{n} :\theta)$$||\theta-\theta_{0}||\geq\epsilon$$=f(X_{1} :$\leq P_{\theta_{0}}^{n}$\hat{\theta}_{MLn})\cdots f(X_{n} :$\{ su^{p} f(X_{1} :\theta)\cdots f(X_{n} :\hat{\theta}_{MLn})\}$\theta)\geq f(X_{1}’ :\theta_{0})\cdots f(X_{n} :\theta_{0})\}$$||\theta-\theta_{0}||\geq\epsilon$$\leq P_{\theta_{0}}^{n}\{\frac{sup_{||\theta-\theta_{0}||\geq\epsilon}f(X_{1}.:\theta)\cdots f(X_{n}:\theta)}{f(X_{1}:\theta_{0})\cdot\cdot f(X_{n}.\theta_{0})}>1\}arrow 0$となるからである。 ただし、$\mu^{n}$(3.1) が成り立つことを示す。

は\mbox{\boldmath $\mu$}の$n$個の直積測度とする。 よって、以下$p( \theta\theta_{0})=\int_{\mathcal{X}}f(x;\theta_{0})logf(x;\theta)d\mu$4$(narrow\infty)$

65とすると条件 $(W4)$ $(A1)$ より、 Lebesgue 収束定理によって・ これは、 2 変数の連続関数であることが分かる。 さらに、、

$q(\theta, \theta_{0})=p(\theta_{0}, \theta_{0})-p(\theta, \theta_{0})$とすれば、 これも当然 2 変数の連続関数となる。今、$\Theta_{\epsilon}^{2}=\{(\theta, \theta_{0})|\Vert\theta-\theta_{0}\Vert\geq\epsilon, \theta,\theta_{0}\in\Theta\}$とすると、$\Theta_{\epsilon}^{2}$

は $R^{2k}$ のコンパクト部分集合であるので、

inf$q(\theta, \theta_{0})=q(\theta’, \theta_{0}’)$$(\theta,\theta_{0})\in\Theta_{\epsilon}^{2}$となる$(\theta’, \theta_{0}’)\in\Theta_{\epsilon}^{2}$が存在する。 このとき、補題 2.1 より$q(\theta’,\theta_{0}’)>0$である。 ここで、

inf$\alpha=$.

とする。
22 より、$E_{\theta_{0}}$[logf($X$:$\theta,\rho$$q(\theta, \theta_{0})>0$$(\theta,\theta_{0})\in\Theta_{\epsilon}^{2}$)] は $parrow 0$ について単調減少であることと・補題$\Theta_{0}=\{\theta\in\Theta|\Vert\theta-\theta_{0}||\geq\epsilon\}$とすると、任意の$\theta\in\Theta_{0}$に対して、$E_{\theta_{0}}[logf(X: \theta,\rho_{\theta})]-E_{\theta_{0}}[logf(X : \theta)]<\frac{\alpha}{2}$を満たすような$p_{\theta}>0$が存在する。従って、$\mu(\theta,\theta_{0})=E_{\theta_{0}}[logf(X:\theta_{0})]-E_{\theta_{O}}[logf(X:\theta,\rho_{\theta})]$とすると、$\mu(\theta, \theta_{0})>E_{\theta_{0}}[logf(X:\theta_{0})]-E_{\theta_{0}}[logf(X : \theta)]-\frac{\alpha}{2}=q(\theta, \theta_{0})-\frac{\alpha}{2}>\frac{\alpha}{2}>0$5

66
また、 (A1) より、(3.2)$\mu(\theta,\theta_{0})\leq E_{\theta_{0}}[logf(X:\theta_{0})]-E_{\theta_{0}}[logf(X:\theta)]<+\infty$すなわち、$0< \inf_{\theta_{0}\in\Theta}\mu(\theta,\theta_{0})<+\infty$

である

$0$

ここで、
$\mu=\inf_{\theta_{0}\in\Theta}\mu(\theta, \theta_{0})$とする。

$\Theta_{0}$はコンパクト集合であるので、$S(\theta:p)=\{\theta’\in R^{k}|\Vert\theta-\theta’||<\rho\}$としたとき、$\Theta_{0}\subset\bigcup_{i=1}^{h}S(\theta_{i} :p_{\theta_{i}})$を満たすような {\mbox{\boldmath $\theta$}i}i=l...h\subset \Theta が存在する。
$\sup_{\theta\in\Theta_{0}}f(x_{1} :\theta)\cdots f(x_{n} :この$\{\theta_{i}\}_{i=1\cdots h}$を用いて、\theta)$ん$\leq$$\sup$$f(x_{1} :\theta)\cdots f(x_{n} :\theta)$$i=1_{\theta\in S(\theta;:\rho_{\theta_{i}})}$$\leq\sum_{i=1}^{h}f(x_{1} :\theta_{i},\rho_{\theta;})\cdots f(x_{n} :\theta_{i},p_{\theta_{i}})$が成り立つ。従って、任意の $\delta>0$ について、$P_{\theta_{O}}^{n} \{\frac{\sup_{\theta\in\Theta_{0}}f(X_{1}:.\theta)\cdots f(X_{n}:\theta)}{f(X_{1}:\theta_{0})\cdot\cdot f(X_{n}:\theta_{0})}>\delta\}$$\leq P_{\theta_{0}}^{n}\{i=1\ovalbox{\tt\small REJECT}\Sigma hf(X:\theta_{i},p_{\theta,.:}).\cdots f(X_{:^{n}}:f(X_{1}^{1}:\theta_{0})\cdot f(X_{n}\theta_{0})^{\theta_{i},p_{\theta_{1}})}>\delta\}$$\leq\sum_{i=1}^{\text{ん}}P_{\theta_{O}}^{n}\{\frac{f(X_{1}:\theta_{i},p_{\theta_{1}})\cdot.\cdot\cdot.f(X_{n}..\cdot.\theta_{i},p_{\theta_{1}})}{f(X_{1}:\theta_{0})\cdot f(X_{n}\theta_{0})}>\delta_{i}\}$

6

67
を満足する
とすると、

$0<\delta_{i}\leq\delta$$\gamma_{i}>0$$(i=1\cdots h)$ が存在する。各$i$について、 $log\delta_{i}=$ -物と考えてよく、$P_{\theta_{0}}^{n} \{\frac{f(X_{1}:\theta_{i},p_{\theta}:)\cdot.\cdot.\cdot.f(X_{n}:\theta_{i},p_{\theta_{1}})}{f(X_{1}:\theta_{0})f(X_{n}:\theta_{0})}>\delta_{i}\}$$=P_{\theta_{O}}^{n}$$=P_{\theta_{0}}^{n}$$\{ \sum_{k=1}^{n}(logf(X_{k} :$\{$\theta_{i},p_{\theta_{i}})-logf(X_{k} :\theta_{0}))>-\gamma_{i}\}$$\sum_{k=1}^{n}\frac{\mu(\theta_{i},\theta_{0})-(logf(X_{k}:\theta_{0})-logf(X_{k}:\theta_{i},p_{\theta_{i}}))}{n}$(3.3)$> \mu(\theta_{i},\theta_{0})-\frac{\gamma_{i}}{n}\}$が成立する。 ここで、
$n_{0}> \frac{\max_{1\leq i\leq \text{ん}\gamma_{i}}}{\mu}$なる$n_{0}$をとり、さらに、$\beta=\mu-\frac{\max_{1\leq i\leq h}\gamma_{i}}{n_{0}}$とすると、 $n\geq n_{0}$ のとき、$\mu(\theta_{i},\theta_{0})-\frac{\gamma_{i}}{n}\geq\beta>0$であるので、 このとき (3.2) より大数の弱法則が使えて、(3.3) 式$\leq P_{\theta_{O}}^{n}$$\{ \sum_{k=1}^{n}\ovalbox{\tt\small REJECT}\mu(\theta_{i},\theta_{0})-(logf(X_{k}:\theta)-logf(X_{k}:\theta_{i},\rho_{\theta:}))n^{0}>\beta\}$$\leq P_{\theta_{O}}^{n}\{|\sum_{k=1}^{n}\ovalbox{\tt\small REJECT}(logf(X_{k}:\theta_{0})-logf(X_{k}:\theta_{i},p_{\theta_{1}}))-\mu(\theta_{i}, \theta_{0})n|>\beta\}$$arrow 0$$(narrow\infty)$が成り立つ。 以上で、 (3.1) が示された。 ロ

7

68
さらに、一般に、 \Theta が$R^{k}$の部分集合である場合には、次の定理が成り

立つ。

とし・ こ
定理 32. 母数空間を としたときの\mbox{\boldmath $\theta$}0 の最尤推定量をについて、 母数空れが確率 1 で一意的に定まるとする。 また、 $K=1$ ,2,と間を $\Theta_{K}=\{\theta\in\Theta|||\theta\Vert\leq K\}$ に制限したときの の最尤推定量を$\hat{\theta}_{ML,n}$$\Theta$$\hat{\theta}_{ML,n}^{(K)}$$\theta_{0}$し・$\hat{\theta}_{ML,n}^{(K)}$は$\Theta_{K}$

上で一様一致推定量であるとする。 さらに次の条件$(A2)$$\lim_{narrow\infty}P_{\theta_{0}}^{n}\{\Vert\hat{\theta}_{ML,n}||\geq K(n)\}=0$は一致推定量である。 ここで $K(n)$にをとは、とし、 $n_{0}(K)$ を、 $n\geq n_{0}(K)$ ならば任意の\mbox{\boldmath $\theta$}を満たす自然数としたとき・ $K(n)=$ついて・$\sup\{K :n>n_{0}(K)\}$ のこととする。
が成り立つと仮定する。 このとき、$\{\epsilon_{K}\}$$\hat{\theta}_{ML,n}$$\in\Theta_{K}$$\epsilon_{K}\downarrow 0$$P_{\theta^{n}}\{||\hat{\theta}_{ML,n}^{(K)}-\theta\Vert>\epsilon_{K}\}<\epsilon_{K}$証明.
$n\geq n_{0}(K)$$\hat{\theta}_{ML,n}^{(K)}$は、$\Theta_{K}$上の一様一致推定量であるから、各 $K$ について、

ならば、任意の\mbox{\boldmath $\theta$}\in \Theta K について、$P_{\theta}^{n}\{||\hat{\theta}_{ML,n}^{(K)}-\theta\Vert>\epsilon_{K}\}<\epsilon_{K}$を満足するような $n_{0}(K)$ が存在する。 ここで、$(||\hat{\theta}_{ML,n}||\geq K(n))(||\hat{\theta}_{ML,n}||<K(n))$$\hat{\theta}_{n}^{*}=\{\begin{array}{l}\hat{\theta}_{ML,n}(IC(n))\frac{K(n)\hat{\theta}_{ML,n}}{||\hat{\theta}_{ML,n}||}\end{array}$と定義する。 を真の母数として、
をとる。
なる自然数
かつ $K_{1}\geq K_{0}$ なるを任意にとると・がとれ、 さらになるをとることができる。 (A2) より、 $n\geq n_{1}$ ならば、$\Vert\theta_{0}||<K_{0}$$\theta_{0}$$K_{0}$$K_{1}$$\frac{1}{2}\epsilon>\epsilon_{K_{1}}$$\frac{1}{2}\epsilon_{K_{1}}>\epsilon_{K_{2}}$$K_{2}$$P_{\theta_{O}}^{n} \{\Vert\hat{\theta}_{ML,n}||\geq K(n)\}<\frac{\epsilon}{4}$8$\epsilon>0$

(3.4)

69
がとれる。以後\supset $n \geq\max(n_{0}(K_{2}), n_{1})$ なるなるめる。 まず$n_{1}$$n$について、議論をすす$P_{\theta_{0}}^{n}\{||\hat{\theta}_{ML,n}-\theta_{0}||>\epsilon\}\leq P_{\theta_{0}}^{n}\{||\hat{\theta}_{ML,n}-\theta_{0}||>\epsilon_{K_{1}}\}$$\leq P_{\theta_{0}}^{n}\{||\hat{\theta}_{ML,n}-\hat{\theta}_{n}^{*}||+\Vert\hat{\theta}_{n}^{*}-\theta_{0}||>\epsilon_{K_{1}}\}$$\leq P_{\theta_{0}}^{n}\{||\hat{\theta}_{ML,n}-\hat{\theta}_{n}^{*}||>\frac{1}{2}\epsilon_{I\zeta_{1}}\}+P_{\theta_{0}}^{n}\{||\hat{\theta}_{n}^{*}-\theta_{0}\Vert>\frac{1}{2}\epsilon_{K_{1}}\}$となり、$P_{\theta_{O}}^{n} \{||\hat{\theta}_{ML,n}-\hat{\theta}_{n}^{*}||>\frac{1}{2}\epsilon_{K_{1}}\}$$=P_{\theta_{0}}^{n} \{||\hat{\theta}_{ML,n}-\hat{\theta}_{n}^{*}||>\frac{1}{2}\epsilon_{K_{1}}, \Vert\hat{\theta}_{ML,n}\Vert<K(n)\}$$+P_{\theta_{0}}^{n} \{\Vert\hat{\theta}_{ML,n}-\hat{\theta}_{n}^{*}\Vert>\frac{1}{2}\epsilon_{K_{1}}, \Vert\hat{\theta}_{ML,n}||\geq K(n)\}$となる。次に$\hat{\theta}_{n}^{*}$の決め方より、$P_{\theta_{0}}^{n} \{||\hat{\theta}_{ML,n}-\hat{\theta}_{n}^{*}||>\frac{1}{2}\epsilon_{K_{1}}, ||\hat{\theta}_{ML,n}||<K(n)\}$$=P_{\theta^{n_{0}}} \{||\hat{\theta}_{ML,n}-\hat{\theta}_{ML,n}||>(K(n))\frac{1}{2}\epsilon_{K_{1}}, \Vert\hat{\theta}_{ML,n}||<K(n)\}$であるが、$\Vert\hat{\theta}_{ML,n}||<K(n)$のとき、$\hat{\theta}_{ML,n}=\hat{\theta}_{ML,n}(K(n))$$a.e.[P_{\theta_{0}}^{n}]$であるので、$P_{\theta_{0}}^{n} \{||\hat{\theta}_{ML,n}-\hat{\theta}_{n}^{*}||>\frac{1}{2}\epsilon_{K_{1}}, \Vert\hat{\theta}_{ML,n}\Vert<K(n)\}=0$である。 さらに、 (3.4) より、$P_{\theta_{0}}^{n} \{||\hat{\theta}_{ML,n}-\hat{\theta}_{n}^{*}||>\frac{1}{2}\epsilon_{K_{1}}, ||\hat{\theta}_{ML,n}||\geq K(n)\}$$\leq P_{\theta_{0}}^{n}\{||\hat{\theta}_{ML,n}||\geq K(n)\}<\frac{\epsilon}{4}$

9

(3.5)

70
となる。 従って、$P_{\theta_{0}}^{n} \{\Vert\hat{\theta}_{ML,n}-\hat{\theta}_{n}^{*}\Vert>\frac{1}{2}\epsilon_{K_{1}}\}<\frac{\epsilon}{2}$が成り立つ。 同様にして、$P_{\theta_{0}}^{n} \{||\hat{\theta}_{n}^{*}-\theta_{0}||>\frac{1}{2}\epsilon_{K_{1}}\}$$=P_{\theta_{0}}^{n} \{\Vert\hat{\theta}_{n}^{*}-\theta_{0}||>\frac{1}{2}\epsilon_{K_{1}}, ||\hat{\theta}_{ML,n}\Vert<K(n)\}$$+P_{\theta_{0}}^{n} \{||\hat{\theta}_{n}^{*}-\theta_{0}||>\frac{1}{2}\epsilon_{K_{1}}, ||\hat{\theta}_{ML,n}\Vert\geq K(n)\}$$\leq P_{\theta_{0}}^{n}\{||\hat{\theta}_{ML,n}(K(n))-\theta_{0}||>\frac{1}{2}\epsilon_{K_{1}}\}+P_{\theta_{0}}^{n}\{\Vert\hat{\theta}_{ML,n}||\geq K(n)\}$$\leq P_{\theta_{O}}^{n}\{\Vert\hat{\theta}_{ML,n}(K(n))-\theta_{0}\Vert>\epsilon_{K_{2}}\}+\frac{\epsilon}{4}$$\leq\epsilon_{K_{2}}+\frac{\epsilon}{4}<\frac{1}{2}\epsilon_{K_{1}}+\frac{\epsilon}{4}<\frac{\epsilon}{2}$

従って、$P_{\theta_{0}}^{n}\{||\hat{\theta}_{ML,n}-\theta_{0}||>\epsilon\}<\epsilon$が成立する。故に・$\hat{\theta}_{ML,n}$は、一致推定量であることが示された。

$\square$は言うまでもなくコンパクト集合であり、定\Theta が閉集合であれば、上で条件 (W4)
理 3.1 より条件 (W1) と、任意の $K=1$ ,2, . について
(W5) (A1) を満足すれば、定理 32 にお・ける前半の条件を満たすことになる。 そこで、 その後半の条件 (A2) を満たすための十分条件を考える。 まず、$\Theta_{K}$$\cdot$$\Theta_{K}$、

次の補題が成り立つ。

補題 31.

条件 (W6) が成立するならば、$(A3)$$\Vert\hat{\theta}_{ML,n}\Vert\neq\div\infty$が成り立つ。

10$(narrow\infty)$、

71

注意 3.1. 条件 (W6) (A3) は共に $f(x:\theta)$ の\mbox{\boldmath $\theta$}が原点から十分離れたところでの条件を与えている。 Ibragimov-Has’minskii(1981) も最尤推定量が一致性を持つための十分条件のうちの一つに、やはり、 $f(x:\theta)$ の\mbox{\boldmath $\theta$}が原点か、ら十分離れたところでの条件として、次のものを上げている。

(IH)

母数空間\Theta が非有界であるとき、任意の$\lim_{carrow\infty}\int_{\mathcal{X}}\sup_{||u||\geq c}(f^{\frac{1}{2}}(x :$\theta\in\Theta$

に対して、\theta)f^{\frac{1}{2}}(x :\theta+u))d\mu<1$が成り立つ。

以上 3 つの条件は、 (W6) が成立するならば (IH) が成り立ち、 (IH) が成立するならば (A3) が成り立つ、 という関係にある。

補題 3.1 の証明 . まず、 (W6) が成り立つならば、 (IH) が成り立つことを示す。仮定より、 が非有界であるとき、$\Theta$$\lim\sup f^{\frac{1}{2}}$$(x : \theta+u)=0$$a.e.[P_{\theta}]$$carrow\infty||u||\geq c$となる。

$\sup_{||u||\geq c}f^{\frac{1}{2}}$$(x :\theta+u)$

は・ $carrow\infty$ のとき単調減少であるので・$\mathcal{X}_{0}=\{x\in \mathcal{X}|f(x :\theta)>0\}$とすると、$\lim_{carrow\infty}\int_{\mathcal{X}}\sup_{||u||\geq c}(f^{\frac{1}{2}}(x :\theta)f^{\frac{1}{2}}(x :\theta+u))d\mu$$y= \lim_{carrow\infty}\int_{\mathcal{X}_{0}}\frac{\sup_{||u||\geq c}f^{\frac{1}{2}}(x:\theta+u)}{f^{\frac{1}{2}}(x:\theta)}dP_{\theta}=0$となる。次に、 (IH) が成り立つならば、 (A3) が成り立つことを背理法で示す。 $(IH)$ が成り立つとき、 が非有界であるならば、$\Theta$$\int_{\mathcal{X}}\sup_{||u||\geq R}(f^{\frac{1}{2}}(x :11\theta)f^{\frac{1}{2}}(x :\theta+u))d\mu<1$72を満足するような $R$ が存在する。今、$\Vert\hat{\theta}_{ML,n}\Vertarrow\infty$$(narrow\infty)$

であると仮定すると、 $n\geq n_{0}$ ならば、$||\hat{\theta}_{ML,n}\Vert\geq R+||\theta||$を満足するような$n_{0}$が存在する。 このとき、 $n>n_{0}$ なる任意の$\int_{\mathcal{X}}\sup_{||u||\geq R}(f^{\frac{1}{2}}(x :\theta)f^{\frac{1}{2}}(x :$\geq\int_{\mathcal{X}}\sup_{||u+\theta||\geq R+||\theta||}(f^{\frac{1}{2}}(x :$\geq\int_{\mathcal{X}}\sup_{||v||\geq R+||\theta||}(f^{\frac{1}{2}}(x :

$n$

について、

\theta+u))d\mu$\theta)f^{\frac{1}{2}}(x :\theta)f^{\frac{1}{2}}(x :\theta+u))d\mu$v))d\mu$$= \int_{\mathcal{X}}f^{\frac{1}{2}}(x;\theta)f^{\frac{1}{2}}(x:\hat{\theta}_{ML,n})d\mu\geq\int_{\mathcal{X}}f(x:\theta)d\mu=1$となり、矛盾する。従って、$\Vert\hat{\theta}_{ML,n}\Vert\neq\infty$$(narrow\infty)$

であることが、示された。 \Theta が有界のときは・なることは明白である。 ロ$\Vert\hat{\theta}_{ML,n}\Vert\neq\div\infty$$(narrow\infty)$とMarkov の不等式から、$P_{\theta_{0}}^{n} \{||\hat{\theta}_{ML,n}\Vert\geq K(n)\}\leq\frac{E_{\theta_{0}}[||\hat{\theta}_{ML,n}||]}{If(n)}$であり、 $K(n)arrow\infty(narrow\infty)$ であるので、補題 3.1 より (W6) ならば (A2)が成り立つことが分かる。すなわち、 (W6) は (A2) より強い条件である。 ところで、定理 32 において (A2) の代わりに (W6) を仮定すると、最尤推定量の一意性に関する条件がなくても、最尤推定量の一致性が次の系のように示
される。

12

73
系 3.1.

の最尤推定量\mbox{\boldmath $\theta$}^(MKL),nがについて、任意の $K=1,2,$
上\mbox{\boldmath $\theta$}O上で一様一致推定量であり、条件 (W6) が成り立つと仮定するとき、 \Theta 上の最尤推定量\mbox{\boldmath $\theta$}ML,n は一致推定量である。
$\Theta_{K}$$\cdots$$\Theta_{K}$$\theta_{0}$証明. 条件 (W6) より、$||\hat{\theta}_{ML,n}||\leq K(n^{*})$

が任意の について成立するような自然数 が存在する。 ここで $K(n)$ は定理 32 で定義したものである。任意の\mbox{\boldmath $\theta$}0 について$n^{*}$$n$$\Vert\theta_{0}\Vert\leq K(n_{0})$についてなる自然数 が存在する。また、任意のなる自然数 $K’$
が存在する。 ここで、は、同じく定理 3.2 で定義したものである。今、$\epsilon>0$$n_{0}$$\epsilon>\epsilon_{K’}$$\{\epsilon_{K}\}$$K^{*}= \max(K(n^{*}),K(n_{0}),$ $K^{t}$とすると、十分大きな

$n$

)

について、

$P_{\theta_{O}}^{n}\{\Vert\hat{\theta}_{ML,n}-\theta_{0}||>\epsilon, ||\hat{\theta}_{ML,n}||<K(n)\}$$\leq P_{\theta_{O}}^{n}\{\Vert\hat{\theta}_{ML,n}-\theta_{0}||>\epsilon, |^{-}|\hat{\theta}_{ML,n}||<K^{*}\}$$=P_{\theta^{n_{O}}}\{\Vert\hat{\theta}_{ML}^{(K^{*})_{n}}-\theta_{0}\Vert>\epsilon\}$$\leq P_{\theta_{O}}^{n}\{\Vert\hat{\theta}_{ML}^{(K^{*})_{n}}-\theta_{0}||>\epsilon_{K^{*}}\}<\epsilon_{K^{*}}<\epsilon$が成り立つことが分かる。従って、(3.5) 式$\leq P_{\theta_{0}}^{n}\{\Vert\hat{\theta}_{ML,n}-\theta_{0}||>\frac{1}{4}\epsilon_{K_{1}}, ||\hat{\theta}_{ML,n}||<K(n)\}$$+P_{\theta_{0}}^{n} \{||\hat{\theta}_{ML,n}(K(n))-\theta_{0}||>\frac{1}{4}\epsilon_{K_{1}}, ||\hat{\theta}_{ML,n}\Vert<K(n)\}$$< \frac{1}{4}\epsilon_{K_{1}}+\epsilon_{K_{3}}<\frac{1}{2}\epsilon_{K_{1}}<\frac{1}{4}\epsilon$

はが十分大きな について成立する。 ここで・なる自然数であり、 Kl は、 定理 3.2 で定義したものである。 以上より、 後は定理 3.2 の証
明と全く同様にして・の一致性が示される。
$K_{3}$$n$$\hat{\theta}_{ML,n}$$\frac{1}{4}\epsilon_{K_{1}}>\epsilon_{K_{3}}$$\square$1374以上の定理 3.1 及び系 3.1 より、次の系が成り立つことが分かる。

につい系 32. 条件 (W1) (W4) (W5) (W6) と任意の $K=1$ ,2,
上で条件 (A1) を満たしているとき、最尤推定量は一致推定量である

て

、

、

、

$\Theta_{K}$$\circ$(W7) を含んだやや強い条件であるが・ (W3) は除去することができた。実際に、条件を確認するときには、 (W2) (W3) より (A1)
(A1) は (W2)、、の方が単純で良いのではないかと思われる。 \mbox{\boldmath $\theta$}が原点から十分離れたところに関する条件については、 その条件を満たす分布のクラスを広げるには、
番ゆるい条件 (A2) を採用するのがよいが、条件の単純さ、 直観的な分かり易さからすると (W6) や (A3) を採用するのがよいと思われる

一$\circ$4. 例
この節で Lehmann(1983) において Bahadur(1958) $LeCam(1979)$ による最尤推定量の不一致性の例として論じられていることについて考察する。
彼らは次のような例を考えた oを左半開区間 $(0,1$ ] 上で定義された狭義の単調減少関数で、 その区間、$h$において $h(x)\geq 1$ でかつ$\int_{0}^{1}$h(x)dx=\infty 科

を満たすとする。 また $0<c<1$ となる定数 に対して、定数列$a_{k-1}$ が与えられたとき、を次のように逐次的に定義する $a_{0}=1$ とし定数 を$\{a_{k}\}_{k=0,1},\cdots$$c$$a_{0},$ $\cdots,$$0$$a_{k}$$\int_{a_{k}}^{a_{k-1}}[h(x)-c]dx=1-c$(4.1)となるように定める。 このとき (4.1) を満たす $0<a_{k}<a_{k-1}$ となる
意的に決められ、 $a_{k}arrow 0(karrow\infty)$ も成り立つ。 そこで、各 $k=1,2,$
いて、密度関数 を$f_{k}$$f_{k}(x)=\{\begin{array}{l}cx\leq a_{k},x>a_{k-1}h(x)(a_{k}<x\leq a_{k-1})\end{array}$14$a_{k}$

は一$\cdots$につ75をもつ分布に従う確率変を互いに独立に、いずれもで定義し、数であると仮定して、母数 の推定問題を考える。 もし $h(x)$ が、 のすべてを満たすならば、 の最尤推定量砺は確の十分小さな値に対して
率 1 で一意的に定まり、 さらに編は無限大に確率収束する、すなわち任意の$X_{1},$$\cdots,$$X_{n}$$f_{k}$$k$$x$$h(x)\geq e^{\frac{1}{x^{2}}}$$k=1,2,$$\cdots$

$k$

について、
$\lim_{narrow\infty}P\{\hat{k}_{n}>k\}=1$が成り立つことが示される。従って最尤推定量編は の一致推定量ではない
ことが分かる。 この場合には、前節の条件 (A2) が満たされていないことが示される。従って、一致性を示すためには条件 (A2) は必要である。
$k$

参考文献

Bahadur, R. R.(1958). Examples of inconsistency of maximum likelihood
estimates. Sankhya 20,207-210.

Ibragimov, I. A. and Has’minskii, R. Z.(1981). Statistical Estimation.
Asymptotic Theory. Springer-Verlag, New York.
LeCam, L.(1979). Maximum Likelihood: An Introduction. Lecture Notes
in Statiatics No.18, University of Maryland, College Park, Md.
Lehmann, E. L.(1983). Theory of Point Estimation. Wiley, New York.
Wald, A.(1949). Note on the consistency of the maximum likelihood
estimate. Ann. Math. Statist. 20, 595-601.
Zacks, S.(1971). The Theory of Statistical Inference. Wiley, New York.

15