クラメール・ラオの限界
ここでは、母数が1つ・推定量が不偏である場合から始めて、いくつかのかなり一般的な場合へと拡張していく。どのバージョンでもある種の正規性の仮定をおくが、それはほとんどの「普通のふるまいをする」確率分布については成り立つものである。この条件については後述する。
ここで 1 {\displaystyle {\boldsymbol {1}}} は 1 を d 個並べたベクトル、 I {\displaystyle {\boldsymbol {I}}} は d 次単位行列である。未知母数が1つなのでフィッシャー情報量は
I ( θ ) = ( ∂ μ ( θ ) ∂ θ ) T C − 1 ( ∂ μ ( θ ) ∂ θ ) = ∑ i = 1 d 1 σ 2 = d σ 2 {\displaystyle I(\theta )=\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)^{T}{\boldsymbol {C}}^{-1}\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)=\sum _{i=1}^{d}{\frac {1}{\sigma ^{2}}}={\frac {d}{\sigma ^{2}}}}
とスカラーで与えられ、クラメール・ラオの下限は
Var  ( θ ^ ) ≥ σ 2 d {\displaystyle \operatorname {Var} ({\hat {\theta }})\geq {\frac {\sigma ^{2}}{d}}}
という下限が存在することになる。ここで、平均二乗誤差の標準的な分解式
MSE  ( θ ^ ) := E  [ ( θ ^ − θ ) 2 ] = E  [ ( θ ^ − E  [ θ ^ ] ) 2 ] + ( E  [ θ ^ ] − θ ) 2 {\displaystyle \operatorname {MSE} ({\hat {\theta }}):=\operatorname {E} \left[({\hat {\theta }}-\theta )^{2}\right]=\operatorname {E} \left[\left({\hat {\theta }}-\operatorname {E} [{\hat {\theta }}]\right)^{2}\right]+\left(\operatorname {E} [{\hat {\theta }}]-\theta \right)^{2}}
を用いた。
注意:もし 1 + b ′ ( θ ) < 1 {\displaystyle 1+b'(\theta )<1} であれば、不偏のときのクラメール・ラオの下限 1 / I ( θ ) {\displaystyle 1/I(\theta )} を下回ることもある。例えば、後述する例では、 1 + b ′ ( θ ) = n n + 2 < 1 {\displaystyle 1+b'(\theta )={\frac {n}{n+2}}<1} となる。
I ( θ ) = − E  [ ∂ 2 ∂ θ 2 ln  f n ( X ; θ ) ] = − E  [ ∂ 2 ∂ θ 2 ∑ i = 1 n { ln  f ( X i ; θ ) } ] = − ∑ i = 1 n ( E  [ ∂ 2 ∂ θ 2 { ln  f ( X ; θ ) } ] ) = − n E  [ ∂ 2 ∂ θ 2 ln  f ( X ; θ ) ] {\displaystyle {\begin{aligned}I(\theta )&=-\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln f_{n}({\boldsymbol {X}};\theta )\right]\\&=-\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\sum _{i=1}^{n}\{\ln f(X_{i};\theta )\}\right]\\&=-\sum _{i=1}^{n}\left(\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\{\ln f(X;\theta )\}\right]\right)\\&=-n\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln f(X;\theta )\right]\end{aligned}}}
となる。
I ( θ ) = E  [ ( ∂ ∂ θ ln  f ( X ; θ ) ) 2 ] = ∫ R f ( x ; θ ) 1 ( f ( x ; θ ) ) 2 ( ∂ f ( x ; θ ) ∂ θ ) 2 d x = − ∫ R f ( x ; θ ) f ( x ; θ ) ∂ f ( x ; θ ) ∂ θ − ( ∂ f ( x ; θ ) ∂ θ ) 2 ( f ( x ; θ ) ) 2 d x = − ∫ R f ( x ; θ ) ( ∂ 2 ∂ θ 2 ln  f ( x ; θ ) ) d x = − E  [ ∂ 2 ∂ θ 2 ln  f ( X ; θ ) ] {\displaystyle {\begin{aligned}I(\theta )&=\operatorname {E} \left[\left({\frac {\partial }{\partial \theta }}\ln f(X;\theta )\right)^{2}\right]\\&=\int _{\mathbb {R} }f(x;\theta ){\frac {1}{\left(f(x;\theta )\right)^{2}}}\left({\frac {\partial f(x;\theta )}{\partial \theta }}\right)^{2}\,dx\\&=-\int _{\mathbb {R} }f(x;\theta ){\frac {f(x;\theta ){\frac {\partial f(x;\theta )}{\partial \theta }}-\left({\frac {\partial f(x;\theta )}{\partial \theta }}\right)^{2}}{\left(f(x;\theta )\right)^{2}}}\,dx\\&=-\int _{\mathbb {R} }f(x;\theta )\left({\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln f(x;\theta )\right)\,dx\\&=-\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln f(X;\theta )\right]\end{aligned}}}
(3番目の等号の箇所で