クラメール・ラオの限界
X , { X i } i {\displaystyle X,\{X_{i}\}_{i}} を、平均 μ {\displaystyle \mu } が既知、分散 σ 2 {\displaystyle \sigma ^{2}} が未知の正規分布に従う独立な確率変数(列)だとする。次のような統計量を考えよう:
T = ∑ i = 1 n ( X i − μ ) 2 n {\displaystyle T={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n}}}
このとき E  [ T ] = σ 2 {\displaystyle \operatorname {E} \left[T\right]=\sigma ^{2}} より、 T {\displaystyle T} は σ 2 {\displaystyle \sigma ^{2}} の不偏推定量になる。
T {\displaystyle T} の分散は、
Var  ( T ) = Var  ( X − μ ) 2 n = 1 n [ E  [ ( X − μ ) 4 ] − ( E  [ ( X − μ ) 2 ] ) 2 ] {\displaystyle \operatorname {Var} (T)={\frac {\operatorname {Var} (X-\mu )^{2}}{n}}={\frac {1}{n}}\left[\operatorname {E} \left[(X-\mu )^{4}\right]-\left(\operatorname {E} \left[(X-\mu )^{2}\right]\right)^{2}\right]}
(2番目の等号は分散の定義)。
推定理論(英語版)・統計学におけるクラメール・ラオの限界(CRB)(クラメールラオのげんかい、英: Cramér–Rao bound)(クラメール・ラオの下限(CRLB)、クラメール・ラオの不等式、Frechet–Darmois–Cramér–Rao 不等式、情報不等式とも)とは、ある確率分布の未知母数を推定する不偏推定量には、その分散についてある下限値が存在することを示すものである。名称は、1940年代にそれぞれ独立に推定精度に関する限界を見出した、ハラルド・クラメール、C. R.ラオ(英語版)、モーリス・ルネ・フレシェ、ジョルジュ・ダルモア(英語版、フランス語版)にちなむ。
最も単純に述べると、『任意の不偏推定量の分散は、 そのフィッシャー情報量の逆数以上になる』というものである。不偏な推定量がこの下限を達成するとき、その推定量は(完全な)有効推定量(英語版)であるという。この場合、その推定量はあらゆる不偏推定量の中で平均二乗誤差が最小のものとなるため、必然的に最小分散不偏推定量(英語版)(MVU推定量)にもなる。
しかしながら、どんな不偏推定量を考えても分散が決してクラメール・ラオの下限に到達できないようなケースもある(MVU推定量が存在するときでもこれは起こりえる)。
クラメール・ラオの限界には、不偏でない推定量に対するバージョンもある。不偏性の条件を取り除くことで、推定量の分散・平均二乗誤差が、不偏の場合のクラメール・ラオの下限を「下回る」ようなケースも存在する。推定量の偏り(英語版)も参照。
クラメール・ラオの限界を、母数が複数の場合にも拡張しよう。母数ベクトルを
θ = ( θ 1 , θ 2 , ... , θ d ) T ∈ R d {\displaystyle {\boldsymbol {\theta }}=\left(\theta _{1},\theta _{2},\dots ,\theta _{d}\right)^{T}\in \mathbb {R} ^{d}}
とし(右肩の T は転置を表す(以下同じ))、それによって決まる確率密度関数 f ( x ; θ ) {\displaystyle f(x;{\boldsymbol {\theta }})} を考える。 f {\displaystyle f} は後述の正規性の条件をみたすものとする。 フィッシャー情報行列は、 d × d {\displaystyle d\times d} 行列で、その成分 I m , k {\displaystyle I_{m,k}} が
I m , k = E  [ ∂ ∂ θ m ln  f ( x ; θ ) ∂ ∂ θ k ln  f ( x ; θ ) ] = − E  [ ∂ 2 ∂ θ m ∂ θ k ln  f ( x ; θ ) ] {\displaystyle {\begin{aligned}I_{m,k}&=\operatorname {E} \left[{\frac {\partial }{\partial \theta _{m}}}\ln f\left(x;{\boldsymbol {\theta }}\right){\frac {\partial }{\partial \theta _{k}}}\ln f\left(x;{\boldsymbol {\theta }}\right)\right]\\&=-\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta _{m}\partial \theta _{k}}}\ln f\left(x;{\boldsymbol {\theta }}\right)\right]\end{aligned}}}