クラメール・ラオの限界
確率変数列 X 1 , X 2 , ⋯ , X n {\displaystyle X_{1},X_{2},\cdots ,X_{n}} を使って推定を行う場合について、未知母数が1つ( θ {\displaystyle \theta } )のときに絞って概要を述べる。 X := ( X 1 , X 2 , ⋯ , X n ) {\displaystyle {\boldsymbol {X}}:=(X_{1},X_{2},\cdots ,X_{n})} と書くことにする。
尤度関数は、結合確率密度関数 f n ( x 1 , x 2 , ⋯ , x n ; θ ) = f n ( x ; θ ) {\displaystyle f_{n}(x_{1},x_{2},\cdots ,x_{n};\theta )=f_{n}({\boldsymbol {x}};\theta )} で与えられる(標本の値 x {\displaystyle {\boldsymbol {x}}} が代入されたとして θ {\displaystyle \theta } の関数とみなしている)。
スコア関数は、尤度関数の自然対数をとってから θ {\displaystyle \theta } で偏微分したものである。
∂ ∂ θ ln  f n ( x ; θ ) {\displaystyle {\frac {\partial }{\partial \theta }}\ln f_{n}({\boldsymbol {x}};\theta )}
より一般に、確率変数 X {\displaystyle X} の関数 T ( X ) {\displaystyle T(X)} を用いて、母数の関数 ψ ( θ ) {\displaystyle \psi (\theta )} を推定することを考える。 E  [ T ( X ) ] = ψ ( θ ) {\displaystyle \operatorname {E} \left[T(X)\right]=\psi (\theta )} であるとする。このときの分散の下限は、
Var  ( T ) ≥ [ ψ ′ ( θ ) ] 2 I ( θ ) {\displaystyle \operatorname {Var} (T)\geq {\frac {[\psi '(\theta )]^{2}}{I(\theta )}}}
ここで ψ ′ ( θ ) {\displaystyle \psi '(\theta )} は ψ ( θ ) {\displaystyle \psi (\theta )} の θ {\displaystyle \theta } による微分、 I ( θ ) {\displaystyle I(\theta )} はフィッシャー情報量である。
第1項は正規分布の4次の中心モーメントであり、 3 ( σ 2 ) 2 {\displaystyle 3(\sigma ^{2})^{2}} に等しい。第2項は分散の2乗、つまり ( σ 2 ) 2 {\displaystyle (\sigma ^{2})^{2}} である。よって
Var  ( T ) = 2 ( σ 2 ) 2 n {\displaystyle \operatorname {Var} (T)={\frac {2(\sigma ^{2})^{2}}{n}}}
一方フィッシャー情報量については、まず、観測1回あたりのスコア関数 V {\displaystyle V} が尤度関数 L {\displaystyle L} から次のように計算できる。
V = ∂ ∂ ( σ 2 ) ln  L ( σ 2 , X ) = ∂ ∂ ( σ 2 ) ln  [ 1 2 π σ 2 e − ( X − μ ) 2 / 2 σ 2 ] = ( X − μ ) 2 2 ( σ 2 ) 2 − 1 2 σ 2 {\displaystyle {\begin{aligned}V&={\frac {\partial }{\partial (\sigma ^{2})}}\ln L(\sigma ^{2},X)\\&={\frac {\partial }{\partial (\sigma ^{2})}}\ln \left[{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(X-\mu )^{2}/{2\sigma ^{2}}}\right]={\frac {(X-\mu )^{2}}{2(\sigma ^{2})^{2}}}-{\frac {1}{2\sigma ^{2}}}\end{aligned}}}