クラメール・ラオの限界
特に、確率変数列 X = ( X 1 , X 2 , ⋯ , X n ) {\displaystyle {\boldsymbol {X}}=(X_{1},X_{2},\cdots ,X_{n})} が独立同分布で、その確率密度関数が f ( x ; θ ) {\displaystyle f(x;\theta )} であるとすると、
尤度関数は f n ( x ; θ ) = ∏ i = 1 n f ( x i ; θ ) {\displaystyle f_{n}({\boldsymbol {x}};\theta )=\prod _{i=1}^{n}f(x_{i};\theta )}
スコア関数は ∂ ∂ θ ln  f n ( x ; θ ) = ∑ i = 1 n ( ∂ ∂ θ ln  f ( x i ; θ ) ) {\displaystyle {\frac {\partial }{\partial \theta }}\ln f_{n}({\boldsymbol {x}};\theta )=\sum _{i=1}^{n}\left({\frac {\partial }{\partial \theta }}\ln f(x_{i};\theta )\right)}
フィッシャー情報量は
何らかの確率密度関数 f ( x ; θ ) {\displaystyle f(x;\theta )} に従って分布する量 x {\displaystyle x} の観測値から、未知母数 θ {\displaystyle \theta } を推定することを考える。このとき、 θ {\displaystyle \theta } に対する任意の不偏な推定量 θ ^ {\displaystyle {\hat {\theta }}} の分散は、フィッシャー情報量 I ( θ ) {\displaystyle I(\theta )} の逆数以上になる:
Var  ( θ ^ ) ≥ 1 I ( θ ) {\displaystyle \operatorname {Var} ({\hat {\theta }})\geq {\frac {1}{I(\theta )}}}
フィッシャー情報量 I ( θ ) {\displaystyle I(\theta )} は
I ( θ ) = E  [ ( ∂ l ( X ; θ ) ∂ θ ) 2 ] {\displaystyle I(\theta )=\operatorname {E} \left[\left({\frac {\partial \ell (X;\theta )}{\partial \theta }}\right)^{2}\right]}