クラメール・ラオの限界
が、右辺が存在する限り成り立つこと。
この条件は、以下のいずれかの場合が成り立つことをもって確認されることが多い:
関数 f ( x ; θ ) {\displaystyle f(x;\theta )} は、 θ {\displaystyle \theta } に依らない有界な関数の台(非ゼロとなる定義域)を持つ。
θ {\displaystyle \theta } に依らない可積分関数 g ( x ) {\displaystyle g(x)} が存在して | T ( x ) ∂ ∂ θ f ( x ; θ ) | {\displaystyle \left|T(x){\frac {\partial }{\partial \theta }}f(x;\theta )\right\vert } を上から抑える。つまり、
| T ( x ) ∂ ∂ θ f ( x ; θ ) | ≤ g ( x ) ( ∀ x , ∀ θ ) , ∫ R g ( x ) d x < ∞ {\displaystyle \left|T(x){\frac {\partial }{\partial \theta }}f(x;\theta )\right\vert \leq g(x)\quad (\forall x,\forall \theta ),\quad \int _{\mathbb {R} }g(x)\,dx<\infty }
最後の等号は簡単な計算でわかる。この情報量は、 V {\displaystyle V} をもう一度偏微分してから平均をとり、マイナス1倍したものに等しい。
I = − E  [ ∂ V ∂ ( σ 2 ) ] = − E  [ − ( X − μ ) 2 ( σ 2 ) 3 + 1 2 ( σ 2 ) 2 ] = σ 2 ( σ 2 ) 3 − 1 2 ( σ 2 ) 2 = 1 2 ( σ 2 ) 2 {\displaystyle {\begin{aligned}I&=-\operatorname {E} \left[{\frac {\partial V}{\partial (\sigma ^{2})}}\right]=-\operatorname {E} \left[-{\frac {(X-\mu )^{2}}{(\sigma ^{2})^{3}}}+{\frac {1}{2(\sigma ^{2})^{2}}}\right]\\&={\frac {\sigma ^{2}}{(\sigma ^{2})^{3}}}-{\frac {1}{2(\sigma ^{2})^{2}}}={\frac {1}{2(\sigma ^{2})^{2}}}\end{aligned}}}
n {\displaystyle n} 回の独立な観測の情報量は、これを単純に n {\displaystyle n} 倍したものになり、 I n = n 2 ( σ 2 ) 2 {\displaystyle I_{n}={\frac {n}{2(\sigma ^{2})^{2}}}}
と定義される。ここで、 l ( x ; θ ) = ln  ( f ( x ; θ ) ) {\displaystyle \ell (x;\theta )=\ln(f(x;\theta ))} は尤度の自然対数をとったもの(なお ∂ l ( x ; θ ) ∂ θ {\displaystyle {\frac {\partial \ell (x;\theta )}{\partial \theta }}} をスコア関数(英語版)という)で、 E {\displaystyle \operatorname {E} } は平均を表す。
不偏推定量 θ ^ {\displaystyle {\hat {\theta }}} の有効度は、推定量の分散がこの下限にどの程度接近しているかを測る指標で、次のように定義される。
e ( θ ^ ) = I ( θ ) − 1 Var  ( θ ^ ) {\displaystyle e({\hat {\theta }})={\frac {I(\theta )^{-1}}{\operatorname {Var} ({\hat {\theta }})}}}
不偏推定量の分散の下限値を、実際の分散で割った値、ともいえる。クラメール・ラオの下限より e ( θ ^ ) ≤ 1 {\displaystyle e({\hat {\theta }})\leq 1} となる。