クラメール・ラオの限界

・統計学におけるクラメール・ラオの限界(CRB)（クラメールラオのげんかい、）（クラメール・ラオの下限(CRLB)、クラメール・ラオの不等式、Frechet–Darmois–Cramér–Rao 不等式、情報不等式とも）とは、ある確率分布の未知母数を推定する不偏推定量には、その分散についてある下限値が存在することを示すものである。名称は、1940年代にそれぞれ独立に推定精度に関する限界を見出した、ハラルド・クラメール、、モーリス・ルネ・フレシェ、にちなむ。
最も単純に述べると、『任意の不偏推定量の分散は、 そのフィッシャー情報量の逆数以上になる』というものである。不偏な推定量がこの下限を達成するとき、その推定量は（完全な）であるという。この場合、その推定量はあらゆる不偏推定量の中でが最小のものとなるため、必然的に（MVU推定量）にもなる。
しかしながら、どんな不偏推定量を考えても分散が決してクラメール・ラオの下限に到達できないようなケースもある（MVU推定量が存在するときでもこれは起こりえる）。
クラメール・ラオの限界には、不偏でない推定量に対するバージョンもある。不偏性の条件を取り除くことで、推定量の分散・平均二乗誤差が、不偏の場合のクラメール・ラオの下限を「下回る」ようなケースも存在する。も参照。
主張.
ここでは、母数が1つ・推定量が不偏である場合から始めて、いくつかのかなり一般的な場合へと拡張していく。どのバージョンでもある種の正規性の仮定をおくが、それはほとんどの「普通のふるまいをする」確率分布については成り立つものである。この条件については後述する。
母数が1つで推定量が不偏の場合.
何らかの確率密度関数 formula_1 に従って分布する量 formula_2 の観測値から、未知母数 formula_3 を推定することを考える。このとき、 formula_3 に対する任意の不偏な推定量 formula_5 の分散は、フィッシャー情報量 formula_6 の逆数以上になる：
フィッシャー情報量 formula_6 は
と定義される。ここで、 formula_10 は尤度の自然対数をとったもの（なお formula_11 をという）で、 formula_12 は平均を表す。
不偏推定量 formula_5 の有効度は、推定量の分散がこの下限にどの程度接近しているかを測る指標で、次のように定義される。
不偏推定量の分散の下限値を、実際の分散で割った値、ともいえる。クラメール・ラオの下限より formula_15 となる。
母数が1つで、母数の関数の値を推定する場合.
より一般に、確率変数 formula_16 の関数 formula_17 を用いて、母数の関数 formula_18 を推定することを考える。formula_19 であるとする。このときの分散の下限は、
ここで formula_21 は formula_18 の formula_3 による微分、 formula_6 はフィッシャー情報量である。
母数が1つで推定量が不偏とは限らない場合.
母数 formula_3 の推定量 formula_5 に formula_27 だけの偏りがあるとする。
formula_28 と置いて前項の結果を使うと、
不偏のときの不等式は、 formula_30 とした特別な場合である。
分散を小さくすることだけを考えるなら、定数関数となる「推定量」をとれば、分散はゼロである。しかし上記の式から、推定量の平均二乗誤差には
という下限が存在することになる。ここで、平均二乗誤差の標準的な分解式
を用いた。
注意：もし formula_33 であれば、不偏のときのクラメール・ラオの下限 formula_34 を下回ることもある。例えば、後述する例では、 formula_35 となる。
母数が複数（ベクトル値）の場合.
クラメール・ラオの限界を、母数が複数の場合にも拡張しよう。母数ベクトルを 
とし（右肩の "T" は転置を表す（以下同じ））、それによって決まる確率密度関数 formula_37 を考える。formula_38 は後述の正規性の条件をみたすものとする。 
フィッシャー情報行列は、 formula_39 行列で、その成分 formula_40 が
で定まる行列のことである。 formula_42 を、母数ベクトルの任意の推定量としよう： formula_43。ここで、各成分の平均を並べた平均ベクトル formula_44 を formula_45 と記す。
このとき、 formula_42 の分散共分散行列に対するクラメール・ラオの限界は、
となる。ここで、
もし formula_42 が formula_54 の不偏推定量であれば（つまり formula_55 であれば）クラメール・ラオの限界は
のようになる。フィッシャー情報行列の逆行列を計算するのが面倒な場合は、単に対応する対角成分の逆数をとることで、（より緩いかもしれないが）1つの下限が得られる。
正規性の条件.
クラメール・ラオの不等式が成り立つための確率密度関数 formula_58 と推定量 formula_17 に関する2つの弱い十分条件は、次のとおりである:
フィッシャー情報量の変形.
formula_1 が formula_3 で2階偏微分可能であるとすると、フィッシャー情報量は
（3番目の等号の箇所で 
であることを用いた）
と変形でき、クラメール・ラオの不等式は次のようにも書ける。
こちらの公式の方が下限を評価するのにより有用な場合がある。
母数が1つの場合の証明.
母数が1つの場合のクラメール・ラオの不等式を一般的に証明する。
formula_16 を、確率密度関数が formula_58 となる確率分布に従う確率変数とし、formula_79 は formula_16 の関数で、母数 formula_3 の関数である formula_18 の不偏推定量であるとする。つまり、 formula_83。
目標は、任意の formula_3 に対して
を示すことである。
formula_86 を次のように定義する（これはスコア関数である）：
ここで連鎖律を使った。formula_86 の期待値はゼロである。なぜなら：
ここで積分と偏微分の順序が交換可能であること（正規性の条件の2番目）を使った。
formula_86 と formula_62 の共分散 formula_92 は、 formula_93 だから formula_94、よって次式を得る。
ここで再び、積分と微分が交換可能であるという条件（正規性の条件の2番目）を使った。
コーシー・シュワルツの不等式から、
よって
これが示したかったことである。
観測を繰り返し行うときの注意.
確率変数列 formula_98 を使って推定を行う場合について、未知母数が1つ（formula_3）のときに絞って概要を述べる。formula_100 と書くことにする。
本記事でここまでに述べた事柄は、次の置き換えをすれば基本的に全て同じ形式で成り立つ。
特に、確率変数列 formula_108 が独立同分布で、その確率密度関数が formula_1 であるとすると、
となる。
例.
多変量正規分布.
平均値ベクトル formula_113、分散共分散行列 formula_114 が未知母数ベクトル formula_54 で定まるような、一般的な "d" 次元正規分布 formula_116 の場合、
フィッシャー情報行列の成分は、
ここで "tr" は行列のトレースを表す。
より簡単な例として、平均 formula_3 が未知で分散 formula_119 が既知の正規分布から、独立に formula_120 回抽出してえられる標本量ベクトルを formula_121 とする。
ここで formula_123 は 1 を "d" 個並べたベクトル、formula_124 は "d" 次単位行列である。未知母数が1つなのでフィッシャー情報量は
とスカラーで与えられ、クラメール・ラオの下限は
平均が既知の正規分布の場合.
formula_127 を、平均 formula_128 が既知、分散 formula_119 が未知の正規分布に従う独立な確率変数（列）だとする。次のような統計量を考えよう：
このとき formula_131 より、 formula_62 は formula_119 の不偏推定量になる。
クラメール・ラオの不等式は formula_147 だが、この場合は等号が成り立っているため、推定量がであることがわかる。
不偏でない推定量を用いれば、分散及び平均二乗誤差をより小さくすることもできる。例えば formula_148 とすれば、分散は明らかにより小さくなる。実際
ここで偏りは formula_150 であり、平均二乗誤差は、『（平均二乗誤差(MSE)）＝（分散）＋（偏りの2乗）』の分解式から
となる。こちらも不偏推定量のときの
を下回っている。
正規母集団の平均も分散も未知の場合、分散の推定量の平均二乗誤差が最小になるのは、formula_153 を平均の推定量として
のときである（分母が "n" − 1 や "n" + 2 のときではない）。