フィッシャー情報量

フィッシャー情報量（フィッシャーじょうほうりょう、英: Fisher information ） I X ( θ ) {\displaystyle {\mathcal {I}}_{X}(\theta )} は、統計学や情報理論で登場する量で、確率変数 X {\displaystyle X} が母数 θ {\displaystyle \theta } に関して持つ「情報」の量を表す。統計学者のロナルド・フィッシャーに因んで名付けられた。 θ {\displaystyle \theta } を母数とし、 X {\displaystyle X} を確率密度関数が f ( x | θ ) {\displaystyle f(x|\theta )} で表される確率変数とする。 このとき、 θ {\displaystyle \theta } の尤度関数 L ( θ | x ) {\displaystyle L(\theta |x)} は L ( θ | x ) = f ( x | θ ) {\displaystyle L(\theta |x)=f(x|\theta )\,} で定義され、スコア関数は対数尤度関数の微分 V ( x ; θ ) = ∂ ∂ θ ln ⁡ L ( θ | x ) {\displaystyle V(x;\theta )={\frac {\partial }{\partial \theta }}\ln L(\theta |x)} により定義される。このとき、フィッシャー情報量 I X ( θ ) {\displaystyle {\mathcal {I}}_{X}(\theta )} はスコア関数の2次のモーメント I X ( θ ) = E [ V ( x ; θ ) 2 | θ ] = E [ ( ∂ ∂ θ ln ⁡ L ( θ | x ) ) 2 | θ ] {\displaystyle {\begin{aligned}{\mathcal {I}}_{X}(\theta )&=\mathrm {E} [V(x;\theta )^{2}|\theta ]\\&=\mathrm {E} \left[\left.{\biggl (}{\frac {\partial }{\partial \theta }}\ln L(\theta |x){\biggr )}^{2}\right|\,\theta \right]\end{aligned}}} により定義される。紛れがなければ添え字の X {\displaystyle X} を省略し、 I ( θ ) {\displaystyle {\mathcal {I}}(\theta )} とも表記する。なお、 X {\displaystyle X} に関しては期待値が取られている為、フィッシャー情報量は X {\displaystyle X} の従う確率密度関数 f ( x | θ ) {\displaystyle f(x|\theta )} のみに依存して決まる。よって X {\displaystyle X} と Y {\displaystyle Y} が同じ確率密度関数を持てば、それらのフィッシャー情報量は同一である。 スコア関数は E [ V ( x ; θ ) | θ ] = 0 {\displaystyle \mathrm {E} [V(x;\theta )|\theta ]=0\,} を満たす事が知られているので、 I X ( θ ) = v a r ( V ( x ; θ ) ) {\displaystyle {\mathcal {I}}_{X}(\theta )=\mathrm {var} (V(x;\theta ))} が成立する。ここで v a r {\displaystyle \mathrm {var} } は分散を表す。 また ln ⁡ f ( x | θ ) {\displaystyle \ln f(x|\theta )} が二回微分可能で以下の標準化条件 ∫ ∂ 2 ∂ θ 2 f ( X ; θ ) d x = 0 , {\displaystyle \int {\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )\,dx=0,} を満たすなら、フィッシャー情報量は以下のように書き換えることができる。 I ( θ ) = − E [ ∂ 2 ∂ θ 2 ln ⁡ f ( X ; θ ) ] . {\displaystyle {\mathcal {I}}(\theta )=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln f(X;\theta )\right].} このとき、フィッシャー情報量は、 f {\displaystyle f} の対数の θ {\displaystyle \theta } についての2次の導関数にマイナスを付けたものになる。フィッシャー情報量は、 θ {\displaystyle \theta } についての最尤推定量付近のサポート曲線の「鋭さ」としてもとらえることができる。例えば、「鈍い」（つまり、浅い最大値を持つ）サポート曲線は、2次の導関数として小さな値を持つため、フィッシャー情報量としても小さな値を持つことになるし、鋭いサポート曲線は、2次導関数として大きな値を持つため、フィッシャー情報量も大きな値になる。 パラメータがN個の場合、つまり、 θ {\displaystyle \mathbf {\theta } } がN次のベクトル θ = ( θ 1 , θ 2 , ⋯ , θ N ) T {\displaystyle \theta =(\theta _{1},\theta _{2},\cdots ,\theta _{N})^{T}} であるとき、フィッシャー情報量は、以下で定義されるNxN 行列に拡張される。 I ( θ ) = E [ ∂ ∂ θ ln ⁡ f ( X ; θ ) ∂ ∂ θ T ln ⁡ f ( X ; θ ) ] . {\displaystyle {\mathcal {I}}(\mathbf {\theta } )=\mathrm {E} \left[{\frac {\partial }{\partial \mathbf {\theta } }}\ln f(X;\theta ){\frac {\partial }{\partial \mathbf {\theta } ^{T}}}\ln f(X;\theta )\right].} これを、フィッシャー情報行列(FIM, Fisher information matrix)と呼ぶ。成分表示すれば、以下のようになる。 ( I ( θ ) ) i , j = E [ ∂ ∂ θ i ln ⁡ f ( X ; θ ) ∂ ∂ θ j ln ⁡ f ( X ; θ ) ] . {\displaystyle {\left({\mathcal {I}}\left(\theta \right)\right)}_{i,j}=\mathrm {E} \left[{\frac {\partial }{\partial \theta _{i}}}\ln f(X;\theta ){\frac {\partial }{\partial \theta _{j}}}\ln f(X;\theta )\right].} フィッシャー情報行列は、NxN の正定値対称行列であり、その成分は、N次のパラメータ空間からなるフィッシャー情報距離を定義する。 p {\displaystyle p} 個のパラメータによる尤度があるとき、フィッシャー情報行列のi番目の行と、j番目の列の要素がゼロであるなら、2つのパラメータ、 θ i {\displaystyle \theta _{i}} と θ j {\displaystyle \theta _{j}} は直交である。パラメータが直交であるとき、最尤推定量が独立になり、別々に計算することができるため、扱いやすくなる。このため、研究者が何らかの研究上の問題を扱うとき、その問題に関わる確率密度が直交になるようにパラメーター化する方法を探すのに一定の時間を費やすのが普通である。 フィッシャー情報量は 0 ≤ I ( θ ) < ∞ {\displaystyle 0\leq {\mathcal {I}}(\theta )<\infty \,} を満たす。 また X {\displaystyle X} ， Y {\displaystyle Y} が独立な確率変数であれば、 I X , Y ( θ ) = I X ( θ ) + I Y ( θ ) {\displaystyle {\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y}(\theta )} 　(フィッシャー情報量の加算性） が成立する。すなわち、「 ( X , Y ) {\displaystyle (X,Y)} が θ {\displaystyle \theta } に関して持つ情報の量」は 「 X {\displaystyle X} が θ {\displaystyle \theta } に関して持つ情報の量」と 「 Y {\displaystyle Y} が θ {\displaystyle \theta } に関して持つ情報の量」の和である。 よって特に、無作為に取られたn個の標本が持つフィッシャー情報量は、1つの標本が持つフィッシャー情報量のn倍である（観察が独立である場合）。 θ {\displaystyle \theta } の任意の不偏推定量 θ