フィッシャー情報量
ベルヌーイ分布は、確率θ でもたらされる「成功」と、それ以外の場合に起きる「失敗」という2つの結果をもたらす確率変数が従う分布である(ベルヌーイ試行)。例えば、表が出る確率がθ、裏が出る確率が1 - θであるような、コインの投げ上げを考えれば良い。
n回の独立なベルヌーイ試行が含むフィッシャー情報量は、以下のようにして求められる。なお、以下の式中で、A は成功の回数、B は失敗の回数、n =A +B は試行の合計回数を示している。対数尤度関数の2階導関数は、
∂ 2 ∂ θ 2 ln  f ( A ; θ ) = ∂ 2 ∂ θ 2 ln  [ θ A ( 1 − θ ) B ( A + B ) ! A ! B ! ] = ∂ 2 ∂ θ 2 [ A ln  ( θ ) + B ln  ( 1 − θ ) ] = − A θ 2 − B ( 1 − θ ) 2 {\displaystyle {\begin{aligned}{\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln {f(A;\theta )}&={\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln \left[\theta ^{A}(1-\theta )^{B}{\frac {(A+B)!}{A!
となる。一般に推定量はその分散が小さいほど(よって分散の逆数が大きいほど)母数 θ {\displaystyle \theta } に近い値を出しやすいので、「よい」推定量であると言える。 θ {\displaystyle \theta } を「推定する」という行為は、「よい」推定量 θ ^ ( X ) {\displaystyle {\hat {\theta }}(X)} を使って θ {\displaystyle \theta } を可能な限り復元する行為に他ならないが、上の不等式は X {\displaystyle X} から算出されたどんな不偏推定量であっても X {\displaystyle X} が元々持っている「情報」以上に「よい」推定量にはなりえない事を意味する。
{\displaystyle {\left({\mathcal {I}}\left(\theta \right)\right)}_{i,j}=\mathrm {E} \left[{\frac {\partial }{\partial \theta _{i}}}\ln f(X;\theta ){\frac {\partial }{\partial \theta _{j}}}\ln f(X;\theta )\right].}
フィッシャー情報行列は、NxN の正定値対称行列であり、その成分は、N次のパラメータ空間からなるフィッシャー情報距離を定義する。
p {\displaystyle p} 個のパラメータによる尤度があるとき、フィッシャー情報行列のi番目の行と、j番目の列の要素がゼロであるなら、2つのパラメータ、 θ i {\displaystyle \theta _{i}} と θ j {\displaystyle \theta _{j}} は直交である。パラメータが直交であるとき、最尤推定量が独立になり、別々に計算することができるため、扱いやすくなる。このため、研究者が何らかの研究上の問題を扱うとき、その問題に関わる確率密度が直交になるようにパラメーター化する方法を探すのに一定の時間を費やすのが普通である。
ここで、 ( . . ) ⊤ {\displaystyle (..)^{\top }} はベクトルの転置を示す記号であり、 t r ( . . ) {\displaystyle \mathrm {tr} (..)} は、平方行列のトレースを表す記号である。また、微分は以下のように定義される。
∂ μ ∂ θ m = ( ∂ μ 1 ∂ θ m , ∂ μ 2 ∂ θ m , ⋯ , ∂ μ N ∂ θ m ) {\displaystyle {\frac {\partial \mu }{\partial \theta _{m}}}={\begin{pmatrix}{\frac {\partial \mu _{1}}{\partial \theta _{m}}},&{\frac {\partial \mu _{2}}{\partial \theta _{m}}},&\cdots ,&{\frac {\partial \mu _{N}}{\partial \theta _{m}}}\end{pmatrix}}}
∂ Σ ∂ θ m = ( ∂ Σ 1 , 1 ∂ θ m ∂ Σ 1 , 2 ∂ θ m ⋯ ∂ Σ 1 , N ∂ θ m ∂ Σ 2 , 1 ∂ θ m ∂ Σ 2 , 2 ∂ θ m ⋯ ∂ Σ 2 , N ∂ θ m ⋮ ⋮ ⋱ ⋮ ∂ Σ N , 1 ∂ θ m ∂ Σ N , 2 ∂ θ m ⋯ ∂ Σ N , N ∂ θ m ) .