フィッシャー情報量
フィッシャー情報量は
0 ≤ I ( θ ) < ∞ {\displaystyle 0\leq {\mathcal {I}}(\theta )<\infty \,}
を満たす。
また X {\displaystyle X} , Y {\displaystyle Y} が独立な確率変数であれば、
I X , Y ( θ ) = I X ( θ ) + I Y ( θ ) {\displaystyle {\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y}(\theta )} (フィッシャー情報量の加算性)
が成立する。すなわち、「 ( X , Y ) {\displaystyle (X,Y)} が θ {\displaystyle \theta } に関して持つ情報の量」は 「 X {\displaystyle X} が θ {\displaystyle \theta } に関して持つ情報の量」と 「 Y {\displaystyle Y} が θ {\displaystyle \theta } に関して持つ情報の量」の和である。
よって特に、無作為に取られたn個の標本が持つフィッシャー情報量は、1つの標本が持つフィッシャー情報量のn倍である(観察が独立である場合)。
{\displaystyle {\frac {\partial \Sigma }{\partial \theta _{m}}}={\begin{pmatrix}{\frac {\partial \Sigma _{1,1}}{\partial \theta _{m}}}&{\frac {\partial \Sigma _{1,2}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \Sigma _{1,N}}{\partial \theta _{m}}}\\\\{\frac {\partial \Sigma _{2,1}}{\partial \theta _{m}}}&{\frac {\partial \Sigma _{2,2}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \Sigma _{2,N}}{\partial \theta _{m}}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial \Sigma _{N,1}}{\partial \theta _{m}}}&{\frac {\partial \Sigma _{N,2}}{\partial \theta _{m}}}&\cdots &{\frac {\partial \Sigma _{N,N}}{\partial \theta _{m}}}\end{pmatrix}}.}
X θ {\displaystyle X_{\theta }} を母数 θ → = ( θ 1 , ... , θ n ) {\displaystyle {\vec {\theta }}=(\theta _{1},\ldots ,\theta _{n})} を持つ確率変数とすると、カルバック・ライブラー情報量 D K L {\displaystyle D_{\mathrm {KL} }} とフィッシャー情報行列は以下の関係が成り立つ。
D K L ( X θ → + h → ‖ X θ → ) = t h → ⋅ I ( θ → ) ⋅ h → 2 + o ( | h → | 2 ) {\displaystyle D_{\mathrm {KL} }(X_{{\vec {\theta }}+{\vec {h}}}\|X_{\vec {\theta }})={\frac {{}^{t}{\vec {h}}\cdot {\mathcal {I}}({\vec {\theta }})\cdot {\vec {h}}}{2}}+o(|{\vec {h}}|^{2})}
すなわちフィッシャー情報行列はカルバック・ライブラー情報量をテイラー展開したときの2次の項として登場する。(0次、1次の項は0)。