ジェフリーズ事前分布
統計学における最小記述長を用いたアプローチの目標は、記述長さを使用するコードのビット数で測定する場合に、データを可能な限りコンパクトに記述することである。パラメータ化された分布族の場合、各分布の記述長に基づいて最良の記述長を持つ分布を決定することができる。主な結果として、指数型分布族では、サンプルサイズが大きい場合は漸近的に、指数型分布族の要素とジェフリーズ事前分布に基づく記述長が最適になる。この結果は、パラメーター集合を完全なパラメーター空間の内部のコンパクト部分集合に制限する場合に当てはまる 。完全なパラメータを使用する場合は、結果の修正バージョンを使用する必要がある。
以下の実数値 x {\displaystyle x} の正規分布を考える:
f ( x ∣ σ ) = e − ( x − μ ) 2 / 2 σ 2 2 π σ 2 , {\displaystyle f(x\mid \sigma )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}},}
μ {\displaystyle \mu } を固定した時、標準偏差 σ > 0 {\displaystyle \sigma >0} についてのジェフリーズ事前分布は
p ( σ ) ∝ I ( σ ) = E [ ( d d σ log  f ( x ∣ σ ) ) 2 ] = E [ ( ( x − μ ) 2 − σ 2 σ 3 ) 2 ] = ∫ − ∞ + ∞ f ( x ∣ σ ) ( ( x − μ ) 2 − σ 2 σ 3 ) 2 d x = 2 σ 2 ∝ 1 σ .
以下の実数値 x {\displaystyle x} の正規分布を考える:
f ( x ∣ μ ) = e − ( x − μ ) 2 / 2 σ 2 2 π σ 2 {\displaystyle f(x\mid \mu )={\frac {e^{-(x-\mu )^{2}/2\sigma ^{2}}}{\sqrt {2\pi \sigma ^{2}}}}}
σ {\displaystyle \sigma } を固定した時、 平均 μ {\displaystyle \mu } についてのジェフリーズ事前分布は
p ( μ ) ∝ I ( μ ) = E [ ( d d μ log  f ( x ∣ μ ) ) 2 ] = E [ ( x − μ σ 2 ) 2 ] = ∫ − ∞ + ∞ f ( x ∣ μ ) ( x − μ σ 2 ) 2 d x = 1 / σ 2 ∝ 1.