階層ベイズモデル
これは、事前分布 P ( θ ) {\displaystyle P(\theta )} とサンプリング分布 P ( y ∣ θ ) {\displaystyle P(y\mid \theta )} の積として記述することができる。
P ( θ , y ) = P ( θ ) P ( y ∣ θ ) {\displaystyle P(\theta ,y)=P(\theta )P(y\mid \theta )}
条件付き確率の基本性質から、事後分布は次のようになる。
P ( θ ∣ y ) = P ( θ , y ) P ( y ) = P ( y ∣ θ ) P ( θ ) P ( y ) {\displaystyle P(\theta \mid y)={\frac {P(\theta ,\,y)}{P(y)}}={\frac {P(y\mid \theta )\,P(\theta )}{P(y)}}}
この条件付き確率と個々の事象との関係を示す式をベイズの定理という。 この単純な表現の中に、更新された信念 P ( θ ∣ y ) {\displaystyle P(\theta \mid y)} を適切かつ解決可能な方法で組み込むことを目的とするベイズ推定の技術的核心が含まれている。