階層ベイズモデル
統計分析は、通常、 n {\displaystyle n} 個の値 y 1 , y 2 , ... , y n {\displaystyle y_{1},y_{2},\ldots ,y_{n}} が交換可能であることを仮定することから始める。 θ j {\displaystyle \theta _{j}} を他と区別する情報がデータ y {\displaystyle y} しかなく、パラメータの順序付けやグループ化ができない場合、事前分布においてパラメータ間の対称性を仮定する必要がある。この対称性は、確率的には、交換可能性で表される。 一般的に、分布 P ( θ ) {\displaystyle P(\theta )} に従うパラメーターベクトル θ {\displaystyle \theta } が与えられたとき、独立同分布としてモデル化することが有用かつ適切である。
μ ∼ N ( 0 , 1 ) {\displaystyle \mu \sim N(0,1)}
このようなハイパーパラメータが従う分布を、超事前分布と呼ぶ。 Y {\displaystyle Y} の分布の表記は、別のパラメータを追加することで変化する。
Y ∣ θ , μ ∼ N ( θ , 1 ) {\displaystyle Y\mid \theta ,\mu \sim N(\theta ,1)}
ハイパーパラメータ μ {\displaystyle \mu } が平均 β {\displaystyle \beta } 分散 ε {\displaystyle \epsilon } の正規分布に従う場合、 β {\displaystyle \beta } と ε {\displaystyle \epsilon } もまたハイパーパラメータであり、その分布も超事前分布となる。
μ ∼ N ( β , ε ) {\displaystyle \mu \sim N(\beta ,\epsilon )}