超事前分布

ベイズ統計学において、超事前分布（ちょうじぜんぶんぷ）またはハイパープライアー ()とは、ハイパーパラメータ(日本語で超母数とも呼ばれる)の事前確率分布のことを指す。すなわち、事前確率に出現する母数に対する事前確率分布のことを指す。

ベイズ推定では、「ハイパー」(日本語では「超」)という接頭辞をつけることによって、データ生成に直接関わるモデルのパラメーターの事前分布と超事前分布とを区別する。超母数や超事前分布という概念は、階層ベイズモデルの文脈では頻繁に出現する。

例として、確率変数  が未知の成功確率  を母数に持つベルヌーイ分布に従うとし、一方  はベータ分布に従うとすると、

 (母数  をもつ)ベルヌーイ分布は、データ  の生成を記述するモデル
  はモデルの母数
 (母数 をもつ)ベータ分布は  の事前確率分布
  は事前確率分布の母数、すなわち超母数またはハイパーパラメータ
  の事前分布は超事前分布またはハイパープライアー

となる。

超事前分布に対応する事後分布を超事後分布 (Hyperposterior)と呼び、これらが同じ確率分布族に属するのであれば、超事前分布はと呼ぶことができる。しかし、これは急速に非常に抽象的になり、本来のモデルから離れてしまう。

 目的 
超事前分布は、共役事前分布と同様に、計算上の簡単さを提供するものである。これらはベイズ推定の手順を変化させるものではなく、単に事前分布をより簡単に記述し計算できるようにするものである。

 不定性 
まず、超事前分布を利用することで、ハイパーパラメータの不定性をベイズ推定に埋め込むことができる。事前分布のパラメータを固定すること自体はベイズ統計を行う人物の仮定に過ぎないため、超事前分布を導入して事前分布のハイパーパラメータの変化を許容することで、この仮定の不確実性を表現することができるようになる。

 混合確率分布 
さらに抽象的に言えば、超事前分布を使用する場合、（データを生成するモデルの母数に関する）事前分布自体はとなる。すなわち、データ生成モデルの母数を  とし、  の確率分布の母数(すなわちハイパーパラメータ)を  としたとき、 の確率分布は実際にはという形の、(異なる超母数  に関する)さまざまな事前分布の加重平均として表現される。なお、 が連続確率分布 の場合はで表されることとなる。

パラメトリックな分布族は一般的に凸集合でない一方、混合確率分布は分布の凸結合であるため、一般的にはこの事前分布  は  の属する分布族には含まれない。

具体例として、 が未知の平均パラメータと を持つ正規分布で与えられる状況を考える。の事前分布(超事前分布)として、それぞれ50%の確率で  が選択されるようなものを考えると、 は二峰性の分布となり、これは正規分布ではない。

事前分布として共役事前分布を用いる場合はさらに有用になる。共役事前分布はそれぞれ事後分布の計算が容易であり、従って混合分布の分布族も事前分布と同じ形となる(事前分布のパラメータがどう変化するかのみ知っておけばで良い)。超母数を固定した単一の事前分布を使用すると制限的過ぎることがある一方で、複数の共役事前分布の混合を使用することで、計算しやすい形式で望ましい分布を得ることができる場合がある。

 力学系 
超事前分布はハイパーパラメータ空間におけるハイパーパラメータの分布を記述する。共役事前分布を利用する場合、超事後分布のパラメータもまた超事前分布のハイパーパラメータ空間に存在する。データを受け取るたびに、確率分布は力学系のように時間発展する。すなわち、ハイパーパラメータ空間上の各点は、データを受け取るたびに、新しいハイパーパラメータを表す点に更新されていく。

 参考文献 

Category:ベイズ統計
Category:数学に関する記事