経験ベイズ入門
粕谷英一（九大・理・生物）

階層的データの解析
階層ベイズ

個体差 局所的環境
経験ベイズ

生態学でのデータ解析への適用

経験ベイズempirical Bayes ときにEB

事前分布についてデータから推定

目次

ベイズ統計ー復習
経験ベイズとは経験ベイズーいくつかの例

ベイズの定理
P(Bj|A)=

条件付き確率P(A|B)
条件AでBの確率

P(A|Bj) •P(Bj)ΣP(A|Bi)•P(Bi)
B2

Aでない

A

B1

ベイズの定理
P(Bj|A)=

条件付き確率P(A|B)
条件AでBの確率

P(A|Bj) •P(Bj)ΣP(A|Bi)•P(Bi)
B2

Aでない

A

B1

２０００万人の中に犯人が１人遺留された犯人の体組織
体組織検査：誤って同一人としてしまう確率=1/300万（陽性）犯人の体組織とX氏の体組織特徴が検査で一致

Xが犯人である：確率0.13
Xが犯人でない：確率0.87
P（Bj｜A） ＝P（A｜Bj）P（Bj）
Σ P（A｜Bj）P（Bj）
j

A:陽性

B1:犯人

B2:犯人でない

P（B1｜A）

犯人でなくて、陽性になる確率＝（２０００万ー１）／２０００万≒１／３００万犯人であって、陽性になる確率＝１／２０００万＝１／２０００万１（１／３００万）事前（prior）
Xが犯人である：確率1/2000万データ
犯人の体組織とX氏の体組織特徴が検査で一致

事後（posterior）
Xが犯人である：確率0.13

確率モデル

データ

パラメーター
事前分布（prior）
パラメーターθ パラメーターy データ
p(θ|y)=

p(y|θ) p(θ)
p(y|θ) p(θ)

p(θ|y) p(y|θ) p(θ)
p(θ|y) l(θ|y) p(θ)

l 尤度

事後分布←（データ）・（事前分布）

データの分布ー正規分布

分散がわかっている場合

事前分布→正規分布
事後分布→正規分布

事前分布 正規分布（平均μ、分散σ2）
データ

平均y、分散φ2、標本数n

事後分布 正規分布
平均 μとyの加重平均
重み(1/σ2)

分散重み(n/φ2)

1/{(n/φ2)+(1/σ2) }事後分布 正規分布（平均μ、分散）

事前分布
データ

事後分布
点推定値
信頼区間・・・
事後分布 正規分布（平均μ、分散）データの分布ー正規分布

データ 平均2,分散2,標本数5
事後分布 平均2.35,分散0.44

事前分布 平均5,分散45事前分布→ベータ分布
事後分布→ベータ分布

二項分布

ベータ分布 パラメーターα βα
平均(α+β)分散(αβ)/{(α+β)2 (α+β+1)}

事前分布

α=0.5,β=0.5

αβ

データ 成功x回,失敗(n-x)回,標本数n
事後分布

(α+x)

(β+n-x)5

事前分布→ベータ分布事後分布→ベータ分布

二項分布

データ 成功3回,失敗7回,標本数10

α=0.5,β=0.5
事前分布
事後分布

事後分布
事後分布

α=3.5,β=1.5
事前分布

α=1,β=1
事前分布

経験ベイズempirical Bayes
ときにEB

事前分布についてデータから推定
パラメトリック経験ベイズ

経験ベイズ

歴史von Mises(1943)
Robbins(1955)ー経験ベイズという名前の登場
J.Neyman(1962)

ノンパラメトリック経験ベイズ『（統計的決定理論における）ブレイクスルー』

Efron&Morris(1972)

Morris(1983)

パラメトリック経験ベイズ

i.i.d同一分布から独立にindependent

identical distribution
単純な確率モデル
しばしば現実の悪い近似

確率モデル

データ

パラメーター
事前分布（prior）
パラメーター
事前分布のパラメーター

超パラメーター(hyperparameter)

超事前分布（hyperprior）
事前分布のパラメーター

確率モデル

データパラメーター

事前分布

パラメーター

事前分布のパラメーター
分布 上の分布のパラメーター
この分布のパラメーター

分布 上の分布のパラメーター
この分布のパラメーター

分布 上の分布のパラメーター
この分布のパラメーター

経験ベイズ
データで推定経験ベイズ

単純な場合

確率モデル

ここで扱う最も複雑な場合

データ

パラメーター
事前分布（prior）
パラメーター
事前分布のパラメーター
事前分布のパラメーター（超パラメーター）

データから推定

経験ベイズのしていること

θパラメーターy データ
p(θ|y)=

p(y|θ) p(θ)
p(y|θ) p(θ)

周辺尤度つまり分母の最大化

正規分布&等分散の例一元配置分散分析のような場合
確率モデル
パラメーター

データ Yi
母平均θi

事前分布（prior）

正規分布
母分散σ^2

パラメーター θi

事前分布のパラメーター母平均μ正規分布

母分散τ^2事前分布のパラメーター （超パラメーター）μτ2

正規分布&等分散の例

データ Yi 正規分布
パラメーター 母平均θi 母分散σ^2

確率モデル

経験ベイズ推定θi

全体の平均(k-3)σ2

データ(k-3)σ2（Yiの平方和）

1（Yiの平方和）

重み付け
μ τ2
データから推定事前分布のパラメーター

θiの経験ベイズ推定値

重み付け

全体の平均
(k-3)σ2（Yiの平方和）

Y1
Y2Y3
Yk

経験ベイズ
推定値

データ
(k-3)σ2

1（Yiの平方和）

平均二乗誤差がそれぞれの平均よりも小さい
全体
平均

Stein推定量と同じ（James-Stein推定量）

野球（アメリカMLB）の打者の安打率 Efron&Morris(1983)を簡単にしたもの
二項比率のデータに正規分布をあてはめているので無理はある
1970年最初の45打席
最高打率の選手
最低打率の選手
ランダムに選んだ6人

観察値

経験ベイズ

最終打率

全体
平均

シーズン最終打率と比較

二項分布の場合

標識再捕獲（marking-recapture）

再捕獲率がばらつくとき
二項分布
ベータ分布

確率一定
確率が分布を持ちばらつく
Lloyd&Yip(1991) Chen(2001) Huggins(2002)など

パラメーターαβα
平均(α+β)ベータ二項分布（負の超幾何分布）型のoverdispersionを組み込んだモデルと同じ状況

ベータ二項分布（負の超幾何分布）型のoverdispersionのモデル

確率が一定でなく分布（ベータ分布）を持つ
確率に相関があるなど

二項分布（確率一定）の自然な拡張

二項分布の場合

個体間の再捕獲率のばらつき

deermice110頭（Hoﬀmann, from Otisら1978）を一部改変した仮想的なデータ

ベータ分布のパラメーターαβ データから推定αの推定値=2.9βの推定値=3.80

1 2 34 5Huggins(2002)に同様な分析の例がある

経験ベイズ・生態学向き

疫学の適用例が参考になる

・多くの段階がある階層
・空間的な広がりー近いものの影響を受けやすい・推定値を使ったデータ解析

役に立った文献
北田修一（2001）栽培漁業と統計モデル分析. 共立出版
岸野洋久（1999）生のデータを料理する. 日本評論社
Carlin&Louis(2000) Bayes andEmpirical Bayes Methods for DataAnalysis. 2nd ed. Chapman&Hall
Maritz&Lwin(1989) Empirical Bayes Methods. 2nd ed.
Chapman&Hall
Hoggほか（2006）数理統計学ハンドブック.

朝倉書店