生態学におけるAICの誤用粕谷英一（九州大学・理・生物）
1

2014.3

複数のモデルを比べる・片方を選ぶ
検定
AIC

偶然のみによるばらつきとの比較

予測の最適化Bayes factor モデルへの支持がデータによりどれだけ変化
BIC

事後確率

モデルを比べる基準がちがうーモデルの「よさ」が異なる
2

複数のモデルを比べる・片方を選ぶ
検定
AIC

偶然のみによるばらつきとの比較

予測の最適化Bayes factor モデルへの支持がデータによりどれだけ変化
BIC

事後確率

モデルを比べる目的がちがうーモデルの「よさ」が異なる
3

「よさ」の基準がちがえば、「よいモデル」はちがう
AICは、正しいモデルを選ぶものではないので、正しいモデルを選ばない
4

AIC＝­２ (最大対数尤度)＋２ （自由なパラメーター数）

AIC
5AIC＝­２ (最大対数尤度)＋２ （自由なパラメーター数）

予測の最適化AICが小さいモデルほど平均的に精度の高い予測

典型的な場合２つのデータを使う

データセット説明変数と目的変数
各モデルのAIC算出と予測モデル決定

新しい説明変数のみのデータ
予測モデルで目的変数を計算

6

AICの使われ方変わった使い方粕谷の認識

ここ数年、生態学会でもよく見かける
地域、対照限定の現象ではない

AIC 赤池情報量規準

7

AIC（赤池情報量規準）が最小のモデル

よいモデル

真である（あるいは真にとても近い）

原型：単純に最小のモデル

バリエーション：AICの差の閾値を設ける

例.目的変数Yはどんな要因（説明変数）の影響を受けているか
X1,X2,X3
回帰的モデル
どの要因も影響せず
X1とX2が影響

X1のみ影響

X1とX3が影響

X2のみ影響
X2とX3が影響

X3のみ影響
X1とX2とX3が影響

AICが最小のモデル
たとえば「X2とX3が影響」
8
Yに、X1は影響を与えず、X2とX3が影響を与えていることがわかった

2が多い

適用が比較的容易
AICが計算できれば、あとは数値の大小比較だけ対数尤度が計算できて最大化できればいい
結論がはっきりでる（変異型では,出ないこともある）
比較が単純：AICが一番小さいモデルを選べばよい

9

AICのこういう使い方
AICの目的から外れているー目的外使用予測の最適化

正しいモデルを選べるのかすでにわかっていること（例、Shibata(1976)以来、多数）

選べない

10

正しいモデル
真のモデル

データを生成したモデル
true, generating11分析（計算）あるモデル（真のモデル、正しいモデル）で所定のサンプルサイズのデータを生成
AIC最小になるモデルを記録

シミュレーション10000回

データ生成したモデル（真、正しい）が選ばれる割合をみる
正しいモデルが候補の中に含まれている［AICの本来の目的では好適条件］

データが多ければ、正しいモデルが非常に高い割合で選ばれる
サンプルサイズが無限大なら、正しいモデルが必ず選ばれる
データ生成するモデル（真、正しい）比べるモデルたちの中でパラメーター数が最小サンプル数（n）が無限大のときに解析的な結果が使える12

分析（計算）例１．二項分布

Fisherの正確確率検定や２ ２分割表のカイ２乗検定のような状況

データ生成（真の、正しい、モデル）
二項分布（確率0.65で1、確率0.35で0）
第１のサブサンプル（n=1000）
第２のサブサンプル（n=1000）
両サブサンプルとも等しい確率で生成検討するモデル
モデル１

２つのサブサンプルとも等しい確率
自由なパラメーター数＝1

モデル２

サブサンプルごとに確率がちがってもいい
自由なパラメーター数＝213

分析（計算）例１．二項分布

同内容だが、こう見てもいい

データ生成（真の、正しい、モデル）
二項分布（確率0.65で1、確率0.35で0）
第１のサブサンプル（n=1000）
説明変数＝0
第２のサブサンプル（n=1000）
説明変数＝1
両サブサンプルとも説明変数に関係なく等しい確率で生成検討するモデル
モデル１

説明変数の効果なし

２つのサブサンプルとも等しい確率

自由なパラメーター数＝1
モデル２

説明変数の効果あり

サブサンプルごとに確率がちがってもいい

自由なパラメーター数＝214

分析（計算）例１．二項分布4000
2000

n=1000ずつ

0Frequency

Histogram of AIC1 - AIC2051015

２つのモデルのAICの差のヒストグラム

AIC1 - AIC2

AIC１がAIC2よりも小さいのが10000回のうち8502回
正しいモデルはモデル1だから、正しいモデルを選ぶ割合は85%
正しくないモデルを選ぶ割合は15%15分析（計算）例１．二項分布4000

サンプルサイズを増やす

2000

n=50000ずつ

0Frequency

Histogram of AIC1 - AIC20510

２つのモデルのAICの差のヒストグラム

AIC1 - AIC2

AIC１がAIC2よりも小さいのが10000回のうち8472回

正しいモデルはモデル1だから、正しいモデルを選ぶ割合は85%
正しくないモデルを選ぶ割合は15%16分析（計算）例２．正規分布studentのt検定や２水準の一元配置分散分析のような状況

データ生成（真の、正しい、モデル）
目的変数ー正規分布
サンプル（n=2000）

説明変数１か0

説明変数が1でも0でも目的変数の分布は同じ検討するモデル
モデル１

目的変数に説明変数の影響なし
自由なパラメーター数＝2

モデル２

目的変数に説明変数が影響自由なパラメーター数＝317

分析（計算）例２．正規分布4000
2000n=2000
２つのモデルのAICの差のヒストグラム

0Frequency

Histogram of AIC1 - AIC2051015

AIC1 - AIC2

AIC１がAIC2よりも小さいのが10000回のうち8428回

正しいモデルはモデル1だから、正しいモデルを選ぶ割合は84%
正しくないモデルを選ぶ割合は16%18

分析（計算）例．正規分布n=200000

2000

4000

サンプルサイズを増やす

0Frequency

Histogram of AIC1 - AIC2051015

２つのモデルのAICの差のヒストグラム

AIC1 - AIC2

AIC１がAIC2よりも小さいのが10000回のうち8424回
正しいモデルはモデル1だから、正しいモデルを選ぶ割合は84%
正しくないモデルを選ぶ割合は16%19・かなり大きなサンプルサイズでも正しくないモデルを15~16％選ぶ
・二項分布でも正規分布でも、AICの差のヒストグラムはよく似ている

サンプルサイズが無限大のときは理論的に計算できる
サンプルサイズが無限大のとき、正しいモデルを選ぶ確率はどちらの例でも８４．２７０％20サンプルサイズが無限大のときは理論的に計算できる
対数尤度比統計量の分布の理論
AIC＝­２ (最大対数尤度)＋２ （自由なパラメーター数）
対数尤度比統計量＝(最大対数尤度)を２倍したものの差制約を課した（帰無仮説に相当する）モデルが正しい場合、サンプルサイズ無限大のとき、対数尤度比統計量の分布は理論（Wilksの定理）から、自由度１のカイ２乗分布になる。そこで、ここでの正しい（真の）モデルを選ぶ確率は、サンプルサイズが大きくなると0.84270に収束する（いくらでも近づく）。
すると、サンプルサイズが無限大のとき、正しいモデルを選ぶ確率は８４．２７０％21

・かなり大きなサンプルサイズでも正しくないモデルを15~16％選ぶ
サンプルサイズ無限大なら正しくないモデルを15.7％選ぶ・二項分布でも正規分布でも、AICの差のヒストグラムはよく似ている

ここで計算に使った状況は単純一般性があるのか？

対数尤度比統計量の分布の理論はモデルが複雑でも成り立つ
正しいモデルvs 正しいモデル＋本当は影響していないパラメーター１つに一般的にあてはまる

本当は効果の無い要因も候補として取り上げている場合には、同じことが言える
22

過去の研究AICには「正しいモデルを選ぶ」一致性がない
一致性（consistency）
サンプルサイズ（データの量）が大きくなれば、推定値は真の値に近づく

AIC最小のモデルは、サンプルサイズが非常に大きくなれば、いつも正しい（真の）モデルかちがう
パラメーターを多く含むモデルを選ぶことが多い

Shibata(1976)など

一致性があるのは特殊な場合だけ
小西・北川『情報量統計学』

検定にも「正しいモデルを選ぶ」一致性がない

帰無仮説が正しい場合でも、有意水準の確率で、誤って帰無仮説を棄てる
５％水準なら、５％

AICは正しいモデルを選ばない
AICは正しいモデルを選ぶものではないので、正しいモデルを選ばない25

分析（計算）もっとたくさん候補となるモデルがあったらどうなるか
AICを使う場面としてはたぶんより現実的重回帰の説明変数選択
正規分布

n=1000

シミュレーション10000回

データ生成
無相関な正規変数の乱数で目的変数と説明変数を生成

正しい、真のモデル定数項（切片）のみ
26

分析（計算）多数の候補モデル
説明変数が4個"定数"4971

正しいモデルが選ばれる割合＝0.497"x2 + x3 + 定数"

187"x1 + 定数”

927

"x1 + x2 + x3 + 定数""x2 + 定数"916

"x4 + 定数""x1 + x2 + 定数""x3 + 定数"

183

970

"x1 + x3 + 定数"

176"x3 + x4 + 定数"
30952"x1 + x4 + 定数"

184"x2 + x4 + 定数"

182"x1 + x2 + x4 + 定数"

189"x1 + x3 + x4 + 定数"

47"x2 + x3 + x4 + 定数"

31"x1 + x2 + x3 + x4 + 定数"
46

説明変数が5個正しいモデルが選ばれる割合＝0.418

説明変数が6個正しいモデルが選ばれる割合＝0.357

説明変数が7個正しいモデルが選ばれる割合＝0.298

説明変数が8個正しいモデルが選ばれる割合＝0.247279分析（計算）多数の候補モデル重回帰の説明変数選択

正規分布

データ生成のモデル（正しい、真）：どの説明変数も影響していない

正しい（真の）モデルが選ばれる割合は候補モデルが増えると低下していく
どの説明変数も本当は影響していなくても、説明変数が多数あると、正しいモデルが選ばれる確率はかなり低い28

分析（計算）AICの差に閾値を設けたらどうなるか
AICが小さくても差の絶対値が閾値を超えないときは「どのモデルも採用しない」

二項分布の例を使って計算シミュレーション10000回

AIC＝­２ (最大対数尤度)＋２ （自由なパラメーター数）同じデータに対しては、パラメーターを加えたモデルの最大対数尤度≧
パラメーターを加えていないモデルの最大対数尤度という関係がいつでも成り立つ

29

分析（計算）n=2000のとき
閾値＝１なら、モデル１を6898回、モデル２を826回、どちらも選ばないのが2276回
閾値＝２なら、モデル１を0回、モデル２を451回、どちらも選ばないのが9549回

閾値が２以上では正しいモデルが選ばれることは皆無
n=20000のとき
閾値＝１なら、モデル１を6844回、モデル２を822回、どちらも選ばないのが2334回
閾値＝２なら、モデル１を0回、モデル２を440回、どちらも選ばないのが8560回
30

分析（計算）閾値の設定では改善しない
AICの差の閾値が2以上
・モデル１（正しい、真のモデル）はまったく選ばれない
・ 選ばれるときは、正しくないモデル

31

AICは正しいモデルを選ぶものではないので、正しいモデルを選ばない

・2つのモデルが候補で、モデル間のちがいが１つのパラメーターの有無の場合
目的変数の分布をはじめ、モデルの詳細によらず、サンプルサイズが無限大の場合、パラメーターが１つ少ないモデルが正しいとき、その正しいモデルが選ばれる確率は84.27％

パラメーターが１つ少ないモデルが正しいとき、AICの差の閾値を2以上にすると正しいモデルはまったく選ばれない32

「よさ」の基準がちがえば、「よいモデル」はちがう
AICは、正しいモデルを選ぶものではないので、正しいモデルを選ばない
33