統計モデル選択の概要
松嶋 敏泰……‖‖‖‖‖‖‖‖‖‖‖‖‖＝‖‖＝‖‖州…………………l……lll……………l…‖‖‖‖‖‖‖‖‖＝‖‖……lll…l…………l……l…ll…ll…………‖‖……………ll…………l州…ll…ll…l……………………‖‖‖‖‖州…ll…………l……‖‖‖仙

1． はじめにからなるべく主観を取り除いて，データの情報のみを

モデル選択はデータから適切なモデルを決定する決定問題と考えられるが，モデルの適切さとは何であろうか．工学で用いられるモデルの適切さは，そのモデルが使われる目的から考えることが可能であろう．
本稿ではモデルの利用目的から適切さの視点を整理することによって，モデル選択の問題を概観する．

使ってモデルを選択するための基準がモデル選択基準と考えられる．
データからのみモデルを決定するといっても，全く何もないところからモデルを創り出すわけではなく，選択するモデルの範囲はあらかじめ設定しておく必要がある．それをモデルのクラスと呼ぶ．本稿の扱うモデルのクラスはパラメトリックモデルの有限集合と2．モデル選択とはする．モデルクラスを決定する時点ではやはり主観的統計モデルを構成し，利用していく工学的プロセスの一般的流れは概ね以下のよう考えられる．
Sl）モデルの選択，S2）検定推定，S3）モデルの利用．

Sl）では，対象母集団の性質や現象が発生するメカ
ニズム等を考慮に入れモデルの候補を選択する．多くの場合ここで用いられる統計モデルはパラメトリックなモデルであり，本稿でもパラメトリックモデルで議論を進める．パラメトリックモデルの確率密度関数をJ（坤m，m）で表現する．ここでmはモデル，βm∈
Om⊆花たはモデルmのた次のパラメータとする．
例えば，モデルmとして正規分布を考えれば，パラメータはβm＝（〃，J）の2次のパラメータとなる．
S2）では，選択されたモデルmに関して，データからβmを推定しパラメータも含めてモデルを一つに決定する．検定を用いて帰無位説mlと対立仮説m2からモデルを一つに決定することもある．
S3）では，このように決定された一つのモデルを用
いて予測，制御，圧縮など問題の目的に応じた意思決判断が必要となるわけで，Sl）から完全に主観を取り除けるわけではない．モデル選択はS2）のみしか扱えなかった古典的統計推測問題をSl）へと拡張していった問題ともとらえることができる．

このモデルのクラスのタイプは，まず分離型，非分離型に分類される．非分離型はさらにモデル間に順序関係があるクラスとないクラスに大別される．順序関係があるクラスは階層型と呼ばれ，特に全順序関係があるクラスは入れ子（nested）型と呼ばれる．

例えば，自己回帰モデルのクラスのモデル間には全順序関係があり，高次のモデルは必ず低次のモデルを含んでおり，入れ子型のモデルクラスとなる．重回帰モデルのクラスは変数組み合わせによりモデル間に半順序関係が成り立ち，入れ子型ではないが階層型のクラスとなる．

モデルクラスの中からモデルを選ぶというSl）の問

題は，S2）の検定を繰り返し1つのモデルに放り込むことで解決可能に思われる．しかし，その仮説の組み合わせは莫大になり，順番に行われるそれぞれの検定定がなされる．

S2）以降では選択されたモデルに対して窓意的，主観的判断をなるべく排除する方向で，モデルの決定や利用がなされる．しかし，Sl）のモデル選択においては，データのみでなく固有技術や過去の経験からの主観が入った判断を行わざるを得ない．この部分の判断は一般に独立ではなく，危険率などを調整することは非常に難しいと考えられる．

また，入れ子型モデルのクラスの場合は真のモデル
より高次のすべてのモデルは真のモデルを含んでしまうので，仮説検定の枠組みでは解決できない問題といえる．検定では，データが出てきた分布モデルは何まつしま としやす 早稲田大学理工学部

かという視点中心であるが，この例のようなモデル選〒169新宿区大久保3−4−1択の問題では，どのモデルが適切なのかという視点が1996年7 月号© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

（9）369予測した億，βg（Z）は真の分布♂（Z）での期待値を必要となってくる．

表す．

モデル選択の問題でもモデルのクラスは仮定しているわけで，その中に真のモデルが含まれる場合と，上式は新たなデータに対する2乗誤差を損失関数含まれない場合両方を考える必要があろう．さらにとしたものである．例えば先ほど述べた時系列データ

は，真のモデルというものが存在するのかという根本の予測の場合には，ガト1的問題まで測る必要があるが，そこまでは立ち入らなせればよい．

を∬にズtをZに対応さ

自己回帰モデルに対してこの損失からモデルをいこととする．

以上より，本稿ではモデルの良さ，適切さという視選択（モデルの次数を決定）する評価基準として，点から議論を進めていきたい．これについても定性的

FPE（FinalPredictionError）［4】が赤池によりAIC以にはいろいろの視点があると思えるが，モデルをどう前に提案されている．また，重回帰モデルにおいて被利用するかの最終的な目的から，本稿では次の2つの説明変数yの新たなデータに対する2乗誤差を損失視点から考えていくことにしたい．

としたモデル選択基準がManowsのら【9】といえる．

（1）モデルを用いて新たなデータに対して行動（広義の予測）を行った場合の良さ．

上の2つの回帰モデルの予測問題では平均値について予測が目的であったが，行動の目的が違えば平均値だけでなく分散などを予測することの方が重要（2）モデルを用いて与えられたデータに対して行動（な場合もあり得る．新たなデータに対する行動をもっと広義の予測ととらえた場合，行動の良さは真のモ

広義の圧縮）を行った場合の良さ．

デルと推測したモデルの平均のパラメータの違いの前者では，同じ統計モデルから得られる新たなデー
タに対して，選択したモデルを用いて何らかの行動をとった場合の良さで，そのモデルの良さを評価する．
例えば，選択したモデルを用いてf−1時点までの時

みではなく，分布全体の違いで測るべきと考えられる．そこで分布間の（擬）距離の一つであるKuuback−Leibler情報量によって損失関数を定義することを考える1．

系列データズt￣1：ズ1‥・ガト1からf時点のデータ

上2（J（Zl∂m（諾），叫∬）），g（Z））

方丈を予測した精度でモデルの良さを評価することで＝ち（Z）睡′（読豊永，，トある．

後者の場合，選択したモデルを用いることで，与えられたデータがいかにコンパクトに記録されるか，データの特徴をいかにうまく表現できるか等で評価を（2）

エ1をはじめとする予測の直凄的な損失関数やその他の分布間の距離を用いた損失関数に対して，エ2は漸近的に同等であったり，上界になることが知られてい行う．ある意味で記述統計的な側面からの評価ともいえる．

る．そこで広義の予測の総合的損失関数としてエ2を考えて良さそうに思える．この損失から考えたモデル
選択基準がAICであり，先に挙げたFPEもCbも漸3．モデルの良さの評価尺度

近的にAICと同等になることはよく知られている．
本節では，前節であげた2つの視点からの具体的評
価尺度を，いくつかの損失関数で考えてみる．

る危険関数月2を以下で定義しておく。

3．1 新たなデータに対しての行動

月2（J（Zl∂m（ズ），和才）），g（Z））

選択したモデルを新たなデータの予測に用いた場
合の良さの尺度として次の損失関数が考えられる．

エ1（J（Zl∂m（∬），血い）），♂（Z））g（Z）＝βg（ズ）旦夕（Z）【log

J（Z岬m（ズ），血（ズ）） ト （3）

3．2 与えられたデータに対しての行動
離散億∬iのm個の系列ごn：ご1‥・ごnを2億机∈＝ち（Z川乏（∂m（ご），抗（ご）トZl2】．（1）
ここで，血（∬）は与えられたデータ∬■からのモデルの推定値，∂m（諾）は呵諾）のもとでのパラメータの推定値，2（∂m（∬），呵諾））は推測したモデルを用いてZを3TO（10）

この損失関数上2のデータズに関する期待値であ（0，1）の系列C（が）＝y∫（ヱれ）：yl・‥叫。れ）に符号化

1ここでの対数logの底は任意でかまわないが，3．2節以降では記述長としての解釈をあたえるため，特に断らない限り
底は2とする．また，底がeの自然対数は1nで表記する．
オペレーションズ・リサーチ© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

して送ることを考える．ここで〜（￡n）は∬nの符号語

符号化の確率が鞍（ズれ）＝n；霊托（ズ佃lズt）をC（ヱm）の長さでJnによって変わるものとする．符号充たす場合，各ズtの損失のm回の累積が長さmの語から元の系列∬和が一意に復号される必要十分条件

系列ズn全体の損失となることから次の関係が成りとして，符号語長は∑が2￣J（苫n）≦1，を満たさねばな

立つ．

らないことが知られており，Ⅸraftの不等式【7】と呼ば

月3（f七（ズm），g（ズn））れている．

＝∑㌶亀（托（ズ什1Iズf），タ（ズ什1lズt））．（6）

符号の良さを測る基本的尺度は平均符号長￡c＝βg（㍍）【J（ズn）】である・この意味での最適符号の符号

以上より月2や月4の損失を累積したものが月3の損

長の割り振りかたは〜（が）＝−logタ（が）2とすればよ

失となり，記述長の評価基準がある意味で累積予測誤いことが示されており【7ト最適符号はⅨraftの不等式

差の評価基準となっていることが明らかとなった．

を等式で満たしている．

この節では，離散確率変数について議論したが，こ最適な符号長は真の分布タ（が）を用いて決定されの記述長の基準は連続値にも拡張される．本来連続値ているが，真の分布が未知の場合はどのように決定すの符号化には無限桁の精度が必要であるため，記述長ればよいであろうか．Ⅸraftの不等式を最適符号は等の基準は現実的には意味を成さない．しかし，一つの号で満たすことを考えると，ある確率托（が）を仮定

意味付けとして累積予測誤差の基準と考える■ことがすることで，符号長J（∬m）＝−logjも（が）とみなすこ

できるであろう．

とが可能である．

4．予測を目的としたモデル選択

よって，この・符号化のための確率jも（が）を最適に決めることが最適な符号長の割り振りを決めること

新たなデータに対する行動決定を目的とした危険になる．以上より，符号の決定問題が確率モデルを選関数月2 を最小化するモデル選択を考える．月2の択する問題と同等であることが明らかになった．

ち（Z）【1ng（ぞ）】の部分は比較対象の各モデルに共通な上式で決めた符号長と最適な符号長の差を損失とので，危険関数としては考え，その期待値をとった次式の危険関数は冗長度と月ら＝ち（ズ）βg（Z）【1nJ（Zl∂m（ズ），呵ズ））】（7）呼ばれている．

の最大化を考えればよいことになる．

的（ズnう，g（ズn））＝恥）【log老熟（4）しかし，これを直接求めることは困難であるため，

この式もKullback−Leibler情報量を示すが，期待値を漸近不偏推定量を求めることを考える．モデルをmとっている確率変数が上2とは違っている．エ2ではズに固定したときに，エ2を最小とするパラメータをβ㌫で推測したモデルに対し新たな確率変数Zで期待値と定義する．βm（ご）として最尤推定量を用いることとをとっているが，月3ではズに対して期待値をとってし，βm（∬）と♂㌫での漸近展開と，最尤推定量の分布いることになる．

が漸近的に正規分布に従うことを利用して次式が求

この違いは∬fまでのデータで∬叶1のデータの符号

まる．

語を決める逐次的（予測）符号C（れ＋直t）と，今まで
月ら述べた長さ几の系列を一括に符号化する符号とを比一加ce∫（β㌫）￣1J（♂㌫），

べればより明らかとなる．この予測符号化のズ什1に関する冗長度は以下で定義され，ズ叶1をZに，ズt（8）

ここで・叩㌫）＝一且g（ズ）【品1nJ（ズlβm）l♂＝β㌫】，

をズに書き換えれば月2と同等の損失になる．

J（軋）＝ち（ズ）協InJ（卵m鳩1nJ（卵m）l∂＝∂㌫ト

よって，損失関数の不偏推定量として次式が求ま

月4（fも（ズ叶1lズf），g（ズ什1Iズt））る．
＝ち（ズ丹1）【log

】・

（5）

1nJ（Zれ（ご），坤）卜加ce叩㌫）■1J（β㌫）．（9）2現実の符号長は自然数であるので正確には小数点以下を切り上げなければならないが，理論的考察において問題はな

いため実数の符号長を用いる．このような実数の符号長は理想符号長と呼ばれている．
1996年7 月号

I（Om）はモデルmのFisher情報量であり，真の分布g（∬）が仮定したモデルクラスに含まれる時は，∫伊m）＝J（βm）が成り立ち，第2項はパラメータの© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

（11）3Tl

次元たとなる．この場合がAICであり，エ2最小化のCriptionLength）基準がRissanenにより提案されてい目的のために，このAICを最大化するモデルを選択る【11］．この節ではRissanenの考え方を簡単にまとすることが提唱されている【1】．

める．

第1項の対数尤度1nJ（∬l∂m（諾），呵ご））でモデル

2段階符号化は，まずどのモデルを仮定しているのの良さ 月ら を測ると過大評価してしまう点に問題かを受借着に知らせるために，モデル流（が）とパラがあり，漸近的な偏りを第2項により補正している
ため，最尤推定量をパラメータとした分布関数では

メータβm（∬m）を送り，次にそのモデルを用いて求まるデータの確率P（叫∂m（∬n），呵が））を使ってデータを符号化し，データを送る方法である．Rissanellはこ∑。′（ェl∂m（∬），呵∬））＝1が成り立つとは限らず，確の符号化によるごnを送るための符号長を以下のよう率とは見なせないことからもそれを窺い知ることがに表している．

ことになる．これは，∂m（∬）と ∬ は独立でないできる．

AICの有用性は入れ子型モデルの選択を考えるとJ（∬n）＝ −logf）（諾nl∂m（∬n），呵∬n））＋〜（∂m（￡m）l呵ごn））＋J（呵∬n）），（10）

はっきりする．次数の高いモデルは低いモデルを含んでいるので，古典的な統計手法で用いられる対数尤度

ここで，第2項と第3項はそれぞれパラメータとモデのみの比較では必ず高次のモデルが選択されてしま

ルのインデックスを送るための記述長である．

う．これに対してAICではパラメータの次数を第2パラメータの推定量∂m（が）として最尤推定量を用項で引くことで高い次数のモデルを選択しにくくし，いることを前提とし，推定値を量子化して送倍するとデータヘの当てはまりの良さとモデルの複雑性のトする．この仮定で量子化の幅∂を大きくすると，推定レードオフをうまく調整している．このトレードオフ

値を上位の桁だけを有効数値として送ることとなり関係を明確に式で表現したAICは，その後のモデル

第2項の記述長は小さくなるが，第1項を最小化して選択研究に大きな影響を与えた．

いる最尤推定値とのずれが生じこの項は大きくなる．

AICの直接あ発展形として，真のモデルがモデルクラスに含まれない場合，式（9）の第2項はたとならな
いため，この項を何らかの漸近不偏推定量に置き換え
たTIC【2】が提案されている．

このトレードオフに対して，Rissanenは最適な量子化
幅が∂＝0（未）であること示している・
この量子化幅を用いて式（10）を漸近展開すると，以下の記述長が求まる（この式ではJ（流（Jn））は考慮して

AICは期待値が直接計算できないため漸近展開を用いたが，ブートストラップ法を基本とし，経験分布のリサンプリングを利用して期待値の近似計算をしてしまうことも考えられる．この考えをを発展させたいない）．

Jm（∬n）＝ −logf）（ご叩m（∬n），流（∬n））
た＋盲log几＋0（1）・

ものがEIC【3】で，この場合推定値として最尤推定量

この記述長を最小にするモデルが最適なモデルであ以外も用いることが可能である．

るという基準が，初期のMDL基準である．

また，本節の目的である予測に適したモデルを選択（11）

この基準の定性的主張は，モデルのデータに対するする意味での直接的手法としてクロス・ヴァリデーショ

適合性である対数尤度とモデルの複雑度であるモデンがである．クロス・ヴァリデーションはデータの一部

ル自体の記述長を，稔合的に符号長という尺度で判断からモデルのパラメータを推定し，それを用いて残りしている点にある．このMDLでもAICで主張されたのデータを予測することによってモデルの良さを決定

トレードオフ関係が見て取れ，第2項に補正項が入っする手法である．この手法がある条件の下でAICとている．これは先にも述べたように，最尤推定量をパ漸近的に同等であることが証明されている【14】．

ラメータとした分布関数で求まる符号化確率ではその和が1とならず，Kraftの不等式を摘す一意復号可

5．圧縮を目的としたモデル選択

能な符号が構成できない．そのため補正項が必要になると考えることもできる．

データの圧縮に関する危険関数月3の最小化を目

MDLにはその後いろいろ発展形が提案されてい的としたモデル選択について述べる．この目的に対しる．最近では量子化や2段階符号化にこだわらず，与て2段階符号化の考えを用いた，MDL（MinimumDis−

えられたデータを符号化するための最小記述長とい3丁2（12）オペレーシ© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

ョンズ・リサーチ●ベイズ危険を最大化する事前分布（最悪の事前う概念をstochasticc．omplexityと定義し，いろいろな分布）が存在すれば，その事前分布を用いたベイズ

応用が考えられている．

解は minimax 解となる．この性質より，事前分布

6．ベイズ理論からのモデル選択〝（∂mtm）＝ノdet叩m）／￣J榊m）dβを用いて式（14）で符号化することが，危険関数月3に関するmin−

ベイズ決定理論を用いて，最も確からしいモデルを選ぶという単純な発想からのモデル選択基準を考えimax解セあることが示されている．この符号化を用ると，以下の式を最大化するmを選ぶことになる．

いた場合の符号長は以下のように示せる【5トloP（ごlβm，7乃）／1（βmlm）P（m）dβ，
g ／

（12）

ここで，〝はパラメータの事前分布，P（m）はモデルの事前分布を表す．

上式は事後確率最大のmを選んでおり，mを推測したときの平均誤り確率最小という評価尺度でベイズ決定を行っていることになる．この式をSchwarzはモデルに指数分布族を仮定して漸近展開することにより，事前分布によらない（定数オーダでしか影響しーlog符（∬mlm）＝−logj⊃（ごnt∂m（ごn），m）＋…log芸・log／椰d帖（1）・（16）
このようにベイズ理論をおしすすめると，月3に対する完全なべイズ最適な決定は次式となり［10】，モデ
ルを一つに選択せずに，考え得るすべてのモデルの重みづけ平均をとることが最適となる．

榊）＝写／P（ご叩m，m）〃（βmlm）P（m′）dβ．（17）なくなる）形のBIC（BayesInformationCriterion）【12】
予測の最適化を図った予測符号托・（ズ汁再f）も，同様を求めた．

log顆nl∂m（∬n），坤れ））一log几＋0（1）・（13）BICは形としては先に述べたMDIJと同じになる

が，なぜであろうか．モデルをmに固定して，危険にモデルを重み付けすることで求められる【10ト このように目的関数だけをベイズ最適から追い求めると，1つのモデルを選択するというモデル選択の一般的枠組みとは違う戦略が出てくる。

関数月3をベイズ的に最適にする符号化の確率は以下

7．各モデル選択基準の性質のように求まる．
ギ（ごnlm）＝／P（∬lβm，m）〃（βm−m）d♂．（14）これはβmを事前分布で平均化して周辺分布をとったモデルが，月3の意味で最適であることを表している．
つまり式（12）はmをモデルとして選択した場合の最適記述長（累積予測損失）を評価していることにも●なる．BICはMDLと同じ評価基準で最適化を行っているとも見なせ，類似の結果がでて当然ともいえる．
一般的に，ある正規性をみたす分布族に対して，さこの節では再び，1つのモデルを選択するという本来の話題に戻そう．幾つかの目的からモデル選択基準
を眺めてきたが、得られた基準はAICと同様に対数尤度のみによる過大評価を何らかの補正項を用いて補正するものであった。
これらのモデル選択基準を一般的に表現すると以下の式となる。

1nJ（ごl∂m（ヱ）凍車）卜c（可・た．

（18）

らに正確に次のような漸近展開式が求まっている【6トーlogf誓（Jnlm）＝−logf）（ごnl∂m（ごn），m）
det∫（βm）＋…log芸＋log＋0（1）．（15）〝（βmlm）

このベイス最適なモデルj習（ごn）は，パラメータに最尤推定量を代入した分布を使うMDLやAICとは異な

このパラメータ次元に対する係数c（乃）は例えばAICの場合c（れ）＝1，BICの場合c（乃）＝をlog乃である・
この節ではこの一般的表現を用いて，C（れ）の違い
によるモデル選択基準の一致性と有効性について考

えてみたい．
選択されたモデルが几→∞で真のモデルに一致す

り，周辺分布を用いることがベイズ的には最適である

るかについては，次のような結果が得られている．真と主張している．

のモデルに確率収束するためのc（乃）の必要十分条件

しかし事前分布が決まらないと式（14）は計算でき

はc（几）→∞かつc（柁）／乃→0である．また，概収束ない．そこで，ベイズ基準ではなくminimax基準かするための必要十分条件はIiminfc（n）／1nlnn＞1から月3を最適化する符号化を考えることにする．

つc（乃）／乃→0である［8】．

1996年7 月号© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

（13）3丁3これより，AIC，TICのようなc（n）が定数である選択基準には一致性がなく，MDL，BICのようにc（n）＝0（log†1）の基準には一致性があることがわかる．概収束を満足するぎりぎりをねらった選択基準がHQで性を持たなくなる．

8． ぁわりに
本稿ではモデル選択の膨大な研究のほんの一部について，ある特定の視点からまとめたにすぎない．しC（几）＝α1nln几，α＞1となっている【8】．

入れ子型のモデルクラスを考え，真のパラメータのかし，モデル選択を行う際，形式的な選択基準の適次元をた0とした場合，AICもBICもた0未満の次数用ではなく，その対象問題をモデル化したい目的や背のモデルに収束する確率は0となるが，AICの場合，景，各モデル選択基準が導かれた条件や性質を考慮した0より大きい次数のモデルに収束する確率が0にはた上で，モデルクラスや選択基準を決めていただくた

ならず，少し大き目の次数のモデルを選択する傾向がめの参考に少しでもなれば幸いである．

あるといえる．

一敦性は真のモデルが仮定したモデルクラスに含まれている場合は論じることができるが，含まれていない場合，モデルが無限個のパラメータを用いかナれば表現できない場合は意味をなさない．そこで，無限次元のパラメータβで表される回帰モデルy＝ズβ＋亡について，線形モデルの平均値に対する平均2乗誤差βg【lズmβm一方βl2】を考えてみよう．ここでβmとズmはそれぞれモデルmに対応するた次だけをとりだしたパラメータベクトルと計画行列である．
選択対象のモデルクラスの次元としてはサンプル数几以下だけを考えればよい．漸近的にこの損失が下限と一致するのはc（乃）＝1のAICの場合だけであることが示されている【13トつまりこのような条件の

参考文献【1】坂元慶行，石黒真木夫，北川源四貼情報量統計学，情報科学講座A−叫．共立出版，1983．
r2】竹内啓．情報統計量の分布とモデルの適切さの基準．
数理科学，（153）‥12−18，1976．

●【3】北川源四郎，石黒真木夫，坂元慶行．情報量基準AICとEIC・電子情報通倍学会 技術研究報告汀βg，1993．
【4】H・Akaike・Fittingautoregressivemodelforpredic−
tion・ATも乱九βま・βねfiβま．〟α兢．，21：243−247，1969．
【5】B・S・Clarke・Je鮫eys，prioris asymptotical1yleast
favorableunderentropyrisk・J・Staiii3iicaEPLannm9
αndJ埴γeγ乙Ce，41：31L60，1994．

【6］B．S．ClarkeandA．R．Barron．Information−theoretic
asumptoticsofBayesmethods・IEEEThlnC．Ihf．The−
0γy，36（3）：453−471，May1990．
【7】R・G・Gallager・Iγ小rmaiioniheoryandreLiablecom−
m肌五cα上古0几．Wiley，1968．

下ではAICは漸近有効性をもつことがわかる．
この節では一致性と有効性について，各モデル選択

基準を横並べにして比較を行った．望ましい性質をす
べて満足するような選択基準は残念ながら存在しない．しかし，これはある意味で当たり前の結論ともいえる．なぜならば，前節までで述べてきたように，そ【8】E・J・HannanandB．G．Quinn．Thedeterminationof
theorderofanautOregreSSion・J・Roy・Slaiist・Soc・，

B41：190−195，1979．
【9］C・L・Mallows・Somecommentsoncp．7t，Chnomelrics，
15：66ト675，1973．

【10］T・Mats11Shima，H．Inazumi，andS．Hirasawa．Aclass

れぞれのモデル選択基準はそれぞれの目的のもとで

OfdistortionlesscodesdesignedbyBayesdecisionthe−構成されているのであるから，それ以外の部分では必Ory・J茸ββ升αれβ・Jγ坊アんeoγy，37（5）：1288−1293，Sep

ずしも良い性質を持つとは限らないわけである．
AICやTICなどのc（n）＝0（1）とした基準は，予測に対する良さをめざして構成された基準であるので，補正項が軽くなっている．このため，ある程度複雑なモデルも積極的取り入れることで，上の条件でイr効性

1991．

【11】J・Rissanen・Universalcoding，information，prediction
andestimation・IEEEnans・Ir4．Theory，30（4）‥629−
636，July1984．
【12】G・Schwarz・Estimatingthedimensionofamode．The
A几mαJβイ∫ね上i8ま壱cβ，6（2）：461−464，1978．
【13］R・Shibata・Anoptimalselectionofregressionvari−をもつ反面，一敦性を持たなくなったといえる．
また，BICやMDLなどはc（乃）＝0（lo帥）は記述
長を短くすることをめざして構成された基準である
ため，なるべくモデルを複雑にしないように制御する

ables・βiomeまγiたα，68：45−54，19飢．
【14】M・Stone・An asymptotic equivalence ofdlOice。fmodelbycross−Validationand Akaike，s Criterion．］．
凡叩・∫ね貴慮βt・∫oc．，B−39：44−47，1977．

力が強いといえる．このため，一致性は充たすが，無限次元パラメータをもつ複雑な対象に対しては有効

オペレーションズ・リサーチ

374（14）© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

●