経営課題にAIを!ビジネスインフォマティクス研究会 (第8回)
JSAI Special Interest Group on Business Informatics (SIG-BI #8)

危険なデータマイニング— リターン予測とオーバーフィッティング —Dangers of Data-Mining: Return Predictability and Overfitting
内山 朋規 1∗

瀧澤 秀明 2

Tomonori Uchiyama1

Hideaki Takizawa2
1

1

菊川 匡 2

Tadashi Kikugawa2

首都大学東京Tokyo Metropolitan University
22

野村證券

Nomura Securities Co., Ltd.

Abstract:
Standard finance theory states that returns on assets are predictable. However
finding empirical evidence of predictability is statistically difficult, and data-mining for detecting
more significant evidence leads to overfitting, by which it looks like significant in appearance but
is senseless in fact. Particularly in recent years, an enormous amount of information or big data
becomes available at low cost, and machine learning attracts an increasing interest in engineering
aspects. Big data and machine learning can contribute to improvement in prediction accuracy,
while they increase possibility of overfitting. This study considers data-mining with both variableselection and model selection for return predictability in the time-series. Our results demonstratethat overfitting makes large degree of influence on backtests, giving rise to specious identifications.など）を対象に，クロスセクションあるいは時系列にお1 はじめに資産価格は将来キャッシュフローの期待値をプレミアム（言い換えれば期待リターン，資本コスト）で割り引いた現在価値として定まることから，プレミアムの特徴を解明することは，資産価格理論における中心的テーマであり続けている．プレミアムはクロスセクションで異なり，かつ時系列に変動し，何らかの予測変数（ファクターや特性と呼ばれる）によって，クロスセクションと時系列の双方でリターンが予測可能であることは，現在の学術界における標準的な考え方である（例えば Cochrane (2011) 参照）．株式市場を例にとると，純資産株価倍率 (Fama and French, 1992) や配当利回り(Campbell and Shiller, 1988) は，それぞれクロスセクションと時系列におけるよく知られた予測変数である．
プレミアムの実証的な特徴を満足に記述できるモデル
はいまだ存在せず，多くの研究者が様々な資産（株式，債券，クレジット，ボラティリティ，通貨，コモディティける予測変数（ファクター）の研究を競い合い，新たな予測変数を「発見した」とする報告が続いている（筆者らも含まれる）．例えば Harvey, Liu and Zhu (2016) によれば，米国株式市場におけるクロスセクションの予測変数として，これまでトップジャーナルに「発見」が報告されたファクターは 316 個もあり，「発見」される頻度は年々高まっている．他の資産や時系列の予測変数に関しても同様で，2011 年の米国ファイナンス学会会長
講演 (Cochrane, 2011) では，学術界のこうした状況が“zoo of new factors”と称されている．
新たなファクター，あるいは改良を加えることによって，より予測精度が高まるファクターを見つけることは，学術界だけでなく，実務の研究者によっても精力的に行われている．得られた結果を資産運用の投資戦略や商品開発に利用できるためである．特に最近，これまでの学術研究の成果を実務に直接応用するファクター投資の考え方が実践され始めている．
さらに近年では，機会学習やビッグデータに注目が集まっている．データスヌーピングとも呼ばれ，ネガティ∗ 連絡先：首都大学東京大学院社会科学研究科経営学専攻〒100-0005 東京都千代田区丸の内 1-4-1

E-mail: tomonori-uchiyama@tmu.ac.jp

ブな意味の用語として使われてきたデータマイニング
が，ファイナンスの分野でもポジティブな意味として使経営課題にAIを!ビジネスインフォマティクス研究会 (第8回)
JSAI Special Interest Group on Business Informatics (SIG-BI #8)

図 1: 4 種類のマクロ変数を用いた回帰木による TOPIX リターンの予測の例（モデル X ）YES                                                                                              NO

（注）回帰木による 2011 年 1 月分の TOPIX リターンの予測．X[0] は TOPIX 売買回転率（前月差），X[1] は JGB10 年利回り（前月差），
X[2] は UST2 年利回り（前月差），X[3] は鉱工業生産を表す．

われる場面が見受けられる1 ．予測対象のリターンデーもたらす．

タは時間の経過分しか増えない一方で，情報コストの低オーバーフィッティングは，予測対象の標本数が有限減に伴い予測変数の候補として使用可能なデータは飛躍であるにもかかわらず，変数選択に自由度があること，的に増大している．数値データのみならず，例えば今日すなわち，変数の選択や値の処理方法，変数の組み合わでは Twitter 投稿のテキスト分析や，人工衛星画像の交せ方などに自由度（あるいは恣意性）があることから生通量解析といった非構造化データも利用可能である．まじる．加えて，モデル選択に自由度があること，言い換た，近年は工学的な側面から機械学習への注目度が増しえれば，複数のモデルから「ベストフィット」するモデている．線形回帰だけでなく，最近傍法やサポートベクルを選択することからも生じる．通常の単一検定の基準

ターマシン，ニューラルネットワーク，決定木，回帰木，ではなく，多重検定であることを考慮して有意性を評価

ランダムフォレストといったモデルも利用されている．

する必要がある．本稿では，時系列におけるリターン予情報処理能力の向上も相まって，データマイニングはこ測を対象に，オーバーフィッティングの影響を分析すれからもますます容易になるだろう．しかし，データマる．変数選択によるマイニングだけでなく，機械学習にイニングはオーバーフィッティング（過剰適合）という伴うモデル選択によるマイニングの影響も扱う．

忌忌しき事態を招く．
クロスセクションや時系列におけるリターンの予測可2 時系列のリターン予測

能性に関して，合理的説明と行動論的説明の双方からさ

2.1 例：予測モデル X

まざまな理論的根拠が示されているものの，統計的にこれを検出することは容易ではないことが知られる（例え時系列において将来のリターンを予測する例から始め

ば Cochrane (2008) 参照）．そこで新たな実証的証拠をよう．月次データを用いて，アウトオブサンプルで毎月発見するには，データを念入りに調べることになる．一末に翌月の TOPIX（東証株価指数）リターンの予測を方で，念入りに調べるほど，本来は意味がないにもかか行う．具体的には，(1)TOPIX 売買回転率（前月差），わらず，興味深いパターンが偶然に出現してしまうとい(2)JGB（日本国債）10 年利回り（前月差），(3)UST（米国債）2 年利回り（前月差），(4) 鉱工業生産（前月比）の4 種類のマクロ変数を予測変数として，回帰木により翌月の TOPIX リターンの期待値を推定する．回帰木のパラメータは毎月末に過去 60 ヶ月間のデータから再推定する．例えば，2011 年 1 月分の TOPIX リターンの予測値は，2010 年 12 月までの過去 60 ヵ月間の TOPIX

うオーバーフィッティングの可能性が高まる (Lo andMacKinlay, 1990)．偽発見であればこうした成果に価値はなく，むしろ成果が応用されることによって弊害を

1 例えば，MATLAB の開発元である MathWorks 社のパンフレット『機械学習のご紹介』(MathWorks, 2016) には，「機械学習のさまざまなアルゴリズムは，データに潜む自然なパターンを見つけ出し，そこから洞察を導き，あなたがよりよい意思決定や未来予測をするのを助けてくれます．これらは，日々の医療診断や株取引，エネルギー需要予測など，さまざまな場面での意思決定に利用されています．
」と記載されている．

リターンと前月のマクロ変数の値からモデルのパラメータを推定し，2010 年 12 月のマクロ変数の値を用いて予測する．使用データの期間は 2006 年 1 月から 2015 年

2経営課題にAIを!ビジネスインフォマティクス研究会 (第8回)
JSAI Special Interest Group on Business Informatics (SIG-BI #8)

12 月であるが，過去 60 ヶ月間のデータを推定に用いるため，予測の分析期間は 2011 年 1 月から 2015 年 12 月までの 60 ヶ月間である．図 1 は，例として 2011 年 1 月分の予測分を表す．以後，この予測方法をモデル X と400呼ぶことにする．

200

図 2: TOPIX リターンの予測予測モデルY
予測モデルXTOPIX

2.2 検定100

このモデルに予測力はあるだろうか．これを検定す

ベンチマークるため，ナイーブに過去 60 ヶ月間の TOPIX リター

50

ンの平均を翌月の期待値とするものをベンチマークと2011/1

する．t 月における TOPIX の実現リターンを rt とbenchmarkEt−1[rt ]，上記の 4 種類のマクロ変数を用いた回model X
帰木による予測値を r!t := Et−1[rt ] とおく．ベンチ
マークの予測誤差を ut := r t − rt ，モデル X の予測誤差を u!t := r!t − rt とすると，もしモデル X の方がベンチマークよりも予測力が高ければ，予測誤差の平方 u!2t2の期待値は，ut の期待値よりも小さいはずである．
実際には分析期間のデータを用いて，u2t と u!2t の差を評価するが，仮にモデル X にベンチマークを上回る予測力がないとしても，標本が有限個であるために u2t − u!2t

2014/1

2015/1

分かる．
はたして，モデル X は本当に有効なのであろうか．
データマイニングの結果でなければ（すなわち単一検定ならば），有意といえる．しかし，データマイニングをして，予測精度が高いモデルを探し出した結果であるならば，どう考えるべきであろうか．の標本平均はゼロではなく，負になるバイアスを持つ．
そこで，Clark and West (2007) の方法により，このバ3 既存研究イアスを補正した以下の ft を定義する．
2

2013/1（注）予測モデル X ，予測モデル Y ，ベンチマークは，それぞれのモデルの前月末における TOPIX リターンの予測値が正ならばロング，負ならばショートした戦略の累積リターンを表す．2011 年 1 月から2015 年 12 月まで．月次リバランス．

し，前月末におけるベンチマークによる予測値を r t :=ft := u2t − u!2t + (ut − u!t )2012/1

データマイニングに伴う危険性は古くから認識されて(1)

きたが，その対処は，経済学的原理を裏付けとした実証

第 3 項がバイアスの補正項である．もし，f の平均が有を行う，実証方法やモデルや変数を簡潔にする，純粋な意に正であれば，モデル X の予測精度はベンチマーク実証分析であれば広範にロバスト性を検証する，といっよりも高いと判断される．したがって，片側検定によりた定性的な規範にもっぱら頼ってきた．ファイナンスで診断すればよい．

は従来，オーバーフィッティングの問題はさほど定量的

この結果，モデル X の f の平均値の t 値は 3.96 とに扱われてこなかった．ところが近年，このテーマに注なった．5% 有意水準に対応する漸近的な t 値の臨界点目が集まりつつある．代表的な既存研究はいずれも米国

は 1.64 で，モデル X の t 値はこれを超えている．した

株式市場の個別銘柄を対象に，クロスセクションにおけがって，4 種類のマクロ変数を用いた回帰木による予測るリターン予測について論じている．の精度は，過去平均によるナイーブな予測を有意に上McLean and Pontiff (2016) は，リターンの銘柄間の格差を予測する既知の 97 個のファクター（特性）を対回る．
図 2 は，モデル X やベンチマークの予測リターンが象に，論文の公表後に超過リターンが約半分の大きさに正の場合に TOPIX をロング，負の場合にはショートす低下していることを報告し，この原因が投資家にファクる，月次リバランスによる戦略の累積リターンを表した

ターが知れ渡ったことによる影響か，あるいは単なるものである（モデル Y については 4.1 節で述べる）．モ

デーマイニングの結果に過ぎなかなったことを論じてデル X はあくまで翌月のリターンの水準を予測するもいる．のであり，その方向，すなわち符号が正か負を予測する

また，Harvey, Liu and Zhu (2016) は，過去に行われものではないが，予測値の符号に応じてポジションを切てきた実証分析すべてを多重検定として認識すべきであ

り替えると，ベンチマークの予測によるロングショートることを論じ，2012 年までに代表的なジャーナルに掲戦略や，TOPIX そのもの（これは常にロングする戦略載された 316 個のファクターを対象にしている．論文にに相当する）よりもパフォーマンスは良好であることが3経営課題にAIを!ビジネスインフォマティクス研究会 (第8回)
JSAI Special Interest Group on Business Informatics (SIG-BI #8)

表 1: 予測変数の候補
TOPIX
TOPIX 配当利回り*
TOPIX PBR*TOPIX PSR*TOPIX 売買回転率*
TOPIX ボラティリティ*JGB10 年利回り*
JGB2-10 年スプレッド*
UST10 年利回り*
UST2-10 年スプレッド*

UST2 年利回り*
米 LIBOR*S&P 商品価格インデックス
S&P レバレッジドローン指数
NY ダウ
USDJPYUSDEUR金スポット
VIX 指数
ユーロストックス

バルチックドライ指数
景気ウォッチャー現状*
現状・家計*
現状・企業*
現状・雇用*
景気ウォッチャー先行き*
先行き・家計*先行き・企業*
先行き・雇用*米製造業 ISM*

米製造業 ISM・新規受注*
米製造業 ISM・雇用*
米製造業 ISM・価格*
米非製造業 ISM*
米非製造業 ISM・新規受注*
米非製造業 ISM・雇用*
米非製造業 ISM・価格*
米消費者信頼感指数*
米消費者信頼感・現状*
米消費者信頼感・先行き*

ユーロ景況感指数*
ユーロ消費者信頼感指数*
中国消費者信頼感指数*
豪州消費者信頼感指数*
最終需要財在庫率指数
機械受注
新設住宅着工床面積
耐久消費財出荷指数
日経商品指数
鉱工業生産（注）*は前月比，他は前月差を表す．

記載されている t 値（p 値）を抽出し，多重検定である

た結果，偶然に純資産株価倍率を用いた場合の t 値が高ことを考慮して Bonferonni 法などで調整を行うと，掲かっただけかもしれない．これを考えるには，利用可能載されたファクターのうち半分程度は有意とはいえず，なすべての財務変数を対象にした多重検定を行えばよ偽発見として判定されることを述べている．さらに，両い．Yan and Zheng (2017) は，18,113 個の財務変数を側検定 における 5% 水準の t 値の臨界点について，単対象にそれぞれのアルファを算出し，これらの t 値のク一検定では 2.0 であるが，多重検定であることを考慮す

ロスセクションにおける分布と，アルファをゼロとおいると 2012 年時点において 3 から 4 程度に設定すべきでた人工的な超過リターンからブートストラップ・シミュあることを論じている．

レーションによって得たアルファの t 値の分布を比較し2Novy-Marx (2016) は，ファクターを探索することにている．もし，実際に観測される極端な t 値が偶然であよるデータマイニングの影響を調べている．ある一つのるならば，高い t 値は真のアルファがゼロでもある程度ファクターにティルトしたポートフォリオを組むと，平の頻度で出現するはずである．しかし，Yan and Zheng

均超過リターン（アルファ）の実現値は正か負の値にな(2017) は，財務変数がもたらす実際のアルファの t 値る．事後的にアルファが正になる方向でファクターを採のうち極端に高いものが，アルファをゼロとしたシミュ用する余地が分析者にはある．多くのファクターを試せ

レーションでは 5% 以下でしか出現しないことを示し，ば，本来は予測力がなくても，実証分析における標本数

データマイニングでは説明できないことを述べている．

は必然的に有限なので，有意に見えるものが出現する．

これらの既存研究はいずれもクロスセクションにおけさらに，こうした選択バイアスでだけでなく合成バイアるリターン予測のオーバーフィッティングを扱っていスもあり，分析者には複数のファクターを事後的に定める．一方，時系列についてはこれまでほとんど探究されたウェイトで合成する余地もある．Novy-Marx (2016)ていない．時系列はクロスセクションに比べて予測対象は，正規乱数（乱数に予測力はない）をファクターに用の標本数が少ないことから，オーバーフィッティングのいて，選択バイアスや合成バイアスを考慮した t 値の分影響はより深刻なはずである．本稿では，時系列におけ布をシミュレーションによって算出している．特に，nるリターン予測のオーバーフィッティングに関して，変個のファクターを試してこの中から事後的に t 値の高い数選択によるマイニングだけでなく，機械学習に伴うモk 個を合成して使用することは，n 個という非常に多くのファクター候補から t 値が最大のものを 1 つ選ぶのにデル選択によるマイニングの影響も扱う．

匹敵することを示している．

4 時系列予測におけるオーバーk

一方，Yan and Zheng (2017) は，実際のファクターにフィッティング着目している．例えば 1 章で述べた純資産株価倍率は代表的な財務変数の予測変数で，この値で銘柄をソートし4.1 予測モデル X の構築方法てロングショート戦略のポートフォリオを構築すると，2 章で述べたモデル X に話しを戻そう．実は，予測アルファは有意にゼロとは異なることが知られている．

モデル X は多くの候補の中から「アウトオブサンプル」

これに対する自然な疑念として，多くの財務変数を試しでの予測精度が最も高いものを選択した結果である．具
体的には，表 1 に記載した 50 種類の市場データや経済

2 クロスセクションにおいては，超過リターンの平均が有意にゼロとは異なるかどうかが検定されることから，両側検定による．

4

経営課題にAIを!ビジネスインフォマティクス研究会 (第8回)
JSAI Special Interest Group on Business Informatics (SIG-BI #8)指標などのマクロ変数を予測変数の候補とし，さらに線

図 3: t 値の分布形回帰，k 近傍法，回帰木3 の 3 種類の予測モデルの中かデータマイニングありら，(1) 式で定義された f の平均値の t 値が最大になっ（変数選択とモデル選択の双方）たものである．
具体的な計算方法は以下による．50 個のマクロ変数

予測モデルXののうち少なくても一つを用いると，予測変数の組み合わ

t値は3.96

せは 250 − 1 通りあり，さらに予測モデルが 3 通りある
ため，計 (250 − 1) × 3 ≈ 3, 300 兆通りの組み合わせがある．これらのすべてについて t 値を算出するには莫大5%臨界点は5.41

データマイニングなし

な時間を要することから，3 種類の予測モデルのそれぞれについて，50 個のすべての予測変数から始めて，t 値が最も高くなるように，1 個ずつ予測変数を減らした．

-5-4-3-2-1012345678t値

この方法では 250 − 1 通りの中から t 値が最大となる予（表）t 値のパーセンタイル測変数の組を選択できるとは限らないが，計算時間は大幅に短縮される．最後に，3 種類の予測モデルのうち，t値が最大のものを選択した．

データマイニングなし
線形回帰
k 近傍法
回帰木

したがって，予測モデル X の予測力を評価するには，多重検定の枠組みが必要になる．予測対象の TOPIX リ
ターンの標本数は 60 個しかないに対して，予測変数のデータマイニングありモデル選択のみ変数選択のみ（線形回帰）
変数選択のみ（k 近傍法）
変数選択のみ（回帰木）
変数選択とモデル選択の双方

候補は 50 個もあって極端なように思えるかもしれない．
しかし，予測対象の標本数に対して，予測変数の候補が多いことが問題になるため，ビッグデータを扱う最近の風潮では現実的な設定である．また，線形回帰，k 近傍法，回帰木の 3 つのモデルから「ベストフット」するも中央値

5%

0.00
0.00
−0.01

1.74
1.80
1.690.83
3.60
4.143.80
4.41

2.17
4.97
5.28
4.90
5.41

（注）乱数を予測変数に用いたシミュレーションによる t 値の分布を表す．予測対象は 2011 年 1 月から 2015 年 12 月までの TOPIX リ
ターン．月次データ．のを採用するのは，近年の機械学習への注目に対応している．
なお，図 2 のモデル Y は，50 個の予測変数と 3 通りのモデルを用いている点ではモデル X と同様であるなるものを探索する．このシミュレーションを 1 万回繰が，予測精度が最大になるもの，すなわち ft の平均値り返す．したがって，シミュレーションごとに，t 値がの t 値が最大になるものを探索したのではなく，翌月の最大になるものとして選択された予測変数（乱数）の組

TOPIX リターンの方向（正か負か）の的中率を「アウやモデルは異なる．乱数には予測力がないため，シミュトオブサンプル」で最大になるように探索した結果であレーションから得られた t 値の分布は，予測力がないとる4 ．モデル Y の方が図 2 の投資戦略に合致しているいう帰無仮説もとでの t 値の分布に対応する．もし，モが，本稿ではリターンの予測精度を議論の対象にするたデル X の t 値がシミュレーションによる 5% 臨界値よめ，以後ではモデル X のみについて論じる．

りも大きければ，5% 水準で有意といえる．
なお，50 個のマクロ変数の相関を考慮した正規乱数

4.2 データマイニングの影響を用いているが，マクロ変数が正規分布に従っているとは限らないため，本来は Clark and McCracken (2012)モデル X の予測精度は有意なのであろうか．多重検で述べられているようなブートストラップなどのノンパ定であることを考慮するために，50 種類の予測変数（マラメトリックな方法が望ましいだろう．一方で，本稿のクロ変数）を 50 個の多変量正規乱数に置き換えたシミュ

乱数の方法は実装が容易で，モデルの予測力の有意性をレーションを行う．具体的には，50 個の予測変数（乱容易に検証できるという利点がある．

数）を用いて，4.1 節で述べた方法により，t 値が最大にこの結果を表したのが図 3 である．グラフの「データマイニングなし」の t 値の分布は，3 通りのモデル（線形3 回帰木では，木の深さが 3，各枝先端の最小サンプル数が 5 に回帰，k 近傍法，回帰木）のそれぞれについて，50 個のなるようにパラメータを設定した．
4 モデル Y は，31 個のマクロ変数（記載を省略）を予測変数とし，回帰木により予測するものである．

予測変数（乱数）を選択せずにすべて用いた結果を表す．

5

経営課題にAIを!ビジネスインフォマティクス研究会 (第8回)
JSAI Special Interest Group on Business Informatics (SIG-BI #8)

当然のことながら，3 つのモデルの t 値の分布は中央値

図 4: 予測変数の候補数と 5% 水準の t 値がゼロである．これらは同様な形状をしているため，同5色で重ねて表示した．
一方，「データマイニングあり」は予測変数（乱数）と 34通りのモデルの双方で選択を行った場合を表す．本来，乱数には予測力がないにもかかわらず，t 値は随分と高モデル選択のみ3い水準にシフトすることがわかる．その 5% 点は 5.41

変数選択とモデル選択の双方変数選択のみ（k近傍法）と相当に高い．モデル X の t 値は 3.96 だったので有意変数選択のみ（回帰木）2とはいえないばかりか，中央値の 4.41 にも満たない．す変数選択のみ（線形回帰）

なわち，予測力がない乱数を予測変数に用いても，変数選択とモデル選択を行えば，t 値が 4.41 以上となる予測

1単一検定の場合の5%水準（1.64）精度のものが 50% の確率で出現する．このことは，モデル X には本来予測力がなく，分析期間中では偶然に0予測力があるように見えるに過ぎないことを意味してい1357911131517192123252729

予測変数の候補数

る．モデル X を分析期間よりも将来の予測のために用（注）乱数を予測変数に用いた t 値の 5% 臨界点を表す．予測対象は2011 年 1 月から 2015 年 12 月までの TOPIX リターン．月次デー
タによる．

いたとしても何の価値もないはずである．
図 3 の表には，モデル選択のみを行った場合や，変数選択のみを行った場合の結果についても記載した．モデ
ル選択のみは，50 組の予測変数（乱数）をそのまま用ても，変数選択のその影響は大きく，線形回帰よりも回いて，3 通りのモデルから t 値が最も高いものを選択し帰木や k 近傍法の方が変数マイニングの影響が深刻であたモデルマイニングの結果を表す．t 値の 5% 点は 2.17る．加えて併せてモデル選択も行うと，さらに影響は大で，Bonferroni 法による有意水準の補正 0.05/3 に対応きくなる．

する t 値の 2.13 にほぼ等しい．また，モデル選択を行ヒストリカルデータを用いて構築した予測モデルがモわずに，変数のみをマイニングしても シミュレーションデル構築後に機能しなくなることがあり，その理由をの t 値は相当に上昇することが分かる．

「市場のパターンや環境が変わったため」として認識す

これまでは 50 個の予測変数の候補を考えてきたが，ることがしばしばある．しかし，それが複数の予測変数次に予測変数の候補の数を変えた場合の影響について考やモデルの候補から選択されたものであるならば，そも察する．予測変数（乱数）の候補数を 1 個から 30 個まそも本質的に予測力がなかった可能性があることを本稿

で 1 つずつ増やたシミュレーションを行う．ここでの正の結果は示唆している．オーバーフィッティングは，候規乱数は互いに独立とするが，他の条件はこれまでと同補の数が少数でも生じ，候補数の増加とともに，その程様である．図 4 にシミュレーションによる t 値の 5% 点度は大きくなる．複数の候補の中から選択する際には，をプロットした．「変数選択のみ」で，予測変数の候補多重検定を考慮する必要があり，乱数シュミレーション数が 1 個の場合は，マイニングをしていないことを意味によって容易に検証することができる．

するため，単一検定に相当する．この場合の t 値は漸近的に 1.64 で，シミュレーションの結果もほぼこれに等5 結論

しい．

5% 点の t 値は，予測変数の候補数に関して単調に増

資産価格のプレミアム（期待リターン）は時系列に変加し，当初の上昇は急激なことが分かる．上昇の程度はモデルによって異なり，例えば候補となる予測変数が動し，リターンが予測可能であることは現在のファイナ

5 個のとき，線形回帰では 2.39 であるが，回帰木では2.71，k 近傍法では 2.76 とより高い．さらに，変数選択これを検出することは容易でないため，より有意な実証ンスにおける標準的な考え方である．しかし，統計的に的証拠を得ようとデータマイニングを行うと，実際にはだけでなくモデル選択も併せて行うと，当然のことなが無意味であるにもかかわらず有意に見えてしまうというら，5% 点の t 値はさらに高まる．例えば予測変数の候オーバーフィッティング（過剰適合）を引き起こす．特補が 5 個のときの t 値は 3.05 になり，これは単一検定に近年では，ビッグデータとして多様なデータを低コスであれば漸近的な p 値の 0.11% に相当する．

トで扱えるようになり，また，工学的な側面から機械学要約すると，たとえ候補とする予測変数が少数であっ6

経営課題にAIを!ビジネスインフォマティクス研究会 (第8回)
JSAI Special Interest Group on Business Informatics (SIG-BI #8)

習への注目度が増している．これらは予測精度の向上に

Works, Inc．
McLean, R. D. and J. Pontiff (2016) “Does Academic
Research Destroy Stock Return Predictability?,”
Journal of Finance, 71(1), 5–32.
Novy-Marx, R. (2016) “Testing Strategies Based on
Multiple Signals,” Working Paper.
Yan, X. S. and L. Zheng (2017) “Fundamental Analysis and the Cross-Section of Stock Returns: A
Data-Mining Approach,” Review of Financial Studies, 30(4), 1382–1423.

貢献する可能性がある一方で，オーバーフィッティングの可能性を高めてしまう．
本稿では，変数選択のマイニングだけでなく，モデル選択のマイニングについても考察した．この結果，時系列におけるリターンの予測可能性を対象に，オーバーフィッティングの影響が大きいことを実証的に示した．
変数選択やモデル選択に伴う多重検定を考慮すると，t値の分布は大幅に上方にシフトし，有意水準の臨界値は極めて高くなる．
本稿の結果は，ファイナンス研究がデータサイエンスの技術も活用し，人々の意思決定の改善に役立つことを通じて社会に貢献してゆくためには，オーバーフィッティングの問題を考慮する必要があることを示唆している．

参考文献
Campbell, J. Y. and R. J. Shiller (1988) “TheDividend-Price Ratio and Expectations of Future
Dividends and Discount Factors,” Review of Financial Studies, 1(3), 195–228.
Clark, T. E. and M. W. McCracken (2012) “Reality Checks and Comparisons of Nested PredictiveModels,” Journal of Business & Economic Statistics, 30(1), 53–66.
Clark, T. E. and K. D. West (2007) “Approximately
Normal Tests for Equal Predictive Accuracy in
Nested Models,” Journal of Econometrics, 138(1),291–311.
Cochrane, J. H. (2008) “The Dog That Did Not Bark:
A Defense of Return Predictability,” Review of Financial Studies, 21(4), 1533–1575.
(2011) “Presidential Address: DiscountRates,” Journal of Finance, 66(4), 1047–1108.
Fama, E. F. and K. R. French (1992) “The CrossSection of Expected Stock Returns,” Journal of Finance, 47(2), 427–465.
Harvey, C. R., Y. Liu, and H. Zhu (2016) “... andthe Cross-Section of Expected Returns,” Review ofFinancial Studies, 29(1), 5–68.
Lo, A. W. and A. C. MacKinlay (1990) “DataSnooping Biases in Tests of Financial Asset Pricing
Models,” Review of Financial Studies, 3(3), 431–467.
MathWorks (2016) 『機械学習のご紹介』，The Math-7