特別掲載

データ活用の基本①―どのように統計モデルを選べばよいか―
研究員

山名 一史

目 次

１．はじめに
２．モデル選択
３．正則化

４．主成分分析
５．高次元データと共線性

１．はじめにする議論ではなく、データ活用の背後にあるコンピュータの処理能力向上や利用可能な統計的な考え方を説明することである。なお、データ量の爆発的増加、深層学習技術の飛躍一般の読者を想定し、数式の利用は最小限に的発展などを背景に、データサイエンスといとどめた。

う言葉が人口に膾炙するようになってから数本稿の構成は以下の通りである。第２節で年が経つ。実証主義的な方法論、すなわち経はモデル選択について概観したうえで、モデ験的に得られた仮説を実験・非実験データにル選択の際の計算量を節約する方法として第基づいて検証する方法論に立脚してきた科学

３節で正則化、第４節では主成分分析を取り研究分野は言うまでもなく、政治や経営、さ上げる。第５節ではモデル選択の際に注意すらにスポーツなど様々な分野においてデータる問題として高次元データと共線性に関するサイエンスの活用が広がっている。

話題を取り上げる。

生命保険や損害保険といった保険商品を扱う保険業界も例外ではない。ビッグデータや２．モデル選択

機械学習・人工知能（ＡＩ）といった技術を 統計的予測とは活用し、新しい保険商品や高度な保険業務をビジネスにおいて、顧客の属性情報を用い実現しようとする取組みはインシュアテック

た予測には様々な可能性がある。具体例と（InsurTech）と総称される。保険会社は長して、保険業界の事例を取り上げると、個年にわたって、保険の対象であるリスクや加人の医療情報を用いた将来の入院リスクの入者に関する膨大なデータを収集・蓄積して予測、商品販売やアップセルの対象として潜おり、データサイエンスとの親和性が高い。

在的に有望な顧客属性の予測などが挙げられる。

分野や業種を問わず、収集・蓄積されてきたデータをどのように活用すればよいか、今予測と聞くと、多くの人は「Ａが起こった回と次回の２回に分けて基本的な知識を説明（原因）のでＢが起こる（結果）と予測されする。今回はどのように統計モデルを選べばる」というような因果関係に基づく予測を想よいか、次回はニューラルネットワークに関起するだろう。これはもちろん間違いではなする内容を扱う。本稿の目的は、具体的なデいが、統計学や機械学習、人工知能に基づくータ活用事例の紹介やデータ活用の是非に関予測という場合、その多くはこれに該当しな

61

共済総研レポート №175（2021.6）

一般社団法人 JA共済総合研究所（http://www.jkri.or.jp/）

特別掲載

い。予測には因果関係に基づくものと、「Ａが変化した時にＢも変化する」という共変関係、いわゆる相関関係に基づくものとがあり、統という真の関係があると仮定しよう。ここ

計学的な予測の大半は後者である。

で、は入力変数に関する未知の関数であり、 は因果関係に基づく予測は分かりやすく強力と無関係で平均が０の撹乱項、つでは説明できないランダムな項であなのに、なぜあまり用いられないかというと、まり因果関係を同定するのが非常に難しいからる。たとえば標準的な線形モデルの場合、こだ。そもそも、統計学の枠組みは因果関係との関係は、の相性が悪く、因果関係を同定するためには、因果推論などの特別な手続きを経ることが要求される。とはいえ、因果関係に基づく予測のように記述することができる。我々の分析でなければ実用的な結果が得られないようなの目標は、 が問題も存在しないわけではない。予測を行う

集約した未知の関数を何らかの方法で特際は、相関関係に基づく予測で十分なのか、定し、特定された関数を予測に活用するこ

一歩踏み込んだ因果関係に基づく予測まで必とである。これは、新しい顧客の情報が得ら要なのかを最初に判断する必要がある。

れたとき、その顧客の購入・加入確率や入院それでは、顧客情報から入院リスクや保険について持っている情報をリスクを予測することに相当し、を計算することで得られる。

商品の購入・加入確率を予測する問題はどちらに該当するかというと、相関関係に基づく モデルを選ぶ方法

予測で十分に実用的な結果が得られる問題と関数考えられる。したがって、標準的な統計学のを何らかの方法で特定することを推定と呼ぶことにしよう。推定を行う際、複知見を活用しやすい問題だということができ１るだろう 。

数ののうち、どの入力変数がを予測するうえで重要なのかが先験的に知られている場
 統計的予測モデル

合、重要な入力変数のみを使ってモデルの推それでは、予測について具体的に考えてい定と予測を行えばよい。しかし、現実にはどこう。商品の購入・加入確率や入院リスクにの入力変数が重要なのか、分からないことの関するデータを出力変数、データから観測ほうが一般的である。

可能な個の異なる顧客属性や医療情報をこのような場合、もっとも単純な方法は入入力変数と呼ぶことにする。出力変数と入手可能なすべての入力変数を使って推定を行力変数との間にう方法である。これは誰でも思いつく単純な

１ 経済・経営学系の分野において、標準的な統計学との親和性が高い問題はそれほど多くない。なぜなら、経済・経営学系のデータの多くは経済主体の非連続的な行動変容を潜在的に含んでいるにもかかわらず、標準的な統計モデルは経済主体の意思決定を明示的に組み込んでいない（誘導型という）ためだ。経済主体の意思決定が変化する以前の行動に基づいた相関関係をいくら正確に予測できたとしても、意思決定が少し変化した途端に予測能力が低下するのであれば、あまり実用的な予測とは言えないだろう。この意味で、医療情報から将来の入院リスクを予測するような問題は、入力変数と出力変数との間に経済主体の意思決定が介在しないため、統計学の知見を非常に活用しやすい問題といえる。また、顧客情報から商品の購入・加入確率を予測するような問題も、意思決定の変化による影響を受けにくいと考えられるため、統計学との親和性が比較的高い。しかし、社会的情勢の変化などで顧客の価値観が大きく変化するような事態が生じた場合、予測の妥当性が低下する可能性はあるだろう。このような場合、経済主体の意思決定を明示的に組み込んだモデル（構造型という）を用い、因果関係に基づく予測を行う必要がある。

62

共済総研レポート №175（2021.6）

一般社団法人 JA共済総合研究所（http://www.jkri.or.jp/）

特別掲載方法であるが、入力変数の数が増えれば増える、という観点から有用な方法である。

るほどモデルが複雑化して解釈が困難になる。そのため、入力変数の数はできる限り絞 当てはまりの基準

り込んで、必要最小限にとどめおくほうが好ところで、「当てはまりの基準」として、我々ましい。それでは、入力変数をどのように絞はどのような統計量を採用するべきだろう。

り込めばよいだろうか。

当てはまりの基準としてもっとも基礎的なも入力変数を絞り込むもっとも自然な方法は総当り、つまり、のは平均２乗誤差（MSE）個の入力変数について考えられるすべての組み合わせを試し、何らかの「当てはまりの基準」に基づいて最良の変数の集合に絞り込む方法である。たしかに入で、これが小さければ小さいほど、予測モデ力変数の数が少なければ、この方法は有効でルの当てはまりがよいということができる。

ある。しかし、入力変数の数が増加するにし

ただ、ここで注意したいのは、用いているで幾何級数が既存顧客の情報に過ぎない点である。とい的に増加するため、計算が困難になり、場合うのも、我々の目的は既知の、既存顧客の属によっては不可能になることが予想される。

性と商品や既往歴との関係を正確に説明する

そこで、予測精度を保ちつつ、計算量を節約ことではなく、顧客の属性から、将来の商品する方法を考えたい。の購入・加入確率や入院リスクという未知のたがって、組み合わせの数が計算量を節約する方法としては、入力変数情報を予測することである。推定したがどを段階的に増やしていくか、または減らしてれだけうまく既存顧客のデータを説明できていくことで、入力変数の少ないモデルを選ぶいたとしても、それは予測性能の高さを必ず方法が分かりやすいだろう。入力変数を増やしも意味しない。もちろん、この二つには重していく場合を例にとると、入力変数がまっ複する部分があるかもしれないが一致するこたくないモデルを出発点とし、入力変数を１とはない。そこで、このギャップを埋めるたつ加えたとき、め、モデルを選択する際には、マローズの個すべてについて、推定された予測モデルとデータとの「当てはまりのや自由度調整済み決定係数、赤池情報量基準基準」を計算する。当てはまりの改善が見ら（AIC）やベイズ情報量基準（BIC）といっれた場合、もっとも当てはまりがよかったモ

た手法や交差検証を用いる方法が提案されてデルを新たな出発点として、さらに入力変数いる。
本稿は一般の読者を想定しているため、を１つ追加する。これを、当てはまりが改善

個別の方法について詳しい説明はしないが、しなくなるまで繰り返せばよい。このようにこれらの手法を用いると、重要でない入力変変数を増加または減少させる計算方法は、必数もモデルに加えてしまう予測モデルの複雑ずしも大域的に最適なモデルを導くことが保化や、既存のデータでたまたま観測された例

証されるものではないものの、予測精度と計外的な性質を規則性として誤って認識し、予算量とのより良いトレードオフを与えてくれ

測モデルに反映してしまう、いわゆる過学習

２２ たとえば、生年月日や血液型など、加入する保険商品の選択に何の影響も及ぼさないはずの顧客情報について考えてみよう。たまたま、ある保険商品Ａに12月生まれで、血液型がＯ型の契約者が異常に多かった場合、予測モデルはこれらの要素を考慮し、予測に反映させる可能性がある。こうした要素の反映は既知のデータの当てはまりを改善するかもしれないが、将来の予測精度の低下に繋がるため、適切な処置とはいえない。

63

共済総研レポート №175（2021.6）

一般社団法人 JA共済総合研究所（http://www.jkri.or.jp/）

特別掲載といった問題に陥る危険性を小さくすること有効とされている。たとえば、ｋ分割交差検ができる。

証を例にとると、既存顧客のデータを同じサイズのｋ個のブロックに分割し、（ｋ－１）個３．正則化のグループを使ってモデルを推定、残りの１

前節では、すべての入力変数の部分集合を個のグループでMSEを計算する。これをｋ回用いたモデルを推定し、当てはまりの度合い繰り返し、その平均をとることで得られる交差を比較することで、予測精度の高いモデルを検証誤差が最小になるように正則化パラメー選択する二段階の方法について議論した。二タを選べばよい。

段階の方法は理解しやすいが、入力変数の数パラメータの推定値を０に近づける代表的が大きくなると、変数増加や減少によって計な手法がリッジ回帰である。リッジ回帰は、算量を節約したとしても、あまり効率的な方これまでに見てきたような入力変数を絞り込法とはいえない。そこで、関数のパラメーむ方法とは異なり、常に３個すべての入力変６タの大きさ に制約を設けたもとで推定を行数を含んだ予測モデルを扱う ため、とくに４い、パラメータの推定値を０に近づける 、入力変数の数が多いとき、モデルの解釈が困または０にすることで、推定とモデル選択を難になるという欠点がある。

同時に行う方法を次に考えよう。このように、そこで、リッジ回帰とは異なる制約条件を元々あったパラメータ推定のための最適化問用い、上記の欠点を克服した手法がLassoで題に新しい制約を導入し、制約付き最適化問ある。Lassoはリッジ回帰と異なり、正則化題として推定プロセスを再定義する手法を正パラメータを十分に大きくすると、パラメー５則化（Regularization）という 。正則化法をタの推定値を０にすることができる。これは、使う場合、推定とモデル選択は同時に１回だモデルから一部の入力変数が除外されることけ行えばよいので、これまでに学んできた二を意味し、結果的に解釈が容易な予測モデル段階の方法に比べて、計算量を大きく節約でを作ることができる。

きるという利点がある。

４．主成分分析

正則化法を使う際は、元の最適化問題と新たに導入した制約との相対的な重み付けの度

これまでの議論では、計算量を節約する方合いを決定する必要がある。この重みの値は法として、予測に適した入力変数の部分集合正則化パラメータとよばれ、元のパラメータを選ぶ二段階の方法、さらに制約付き最適化の推定値に影響を与えるため、値を適切に調を行うことで、パラメータ推定値を０に近づ整する必要がある。一般に、この値が大きけける方法について学んできた。他方、入力変れば大きいほど、モデルの柔軟性が低下する数を組み合わせて、入力変数の特徴をうまくため、当てはまり性能が低下し、値が小さけ再現できるような成分を抽出し、その成分をれば小さいほど、過学習の危険性が高まる。

使って推定や予測を行うことで計算量を節約

正則化パラメータの決定には交差検証法がする二段階の方法もある。このように次元を３ 厳密にはノルムというべきである。
４ つまり、パラメータの次元は高次元に保ちつつ、関数の表現能力を抑える。
５ たとえば、 ノルムを用いた正則化は 正則化、 ノルムを用いた正則化は 正則化とよばれる。最小二乗法の誤差に ノルムを加えたものをリッジ回帰、 ノルムを加えたものをLassoという。
６ 正則化パラメータをどれだけ大きくしても、入力変数は除外されない。

64

共済総研レポート №175（2021.6）

一般社団法人 JA共済総合研究所（http://www.jkri.or.jp/）

特別掲載削減するための方法を主成分分析と呼ぶ。

測の信頼性が大幅に低下するのは言うまでも古典的な主成分分析の手法が主成分回帰でない。残念ながら、こうした技術的困難を克ある。主成分回帰は、入力変数から主成分を服することは容易ではない。一種の過学習と作成し、主成分を新たな入力変数とした予測みなし、得られた予測モデルを過度に信頼すモデルのパラメータを推定する。主成分回帰

るのではなく、交差検証法などを用いてモデは、第一段階の主成分を作成する過程で、第ルの頑健性を確認するなどの作業が重要にな二段階の予測がまったく考慮されていないたるだろう。

め、モデルの予測性能を最大化するという観点からは、必ずしも適切な方法とはいえない。
得られた主成分が、予測性能の観点から最適だとは保証されていないからである。
主成分回帰の欠点を改善する方法としては、たとえば部分最小二乗法が用いられることがある。部分最小二乗法は、主成分を作成する際、入力変数だけでなく出力変数の情報を利用することで、主成分回帰の問題に対処している。

５．高次元データと共線性
ここまで、変数を増加または減少させて入力変数を絞り込む方法、またリッジ回帰やLassoといった正則化の手法について学んできた。こうした手法がとくに有効なのは、入力変数の数が十分に多く、すべての組み合わせを試す計算が物理的に困難か不可能な状況である。
ただ、が多ければそれだけ共線性、すなわち入力変数の間に強い相関が存在する可能性が高まる点には注意が必要である。共線性が存在する場合、各入力変数が出力変数に及ぼす影響を正確に識別することは原理的に不可能となる。そのため、正則化や変数の絞り込みを通じて得られたパラメータ推定値や予測モデルの妥当性は大幅に低下する。これはどういうことかというと、同じ母集団から独立に得られたデータを用いて同様の推定を行ったとしても、まったく異なった予測モデルが得られる可能性があることを意味する。予65

共済総研レポート №175（2021.6）

一般社団法人 JA共済総合研究所（http://www.jkri.or.jp/）