回帰分析における L∞ 正則化による相関の強い変数の推定松下 雅

1(指導教員：吉田 裕亮)

はじめにを最小化するモデルを表す. Ridge 回帰は, 回帰係数は完全に 0 にはならないので, 説明変数が非常に多いモデルではモデルの解釈が複雑になるという欠点がある. そのため, 変数選択の観点から, 実データへは適していない.
L1 ノルムはベクトル成分の絶対値の和 (マンハッタン距離) で表されたもので, 回帰係数の L1 ノルムを用いた正則化推定法をラッソ (Lasso) 回帰と呼び,

線形回帰モデルとは, 統計学における回帰分析の一種で, 1 つの従属変数 Y と, 1 つ以上の説明変数 X の関係を線形で記述したモデルである. 最小２乗法などによってモデルを推定し, 変数選択を実行することによって, 予測能力の高いモデルを構築することができる. しかし多数の説明変数をもつ線形回帰モデルなどには, 最小２乗法は過学習を起こしてしまう. 本研究では, これに対して, 最小二乗法に制約を付け加えたモデルを生成する. 一般的に知られている方法として
L1 ノルム, L2 ノルム, の罰則項を課したモデルがある.
本研究では, あまり一般的ではない L∞ の罰則項を使用し, L∞ 正則化によってどのような推定が可能であるかを考察する.

2RSS + λを最小化するモデルを表す. Lasso 回帰は, Ridge 回帰とは異なり回帰係数を 0 にするため, モデルの選択と説明変数を行えるメリットがある. ただし, 説明変数間の相関を考慮できないというデメリットもある. Lasso
回帰では, 相関が高い説明変数のグループの中から 1つの説明変数だけがモデル選択に使用される. よって,従属変数と関連がある説明変数をモデルに選択し損なうことが起こる.
ここで L∞ を罰則項とする正則化を考える. L∞ 正則化は, 回帰係数の絶対値の最大を罰則項とし,線形回帰モデル
Y = β1 X1 + β2 X2 + β3 X3 + ... + βn Xn + ϵの回帰式を用いて, 説明変数 Xj の値から従属変数 Yの値を予測するモデルである. 特に, 説明変数 Xj が1 つの場合を単回帰分析, 説明変数 Xj が 2 変数以上で構成される場合を重回帰分析と呼ぶ. 線形回帰モデ
ルを推定する手法として最小二乗法などがある. 最小二乗法とは, 想定する関数が測定値に対して精度の高い近似にするために, 残差の二乗和 (RSS) を最小とするような係数決定を行うことを言う. yi を実値データ
yˆi を予測値データとすると RSS は,

RSS =RSS + λ max |βi |1≤i≤nを最小化させる. L∞ 正則化によってどのような推定が可能なのかの検証を行う.

4(yi − yˆi )2と表すことができ, RSS を最小化する最小二乗法推定は(T)−1 TXXXYRSS + λ max |βi |1≤i≤nで与えられる. 最小二乗法によって近似されたモデルは, 観測データの誤差が正規分布に従わない場合 (測定データに正規分布から大きく外れた外れ値を含む場合など) などには, 過学習を起こしてしまうことがある.

を最小にする回帰係数 β の値を推定する.
その際に, λ を変化させ, β の値を観察することで相関の強い説明変数の組を見つける実験を行う.
手順を以下にする

正則化

1. 元のシュミレーションデータより L∞ 正則化を行い, λ の値を変化させ β の値を観察する

上記のような過学習を防ぎ, 汎化能力を高めるために使われる一つのアプローチとして正則化がある. 正則化の具体的手法は, 損失関数に罰則項を加えた式を最小化するように最適化問題を解く問題に置き換えることである. その指標として一般的には L1 ノルム, L2ノルムが主に用いられる.
L2 ノルムとは 2 乗和 (ユークリッド距離) で表されたものである. 回帰係数の L2 ノルムを用いた正則化推定法をリッジ (Ridge) 回帰と呼び,

RSS + λp∑

実験

本研究では, L∞ 正則化を用いることで, 相関関係の強い説明変数を探索する方法を実験によって調べる. 予
め相関の強い組み合わせを持つようにシュミレーションデータを正規乱数で生成し, L∞ 正則化を用いて

i=13|βj |i=1

線形回帰モデル (Linear Regression) とは,n∑p∑2. 回帰係数の変化から相関が強いと思われる説明変数の組の値を, それらの回帰係数が大きくなるようにデータを調整する.
3. 上記のように置き換えた入力データで, 再度 λ の値を変化させながら L∞ 正則化を行い β の変化を観察する

βj2i=19

実験例 2
説明変数 6 つのうち 1 組 (3 つ) の相関がある場合のシュミレーションデータを作成する. 線形モデル(Y = 19X1 + 15X2 + 14X3 + 12X4 + 7X5 + 4X6 ) を設定する.

4. ・回帰係数 βk と βℓ が互いに近づき βk と βℓ の間で一致した時, 説明変数 Xk と Xℓ は相関が強いと推定される・回帰係数 βk と βℓ ( βk >βℓ ) について, β1 が β2に近づくのみの場合 Xk と Xℓ には相関はないものと推定される

1. L∞ 正則化を行い β の値の変化を観察すると, 図3 のようになった. ここで最初に動き出した β の

5. 2, 3, 4 を繰り返し, 説明変数の相関の強い組を見つけていく
実験例 1
説明変数 4 つのうち 1 組 (2 つ) の相関がある場合のシュミレーションデータを用意する. 具体的には最小二乗法を行った際に, β1 = 15, β2 = 9, β3 = 7, β4 = 3の線形モデル (Y = 17X1 + 13X2 + 8X3 + 3X4 ) になるシュミレーションデータを用いる.

1. これらのデータに L∞ 正則化を行うと, λ の値の変化に伴って図 1 のようになった.

図 3: λ の値の変化に伴各 β の値の変化値から, X3 と X4 と X6 に相関がある可能性が推測すされる.

2. ここで説明変数 X3 を 2 で, X6 を 12 で, X4 を5 で割ったデータに置き換える. 再度, λ の値を変化させながら L∞ 正則化を行う. その変化を図 4に示す.
図 1: λ の値の変化に伴各 β の値の変化
ここで最初に動き出した β の値から, X1 と X3 の相関が強い可能性が推測される

2. ここで説明変数 X3 を 3 で割ったデータに置き換
える. 再度, λ の値を変化させながら L∞ 正則化を行う. その変化を図 2 に示す

図 4: λ の値の変化に伴各 β の値の変化

3. 上記グラフより β3 と β4 と β6 の関係から, X3 とX4 と X6 の相関関係が強いことが見える.

5

考察∞L 正則化を行い正則化パラメータ λ の値の変化に伴う回帰係数 β 変動を観察することで, 相関の強い変数達を同定することが可能と考えられる.

図 2: λ の値の変化に伴各 β の値の変化

3. 上記グラフより, β1 と β3 の関係から, X1 と X3に相関関係が強いことが見えて取れる.

参考文献
Gareth James, Daniela Witten, Trevor Hastie Robert
Tibshirani, An Introduction to Statistical Learning,Springer, New York Heidelberg Dordrecht London,
201310