No. 23-06

データ解析入門 17 <Lasso・Ridge・Elastic Net>
キーワード：正則化法、Lasso、Ridge、Elastic Net、変数選択、スパースモデリング、グループ効果

はじめに前稿 1) において、変数の数がサンプル数を上回る劣決定系における重回帰分析（MLR）の問題点を紹介しました。本稿では、劣決定系の問題においてし ばし ば用いられる 正則化法と呼ばれる テクニックについて解説します。具体的には、有名なスパース推定法である Lasso 回帰、Ridge 回帰、および Elastic Net 回帰を紹介します。

式(3)の最小化問題は解析的に解くことができ、回帰係数は式(4)から求まります。

正則化法
MLR では、以下の損失関数 L を最小にする回帰係数ベクトル β を求めます。N、y、X は、それぞれデータ数、目的変数ベクトル、データ行列です。

Lasso 回帰および Ridge 回帰について
本稿では、有機化合物の水溶解度データセット3)を用い、正則化法の特徴を確認します。ここでは訓練データは 200 件とし、MLR、Lasso 回帰および Ridige 回帰モデルを構築しました。図 1 にテストデータの予測結果を示します。Lasso 回帰およびRidge 回帰では、MLR よりも高い決定係数 R 2 が確認されました。ただし、より多くの訓練データを用いた場合、MLR の R 2 が Lasso 回帰および Ridge 回帰を上回るケースも見られました。
次に、各回帰モデルの標準回帰係数を図 2 に示します。まず、MLR の標準回帰係数のスケールが比較的大きいことがわかります。また、 Lasso 回

12𝑁‖𝒚 − 𝑋𝜷‖22 + 𝜆‖𝜷‖1𝐿𝜆 (𝜷) =‖𝒚 − 𝑋𝜷‖22 + 𝜆‖𝜷‖222𝑁0-5-10(3)-10Actual

Lasso0-2.5-5.0-7.5-10R2test = 0.474(2)式(2)に示す罰則項は、回帰係数ベクトルの L1ノルムであり、 ‖𝜷‖1 = ∑𝑖|𝛽𝑖 | です。この最小化問題を解くと、いくつかの回帰係数が 0 に推定されます。
このような最小化問題を解く回帰分析手法を
Lasso 回帰といいます。ただし、MLR と異なり、解析的に解が得られないため、座標降下法などのアルゴリズムにより回帰係数を推定します 。なお、式(2)の𝜆は罰則の大きさを制御する正則化パラメータであり、Lasso 回帰のハイパーパラメータです。
また、式(3)に示すように、L2 ノルム正則化項を用いる方法も有名です。
1MLR00-5Ridge-2.5-5.0-7.5-10R2test = 0.860-100Actual

R2test = 0.863-10-50100125Actual

図 1 予測結果（訓練データ 200 件）
MLR

LassoRegression coef.

𝐿𝜆 (𝜷) =5Predicted式(1)右辺の数学的表現は L2 ノルムの 2 乗を表します。ノルムとはベクトルの大きさを定める量のようなものです 2) 。優決定系では、式(1)を最小にする
β は最小二乗法により解析的に求められますが、劣決定系では解が一意に定まりません。
そこで正則化法では、式(1)の損失関数に罰則項を導入し、回帰係数が極端に大きな値にならないように制約を課します。たとえば、式(2)の損失関数などのように罰則項（右辺第 2 項）を追加します。

Predicted(1)Predicted‖𝒚 − 𝑋𝜷‖22Regression coef.

12𝑁(4)

このような回帰手法を Ridge 回帰と呼びます。なお、‖𝜷‖2 = √∑𝑖 𝛽𝑖2 であり、I は単位行列です。Lasso 回帰と同様に、正則化パラメータ λ は Ridge 回帰のハイパーパラメータです。

5.02.50-2.5-5.025050751001255075100125

Variable index

0-0.2-0.4-0.60255075

Variable index

RidgeRegression coef.

L(β) =β = (X T X + λI) -1 X T y

0.050-0.05-0.10-0.15

025

Variable index

図 2 各予測モデルの標準回帰係数

L1ノルム正則化-0.2-0.4-0.6

10-310-210-1

Lambda

100

101

12𝑁

‖𝒚 − 𝑋𝜷‖22 + 𝜆(𝛼‖𝜷‖1 + (1 − 𝛼)‖𝜷‖𝟐𝟐 )(5)

図 5 に Elastic Net 回帰の予測結果および標準回帰係数を示します。今回は Lasso 回帰と同程度にスパースな解が得られました。なお、Elastic Net回帰ではハイパーパラメータが 1 つ増加しているため、一般により多くの計算時間が必要になります。
0Elastic Net-2.5-5.0-7.5-10R2test = 0.863-10-5Actual00.10-0.1-0.2-0.3-0.40255075100Ridge421) 永廣卓哉：データ解析入門 16 <部分的最小二乗法0>、ORIST テクニカルシート、No. 23-02 (2023)-22) https://ja.wikipedia.org/wiki/ノルム (accessed on-4-6125

Variable index

参考文献

6Regression coef.

Regression coef.

図 3 L1 および L2 ノルム正則化について

0=おわりに
上述の正則化法では回帰係数に罰則を課し ます。その結果、スケールの大きな説明変数の回帰係数は強く縮小されることになるため、一般的にはデータ前処理としてスケーリングを行うことが推奨されます。次稿では、本稿で紹介できなかったスパースモデリングの適用例について紹介します。

は最小二乗推定量、赤い領域は正則化による制約

Lasso𝐿𝜆 (𝜷)図 5 Elastic Net 回帰の予測結果
および標準回帰係数L2ノルム正則化

0.2

Elastic Net 回帰
Lasso 回帰のスパース性と Ridge 回帰のグループ効果を併せ持つ Elastic Net 回帰という手法もよく知られています。式(5)に示すように、L1 およびL2 ノルムの重み付き和を罰則項とします。ここで、ハイパーパラメータ α が重みです。

Regression coef.

Lasso 回帰によるスパースモデリング
上記において、Lasso 回帰の標準回帰係数の多くが 0 に推定さ れるこ と を確認し まし た。 つまり、Lasso 回帰では疎（スパース）な解が得られました。
このような挙動は、実用上重宝されるこ とがあります。たとえば、MLR で過剰適合が見られるような変数の多い状況下においても、Lasso 回帰では説明変数が削減されるため、過剰適合が抑制されることがあります。また、予測モデル構築と同時に変数選択が実行されるため、線形回帰モデルの解釈性も向上します。このようにスパースなデータ構造を仮定する解析手法 はスパースモデリン グなどと呼ばれ、様々な場面で適用されています。
なお、Ridge 回帰ではスパースな解は得られません。両手法の違いを幾何学的に説明します。図
3 では 2 つの説明変数を考えており、赤い領域が正則化による制約の範囲 で す。青い等高 線は式(1)の損失の大きさを示します。図 3 に示すように、
L1 ノルム正則化では、制約条件の 形状から一部の解が 0 になりやすいですが、Ridge 回帰はそのような性質は持ちません。この違いが標準回帰係数に現れていました。
また、正則化の強さと標準回帰係数の 関係（解パス図）を図 4 に示します。Lasso 回帰では、正則化が強くなるに従い、回帰係数が 0 である変数が増加していることがわかります。一方、Ridge 回帰

では、正則化パラメータの増大に伴い、回帰係数は 0 に近づくものの、厳密には 0 になりません。また、相関する変数の回帰係数は近い値に推定される傾向にあります。Ridge 回帰のこのような性質はグループ効果 などと呼ばれ ます。一方、Lasso 回
帰では相関する変数のうち、任意の変数の回帰係数が 0 に推定される傾向にあり、グループ効果を持ちません。そのため、Lasso 回帰と Ridge 回帰では、異なる解パス図が得られます（図 4）。

Predicted

帰では、くしの歯のような棒グラフが得られました。
これは、多くの標準回帰係数が 0 であることを示します。一方、Ridge 回帰では、厳密に 0 である標準回帰係数は得られません。

October 7th, 2022)
10-3

図 4 解パス図

10-210-1

Lambda1001013) J. S. Delaney, J. Chem. Inf. Comput. Sci. 44, 1000–1005 (2004)

発行日 2023 年 7 月 1 日
作成者 高分子機能材料研究部 生活環境材料研究室 永廣卓哉
Phone: 0725-51-2611
E-mail: ehirot@orist.jp