ラッソ回帰
ラッソ正則化は、一般化線形モデル、一般化推定方程式、比例ハザードモデル、一般的なM-推定量など、さまざまな目的関数に拡張できる。 目的関数を下記とすると
1 N ∑ i = 1 N f ( x i , y i , α , β ) {\displaystyle {\frac {1}{N}}\sum _{i=1}^{N}f(x_{i},y_{i},\alpha ,\beta )}
ラッソ正則化した予測値は次の解となる
min α , β 1 N ∑ i = 1 N f ( x i , y i , α , β ) subject to ‖ β ‖ 1 ≤ t {\displaystyle \min _{\alpha ,\beta }{\frac {1}{N}}\sum _{i=1}^{N}f(x_{i},y_{i},\alpha ,\beta )\quad {\text{subject to }}\|\beta \|_{1}\leq t}
ここで、 β {\displaystyle \beta } だけが罰則を受け、 α {\displaystyle \alpha } は許可された値を自由に取ることができる。上記の基本形において、 β 0 {\displaystyle \beta _{0}} が罰則を受けなかったことに相当する。
上で説明したように、ラッソ回帰は係数をゼロに設定できるが、表面的には類似しているように見えるリッジ回帰はできない。これは、2つのケースでの制約境界の形状の違いによるものである。ラッソ回帰とリッジ回帰の両方は、同じ目的関数を最小化すると解釈できる。
min β 0 , β { 1 N ‖ y − β 0 − X β ‖ 2 2 } {\displaystyle \min _{\beta _{0},\beta }\left\{{\frac {1}{N}}\left\|y-\beta _{0}-X\beta \right\|_{2}^{2}\right\}}
ここで、制約条件が異なる。 ラッソ回帰での制約条件は ‖ β ‖ 1 ≤ t {\displaystyle \|\beta \|_{1}\leq t} である。 リッジ回帰での制約条件は ‖ β ‖ 2 2 ≤ t {\displaystyle \|\beta \|_{2}^{2}\leq t} である。
2次元のパラメータ空間(w1, w2)における制約領域を図示した。 ラッソ回帰(L1-norm)では正方形に相当する(一般に n {\displaystyle n} 次元の正軸体)。 リッジ回帰(L2-norm)では円に相当する(一般に n {\displaystyle n} 次元の超球面)。 パラメータは制約条件としてパラメータ空間のこれらの領域を動いた中で、目的関数を最小化する値を取る。 ラッソ回帰では、「角(かど)」が存在することで、特定の係数をゼロにした地点を選びやすくなる。