ラッソ回帰
収縮の強度と変数の選択を制御する正則化パラメータ λ {\displaystyle \lambda } を適切に選択することで、予測の精度と解釈可能性を向上することができる。正則化が強くなりすぎると、重要な変数がモデルから削除される、係数が過度に縮小される等の可能性がある。 正則化パラメータ λ {\displaystyle \lambda } の選択には交差検証法がよく用いられる。
赤池情報量規準(AIC)やベイズ情報量規準(BIC)などの情報量規準(英語版)は、交差検証法よりも計算が高速であり、小さいサンプルでもパフォーマンスが変動しにくいため、交差検証よりも好ましい場合がある。 情報量規準は、モデルのサンプル内精度を最大化することによって推定器の正則化パラメータを選択すると同時に、その有効なパラメーターの数/自由度にペナルティを課す。
{\displaystyle {\hat {\beta }}_{j}={\frac {{\hat {\beta }}_{j}^{\text{*,OLS}}}{\sqrt {1+\lambda _{2}}}}\max \left(0,1-{\frac {\lambda ^{*}}{\left|{\hat {\beta }}_{j}^{\text{*,OLS}}\right|}}\right)={\frac {{\hat {\beta }}_{j}^{\text{OLS}}}{1+\lambda _{2}}}\max \left(0,1-{\frac {\lambda _{1}}{\left|{\hat {\beta }}_{j}^{\text{OLS}}\right|}}\right)=(1+\lambda _{2})^{-1}{\hat {\beta }}_{j}^{\text{lasso}}.}
エラスティックネットのペナルティは、ラッソ回帰およびリッジ回帰のペナルティの組み合わせに相当する。
正規化パラメータ λ 1 , λ 2 {\displaystyle \lambda _{1},\lambda _{2}} は、交差検証法を用いたグリッド・サーチにより選択されることが多い。
2005年、Zou と Hastie は、ラッソ回帰に存在する欠点に対処するためにエラスティックネットを導入した。 ラッソ回帰は、標本数が共変量の数よりも少ないとき( n < p {\displaystyle n<p} )、標本数( n {\displaystyle n} 個)までしか共変量を選択できない。 また、ラッソ回帰では高度に相関する共変量の組み合わせから1つしか共変量を選択しないことが多いため、共変量が強く相関しているならば、パフォーマンスがリッジ回帰に劣る場合がある。
エラスティックネットは l 2 {\displaystyle \ell ^{2}} によるペナルティ項を追加することによってラッソ回帰を拡張し、下記の式を得る。
min β ∈ R p { ‖ y − X β ‖ 2 2 + λ 1 ‖ β ‖ 1 + λ 2 ‖ β ‖ 2 2 } , {\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{\left\|y-X\beta \right\|_{2}^{2}+\lambda _{1}\|\beta \|_{1}+\lambda _{2}\|\beta \|_{2}^{2}\right\},}
これは次の式を解くことと同じである。