ラッソ回帰
{\displaystyle {\hat {\beta }}_{j}=(1+N\lambda )^{-1}{\hat {\beta }}_{j}^{\text{OLS}}.}
したがって、リッジ回帰は、 ( 1 + N λ ) − 1 {\displaystyle (1+N\lambda )^{-1}} という一様係数で縮小することになり、係数をゼロに設定しない。
ベストサブセット選択回帰と比較することもできる。この手法では、下記の最小化を目標とする。
min β ∈ R p { 1 N ‖ y − X β ‖ 2 2 + λ ‖ β ‖ 0 } {\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+\lambda \|\beta \|_{0}\right\}}
ここで、 ‖ ⋅ ‖ 0 {\displaystyle \|\cdot \|_{0}} は 「 l 0 {\displaystyle \ell ^{0}} ノルム」である。z の非ゼロ成分が m 個あるとき、 ‖ z ‖ = m {\displaystyle \|z\|=m} と定義する。
この場合、以下が示される。
2013年、多重代入されたデータセットに対して、ラッソ回帰により変数選択する手法が提唱された。