ラッソ回帰
S α {\displaystyle S_{\alpha }} はソフトしきい値演算子と呼ばれる。これは、小さい値をゼロに設定し、値をゼロに変換する(十分に小さい場合は正確にゼロにする)ためである。ハードしきい値演算子 H α {\displaystyle H_{\alpha }} は小さい値をゼロにして大きい値を変更しない。
これは、下記の最小化を目的とするリッジ回帰と比較可能である。
min β ∈ R p { 1 N ‖ y − X β ‖ 2 2 + λ ‖ β ‖ 2 2 } {\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\|y-X\beta \|_{2}^{2}+\lambda \|\beta \|_{2}^{2}\right\}}
これから
β ^ j = ( 1 + N λ ) − 1 β ^ j OLS .
ラッソ回帰はもともと最小二乗法の場面で導入された。このケースを最初に検討することは有益である。
それぞれが p {\displaystyle p} 個の共変量と単一の結果で構成される N {\displaystyle N} 個のケースで構成されるサンプルを考える。
y i {\displaystyle y_{i}} を結果、 x i := ( x 1 , x 2 , ... , x p ) T {\displaystyle x_{i}:=(x_{1},x_{2},\ldots ,x_{p})^{T}} を i {\displaystyle i} 番目のケースの共変量ベクトルとする。 ラッソ回帰では、次の式を解くことを考える。
min β 0 , β { ∑ i = 1 N ( y i − β 0 − x i T β ) 2 } subject to ∑ j = 1 p | β j | ≤ t . {\displaystyle \min _{\beta _{0},\beta }\left\{\sum _{i=1}^{N}(y_{i}-\beta _{0}-x_{i}^{T}\beta )^{2}\right\}\quad {\text{ subject to }}\sum _{j=1}^{p}|\beta _{j}|\leq t.}
ここで、 t {\displaystyle t} を正則化の量を決定する事前に指定された自由パラメーターとする。