ラッソ回帰
β ^ j = H N λ ( β ^ j OLS ) = β ^ j OLS I ( | β ^ j OLS | ≥ N λ ) {\displaystyle {\hat {\beta }}_{j}=H_{\sqrt {N\lambda }}\left({\hat {\beta }}_{j}^{\text{OLS}}\right)={\hat {\beta }}_{j}^{\text{OLS}}\mathrm {I} \left(\left|{\hat {\beta }}_{j}^{\text{OLS}}\right|\geq {\sqrt {N\lambda }}\right)}
ここで、 H α {\displaystyle H_{\alpha }} はいわゆるハードしきい値演算子で、 I {\displaystyle \mathrm {I} } はインジケーター関数(引数が true の場合は 1、それ以外の場合は 0)である。
従って、ラッソ回帰による推定値は、リッジ回帰とベストサブセット選択回帰の両方による推定値と似た特徴を持つ。すなわち、リッジ回帰のようにすべての係数の大きさを縮小するだけでなく、ベストサブセット選択回帰と同様に、それらの一部をゼロに設定する。さらに、リッジ回帰はすべての係数を定数係数でスケーリングするが、ラッソ回帰は代わりに定数を用いて係数をゼロに近づけて、到達した場合は係数をゼロに設定する。
解が測定スケールに依存しないよう、共変量は通常、標準化されている ( ∑ i = 1 N x i 2 = 1 ) {\displaystyle \textstyle \left(\sum _{i=1}^{N}x_{i}^{2}=1\right)} 。
参考のために書き直すと
min β ∈ R p { 1 N ‖ y − X β ‖ 2 2 } subject to ‖ β ‖ 1 ≤ t . {\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}\right\}\quad {\text{ subject to }}\|\beta \|_{1}\leq t.}
これは、ラグランジュの未定乗数法に基づいて書き直すと、下記の形式と同値である。
min β ∈ R p { 1 N ‖ y − X β ‖ 2 2 + λ ‖ β ‖ 1 } {\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|y-X\beta \right\|_{2}^{2}+\lambda \|\beta \|_{1}\right\}}
ここで、 t {\displaystyle t} と λ {\displaystyle \lambda } との関係はデータに依存する。