ラッソ回帰
ラッソ回帰の推定量に関する基本的な性質を下記に示す。
まず、共変量が正規直交であると仮定すると、内積 ( ⋅ ∣ ⋅ ) {\displaystyle (\cdot \mid \cdot )} およびクロネッカーのデルタ δ i j {\displaystyle \delta _{ij}} を用いて ( x i ∣ x j ) = δ i j {\displaystyle (x_{i}\mid x_{j})=\delta _{ij}} と記載できる。 これは、 X T X = I {\displaystyle X^{T}X=I} と記載しても同等である。
次に、勾配法を使用すると、
β ^ j = S N λ ( β ^ j OLS ) = β ^ j OLS max ( 0 , 1 − N λ | β ^ j OLS | ) where β ^ OLS = ( X T X ) − 1 X T y {\displaystyle {\begin{aligned}{\hat {\beta }}_{j}={}&S_{N\lambda }({\hat {\beta }}_{j}^{\text{OLS}})={\hat {\beta }}_{j}^{\text{OLS}}\max \left(0,1-{\frac {N\lambda }{|{\hat {\beta }}_{j}^{\text{OLS}}|}}\right)\\&{\text{ where }}{\hat {\beta }}^{\text{OLS}}=(X^{T}X)^{-1}X^{T}y\end{aligned}}}