ラッソ回帰
2006年、オラクル性 oracle properties を持つように、罰則項に重みを乗じる手法が提唱された。
a r g m i n β  ‖ y − ∑ j = 1 p x j β j ‖ + λ ∑ j = 1 p w j | β j | . {\displaystyle \operatorname {arg\,min} _{\boldsymbol {\beta }}\left\|\mathbf {y} -\sum _{j=1}^{p}\mathbf {x} _{j}\beta _{j}\right\|+\lambda \sum _{j=1}^{p}w_{j}\left|\beta _{j}\right|.}
X ( n + p ) × p ∗ = ( 1 + λ 2 ) − 1 / 2 ( X λ 2 1 / 2 I p × p ) {\displaystyle X_{(n+p)\times p}^{*}=(1+\lambda _{2})^{-1/2}{\binom {X}{\lambda _{2}^{1/2}I_{p\times p}}}} 、 y ( n + p ) ∗ = ( y 0 p ) , λ ∗ = λ 1 1 + λ 2 {\displaystyle y_{(n+p)}^{*}={\binom {y}{0^{p}}},\qquad \lambda ^{*}={\frac {\lambda _{1}}{\sqrt {1+\lambda _{2}}}}} 、 β ∗ = 1 + λ 2 β . {\displaystyle \beta ^{*}={\sqrt {1+\lambda _{2}}}\beta .}
そして、 β ^ = β ^ ∗ 1 + λ 2 {\displaystyle {\hat {\beta }}={\frac {{\hat {\beta }}^{*}}{\sqrt {1+\lambda _{2}}}}} 、共変量が互いに直交する場合、
β ^ j = β ^ j *,OLS 1 + λ 2 max ( 0 , 1 − λ ∗ | β ^ j *,OLS | ) = β ^ j OLS 1 + λ 2 max ( 0 , 1 − λ 1 | β ^ j OLS | ) = ( 1 + λ 2 ) − 1 β ^ j lasso .