ラッソ回帰
ラッソ回帰(ラッソかいき、least absolute shrinkage and selection operator、Lasso、LASSO)は、変数選択と正則化の両方を実行し、生成する統計モデルの予測精度と解釈可能性を向上させる回帰分析手法。1986年に地球物理学の文献で最初に導入され、その後1996年にロバート・ティブシラニ(英語版) が独自に再発見して一般化した。
ラッソ回帰はもともと最小二乗法で定義されていた。最小二乗法の単純なケースでは、予測器の振る舞いについて多くの事実が分かる。すなわち、リッジ回帰やベストサブセット選択(英語版)との関係、ラッソ係数予測といわゆるソフトしきい値処理(soft thresholding)との関係である。
一般化線形モデル、一般化推定方程式、比例ハザードモデル、M推定器(英語版)など、さまざまな統計モデルに簡単に拡張できる。
共変量行列 X {\displaystyle X} について、 X i j = ( x i ) j {\displaystyle X_{ij}=(x_{i})_{j}} 、すなわち x i T {\displaystyle x_{i}^{T}} が X {\displaystyle X} の第 i {\displaystyle i} 行とすると、次のように簡潔に記述することができる。
min β 0 , β { 1 N ‖ y − β 0 1 N − X β ‖ 2 2 } subject to ‖ β ‖ 1 ≤ t . {\displaystyle \min _{\beta _{0},\beta }\left\{{\frac {1}{N}}\left\|y-\beta _{0}1_{N}-X\beta \right\|_{2}^{2}\right\}\quad {\text{ subject to }}\|\beta \|_{1}\leq t.}
ここで、 ‖ u ‖ p = ( ∑ i = 1 N | u i | p ) 1 / p {\displaystyle \|u\|_{p}=\left(\sum _{i=1}^{N}|u_{i}|^{p}\right)^{1/p}} を標準 l p {\displaystyle \ell ^{p}} ノルムとし、 1 N {\displaystyle 1_{N}} は 1 が N 個並んだ縦ベクトルとする。