# Lasso (estadística)

En estadística i aprenentatge automàtic, lasso (operador de selecció i contracció mínima absoluta; també Lasso o LASSO) és un mètode d'anàlisi de regressió que realitza tant la selecció de variables com la regularització per tal de millorar la precisió de predicció i la interpretabilitat del model estadístic resultant. Va ser introduït originalment en geofísica, i més tard per Robert Tibshirani, que va encunyar el terme.
Lasso es va formular originalment per a models de regressió lineal. Aquest cas senzill revela una quantitat substancial sobre l'estimador. Aquests inclouen la seva relació amb la regressió de la cresta i la selecció del millor subconjunt i les connexions entre les estimacions del coeficient de lazo i l'anomenat llindar suau. També revela que (com la regressió lineal estàndard) les estimacions dels coeficients no han de ser úniques si les covariables són colineals.
Tot i que es va definir originalment per a la regressió lineal, la regularització de lazo s'estén fàcilment a altres models estadístics, inclosos els models lineals generalitzats, les equacions d'estimació generalitzades, els models de riscos proporcionals i els estimadors M. La capacitat de Lasso per dur a terme la selecció de subconjunts depèn de la forma de la restricció i té una varietat d'interpretacions que inclouen en termes de geometria, estadística bayesiana i anàlisi convexa.
El LASSO està estretament relacionat amb l'eliminació de sorolls de recerca de base.

## Història

Es va introduir Lasso per tal de millorar la precisió de predicció i la interpretabilitat dels models de regressió. Selecciona un conjunt reduït de covariables conegudes per utilitzar-les en un model.
Lasso es va desenvolupar de manera independent a la literatura de geofísica el 1986, basant-se en treballs previs que utilitzaven el $\ell ^{1}$ penalització tant per l'ajustament com per la penalització dels coeficients. L'estadístic Robert Tibshirani el va redescobrir i popularitzar de manera independent el 1996, basant-se en el garrot no negatiu de Breiman.

## Forma bàsica
### Mínims quadrats

Considereu una mostra formada per N casos, cadascun dels quals consta de p covariables i un únic resultat. Deixar $y_{i}$ ser el resultat i $x_{i}:=(x_{1},x_{2},\ldots ,x_{p})_{i}^{T}$ sigui el vector covariable per al $^{cas}$ i . Llavors l'objectiu del lazo és resoldre
$\min _{\beta _{0},\beta }\left\{\sum _{i=1}^{N}(y_{i}-\beta _{0}-x_{i}^{T}\beta )^{2}\right\}{\text{ subject to }}\sum _{j=1}^{p}|\beta _{j}|\leq t.$
Aquí $\beta _{0}$ és el coeficient constant, $\beta :=(\beta _{1},\beta _{2},\ldots ,\beta _{p})$ és el vector coeficient, i $t$ és un paràmetre lliure predeterminat que determina el grau de regularització.
$X$ sigui la matriu de covariables, de manera que $X_{ij}=(x_{i})_{j}$ i $x_{i}^{T}$ és $^{la}$ ia fila de $X$, l'expressió es pot escriure de manera més compacta com
$\min _{\beta _{0},\beta }\left\{\left\|y-\beta _{0}-X\beta \right\|_{2}^{2}\right\}{\text{ subject to }}\|\beta \|_{1}\leq t,$
on $\|u\|_{p}=\left(\sum _{i=1}^{N}|u_{i}|^{p}\right)^{1/p}$ és l'estàndard $\ell ^{p}$ norma.

### Covariables ortonormals

Ara es poden considerar algunes propietats bàsiques de l'estimador de lazo.
Suposant primer que les covariables són ortonormals de manera que $x_{i}^{T}x_{j}=\delta _{ij}$, on $\delta _{ij}$ és el delta de Kronecker o, de manera equivalent, $X^{T}X=I$, llavors utilitzant mètodes de subgradient es pot demostrar que
    ${\begin{aligned}{\hat {\beta }}_{j}=&S_{N\lambda }({\hat {\beta }}_{j}^{\text{OLS}})={\hat {\beta }}_{j}^{\text{OLS}}\max \left(0,1-{\frac {N\lambda }{|{\hat {\beta }}_{j}^{\text{OLS}}|}}\right)\\&{\text{ where }}{\hat {\beta }}^{\text{OLS}}=(X^{T}X)^{-1}X^{T}y=X^{T}y\end{aligned}}$

## Forma general

    La regularització del lazo es pot estendre a altres funcions objectives, com ara les dels models lineals generalitzats, les equacions d'estimació generalitzades, els models de riscos proporcionals i els estimadors M. Donada la funció objectiu
    ${\frac {1}{N}}\sum _{i=1}^{N}f(x_{i},y_{i},\alpha ,\beta )$
    la versió regularitzada amb lazo de l'estimador és la solució a
    $\min _{\alpha ,\beta }{\frac {1}{N}}\sum _{i=1}^{N}f(x_{i},y_{i},\alpha ,\beta ){\text{ subject to }}\|\beta \|_{1}\leq t$
    on només $\beta$ es penalitza mentre $\alpha$ és lliure d'assumir qualsevol valor permès, igual que $\beta _{0}$ no va ser penalitzat en el cas bàsic.

## Interpretacions
### Interpretació geomètrica

Lasso pot posar els coeficients a zero, mentre que la regressió de cresta superficialment semblant no. Això es deu a la diferència en la forma dels seus límits de restricció. Tant la regressió de lazo com la de cresta es poden interpretar com una minimització de la mateixa funció objectiu.

### Interpretació bayesiana

De la mateixa manera que la regressió de cresta es pot interpretar com una regressió lineal per a la qual els coeficients s'han assignat distribucions anteriors normals, lasso es pot interpretar com una regressió lineal per a la qual els coeficients tenen distribucions anteriors de Laplace. La distribució de Laplace té un pic marcat a zero (la seva primera derivada és discontínua a zero) i concentra la seva massa de probabilitat més a prop de zero que la distribució normal. Això proporciona una explicació alternativa de per què el lazo tendeix a posar alguns coeficients a zero, mentre que la regressió de cresta no ho fa.

## Referències

* ↑ Santosa, Fadil; Symes, William W. SIAM Journal on Scientific and Statistical Computing, 7, 4, 1986, pàg. 1307–1330. DOI: 10.1137/0907087.
* ↑ Tibshirani, Robert Journal of the Royal Statistical Society, 58, 1, 1996, pàg. 267–88. JSTOR: 2346178.
* ↑ Tibshirani, Robert Journal of the Royal Statistical Society, 58, 1, 1996, pàg. 267–88. JSTOR: 2346178.
* ↑ Tibshirani, Robert Statistics in Medicine, 16, 4, 1997, pàg. 385–395. DOI: 10.1002/(SICI)1097-0258(19970228)16:4<385::AID-SIM380>3.0.CO;2-3. PMID: 9044528.
* ↑ Tibshirani, Robert Journal of the Royal Statistical Society, 58, 1, 1996, pàg. 267–88. JSTOR: 2346178.
* ↑ Santosa, Fadil; Symes, William W. SIAM Journal on Scientific and Statistical Computing, 7, 4, 1986, pàg. 1307–1330. DOI: 10.1137/0907087.
* ↑ Santosa, Fadil; Symes, William W. SIAM Journal on Scientific and Statistical Computing, 7, 4, 1986, pàg. 1307–1330. DOI: 10.1137/0907087.
* ↑ Breiman, Leo Technometrics, 37, 4, 1995, pàg. 373–84. DOI: 10.1080/00401706.1995.10484371.
* ↑ Tibshirani, Robert Journal of the Royal Statistical Society, 58, 1, 1996, pàg. 267–88. JSTOR: 2346178.
* ↑ Tibshirani, Robert Statistics in Medicine, 16, 4, 1997, pàg. 385–395. DOI: 10.1002/(SICI)1097-0258(19970228)16:4<385::AID-SIM380>3.0.CO;2-3. PMID: 9044528.
* ↑ Tibshirani, Robert Journal of the Royal Statistical Society, 58, 1, 1996, pàg. 267–88. JSTOR: 2346178.