Lasso算法

在統計學和機器學習中 ， Lasso算法 （ 英語 ： least absolute shrinkage and selection operator ， 又譯最小絕對值收斂和選擇算子 、 套索算法 ） 是一種同時進行特徵選擇和正則化 （ 數學 ） 的迴歸分析方法 ， 旨在增強統計模型的預測準確性和可解釋性 ， 最初由斯坦福大學統計學教授於1996年基於Leo Breiman的非負參數推斷 ( Nonnegative Garrote, NNG ) 提出 。 Lasso算法最初用於計算最小二乘法模型 ， 這個簡單的算法揭示了很多估計量的重要性質 ， 如估計量與嶺迴歸 （ Ridge regression ， 也叫吉洪諾夫正則化 ） 和最佳子集選擇的關係 ， Lasso係數估計值 ( estimate ) 和軟閾值 （ soft thresholding ） 之間的聯繫 。 它也揭示了當協變量共線時 ， Lasso係數估計值不一定唯一 （ 類似標準線性迴歸 ） 。 雖然最早是爲應用最小二乘法而定義的算法 ， lasso正則化可以簡單直接地拓展應用於許多統計學模型上 ， 包括廣義線性模型 ， 廣義估計方程 ， 成比例災難模型和M - 估計 。 Lasso選擇子集的能力依賴於限制條件的形式並且有多種表現形式 ， 包括幾何學 ， 貝葉斯統計 ， 和凸分析 。 Lasso算法與基追蹤降噪聯繫緊密 。