在穩健統計中，穩健迴歸試圖克服傳統迴歸分析的一些侷限性。迴歸分析對自變數與因變數的關係進行建模。普通最小二乘法等標準型別的迴歸，在基本假設為真時有有利的特性，但其他情形下可能產生誤導（即對違背假設的情形不穩健）。穩健迴歸法旨在限制底資料生成中違反假設的情形對迴歸估計的影響。 例如，最小二乘估計的迴歸模型對異常值非常敏感：誤差幅度為典型觀測值 2 倍的異常值，對平方誤差損失函式的貢獻是典型觀測值的 4 倍（2 倍的平方），因此對迴歸估計值的影響更大。休伯損失函式是普通平方誤差損失的一種穩健替代，可減少異常值對平方誤差損失的貢獻，從而限制其對迴歸估計值的影響。 應用 異方差誤差 當強烈懷疑存在異方差時，就要考慮採用穩健估計。同方差模型假定誤差項的方差對所有 x 都是常數。例如，高收入人群的支出方差往往大於低收入人群。軟體包通常預設使用同方差，儘管可能不如異方差模型準確。一種簡單方法（Tofallis 2008）是對百分誤差應用最小二乘法，與普通最小二乘法相比，這樣可減少因變數的較大值造成的影響。 異常值 使用穩健估計的另一種常見情況是資料包含異常值。若異常值與其他資料的產生過程不同，最小二乘法估算的效率就會很低，且會產生偏差。由於最小二乘預測結果會被拖向異常值，且估計值的方差也會被擴大，結果就是異常值會被掩蓋（在許多時候，包括地理統計和醫學統計的部分領域，待研究的往往是異常值）。 有時有人稱最小二乘法（或一般的經典統計方法）是穩健的，但這只是指在違反模型的情況下第一類錯誤率不會增加。實際上，出現異常值時，第一類錯誤率往往會低於定類水平（nominal level），而第二類錯誤率則會急劇上升。第一類錯誤率的下降被稱為經典方法的保守性。 穩健迴歸的歷史與不受歡迎 雖然穩健迴歸法在很多時候都比最小二乘法的效能更優越，但仍未得到廣泛應用。不受歡迎的原因有幾個（Hampel et al 1986 2005），其一是有多種方法相互競爭，使得領域有多個錯誤的開端；另外，檔案迴歸的計算量比最小二乘法大得多；近年來，隨著算力的大幅提高，這種反對意見已變得不重要了。另一個原因可能是一些流行統計軟體包還沒有實現這些方法（Stromberg 2004）。許多統計學家認為經典方法是穩健的，這可能又是一個原因。 儘管穩健方法的應用進展緩慢，但現代的主流統計學教科書通常都有對這些方法的討論（例如，Seber Lee 及 Faraway 的著作；關於各種穩健迴歸方法如何相互發展的概述，請參閱 Andersen 的著作）。 穩健迴歸方法 最小二乘的代替 最簡單的方法是使用最小一乘法估計迴歸模型中的引數，這種方法對異常值的敏感度低於最小二乘法。即便如此，嚴重的異常值仍會對模型產生相當大的影響，促使人們研究更加穩健的方法。 1964 年，休伯引入了 M 估計，M 代表 最大似然，對響應變數中的異常值很穩健，但對解釋變數（槓桿點）的異常值則無能為力。事實上，這時這種方法與最小二乘相比沒有任何優勢。 1980 年代，提出了集中 M 估計的替代方案，試圖克服缺乏抵抗的問題。可參 Rousseeuw、Leroy 的著作。最小截平方（LTS）是一種可行的替代，目前 2007 是 Rousseeuw Ryan 1997 2008 的首選。泰爾 森估算的分解點低於 LTS，但在統計上很有效，也很受歡迎。另一種建議的解決方案是 S 估計，能找到一條線（面或超平面），使殘差規模的穩健估計值（名稱出處）最小化。這種方法對槓桿點有很強抵抗力，對響應中的異常值也很穩健，但往往很低效。 MM 估計試圖保留 S 估計的穩健性，同時獲得 M 估計的效率。首先要找到一個十分穩健、抗干擾的 S 估計值，可使殘差尺度的 M 估計值（第一個 M）最小化。然後，在確定引數的 M 估計值（第二個 M）的同時，保持估計值不變。 引數替代方法 另一種穩健估計迴歸方法是用重尾分佈代替正態分佈。據報道，在各種實際情況下，自由度為 46 的 T 分佈都是不錯的選擇。作為完全引數化的貝葉斯穩健迴歸，在很大程度上依賴於這種分佈。 在殘差為 t 分佈的假設下，分佈是一個位置尺度族，即 x leftarrow xmusigma。t 分佈的自由度，有時也稱為峰度係數。Lange、Little Taylor 1989 從非貝葉斯的角度深入討論了這一模型；Gelman et al 2003 對貝葉斯模型進行了闡述。 另一種引數方法是假設殘差遵循混合正態分佈（Daemi et al 2019）；特別是汙染正態分佈，其中大部分觀測值來自指定的正態分佈，小部分來自方差大得多的正態分佈。即，殘差來自方差為 sigma2 的正態分佈的機率為 1varepsilon，其中 varepsilon 很小，而對某個 c 1，來自方差為 csigma2 的正態分佈的機率為 varepsilon： e_i sim 1 varepsilon N 0 sigma2 varepsilon N 0 csigma2 通常有 varepsilon 01。這有時被稱為 varepsilon 汙染模型。 引數法的優點是，由似然理論提供了一種 現成 的推斷方法（雖然對 varepsilon 汙染模型之類不適用通常的正則行條件），且可根據擬合結果建立模擬模型。但這種引數模型仍假定基本模型是真實的，因此不能考慮偏移的殘差分佈或有限的觀測精度。 單位權 另一種穩健方法是單位權（Wainer Thissen 1976），適用於單一結果有多個預測因素的情況。Ernest Burgess 1928 用單位權法預測假釋成功率，對 21 個積極因素進行評分，分為存在（如 無逮捕前科 1）或不存在（有逮捕前科 0），然後求和得出預測得分，結果表明得分是預測假釋成功的有效指標。Samuel S Wilks 1938 的研究表明，幾乎所有迴歸權集的和都是彼此高度相關的，也包括單位權，這一結果被稱為威爾克斯定理（Ree Carretta Earles 1998）。Robyn Dawes 1979 研究了應用環境下的決策制定，發現使用單位權的簡單模型的結果甚至往往優於人類專家。Bobko、Roth、Buster 2007 回顧了有關單位權的文獻，並得出結論：數十年的經驗研究表明，單位權在交叉驗證中的表現與普通迴歸權相似。 另見 迴歸分析 迭代重加權最小二乘 M 估計量 隨機抽樣一致 重複中位數迴歸 泰爾 森估算，一種穩健簡單線性迴歸估計 參考文獻 BenGal I Outlier detection In Maimon O and Rockach L Eds Data Mining and Knowledge Discovery Handbook A Complete Guide for Practitioners and Researchers Kluwer Academic Publishers 2005 Bobko P Roth P L Buster M A 2007 The usefulness of unit weights in creating composite scores A literature review application to content validity and metaanalysis Organizational Research Methods volume 10 pages 689709 Daemi Atefeh Hariprasad Kodamana and Biao Huang Gaussian process modelling with Gaussian mixture likelihood Journal of Process Control 81 2019 209220 Burgess E W 1928 Factors determining success or failure on parole In A A Bruce Ed The Workings of the Indeterminate Sentence Law and Parole in Illinois pp 205249 Springfield Illinois Illinois State Parole Board Google books Dawes Robyn M 1979 The robust beauty of improper linear models in decision making American Psychologist volume 34 pages 571582 archived pdf Lerman G McCoy M Tropp J A Zhang T 2012 Robust computation of linear models or how to find a needle in a haystack Ree M J Carretta T R Earles J A 1998 In topdown decisions weighting variables does not matter A consequence of Wilks theorem Organizational Research Methods volume 1 4 pages 407420 Wainer H Thissen D 1976 Three steps toward robust regression Psychometrika volume 41 1 pages 934 Wilks S S 1938 Weighting systems for linear functions of correlated variables when there is no dependent variable Psychometrika volume 3 pages 2340 外部連結 R programming wikibooks Brian Ripleys robust statistics course notes Nick Fiellers course notes on Statistical Modelling and Computation contain material on robust regression Olfa Nasraouis Overview of Robust Statistics Olfa Nasraouis Overview of Robust Clustering Why write statistical software The case of robust statistical methods A J Stromberg Free software Fortran 95 L1norm regression Minimization of absolute deviations instead of least squares Free opensource python implementation for robust nonlinear regression