吉洪諾夫正則化

吉洪諾夫正則化以安德烈 · 尼古拉耶維奇 · 吉洪諾夫命名 ， 爲非適定性問題的正則化中最常見的方法 。 在統計學中 ， 本方法被稱爲脊迴歸或嶺迴歸  ； 在機器學習領域則稱爲權重衰減或權值衰減  。 因爲有不同的數學家獨立發現此方法 ， 此方法又稱做吉洪諾夫 － 米勒法  、 菲利浦斯 － 圖米法  、 受限線性反演  ， 或線性正規化  。 此方法亦和用在的萊文貝格 － 馬夸特方法相關 。 當求解超定問題 （ 即 ） 時 ， 矩陣 的協方差矩陣 奇異或接近奇異時 ， 利用最小二乘方法求出的結果 會出現發散或對 不合理的逼近 。 爲了解決這一問題 ， 吉洪諾夫於1963年提出了利用正則化項修改最小二乘的代價函數的方法 ， 修改後的代價函數如下 ： 式中 稱爲正則化參數 ， 這種方法被稱爲吉洪諾夫正則化 。