吉洪诺夫正则化 吉洪诺夫正则化得名于安德烈尼古拉耶维奇吉洪诺夫是在自变量高度相关的情景下估计多元回归模型系数的方法它已被用于许多领域包括计量经济学化学和工程学吉洪诺夫正则化为非适定性问题的正则化中最常见的方法在統計學中本方法被稱為脊迴歸或岭回归ridge regression在機器學習領域則稱為權重衰減或權值衰減weight decay因為有不同的數學家獨立發現此方法此方法又稱做吉洪諾夫米勒法TikhonovMiller method菲利浦斯圖米法PhillipsTwomey method受限線性反演constrained linear inversion method或線性正規化linear regularization此方法亦和用在非線性最小二乘法英语Nonlinearleastsquares的萊文貝格馬夸特方法相關它对于缓解线性回归中的多重共线性问题特别有用这常见于有大量参数的模型中总的来说这种方法提高了参数估计的效率但也有可容忍的偏差见偏差方差权衡 该理论于年由Hoerl与Kennard发表在技术计量学上的文章岭回归非正交问题的偏估计及岭回归非正交问题中的应用中首次提出 This was the result of ten years of research into the field of ridge analysis 岭回归是通过创建岭回归估计量RR实现的当线性回归模型具有多重共线高度相关的自变量时岭回归对于最小二乘估计的不精确性是一种可能的解决方案这提供了更精确的岭参数估计因为它的方差和均方估计量通常小于先前推导的最小二乘估计量 当求解超定问题即 A m  n x  b  m  n displaystyle Amtimes nxbmn 时 矩阵 A displaystyle A 的协方差矩阵 A H A displaystyle AHA 奇异或接近奇异时利用最小二乘方法求出的结果 x  L S   A H A    A H b displaystyle hat xLSAHAAHb 会出现发散或对 x displaystyle x 不合理的逼近为了解决这一问题吉洪诺夫于年提出了利用正则化项修改最小二乘的代价函数的方法修改后的代价函数如下 J  x       A x  b     λ  x     displaystyle Jxfrac lVert AxbrVert lambda lVert xrVert  式中 λ   displaystyle lambda geq  称为正则化参数这种方法被称为吉洪诺夫正则化