|  |
| --- |
| 统计学系列条目 |
| 迴歸分析 |
|  |
| 
模型 |
| * 線性回歸
* 简单线性回归（英语：）
* （OLS）
* 多项式回归
* 一般线性模型
 |
| * 廣義線性模式
* 离散选择（英语：）
* 对数几率回归
* 多项罗吉特（英语：）
* 混合罗吉特
* 波比（英语：）
* 多项式波比（英语：）
* 排序性模型（英语：）
* 有序波比（英语：）
* 泊松回归
 |
| * 等级线性模型
* 固定效应（英语：）
* 随机效应（英语：）
* 混合模型（英语：）
 |
| * 非线性回归
* 非
* 半
* 稳健
* 分位数迴歸
* 保序回归
* 主成分
* 最小角
* 局部（英语：）
* 分段
 |
| * 含误差变量（英语：）
 |
| 
估计 |
| * 
* 
* 线性
* 偏最小二乘回归
* （英语：）
* 广义
* 加权
* 非线性
* 非负（英语：）
* 重复再加权（英语：）
* 脊迴歸（嶺迴歸）
* LASSO
 |
| * 最小绝对值导数法（英语：）
* 贝叶斯（英语：）
* 贝叶斯多元（英语：）
 |
| 
背景 |
| * 回归模型检验（英语：）
* 平均响应和预测响应（英语：）
* 误差和残差
* 拟合优度
* 学生化残差（英语：）
* 
 |
| * 概率与统计主题
 |
| * 
* 论
* 编
 |

**吉洪诺夫正则化**得名于安德烈·尼古拉耶维奇·吉洪诺夫，是在自变量高度相关的情景下估计多元回归模型系数的方法。它已被用于许多领域，包括计量经济学、化学和工程学。吉洪诺夫正则化为非适定性问题的正则化中最常见的方法。在統計學中，本方法被稱為**脊迴歸**或**岭回归**（）；在機器學習領域則稱為**權重衰減**或**權值衰減**（）。因為有不同的數學家獨立發現此方法，此方法又稱做**吉洪諾夫－米勒法**（）、**菲利浦斯－圖米法**（）、**受限線性反演**（），或**線性正規化**（）。此方法亦和用在非線性最小二乘法（英语：）的萊文貝格－馬夸特方法相關。它对于缓解线性回归中的多重共线性问题特别有用，这常见于有大量参数的模型中。总的来说，这种方法提高了参数估计的效率，但也有可容忍的偏差（见偏差-方差权衡）。

该理论于1970年由Hoerl与Kennard发表在《技术计量学》上的文章《岭回归：非正交问题的偏估计》及《岭回归：非正交问题中的应用》中首次提出。 This was the result of ten years of research into the field of ridge analysis.

岭回归是通过创建岭回归估计量（RR）实现的。当线性回归模型具有多重共线（高度相关）的自变量时，岭回归对于最小二乘估计的不精确性是一种可能的解决方案。这提供了更精确的岭参数估计，因为它的方差和均方估计量通常小于先前推导的最小二乘估计量。

当求解超定问题（即{\displaystyle A\_{m\times n}x=b,m>n}）时， 矩阵A 的协方差矩阵 {\displaystyle A^{H}A} 奇异或接近奇异时，利用最小二乘方法求出的结果 {\displaystyle {\hat {x}}\_{LS}=(A^{H}A)^{-1}A^{H}b} 会出现发散或对x 不合理的逼近。为了解决这一问题，吉洪诺夫于1963年提出了利用正则化项修改最小二乘的代价函数的方法，修改后的代价函数如下：

{\displaystyle J(x)={\frac {1}{2}}(\lVert Ax-b\rVert \_{2}^{2}+\lambda \lVert x\rVert \_{2}^{2})}

式中 {\displaystyle \lambda \geq 0} 称为正则化参数，这种方法被称为吉洪诺夫正则化。

概览
--

在最简单的情况下，向主对角线添加正元素可以缓解近奇异矩量矩阵{\displaystyle (\mathbf {X} ^{\mathsf {T}}\mathbf {X} )}问题，减少条件数。类似于最小二乘估计量，简单岭估计量可定义为

{\displaystyle {\hat {\beta }}\_{R}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} }
其中\mathbf {y} 是回归子，\mathbf{X}是设计矩阵，\mathbf {I} 是单位矩阵，岭参数{\displaystyle \lambda \geq 0}则是矩量矩阵对角线的恒定位移。可以证明这个估计量是约束为{\displaystyle \beta ^{\mathsf {T}}\beta =c}的最小二乘问题的解，可表达为拉格朗日形式：

{\displaystyle \min \_{\beta }\,(\mathbf {y} -\mathbf {X} \beta )^{\mathsf {T}}(\mathbf {y} -\mathbf {X} \beta )+\lambda (\beta ^{\mathsf {T}}\beta -c)}
其说明，\lambda 不过是约束的拉格朗日乘数。通常要根据启发式准则选择\lambda ，以便不完全满足约束。特别是在约束\lambda = 0，即非约束约束（non-binding constrain），岭估计量退化为普通最小二乘法。下面讨论一种更通用的吉洪诺夫正则化方法。

历史
--

吉洪诺夫正则化是在许多不同背景下独立发明的。
安德烈·吉洪诺夫和David L. Phillips最早使用了这种方法。
有限维情形由采用统计方法的Arthur E. Hoerl和Manus Foster完成，后者将其解释为克里金法滤子。自Hoerl之后，这种方法在统计学文献中被称为岭回归，以沿单位矩阵对角线的形状命名。

吉洪诺夫正则化
-------

假设对已知矩阵A和向量\mathbf {b} ，我们希望找到向量\mathbf {x} 使[需要解释]

{\displaystyle A\mathbf {x} =\mathbf {b} .}
标准方法是普通最小二乘法线性回归。[需要解释]但若没有\mathbf {x} 满足方程或超过一个\mathbf {x} 满足（即解不唯一），则待研究问题为不适定问题，普通最小二乘估计会导致方程组过定或欠定。大多数现实世界的现象在前向问题中都具有低通滤性质[需要解释]，其中A将\mathbf {x} 映射到\mathbf {b} 。因此在解决逆问题时，逆映射作为高通滤波器，具有放大噪声的不良趋势（特征值/奇异值在逆映射中最大，在正映射中最小）。此外，普通最小二乘隐式地消除了位于A的零空间的\mathbf {x} 的重建版本的每个元素，而非允许将模型用作\mathbf {x} 的先验。
普通最小二乘寻找最小化残差平方和，可以紧凑地写作

{\displaystyle \|A\mathbf {x} -\mathbf {b} \|\_{2}^{2},}
其中{\displaystyle \|\cdot \|\_{2}}是欧几里得范数。

为优先选择具有所需性质的特定解，可在最小化中包含正则化项：

{\displaystyle \|A\mathbf {x} -\mathbf {b} \|\_{2}^{2}+\|\Gamma \mathbf {x} \|\_{2}^{2}}
其中**吉洪诺夫矩阵**{\displaystyle \Gamma }需要适当选取，许多时候选为单位矩阵的标量倍数（{\displaystyle \Gamma =\alpha I}），并优先考虑范数较小的解；这叫做***L*2正则化**。这之外，若认为基础向量几乎连续，则可使用高通运算（如递推关系式或加权离散傅里叶变换）以实现平滑。这种正则化改进了问题条件，从而实现了直接的数值求解。显式解表示为\hat{x}，是这样得到：

{\displaystyle {\hat {x}}=(A^{\top }A+\Gamma ^{\top }\Gamma )^{-1}A^{\top }\mathbf {b} .}
正则化的效果可能因矩阵\Gamma 的尺度而异。若择{\displaystyle \Gamma =0}，如(ATA)−1存在，则简化为非正则化最小二乘解。

除线性回归外，*L*2正则化还有许多应用场景，如逻辑斯谛回归或支持向量机分类，以及矩阵分解。

### 广义吉洪诺夫正则化

对于x和数据误差的多元正态分布，c可以应用变量的变换来简化上述情况。等价地，可以寻求最小化x：

{\displaystyle \|Ax-b\|\_{P}^{2}+\|x-x\_{0}\|\_{Q}^{2},}
其中{\displaystyle \|x\|\_{Q}^{2}}表示加权范数平方{\displaystyle x^{\top }Qx}（比较马哈拉诺比斯距离）。在贝叶斯解释中，P是b的逆协方差矩阵；x\_{0}是x的期望；Q是x的逆协方差矩阵。吉洪诺夫矩阵为矩阵{\displaystyle Q=\Gamma ^{\top }\Gamma }的分解（如科列斯基分解），可视作白化变换器。

这个推广问题有最优解x^{\*}，可以使用公式显式地写为

{\displaystyle x^{\*}=(A^{\top }PA+Q)^{-1}(A^{\top }Pb+Qx\_{0}),}
或等效地，当Q非空：

{\displaystyle x^{\*}=x\_{0}+(A^{\top }PA+Q)^{-1}(A^{\top }P(b-Ax\_{0})).}

拉夫连季耶夫正则化
---------

有时可以避免使用{\displaystyle A^{\top }}，这由米哈伊尔·拉夫连季耶夫指出。例如，若A是对称正定矩阵，即{\displaystyle A=A^{\top }>0}，则其逆A^{-1}可以用来在广义吉洪诺夫正则化中构造加权范数平方{\displaystyle \|x\|\_{P}^{2}=x^{\top }A^{-1}x}，则有最小化

{\displaystyle \|Ax-b\|\_{A^{-1}}^{2}+\|x-x\_{0}\|\_{Q}^{2}}
或等价地由常数项，

{\displaystyle x^{\top }(A+Q)x-2x^{\top }(b+Qx\_{0})}.
该最小化问题有最优解x^{\*}，可以紧凑地写作公式

{\displaystyle x^{\*}=(A+Q)^{-1}(b+Qx\_{0})},
是广义吉洪诺夫问题的解，其中{\displaystyle A=A^{\top }=P^{-1}}。

拉夫连季耶夫正则化对原吉洪诺夫正则化有利，因为拉夫连季耶夫矩阵{\displaystyle A+Q}的条件数比吉洪诺夫矩阵{\displaystyle A^{\top }A+\Gamma ^{\top }\Gamma }小。

希尔伯特空间中的正则化
-----------

典型的离散线性非适定问题由积分方程的离散化引起，可以在原始的无穷维背景中实现吉洪诺夫正则化。上面，我们可以将A解释为希尔伯特空间上的紧算子，x、b为A的域与范围上的元素。{\displaystyle A^{\*}A+\Gamma ^{\top }\Gamma }是自伴随有界可逆运算。

与奇异值分解和维纳滤波器的关系
---------------

有{\displaystyle \Gamma =\alpha I}这个最小二乘解可用奇异值分解以特殊的方式分析。给定奇异值分解

{\displaystyle A=U\Sigma V^{\top }}
，奇异值{\displaystyle \sigma \_{i}}，则吉洪诺夫正则解可表为

{\displaystyle {\hat {x}}=VDU^{\top }b,}
其中D的对角值为

{\displaystyle D\_{ii}={\frac {\sigma \_{i}}{\sigma \_{i}^{2}+\alpha ^{2}}}}
其余地方都是0。这表明吉洪诺夫参数对正则化问题条件数的影响。对于广义情况，可以使用广义奇异值分解推导出类似的表示。

最后，其与维纳滤波有关：

{\displaystyle {\hat {x}}=\sum \_{i=1}^{q}f\_{i}{\frac {u\_{i}^{\top }b}{\sigma \_{i}}}v\_{i},}
其中维纳权为{\displaystyle f\_{i}={\frac {\sigma \_{i}^{2}}{\sigma \_{i}^{2}+\alpha ^{2}}}}；q是A的秩。

确定吉洪诺夫因子
--------

最佳正则化参数\alpha 一般未知，在实践中常常临时确定。一种可能的方法依赖于下面描述的贝叶斯解释。其他方法包括偏差原理、交叉验证、L曲线法、约束最大似然法和无偏预测风险估计。Grace Wahba证明，这种最优参数用留一交叉验证最小

{\displaystyle G={\frac {\operatorname {RSS} }{\tau ^{2}}}={\frac {\|X{\hat {\beta }}-y\|^{2}}{[\operatorname {Tr} (I-X(X^{T}X+\alpha ^{2}I)^{-1}X^{T})]^{2}}},}
其中{\displaystyle \operatorname {RSS} }是残差平方和，\tau 是自由度。

用前面的SVD分解，可以简化上述表达式：

{\displaystyle \operatorname {RSS} =\left\|y-\sum \_{i=1}^{q}(u\_{i}'b)u\_{i}\right\|^{2}+\left\|\sum \_{i=1}^{q}{\frac {\alpha ^{2}}{\sigma \_{i}^{2}+\alpha ^{2}}}(u\_{i}'b)u\_{i}\right\|^{2},}
{\displaystyle \operatorname {RSS} =\operatorname {RSS} \_{0}+\left\|\sum \_{i=1}^{q}{\frac {\alpha ^{2}}{\sigma \_{i}^{2}+\alpha ^{2}}}(u\_{i}'b)u\_{i}\right\|^{2},}
；

{\displaystyle \tau =m-\sum \_{i=1}^{q}{\frac {\sigma \_{i}^{2}}{\sigma \_{i}^{2}+\alpha ^{2}}}=m-q+\sum \_{i=1}^{q}{\frac {\alpha ^{2}}{\sigma \_{i}^{2}+\alpha ^{2}}}.}

与概率表述的关系
--------

逆问题的概率公式引入了（当所有不确定量都为正态量时）表示模型参数先验不确定性的协方差矩阵{\displaystyle C\_{M}}，以及表示观测参数不确定性的协方差矩阵{\displaystyle C\_{D}}。当它们都是对角各向同性矩阵（{\displaystyle C\_{M}=\sigma \_{M}^{2}I}），且{\displaystyle C\_{D}=\sigma \_{D}^{2}I}，则逆理论方程简化为上述方程，且{\displaystyle \alpha ={\sigma \_{D}}/{\sigma \_{M}}}。

贝叶斯解释
-----

条目：核正则化的贝叶斯解释
虽然选择这个正则化问题的解可能看起来是人为的，而且矩阵\Gamma 似乎相当武断，但从贝叶斯的角度来看，这个过程是合理的。注意，不适定问题必须引入额外假设才能得到唯一解。在统计学中，x的先验分布有时被认为是多元正态分布。为简单起见，此处做出以下假设：均值为零；组分独立；组分标准差均为{\displaystyle \sigma \_{x}}。数据也受误差影响，并且假设b中的误差独立，均值为零，标准差为{\displaystyle \sigma \_{b}}。在这些假设下，根据贝叶斯定理，吉洪诺夫正则化解是给定数据和x的先验分布的最可能的解。

若正态性假设被同方差和无关误差假设代替，且若假设均值仍是零，则高斯-马尔可夫定理意味着解是最小 无偏线性估计量。

另见
--

* Lasso算法是统计学中另一种正则化方法。
* 弹性网络正则化
* 矩阵正则化

参考文献
----

1. 1 2  Hilt, Donald E.; Seegrist, Donald W.. 1977  [2023-09-24]. doi:10.5962/bhl.title.68934. （原始内容存档于2023-02-10）. [页码请求]
2. 1 2  Gruber, Marvin.. CRC Press. 1998: 2  [2023-09-24]. ISBN 978-0-8247-0156-7. （原始内容存档于2022-05-10）.
3. ↑  Kennedy, Peter.  Fifth. Cambridge: The MIT Press. 2003: 205–206. ISBN 0-262-61183-X.
4. ↑  Gruber, Marvin.. Boca Raton: CRC Press. 1998: 7–15. ISBN 0-8247-0156-9.
5. ↑  Hoerl, Arthur E.; Kennard, Robert W.. Technometrics. 1970, **12** (1): 55–67. JSTOR 1267351. doi:10.2307/1267351.
6. ↑  Hoerl, Arthur E.; Kennard, Robert W.. Technometrics. 1970, **12** (1): 69–82. JSTOR 1267352. doi:10.2307/1267352.
7. ↑  Beck, James Vere; Arnold, Kenneth J.. James Beck. 1977: 287  [2023-09-24]. ISBN 978-0-471-06118-2. （原始内容存档于2022-04-26）.
8. ↑  Jolliffe, I. T.. Springer Science & Business Media. 2006: 178  [2023-09-24]. ISBN 978-0-387-22440-4. （原始内容存档于2022-04-18）.
9. ↑  Tikhonov A.N.. Soviet Mathematics Doklady. 1963, **4**: 1035–1038.
10. ↑  关于实践中\lambda 的选择，参Khalaf, Ghadban; Shukur, Ghazi.. Communications in Statistics – Theory and Methods. 2005, **34** (5): 1177–1182. S2CID 122983724. doi:10.1081/STA-200056836.
11. ↑  van Wieringen, Wessel.. 2021-05-31. arXiv:1509.09169 可免费查阅 [stat.ME].
12. ↑  Tikhonov, Andrey Nikolayevich.  [On the stability of inverse problems]. Doklady Akademii Nauk SSSR. 1943, **39** (5): 195–198. （原始内容存档于2005-02-27）.
13. ↑  Tikhonov, A. N.. Doklady Akademii Nauk SSSR. 1963, **151**: 501–504. . Translated in. Soviet Mathematics: 1035–1038.
14. ↑  Tikhonov, A. N.; V. Y. Arsenin.. Washington: Winston & Sons. 1977. ISBN 0-470-99124-0.
15. ↑  Tikhonov, Andrey Nikolayevich; Goncharsky, A.; Stepanov, V. V.; Yagola, Anatolij Grigorevic.. Netherlands: Springer Netherlands. 30 June 1995  [9 August 2018]. ISBN 079233583X. （原始内容存档于2021-06-20）.
16. ↑  Tikhonov, Andrey Nikolaevich; Leonov, Aleksandr S.; Yagola, Anatolij Grigorevic.. London: Chapman & Hall. 1998  [9 August 2018]. ISBN 0412786605. （原始内容存档于2021-06-15）.
17. ↑  Phillips, D. L.. Journal of the ACM. 1962, **9**: 84–97. S2CID 35368397. doi:10.1145/321105.321114.
18. ↑  Hoerl, Arthur E.. Chemical Engineering Progress. 1962, **58** (3): 54–59.
19. ↑  Foster, M.. Journal of the Society for Industrial and Applied Mathematics. 1961, **9** (3): 387–392. doi:10.1137/0109031.
20. ↑  Hoerl, A. E.; R. W. Kennard.. Technometrics. 1970, **12** (1): 55–67. doi:10.1080/00401706.1970.10488634.
21. ↑  Ng, Andrew Y.  (PDF). Proc. ICML. 2004  [2023-09-24]. （原始内容存档 (PDF)于2023-03-15）.
22. ↑  R.-E. Fan; K.-W. Chang; C.-J. Hsieh; X.-R. Wang; C.-J. Lin.. Journal of Machine Learning Research. 2008, **9**: 1871–1874.
23. ↑  Guan, Naiyang; Tao, Dacheng; Luo, Zhigang; Yuan, Bo.. IEEE Transactions on Neural Networks and Learning Systems. 2012, **23** (7): 1087–1099. PMID 24807135. S2CID 8755408. doi:10.1109/TNNLS.2012.2197827.
24. ↑  Lavrentiev, M. M.. New York: Springer. 1967.
25. ↑  Hansen, Per Christian.  1st. Philadelphia, USA: SIAM. Jan 1, 1998. ISBN 9780898714036.
26. ↑  P. C. Hansen, "The L-curve and its use in the
numerical treatment of inverse problems",  （页面存档备份，存于）
27. ↑  Wahba, G.. CBMS-NSF Regional Conference Series in Applied Mathematics (Society for Industrial and Applied Mathematics). 1990. Bibcode:1990smod.conf.....W.
28. ↑  Golub, G.; Heath, M.; Wahba, G.  (PDF). Technometrics. 1979, **21** (2): 215–223  [2023-09-24]. doi:10.1080/00401706.1979.10489751. （原始内容存档 (PDF)于2017-12-15）.
29. ↑  Tarantola, Albert.  1st. Philadelphia: Society for Industrial and Applied Mathematics (SIAM). 2005  [2018-08-09]. ISBN 0898717922. （原始内容存档于2021-02-25）.
30. ↑  Greenberg, Edward; Webster, Charles E. Jr.. New York: John Wiley & Sons. 1983: 207–213. ISBN 0-471-09077-8.
31. ↑  Vogel, Curtis R.. Philadelphia: Society for Industrial and Applied Mathematics. 2002. ISBN 0-89871-550-4.
32. ↑  Amemiya, Takeshi. 需要免费注册. Harvard University Press. 1985: 60–61. ISBN 0-674-00560-0.  含有內容需登入查看的頁面 (link)

阅读更多
----

* Gruber, Marvin.. Boca Raton: CRC Press. 1998  [2023-09-24]. ISBN 0-8247-0156-9. （原始内容存档于2022-10-17）.
* Kress, Rainer.. . New York: Springer. 1998: 86–90  [2023-09-24]. ISBN 0-387-98408-9. （原始内容存档于2022-10-17）.
* Press, W. H.; Teukolsky, S. A.; Vetterling, W. T.; Flannery, B. P..  3rd. New York: Cambridge University Press. 2007  [2023-09-24]. ISBN 978-0-521-88068-8. （原始内容存档于2011-08-11）.
* Saleh, A. K. Md. Ehsanes; Arashi, Mohammad; Kibria, B. M. Golam.. New York: John Wiley & Sons. 2019  [2023-09-24]. ISBN 978-1-118-64461-4. （原始内容存档于2022-10-21）.
* Taddy, Matt.. . New York: McGraw-Hill. 2019: 69–104  [2023-09-24]. ISBN 978-1-260-45277-8. （原始内容存档于2022-10-17）.

|  |  |  |
| --- | --- | --- |
| 

|  |  |
| --- | --- |
| 规范控制 編輯維基數據鏈接 | 
* BNF: cb12345004c (data)
* J9U: 987007538590905171
* LCCN: sh85114019

 |

 |