| 机器学习与 |
| --- |
| 散点图展示了线性支持向量机核函數的决策边界（虚线） |
| 范式
* 监督学习
* 無監督學習
* 線上機器學習
* 元学习（英语：）
* 半监督学习
* 自监督学习
* 强化学习
* 基于规则的机器学习（英语：）
* 量子機器學習
 |
| 问题
* 统计分类
* 生成模型
* 迴歸分析
* 聚类分析
* 降维
* 密度估计（英语：）
* 异常检测
* 数据清洗
* 自动机器学习
* 关联规则学习
* 語意分析
* 结构预测（英语：）
* 特征工程
* 表征学习
* 排序学习（英语：）
* 语法归纳（英语：）
* 本体学习（英语：）
* 多模态学习（英语：）
 |
| 监督学习(**分类** · **回归**)
* 学徒学习（英语：）
* 决策树学习
* 集成学习
	+ Bagging
	+ 提升方法
	+ 随机森林
* *k*-NN
* 線性回歸
* 朴素贝叶斯
* 人工神经网络
* 邏輯迴歸
* 感知器
* 相关向量机（RVM）
* 支持向量机（SVM）
 |
| 聚类分析
* BIRCH
* CURE算法（英语：）
* 层次
* *k*-平均
* Fuzzy
* 期望最大化（EM）
* DBSCAN
* OPTICS
* 均值飘移（英语：）
 |
| 降维
* 因素分析
* CCA
* ICA
* LDA
* NMF（英语：）
* PCA
* PGD（英语：）
* t-SNE（英语：）
* SDL
 |
| 结构预测（英语：）
* 圖模式
	+ 貝氏網路
	+ 條件隨機域
	+ 隐马尔可夫模型
 |
| 异常检测
* RANSAC
* *k*-NN
* 局部异常因子（英语：）
* 孤立森林（英语：）
 |
| 人工神经网络
* 自编码器
* 認知計算
* 深度学习
* DeepDream（英语：）
* 多层感知器
* RNN
	+ LSTM
	+ GRU（英语：）
	+ ESN（英语：）
	+ 储备池计算（英语：）
* 受限玻尔兹曼机
* GAN
* SOM
* 卷积神经网络
	+ U-Net
* Transformer
	+ Vision transforme（英语：）
* 脉冲神经网络（英语：）
* Memtransistor（英语：）
* 电化学RAM（英语：）（ECRAM）
 |
| 强化学习
* Q学习
* SARSA
* 时序差分（TD）
* 多智能体（英语：）
	+ Self-play（英语：）
 |
| 与人类学习
* 主动学习（英语：）
* 众包
* Human-in-the-loop（英语：）
 |
| 模型诊断
* 学习曲线（英语：）
 |
| 数学基础
* 内核机器（英语：）
* 偏差–方差困境（英语：）
* 计算学习理论（英语：）
* 经验风险最小化
* 奥卡姆学习（英语：）
* PAC学习（英语：）
* 统计学习
* VC理论
 |
| 大会与出版物
* NeurIPS
* ICML（英语：）
* ICLR
* ML（英语：）
* JMLR（英语：）
 |
| 相关条目
* 人工智能术语（英语：）
* 机器学习研究数据集列表（英语：）
* 机器学习概要（英语：）
 |
| * 
* 论
* 编
 |

在数学与计算机科学中，尤其是在机器学习和逆问题领域中，**正则化**（英语：regularization）是指为解决适定性问题或过拟合而加入额外信息的过程。

在机器学习和逆问题的优化过程中，正则项往往被加在目标函数当中。

概述
--

概括来讲，机器学习的训练过程，就是要找到一个**足够好**的函数{\displaystyle F^{\*}}用以在新的数据上进行推理。为了定义什么是「好」，人们引入了损失函数的概念。一般地，对于样本{\displaystyle ({\vec {x}},y)}和模型F，有预测值{\displaystyle {\hat {y}}=F({\vec {x}})}。损失函数是定义在{\displaystyle \mathbb {R} \times \mathbb {R} \to \mathbb {R} }上的二元函数{\displaystyle \ell (y,{\hat {y}})}，用来描述基准真相和模型预测值之间的差距。一般来说，损失函数是一个有下确界的函数；当基准真相和模型预测值足够接近，损失函数的值也会接近该下确界。

因此，机器学习的训练过程可以被转化为训练集{\displaystyle {\mathcal {D}}}上的最小化问题。我们的目标是在泛函空间内，找到使得全局损失{\displaystyle L(F)=\sum \_{i\in {\mathcal {D}}}\ell (y\_{i},{\hat {y}}\_{i})}最小的模型{\displaystyle F^{\*}}。

{\displaystyle F^{\*}:=\mathop {\text{arg min}} \_{F}L(F).}

由于损失函数只考虑在训练集上的经验风险，这种做法可能会导致过拟合。为了对抗过拟合，我们需要向损失函数中加入描述模型复杂程度的正则项{\displaystyle \Omega (F)}，将经验风险最小化问题转化为结构风险最小化。

{\displaystyle F^{\*}:=\mathop {\text{arg min}} \_{F}{\text{Obj}}(F)=\mathop {\text{arg min}} \_{F}{\bigl (}L(F)+\gamma \Omega (F){\bigr )},\qquad \gamma >0.}

这里，{\displaystyle {\text{Obj}}(F)}称为目标函数，它描述模型的结构风险；{\displaystyle L(F)}是训练集上的损失函数；{\displaystyle \Omega (F)}是正则项，描述模型的复杂程度；\gamma 是用于控制正则项重要程度的参数。正则项通常包括对光滑度及向量空间内范数上界的限制。{\displaystyle L\_{p}}-范数是一种常见的正则项。

在贝叶斯学派的观点（英语：）看来，正则项是在模型训练过程中引入了某种模型参数的先验分布。

Lp正则项
-----

所谓范数即是抽象之长度，通常意义上满足长度的三种性质：非负性、齐次性和三角不等式。

以函数的观点来看，范数是定义在{\displaystyle \mathbb {R} ^{n}\to \mathbb {R} }的函数；并且它和损失函数类似，也具有下确界。后一性质是由范数的非负性和齐次性保证的。这一特性使得{\displaystyle L\_{p}}-范数天然适合做正则项，因为目标函数仍可用梯度下降等方式求解最优化问题。{\displaystyle L\_{p}}-范数作为正则项时被称为{\displaystyle L\_{p}}-正则项。

### L0和L1正则项

机器学习模型当中的参数，可形式化地组成参数向量，记为{\displaystyle {\vec {\omega }}}。不失一般性，以线性模型为例：

{\displaystyle F({\vec {x}};{\vec {\omega }}):={\vec {\omega }}^{\intercal }\cdot {\vec {x}}=\sum \_{i=1}^{n}\omega \_{i}\cdot x\_{i}.}

由于训练集当中统计噪声的存在，冗余的特征可能成为过拟合的一种来源。这是因为，对于统计噪声，模型无法从有效特征当中提取信息进行拟合，故而会转向冗余特征。为了对抗此类过拟合现象，人们会希望让尽可能多的\omega \_{{i}}为零。为此，最直观地，可以引入{\displaystyle L\_{0}}-正则项

{\displaystyle \Omega {\bigl (}F({\vec {x}};{\vec {\omega }}){\bigr )}:=\gamma \_{0}{\frac {\lVert {\vec {\omega }}\rVert \_{0}}{n}},\;\gamma \_{0}>0.}

通过引入{\displaystyle L\_{0}}-正则项，人们实际上是向优化过程引入了一种惩罚机制：当优化算法希望增加模型复杂度（此处特指将原来为零的参数\omega \_{{i}}更新为非零的情形）以降低模型的经验风险（即降低全局损失）时，在结构风险上进行大小为{\displaystyle {\tfrac {\gamma \_{0}}{n}}}的惩罚。于是，当增加模型复杂度在经验风险上的收益不足{\displaystyle {\tfrac {\gamma \_{0}}{n}}}时，整个结构风险实际上会增大而非减小。因此优化算法会拒绝此类更新。

引入{\displaystyle L\_{0}}-正则项可使模型参数稀疏化，以及使得模型易于解释。但{\displaystyle L\_{0}}-正则项也有无法避免的问题：非连续、非凸、不可微。因此，在引入{\displaystyle L\_{0}}-正则项的目标函数上做最优化求解，是一个无法在多项式时间内完成的问题。于是，人们转而考虑{\displaystyle L\_{0}}-范数的最紧凸放松——{\displaystyle L\_{1}}-范数，令

{\displaystyle \Omega {\bigl (}F({\vec {x}};{\vec {\omega }}){\bigr )}:=\gamma \_{1}{\frac {\lVert {\vec {\omega }}\rVert \_{1}}{n}},\;\gamma \_{1}>0.}

和引入{\displaystyle L\_{0}}-正则项的情况类似，引入{\displaystyle L\_{1}}-正则项是在结构风险上进行大小为{\displaystyle {\tfrac {\gamma \_{1}|\omega \_{i}|}{n}}}的惩罚，以达到稀疏化的目的。

{\displaystyle L\_{1}}-正则项亦称LASSO-正则项。

### L2正则项

图中左侧是训练集，右侧是验证集。训练集和验证集数据均是由线性函数加上一定的随机扰动生成的。图中橙色直线是以线性模型拟合训练集数据得到模型的函数曲线；绿色虚线则是以15-阶多项式模型拟合训练数据得到模型的函数曲线。由此可見，儘管多项式模型在训练集上的误差小于线性模型，但在验证集上的误差则显著大于线性模型。此外，多项式模型为了拟合噪声点，在噪声点附近进行了高曲率的弯折。这说明多项式模型过拟合了训练集数据。
在发生过拟合时，模型的函数曲线往往会发生剧烈的弯折，这意味着模型函数在局部的切线之斜率非常高。一般地，函数的曲率是函数参数的线性组合或非线性组合。为了对抗此类过拟合，人们会希望使得这些参数的值相对稠密且均匀地集中在零附近。于是，人们引入了{\displaystyle L\_{2}}-范数，作为{\displaystyle L\_{2}}-正则项。令

{\displaystyle \Omega {\bigl (}F({\vec {x}};{\vec {w}}){\bigr )}:=\gamma \_{2}{\frac {\lVert {\vec {\omega }}\rVert \_{2}^{2}}{2n}},\;\gamma \_{2}>0,}

于是有目标函数

{\displaystyle {\text{Obj}}(F)=L(F)+\gamma \_{2}{\frac {\lVert {\vec {\omega }}\rVert \_{2}^{2}}{2n}},}

於是對於參數\omega \_{{i}}取偏微分

{\displaystyle {\frac {\partial {\text{Obj}}}{\partial \omega \_{i}}}={\frac {\partial L}{\partial \omega \_{i}}}+{\frac {\gamma \_{2}}{n}}\omega \_{i}.}

因此，在梯度下降时，参数\omega \_{{i}}的更新

{\displaystyle \omega '\_{i}\gets \omega \_{i}-\eta {\frac {\partial L}{\partial \omega \_{i}}}-\eta {\frac {\gamma \_{2}}{n}}\omega \_{i}={\Bigl (}1-\eta {\frac {\gamma \_{2}}{n}}{\Bigr )}\omega \_{i}-\eta {\frac {\partial L}{\partial \omega \_{i}}}.}

注意到{\displaystyle \eta {\tfrac {\gamma \_{2}}{n}}}通常是介于{\displaystyle (0,\,1)}之间的数，{\displaystyle L\_{2}}-正则项会使得参数接近零，从而对抗过拟合。

{\displaystyle L\_{2}}-正则项又称Tikhonov-正则项或Ridge-正则项。

提前停止
----

条目：提前停止
提前停止可看做是时间维度上的正则化。直觉上，随着迭代次数的增加，如梯度下降这样的训练算法倾向于学习愈加复杂的模型。在时间维度上进行正则化有助于控制模型复杂度，提升泛化能力。在实践中，提前停止一般是在训练集上进行训练，而后在统计上独立的验证集上进行评估；当模型在验证集上的性能不再提升时，就提前停止训练。最后，可在测试集上对模型性能做最后测试。

参考文献
----

1. ↑  Bühlmann, Peter; Van De Geer, Sara.. Springer Series in Statistics: 9. 2011. ISBN 978-3-642-20191-2. doi:10.1007/978-3-642-20192-9. If p > n, the ordinary least squares estimator is not unique and will heavily overfit the data. Thus, a form of complexity regularization will be necessary.
2. ↑  Ron Kohavi; Foster Provost.. Machine Learning. 1998, **30**: 271–274  [2019-12-10]. （原始内容存档于2019-11-11）.
3. ↑  Bishop, Christopher M.  Corr. printing. New York: Springer. 2007. ISBN 978-0387310732.
4. ↑  范数的非负性保证了范数有下界。当齐次性等式{\displaystyle \lVert c\cdot {\vec {x}}\rVert =|c|\cdot \lVert {\vec {x}}\rVert }中的c取零时可知，零向量的范数是零，这保证了范数有下确界。
5. ↑  Santosa, Fadil; Symes, William W.. SIAM Journal on Scientific and Statistical Computing (SIAM). 1986, **7** (4): 1307–1330. doi:10.1137/0907087.
6. ↑  Tibshirani, Robert.. Journal of the Royal Statistical Society. Series B (methodological) (Wiley). 1996, **58** (1): 267–88. JSTOR 2346178.
7. ↑  可通过恰当地调整学习率\eta 与正则系数{\displaystyle \gamma \_{2}}来满足这一点。

外部链接
----

* 谈谈 L\_{1} 与 L\_2-正则项 （页面存档备份，存于） （中文）