题并增加解的稳定性。正则化可以通过限制假设空间formula_15来完成。一个常见的例子是把formula_15限制为线性函数：这可以被看成是把问题简化为标准设计的线性回归。formula_15也可以被限制为formula_18次多项式，指数函数，或L1上的有界函数。对假设空间的限制能防止过拟合的原因是，潜在的函数的形式得到了限制，因此防止了那些能给出任意接近于0的经验风险的复杂函数。一个正则化的样例是吉洪诺夫正则化，即最小化如下损失函数其中正则化参数formula_20为一个固定的正参数。吉洪诺