经验风险最小化有过拟合的风险：找到的函数完美地匹配现有数据但并不能很好地预测未来的输出。过拟合的常见表现是不稳定的解：训练数据的一个小的扰动会导致学到的函数的巨大波动。可以证明，如果解的稳定性可以得到保证，那么其可推广性和一致性也同样能得到保证。正则化可以解决过拟合的问题并增加解的稳定性。正则化可以通过限制假设空间formula_15来完成。一个常见的例子是把formula_15限制为线性函数：这可以被看成是把问题简化为标准设计的线性回归。formula_15也可以被限制为formula_18次多