定性可以得到保证，那么其可推广性和一致性也同样能得到保证。 正则化可以解决过拟合的问题并增加解的稳定性。正则化可以通过限制假设空间formula_15来完成。一个常见的例子是把formula_15限制为线性函数：这可以被看成是把问题简化为标准设计的线性回归。formula_15也可以被限制为formula_18次多项式，指数函数，或L1上的有界函数。对假设空间的限制能防止过拟合的原因是，潜在的函数的形式得到了限制，因此防止了那些能给出任意接近于0的经验风险的复杂函数。一个正则化的样例是吉洪诺夫正则化