的经验可被分为两个部分：与将来有关的数据、与将来无关的数据（噪声）」。在其他条件都相同的情况下，预测的难度越大（不确定性越高），则过去信息中需要被当做噪声忽略的部分就越多。问题的难点在于，如何确定哪些数据应当被忽略。能够避免拟合噪声的机器学习算法是健壮的算法。
后果.过拟合最显着的后果就是在验证集上的效果很差；其他后果罗列如下：