到一些范例）在过拟合这个概念中，过于复杂的模型会受到统计噪音（和方差权衡（bias-variance trade-off）相关的问题）的影响，使得较简单的模型比起预测推断成绩更好的模型，更能抓住问题的实质。然而，常常很难判断哪一部分数据是噪音（参见模型选择、测试集、最小描述长度、贝叶斯推断等等）。
对奥卡姆剃刀的检验.奥卡姆剃刀的表述：“在其他一切同等的情况下，较简单的解释普遍比较复杂的好”可以通过经验的测试。这个法则的另一种表述是“较简单的假设（不是结论或者解释）普遍比复杂的