可靠的，还需要考虑参数的表达方式。举例来说，直接比较带有 个参数的神经网络（它能够跟踪非线性关系）和带有 个参数的回归模型是非平凡的。过拟合尤其容易在训练迭代次数相对有限训练样本过多的时候。此时，模型会拟合训练数据中特征的随机噪声，而这些与之间并无因果关系。在这种过拟合的过程中，模型在训练样本上的效果会持续提升，但在训练中不可见的数据（通常是验证集）上的效果会变得更差。举个简单的例子：假设有一个数据集，其中包含了零售的物品、买家、购买日期、购买时间。人们很容易在这个数据集上构造模型，来根据购买日期和购买