分为两类：1. 对模型的复杂度进行惩罚，从而避免产生过于复杂的模型；2. 在验证数据上测试模型的效果，从而模拟模型在实际工作环境的数据上的表现。
机器学习.机器学习模型的典型产出过程是由机器学习算法在训练集上进行训练，希望得到的模型能够在训练过程中不可见的验证集上表现良好。过拟合现象发生在使用违反奥卡姆剃刀原则的模型或算法时：当引入相较数据集而言过多的参数时，或使用相较数据集而言过于复杂的模型时。假设有一个训练集，其上帝真相 可以用一个二元线性函数很好地预测出来。显而易见，该函