新增一个额外的分裂结点能否显着降低误差，人们很难判断何时停止决策树的生长是恰当的。该问题被称为。一个通用的策略是让决策树一直生长，直到每个叶子结点都包含足够少量的样本，而后通过剪枝的方法，移除分辨能力较弱的结点。剪枝应当在减小决策树大小的同时，保证交叉验证下的精度不降低。