度提升通过拟合"残差" formula_13得到 。和其他提升方法的变体一样, formula_14 通过纠正 formula_6的误差变得更完美。 这个想法可以扩展到均方误差损失之外的任意损失函数，甚至扩展到分类与排序问题，只要观察到以下一点：模型的"残差" formula_13就是均方损失函数formula_17关于formula_18的负梯度。因此，梯度提升其实是一种 梯度下降算法，可以代入除了均方损失之外的不同的损失函数，得到不同的梯度。
算法.在许多有监督学习问题中，一个