方损失函数formula_17关于formula_18的负梯度。因此，梯度提升其实是一种 梯度下降算法，可以代入除了均方损失之外的不同的损失函数，得到不同的梯度。
算法.在许多有监督学习问题中，一个输出变量和一个输入变量通过联合概率分布formula_19描述 。给定训练集formula_20，目的是在所有具有给定形式的函数formula_18中找到一个formula_22使某些指定损失函数formula_23的期望值达到最小 ： 梯度提升方法通过某一类formula_25中弱