和分类之外的许多机器学习和统计领域中提升算法的发展。 
非正式介绍.（本节遵循Li 对梯度增强的说明。） 与其他增强方法一样，梯度增强以迭代方式将弱的“学习器”组合为一个强学习器。最简单的解释是在最小二乘回归中，通过最小化均方误差formula_1 ，“教”模型formula_2预测实数值formula_3。 在梯度提升的每个阶段 formula_4, formula_5, 假设已经有一个不太完美的模型 formula_6 (最开始时只是一个预测输出变量 均值的模型)。