梯度提升技术 梯度提升亦稱作梯度增强是一种用于回归和分类问题的机器学习技术其产生的预测模型是弱预测模型的集成如采用典型的决策树作为弱预测模型这时则为梯度提升树GBT或GBDT像其他提升方法一样它以分阶段的方式构建模型但它通过允许对任意可微分损失函数进行优化作为对一般提升方法的推广 梯度提升技術源自於Leo Breiman英语Leo Breiman於年時將提升方法用於优化算法的观察随后Jerome H Friedman英语Jerome H Friedman於年時提出了显式回归梯度增强算法Llew MasonJonathan BaxterPeter Bartlett和Marcus Frean則針對梯度提升在一般的函数空间的運用進行研究並於年在研討會發表之後同年正式發表了论文該论文介绍了将提升算法看作函数空间上的梯度下降迭代算法的观点也就是将其视为通过迭代地选择指向负梯度方向的函数弱预测模型来优化函数空间上的成本函数的算法这种将提升视为函数梯度的观点导致了提升算法被運用於回归和分类之外的其他机器学习和统计领域的後續发展