梯度提升技術

梯度提升 ， 亦稱作梯度增強 ， 是一種用於迴歸和分類問題的機器學習技術 。 其產生的預測模型是弱預測模型的集成 ， 如採用典型的決策樹作爲弱預測模型 ， 這時則爲梯度提升樹 （ 或 ） 。 像其他提升方法一樣 ， 它以分階段的方式構建模型 ， 但它通過允許對任意可微分損失函數進行優化作爲對一般提升方法的推廣 。 梯度提升技術源自於於1997年時將提升方法用於優化算法的觀察 。 隨後於1999年時提出了顯式迴歸梯度增強算法 。 Llew Mason 、 Jonathan Baxter 、 Peter Bartlett和Marcus Frean則針對梯度提升在一般的函數空間的運用進行研究 ， 並於1999年在研討會發表之後 ， 同年正式發表了論文 。 該論文介紹了將提升算法看作函數空間上的梯度下降迭代算法的觀點 。 也就是將其視爲通過迭代地選擇指向負梯度方向的函數 （ 弱預測模型 ） ， 來優化函數空間上的成本函數的算法 。 這種將提升視爲函數梯度的觀點 ， 導致了提升算法被運用於迴歸和分類之外的其他機器學習和統計領域的後續發展 。