勾配ブースティング
勾配ブースティングのアイデアは、ブースティングが適切なコスト関数に対する最適化アルゴリズムとして解釈できるというレオ・ブライマンの観察に端を発している。その後、ジェローム・H・フリードマンが回帰勾配ブースティングアルゴリズムを開発し、Llew Mason、Jonathan Baxter、Peter Bartlett、MarcusFreanがより一般的な関数型勾配ブースティングの観点から発表した 。後者の2つの論文では、ブースティング・アルゴリズムを反復的な関数型勾配降下アルゴリズムとして捉えることが紹介された。すなわち、負の勾配方向を向く関数(弱い仮説 weak hypothesis)を繰り返し選択することにより、関数空間上のコスト関数を最適化するアルゴリズムである。このブースティングの関数型勾配としての見方により、回帰や分類にとどまらず、機械学習や統計学の多くの分野でブースティング・アルゴリズムが開発されている。
勾配ブースティングが導入後されて間もない頃、フリードマンは、ブレイマンのブートストラップ・アグリゲーション(バギング)法を参考にして、アルゴリズムのマイナーチェンジを提案した。具体的には、アルゴリズムの各反復において、置換なしでランダムに抽出されたトレーニングセットのサブサンプルにベース学習器を適合させることを提案した。。フリードマンは、この変更により、勾配ブースティングの精度が大幅に向上することを確認しました。
サブサンプルはトレーニングセットから一定の割合 f {\displaystyle f} で選ばれる。 f = 1 {\displaystyle f=1} のとき、アルゴリズムは決定論的であり、上記のものと同じになる。 f {\displaystyle f} の値が小さいと、アルゴリズムにランダム性を導入し、オーバーフィッティングの防止に役立つ。