勾配ブースティング
この方法にはさまざまな名前が付けられている。 フリードマンは、自分の回帰手法を「Gradient Boosting Machine」(GBM)として紹介した。 メイソン、バクスターらは、一般化された抽象的なクラスのアルゴリズムを「関数的勾配ブースティング」と表現している 。フリードマンらは、勾配ブーストモデルを発展させたものを Multiple Additive Regression Trees(MART)と表現し、Elithらは、そのアプローチを「Boosting Regression Trees」(BRT)として説明する。
R言語のオープンソースの実装では「Generalized Boosting Model」と呼んでいるが 、「BRT」を使用している。また、木ベースの方手法を開発した研究者の1人であるSalford System社のDan Steinbergによる初期の商用実装にちなんで、TreeNet とも呼ばれている。XGBoostは、2次最適化などの拡張機能を備えた最新の実装として人気がある。
ここで、 h m ∈ H {\displaystyle h_{m}\in {\mathcal {H}}} は基本学習関数。
残念ながら、任意損失関数Lに対して各ステップで最適な関数 h を選択することは、一般に計算上実行不可能な最適化問題である。そのため、単純化されたバージョンにアプローチを限定する。
この最小化問題に最急降下法のステップを適用する。
最急降下法の基本的な考え方は、 F m ( x ) {\displaystyle F_{m}(x)} を反復することによって損失関数の極小値を見つけることである。
F m ( x ) = F m − 1 ( x ) − γ ∑ i = 1 n ∇ F m − 1 L ( y i , F m − 1 ( x i ) ) {\displaystyle F_{m}(x)=F_{m-1}(x)-\gamma \sum _{i=1}^{n}{\nabla _{F_{m-1}}L(y_{i},F_{m-1}(x_{i}))}}
ここで γ > 0 {\displaystyle \gamma >0} 。これは、次のことを意味する。 L ( y i , F m ( x i ) ) ≤ L ( y i , F m − 1 ( x i ) ) {\displaystyle L(y_{i},F_{m}(x_{i}))\leq L(y_{i},F_{m-1}(x_{i}))} 。