勾配ブースティング
損失関数が最小値を取る γ {\displaystyle \gamma } をみつけることで、 γ {\displaystyle \gamma } を最適化することができる。
γ m = arg  min γ ∑ i = 1 n L ( y i , F m ) ) = arg  min γ ∑ i = 1 n L ( y i , F m − 1 ( x i ) − γ ∇ F m − 1 L ( y i , F m − 1 ( x i ) ) ) , {\displaystyle \gamma _{m}={\underset {\gamma }{\arg \min }}{\sum _{i=1}^{n}{L\left(y_{i},F_{m})\right)}}={\underset {\gamma }{\arg \min }}{\sum _{i=1}^{n}{L\left(y_{i},F_{m-1}(x_{i})-\gamma \nabla _{F_{m-1}}L(y_{i},F_{m-1}(x_{i}))\right)}},}
連続的な場合、つまり、 H {\displaystyle {\mathcal {H}}} を R {\displaystyle \mathbb {R} } 上の任意の微分可能な関数の集合と考えるト、次の式に従ってモデルを更新する
Input: training set { ( x i , y i ) } i = 1 n , {\displaystyle \{(x_{i},y_{i})\}_{i=1}^{n},} a differentiable loss function L ( y , F ( x ) ) , {\displaystyle L(y,F(x)),} number of iterations M.
Algorithm:
Initialize model with a constant value: F 0 ( x ) = arg  min γ ∑ i = 1 n L ( y i , γ ) . {\displaystyle F_{0}(x)={\underset {\gamma }{\arg \min }}\sum _{i=1}^{n}L(y_{i},\gamma ).}
For m = 1 to M: Compute so-called pseudo-residuals: r i m = − [ ∂ L ( y i , F ( x i ) ) ∂ F ( x i ) ] F ( x ) = F m − 1 ( x ) for i = 1 , ... , n . {\displaystyle r_{im}=-\left[{\frac {\partial L(y_{i},F(x_{i}))}{\partial F(x_{i})}}\right]_{F(x)=F_{m-1}(x)}\quad {\mbox{for }}i=1,\ldots ,n.} Fit a base learner (or weak learner, e.g.
勾配ブースティングは、ランク付けの学習の分野でも利用されている。商用ウェブ検索エンジンであるYahoo! や Yandex は、機械学習型のランキングエンジンに勾配ブースティングの変法を使用している。また、高エネルギー物理学の分野でも、データ解析に勾配ブースティングが利用されている。大型ハドロン衝突型加速器(LHC)では、ヒッグス粒子の発見に使用されたデータセットにおいて、勾配ブースティングを用いたディープニューラルネットワーク(DNN)が、機械学習ではない解析方法の結果を再現することに成功した。