XGBoost
XGBoostは、関数空間でニュートンラフソンとして動作する。関数空間で勾配降下法として機能する勾配ブースティングとは異なり、損失関数に2次テイラー近似を使用してニュートンラフソン法との関連性を持たせている。
一般的な非正則化 XGBoost アルゴリズムは次の通り。
Input: training set { ( x i , y i ) } i = 1 N {\displaystyle \{(x_{i},y_{i})\}_{i=1}^{N}} , a differentiable loss function L ( y , F ( x ) ) {\displaystyle L(y,F(x))} , a number of weak learners M {\displaystyle M} and a learning rate α {\displaystyle \alpha } .
Algorithm:
Initialize model with a constant value: f ^ ( 0 ) ( x ) = arg  min θ ∑ i = 1 N L ( y i , θ ) . {\displaystyle {\hat {f}}_{(0)}(x)={\underset {\theta }{\arg \min }}\sum _{i=1}^{N}L(y_{i},\theta ).}
For m = 1 to M: Compute the 'gradients' and 'hessians': g ^ m ( x i ) = [ ∂ L ( y i , f ( x i ) ) ∂ f ( x i ) ] f ( x ) = f ^ ( m − 1 ) ( x ) .
ジョン・チェンバース賞
High Energy Physics Meets Machine Learning Award(HEP Meets ML