勾配ブースティング
}}}
通常、既知の標本 x に対応する y の値からなるトレーニングセット { ( x 1 , y 1 ) , ... , ( x n , y n ) } {\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\}} が提供される。経験的リスク最小化の原則に基づき、トレーニングセットにおける損失関数の平均値を最小化する(経験的リスクを最小化する)近似 F ^ ( x ) {\displaystyle {\hat {F}}(x)} を探索する。これは定数関数 F 0 ( x ) {\displaystyle F_{0}(x)} に基づくモデルから開始し、貪欲法で段階的に拡張する。
F 0 ( x ) = arg  min γ ∑ i = 1 n L ( y i , γ ) {\displaystyle F_{0}(x)={\underset {\gamma }{\arg \min }}{\sum _{i=1}^{n}{L(y_{i},\gamma )}}}
F m ( x ) = F m − 1 ( x ) + a r g m i n h m ∈ H [ ∑ i = 1 n L ( y i , F m − 1 ( x i ) + h m ( x i ) ) ] {\displaystyle F_{m}(x)=F_{m-1}(x)+{\underset {h_{m}\in {\mathcal {H}}}{\operatorname {arg\,min} }}\left[{\sum _{i=1}^{n}{L(y_{i},F_{m-1}(x_{i})+h_{m}(x_{i}))}}\right]} 、
J {\displaystyle J} は木の末端ノードの数であり、本手法のパラメータで、手元のデータセットに合わせて調整できる。これは、モデル内の変数間の交互作用の最大許容レベルを制御する。 J = 2 {\displaystyle J=2} (決定株)では、変数間の交互作用は許可されていない。また、 J = 3 {\displaystyle J=3} では、最大2つの変数の間の交互作用の影響をモデルに含めることができる。
Hastie らは、典型的には 4 ≤ J ≤ 8 {\displaystyle 4\leq J\leq 8} でブースティングが上手くいき、結果は J {\displaystyle J} の選択にあまり影響を受けないが、 J = 2 {\displaystyle J=2} では不十分であり、 J > 10 {\displaystyle J>10} が必要になることはあまりないと述べている。