勾配ブースティング
多くの教師あり学習問題では、出力変数 y と入力変数のベクトル x があり、相互に何らかの確率分布で関連している。目標は、入力変数の値から出力変数を最もよく近似する関数 F ^ ( x ) {\displaystyle {\hat {F}}(x)} を見つけることである。これは、損失関数 L ( y , F ( x ) ) {\displaystyle L(y,F(x))} の最小化として形式化することができる。
F ^ = arg  min F E x , y [ L ( y , F ( x ) ) ] {\displaystyle {\hat {F}}={\underset {F}{\arg \min }}\,\mathbb {E} _{x,y}[L(y,F(x))]} 。
勾配ブースティング法では、実数 y を仮定し、クラス H {\displaystyle {\mathcal {H}}} の関数 h i ( x ) {\displaystyle h_{i}(x)} (基本学習者 base learners ないし弱い学習者 weak learners)の加重和の形で近似 F ^ ( x ) {\displaystyle {\hat {F}}(x)} を求める。
F ^ ( x ) = ∑ i = 1 M γ i h i ( x ) + const. {\displaystyle {\hat {F}}(x)=\sum _{i=1}^{M}\gamma _{i}h_{i}(x)+{\mbox{const.