勾配ブースティング
勾配ブースティング(こうばいブースティング、Gradient Boosting)は、回帰や分類などのタスクのための機械学習手法であり、弱い予測モデル weak prediction model(通常は決定木)のアンサンブルの形で予測モデルを生成する。決定木が弱い学習者 weak learner である場合、結果として得られる予測器は勾配ブースト木と呼ばれ、通常はランダムフォレストよりも優れている。他のブースティング手法と同様に段階的にモデルを構築するが、任意の微分可能な損失関数の最適化を可能にすることで一般化している。
本節では、Li による勾配ブースティングの説明を紹介する。
他のブースティング方法と同様に、勾配ブースティングは、弱い学習器を反復的に結合し1つの強い学習器を構成する。最小二乗回帰の設定で説明するのが簡単で、
y ^ i {\displaystyle {\hat {y}}_{i}} は F ( x i ) {\displaystyle F(x_{i})} の予測値
y i {\displaystyle y_{i}} は F ( x i ) {\displaystyle F(x_{i})} の観測値
とする。ここで、 i {\displaystyle i} は訓練集合におけるインデックスであり n {\displaystyle n} は 訓練集合のの標本数である。目標は、平均二乗誤差 1 n ∑ i ( F ( x i ) − y i ) 2 {\displaystyle {\tfrac {1}{n}}\sum \nolimits _{i}(F(x_{i})-y_{i})^{2}} を最小化することにより未知の x {\displaystyle x} に対する予測値を y ^ = F ( x ) {\displaystyle {\hat {y}}=F(x)} によって得るようなモデル F {\displaystyle F} を訓練することである。
勾配ブーストツリーのもう1つの有用な正則化手法は、学習したモデルのモデルの複雑さにペナルティを課すことである。モデルの複雑さは、学習したツリーの葉の数に比例するものとして定義できる。損失とモデルの複雑さの共同最適化は、損失をしきい値で減らすことができない枝を取り除くポストプルーニング・アルゴリズムに対応する。他の正則化の種類としては、 l 2 {\displaystyle \ell _{2}} 正則化を行うことで、オーバーフィッティングを防ぐことができる。