AdaBoost

AdaBoost（Adaptive Boosting、エイダブースト、アダブースト）は、Yoav Freund と Robert Schapire によって考案された機械学習アルゴリズムである。メタアルゴリズムであり、他の多くの学習アルゴリズムと組み合わせて利用することで、そのパフォーマンスを改善することができる。AdaBoost は前の分類機の間違いに応じて調整された次の分類機を作るという意味で適応的 (Adaptive) である。AdaBoost はノイズの多いデータや異常値に影響を受ける。しかし、いくつかの場面では、多くの学習アルゴリズムより過剰適合の影響を受けにくい。
AdaBoost は、それぞれの標本に対し、 formula_1 を、formula_2 から formula_3 まで順に適用し、それぞれの分類器が正解したか否かを判断する。間違って分類された標本に対応する重み formula_4 は、より重くされる（あるいは、正しく分類された標本の場合は、重みを減らす）。これらの標本に対する重みから、次の t のループでは正しい分類器を早く探す事が出来る。
二分類のアルゴリズム.
Given: formula_5 where formula_6
Initialize formula_7
For formula_8:
where formula_19 is a normalization factor (chosen so that formula_20 will be a probability distribution, i.e. sum one over all x).
Output the final classifier:
The equation to update the distribution formula_4 is constructed so that:
Thus, after selecting an optimal classifier formula_24 for the distribution formula_25, the examples formula_26 that the classifier formula_24 identified correctly are weighted less and those that it identified incorrectly are weighted more. Therefore, when the algorithm is testing the classifiers on the distribution formula_28, it will select a classifier that better identifies those examples that the previous classifer missed.
ブースティングの統計的理解.
ブースティングは凸集合の関数上に関する凸損失関数の最小化とみなすことができる。特に、損失関数を最小化するために指数関数の損失関数: 
および関数に対して探索を行う: 
を用いる。