AdaBoost
h t = argmin h j ∈ H ε j {\displaystyle h_{t}={\underset {h_{j}\in {\mathcal {H}}}{\operatorname {argmin} }}\;\epsilon _{j}} , where ε j = ∑ i = 1 m D t ( i ) [ y i ≠ h j ( x i ) ] {\displaystyle \epsilon _{j}=\sum _{i=1}^{m}D_{t}(i)[y_{i}\neq h_{j}(x_{i})]}
if ε t > 0.5 {\displaystyle \epsilon _{t}>0.5} then stop.
Choose α t ∈ R {\displaystyle \alpha _{t}\in \mathbf {R} } , typically α t = 1 2 ln 1 − ε t ε t {\displaystyle \alpha _{t}={\frac {1}{2}}{\textrm {ln}}{\frac {1-\epsilon _{t}}{\epsilon _{t}}}} where ε t {\displaystyle \epsilon _{t}} is the weighted error rate of classifier h t {\displaystyle h_{t}} .
Update:
D t + 1 ( i ) = D t ( i ) exp  ( − α t y i h t ( x i ) ) Z t {\displaystyle D_{t+1}(i)={\frac {D_{t}(i)\exp(-\alpha _{t}y_{i}h_{t}(x_{i}))}{Z_{t}}}}
AdaBoost(Adaptive Boosting、エイダブースト、アダブースト)は、Yoav Freund と Robert Schapire によって考案された機械学習アルゴリズムである。メタアルゴリズムであり、他の多くの学習アルゴリズムと組み合わせて利用することで、そのパフォーマンスを改善することができる。AdaBoost は前の分類機の間違いに応じて調整された次の分類機を作るという意味で適応的 (Adaptive) である。AdaBoost はノイズの多いデータや異常値に影響を受ける。しかし、いくつかの場面では、多くの学習アルゴリズムより過剰適合の影響を受けにくい。
AdaBoost は、それぞれの標本に対し、弱分類器(英語版) t {\displaystyle t} を、 t = 1 {\displaystyle t=1} から t = T {\displaystyle t=T} まで順に適用し、それぞれの分類器が正解したか否かを判断する。間違って分類された標本に対応する重み D t {\displaystyle D_{t}} は、より重くされる(あるいは、正しく分類された標本の場合は、重みを減らす)。これらの標本に対する重みから、次の t のループでは正しい分類器を早く探す事が出来る。