AdaBoost AdaBoost為英文Adaptive Boosting自适应增强的缩写是一种机器学习方法由約阿夫弗羅因德和羅伯特沙皮爾提出AdaBoost方法的自适应在于前一个分类器分错的样本会被用来训练下一个分类器AdaBoost方法对于噪声数据和异常数据很敏感但在一些问题中AdaBoost方法相对于大多数其它学习算法而言不会很容易出现过拟合现象AdaBoost方法中使用的分类器可能很弱比如出现很大错误率但只要它的分类效果比随机好一点比如两类问题分类错误率略小于就能够改善最终得到的模型而错误率高于随机分类器的弱分类器也是有用的因为在最终得到的多个分类器的线性组合中可以给它们赋予负系数同样也能提升分类效果 AdaBoost方法是一种迭代算法在每一轮中加入一个新的弱分类器直到达到某个预定的足够小的错误率每一个训练样本都被赋予一个权重表明它被某个分类器选入训练集的概率如果某个样本点已经被准确地分类那么在构造下一个训练集中它被选中的概率就被降低相反如果某个样本点没有被准确地分类那么它的权重就得到提高通过这样的方式AdaBoost方法能聚焦于那些较难分更富信息的样本上在具体实现上最初令每个样本的权重都相等对于第k次迭代操作我们就根据这些权重来选取样本点进而训练分类器Ck然后就根据这个分类器来提高被它分错的样本的权重并降低被正确分类的样本权重然后权重更新过的样本集被用于训练下一个分类器Ck整个训练过程如此迭代地进行下去