ID3算法 ID算法Iterative Dichotomiser  迭代二叉树代是一个由Ross Quinlan发明的用于决策树的算法 这个算法是建立在奥卡姆剃刀的基础上越是小型的决策树越优于大的决策树简单理论尽管如此该算法也不是总是生成最小的树形结构而是一个启发式算法奥卡姆剃刀阐述了一个信息熵的概念 I E  i     j   m f  i  j  log   f  i  j   displaystyle IEisum jmfijlog fij 这个ID算法可以归纳为以下几点 使用所有没有使用的属性并计算与之相关的样本熵值 选取其中熵值最小的属性 生成包含该属性的节点 关于ID算法的实现可以参考C算法它同时也是ID的升级版