算法是建立在奥卡姆剃刀的基础上：越是小型的决策树越优于大的决策树（简单理论）。尽管如此，该算法也不是总是生成最小的树形结构。而是一个启发式算法。奥卡姆剃刀阐述了一个信息熵的概念：这个ID3算法可以归纳为以下几点：关于ID3算法的实现可以参考C4.5算法，它同时也是ID3的升级版。