ID3算法

ID3算法 （ Iterative Dichotomiser 3 迭代二叉樹3代 ） 是一個由Ross Quinlan發明的用於決策樹的算法 。 這個算法是建立在奧卡姆剃刀的基礎上 ： 越是小型的決策樹越優於大的決策樹 （ 簡單理論 ） 。 儘管如此 ， 該算法也不是總是生成最小的樹形結構 。 而是一個啓發式算法 。 奧卡姆剃刀闡述了一個信息熵的概念 ： 這個ID3算法可以歸納爲以下幾點 ： 使用所有沒有使用的屬性並計算與之相關的樣本熵值 選取其中熵值最小的屬性 生成包含該屬性的節點 關於ID3算法的實現可以參考C 4.5 算法 ， 它同時也是ID3的升級版 。