C4.5
C4.5はID3と同じ方法で情報エントロピーの概念を用いて教師データのセットから決定木を生成する。教師データは S = s 1 , s 2 , . . . {\displaystyle S={s_{1},s_{2},...}} すでにクラス分けがされているサンプルである。それぞれのサンプル s i = x 1 , x 2 , . . . {\displaystyle s_{i}={x_{1},x_{2},...}} は属性や特徴を表現するベクトル x 1 , x 2 , . . . {\displaystyle x_{1},x_{2},...} である。教師データはそれぞれのサンプルが属するクラスを表現しているベクトル C = c 1 , c 2 , . . . {\displaystyle C={c_{1},c_{2},...}} で拡張される。
C4.5はそれぞれのデータの属性はデータを更に小さな部分集合に分割する決定に使用できるという事実を利用している。