ID3
分割した Cij に応じて平均情報量を求める。 M ( C i j ) = − ∑ x ∈ D p x ( C i j ) log  p x ( C i j ) {\displaystyle \left.M(C_{ij})=-\sum _{x\in D}p_{x}(C_{ij})\log p_{x}(C_{ij})\right.}
計算した平均情報量から独立変数 ai の平均情報量の期待値 Mi を以下の式で求める。 M i = M ( C ) − ∑ j = 1 m M ( C i j ) × | C i j | | C | {\displaystyle M_{i}=M(C)-\sum _{j=1}^{m}M(C_{ij})\times {\frac {|C_{ij}|}{|C|}}}
Mi が最大となる独立変数を ak とする。
N のラベルを ak として、N の子ノード Nj を作成し、それぞれにCkj を所属させる。
それぞれの子ノードに対して N = Nj, C = Ckj として、2 以下の操作を再帰的に行う。