ID3
ID3のアルゴリズムの流れを以下に示す。なおここでは入力の独立変数を a1...anとおく、また取りうる出力は集合 D に格納されており例題の集合 C に於いて、 x ∈ D が起こる割合を px(C) で表すこととする。
ルートノード N を作成して全ての例題集合を N に所属させる。
もしN に所属する例題が全て同じ決定 X を与えるなら N に X とラベル付けして処理を終了する。
例題集合 C に対する平均情報量を求める、即ち以下の式を計算する。 M ( C ) = − ∑ x ∈ D p x ( C ) log  p x ( C ) {\displaystyle M(C)=-\sum _{x\in D}p_{x}(C)\log p_{x}(C)}
C をある独立変数 ai の値に応じて分割する。ai が v1 ... vm の m 通りの値を持つ場合は以下の通りに分割する。 C i j ⊂ C ( a i = v j ) {\displaystyle C_{ij}\subset C(a_{i}=v_{j})}