ID3
例として以下のような動物の例題が与えられているとする。
ここから、ID3 を用いて食性、発生形態、体温から分類を決定する場合を考える。
ID3 における log の底は基本的に何でも良いが、出力が哺乳類、爬虫類、鳥類の三種類であるので平均情報量の最大値が 1.0 最小値が 0.0 になるように、ここでは 3 を底にしておく。
全体の平均情報量を計算すると、この例題での出力は哺乳類 = 2、爬虫類 = 1、鳥類 = 2 であるから、
M ( C ) = − 2 5 log 3  2 5 − 1 5 log 3  1 5 − 2 5 log 3  2 5 ≃ 0.960 {\displaystyle M(C)=-{\frac {2}{5}}\log _{3}{\frac {2}{5}}-{\frac {1}{5}}\log _{3}{\frac {1}{5}}-{\frac {2}{5}}\log _{3}{\frac {2}{5}}\simeq 0.960}
となる、まず独立変数として食性(a1 )を取り上げる。この変数は「草食」と「肉食」の二つの値を取りうるから、まず例題集合を以下の2つに分ける。
C 11 = { {\displaystyle C_{11}=\{} 例題1, 例題2, 例題4 } {\displaystyle \}} (食性=肉食)のクラス。