ID3
ID3は汎用目的で設計された教師あり学習アルゴリズムの一種である。その学習効率の高さと出力が決定的であることなどから、エキスパートシステムの知識獲得部分にしばしば用いられる。
C 12 = { {\displaystyle C_{12}=\{} 例題3, 例題5 } {\displaystyle \}} (食性=草食)のクラス。
分割した C11 と C12 から平均情報量を求めると C11 の出力は哺乳類 = 1、爬虫類 = 1、鳥類 = 1 であるから、
M ( C 11 ) = − 1 3 log 3  1 3 − 1 3 log 3  1 3 − 1 3 log 3  1 3 = 1.0 {\displaystyle M(C_{11})=-{\frac {1}{3}}\log _{3}{\frac {1}{3}}-{\frac {1}{3}}\log _{3}{\frac {1}{3}}-{\frac {1}{3}}\log _{3}{\frac {1}{3}}=1.0}
同様にC12 の出力は哺乳類 = 1、爬虫類 = 0、鳥類 = 1 であるから、
M ( C 12 ) = − 1 2 log 3  1 2 − 0 2 log 3  0 2 − 1 2 log 3  1 2 ≃ 0.