C4.5
それぞれの項目で更に説明されているが E n t r o p y ( S ) {\displaystyle Entropy(S)} はSの中でクラス分類がどれほどランダムなのかを示す尺度である。インフォメーション・ゲインはある属性’’a’’に付与された尺度である。属性’’a’’は’’S’’を部分集合 S a 1 , S a 2 , S a 3 , . . . , S a n {\displaystyle S_{a}1,S_{a}2,S_{a}3,...,S_{a}n} に分割することができ、そのインフォメーション・ゲインは E n t r o p y ( S ) − E n t r o p y ( S a 1 ) − E n t r o p y ( S a 2 ) − . . . − E n t r o p y ( S a n ) {\displaystyle Entropy(S)-Entropy(S_{a}1)-Entropy(S_{a}2)-...-Entropy(S_{a}n)} となる。インフォメーション・ゲインはそれぞれの属性値のエントロピーとその選択が持つ属性値の比率とを掛け合わせることで正規化される。