取值为formula_2个类别，另formula_3，formula_4表示被标定为第formula_5类的概率，则基尼不纯度的计算为： 
信息增益.ID3, C4.5 和 C5.0 决策树的生成使用信息增益。信息增益 是基于信息论中信息熵与自信息理论.信息熵定义为：其中formula_8加和为1，表示当前节点中各个类别的百分比。例如，数据集有4个属性："outlook" (sunny, overcast, rainy), "temperature" (hot, mil