14：formula_15formula_16formula_17formula_16formula_8formula_16formula_21formula_22formula_23
相关计算.
条件熵.formula_24为formula_25之联合机率密度函数，其条件熵为:formula_26。
相对熵.又称KL散度（Kullback–Leibler divergence)，两机率密度函数f、g的相对熵定义为:f