平均比特数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、估计的模型分布、或P的近似分布。
定义.对于离散随机变量，其概率分布"P" 和 "Q"的KL散度可按下式定义为等价于即按概率"P"求得的"P"和"Q"的对数商的平均值。KL散度仅当概率"P"和"Q"各自总和均为1，且对于任何"i"皆满足formula_3及formula_4时，才有定义。式中出现formula_5的情况，其值按0处理。对于连续随机变量，其概率分佈"P"和"Q"可按积分方式定义为 其中