在信息论中，基于相同事件测度的两个概率分布formula_1和formula_2的交叉熵是指，当基于一个“非自然”（相对于“真实”分布formula_1而言）的概率分布formula_2进行编码时，在事件集合中唯一标识一个事件所需要的平均比特数（bit）。给定两个概率分布formula_1和formula_2，formula_1相对于formula_2的交叉熵定义为：其中formula_10是formula_1的熵，formula_12是从formula_1与formula_2的KL散度(也被称为"