交叉熵 在信息论中基于相同事件测度的两个概率分布 p displaystyle p 和 q displaystyle q 的交叉熵英語Cross entropy是指当基于一个非自然相对于真实分布 p displaystyle p 而言的概率分布 q displaystyle q 进行编码时在事件集合中唯一标识一个事件所需要的平均比特数bit 给定两个概率分布 p displaystyle p 和 q displaystyle q  p displaystyle p 相对于 q displaystyle q 的交叉熵定义为 H  p  q   E p    log  q   H  p   D K L  p  q   displaystyle Hpqoperatorname E plog qHpDmathrm KL pq 其中 H  p  displaystyle Hp 是 p displaystyle p 的熵 D K L  p  q  displaystyle Dmathrm KL pq 是从 p displaystyle p 与 q displaystyle q 的KL散度也被称为p相对于q的相对熵 对于离散分布 p displaystyle p 和 q displaystyle q 这意味着 H  p  q     x p  x  log  q  x   displaystyle Hpqsum xpxlog qx 对于连续分布也是类似的我们假设 p displaystyle p 和 q displaystyle q 在测度 r displaystyle r 上是绝对连续的通常 r displaystyle r 是Lebesgue measure on a Borel σalgebra设 P displaystyle P 和 Q displaystyle Q 分别为 p displaystyle p 的 q displaystyle q 在测度 r displaystyle r 上概率密度函数则   X P  x  log  Q  x  d r  x   E p    log  Q   displaystyle int XPxlog Qxdrxoperatorname E plog Q