rmula_12是从formula_1与formula_2的KL散度(也被称为"p"相对于"q"的"相对熵")。对于离散分布formula_1和formula_2，这意味着：对于连续分布也是类似的。我们假设formula_1和formula_2在测度formula_20上是绝对连续的(通常 formula_20是Lebesgue measure on a Borel σ-algebra)。设formula_22和formula_23分别为formula_1的formula_2在测度 formula