交叉熵

在信息論中 ， 基於相同事件測度的兩個概率分佈和的交叉熵  是指 ， 當基於一個 “ 非自然 ” （ 相對於 “ 真實 ” 分佈而言 ） 的概率分佈進行編碼時 ， 在事件集合中唯一標識一個事件所需要的平均比特數 （ bit ） 。 給定兩個概率分佈和 ， 相對於的交叉熵定義爲 ： 其中是的熵 ， 是從與的KL散度 ( 也被稱爲p相對於q的相對熵 ) 。 對於離散分佈和 ， 這意味着 ： 對於連續分佈也是類似的 。 我們假設和在測度 上是絕對連續的 ( 通常 是Lebesgue measure on a Borel σ - algebra ) 。 設和分別爲的在測度 上概率密度函數 。 則