熵_(信息論)

在信息論中 ， 熵 （ entropy ） 是接收的每條消息中包含的信息的平均量 ， 又被稱爲信息熵 、 信源熵 、 平均自信息量 。 這裏 ， “ 消息 ” 代表來自分佈或數據流中的事件 、 樣本或特徵 。 （ 熵最好理解爲不確定性的量度而不是確定性的量度 ， 因爲越隨機的信源的熵越大 。 ） 來自信源的另一個特徵是樣本的概率分佈 。 這裏的想法是 ， 比較不可能發生的事情 ， 當它發生了 ， 會提供更多的信息 。 由於一些其他的原因 ， 把信息 （ 熵 ） 定義爲概率分佈的對數的相反數是有道理的 。 事件的概率分佈和每個事件的信息量構成了一個隨機變量 ， 這個隨機變量的均值 （ 即期望 ） 就是這個分佈產生的信息量的平均值 （ 即熵 ） 。 熵的單位通常爲比特 ， 但也用Sh 、 nat 、 Hart計量 ， 取決於定義用到對數的底 。 採用概率分佈的對數作爲信息的量度的原因是其可加性 。 例如 ， 投擲一次硬幣提供了1 Sh的信息 ， 而擲m次就爲m位 。 更一般地 ， 你需要用log2 ( n ) 位來表示一個可以取n個值的變量 。 在1948年 ， 克勞德 · 艾爾伍德 · 香農將熱力學的熵 ， 引入到信息論 ， 因此它又被稱爲香農熵 ( Shannon entropy ) 。