微分熵

微分熵是消息理論中的一個概念 ， 是從以離散隨機變數所計算出的夏農熵推廣 ， 以連續型隨機變數計算所得之熵 ， 微分熵與離散隨機變數所計算出之夏農熵 ， 皆可代表描述一信息所需碼長的下界 ， 然而 ， 微分熵與夏農熵仍存在著某些相異的性質 。