微分熵 微分熵是消息理論中的一個概念是從以離散隨機變數所計算出的夏農熵推廣以連續型隨機變數計算所得之熵微分熵與離散隨機變數所計算出之夏農熵皆可代表描述一信息所需碼長的下界然而微分熵與夏農熵仍存在著某些相異的性質