微分熵是消息理论中的一个概念，是从以离散随机变数所计算出的夏农熵推广，以连续型随机变数计算所得之熵，微分熵与离散随机变数所计算出之夏农熵，皆可代表描述一信息所需码长的下界，然而，微分熵与夏农熵仍存在着某些相异的性质。
定义.令formula_1为一连续型随机变数，其机率密度函数为formula_2，其中formula_1的支撑集为formula_4。微分熵formula_5:formula_6。与夏农熵为类比，计算夏农熵之算式中的formula_7通常以2为底，而微分熵为计