，微分熵与离散随机变数所计算出之夏农熵，皆可代表描述一信息所需码长的下界，然而，微分熵与夏农熵仍存在着某些相异的性质。
定义.令formula_1为一连续型随机变数，其机率密度函数为formula_2，其中formula_1的支撑集为formula_4。微分熵formula_5:formula_6。与夏农熵为类比，计算夏农熵之算式中的formula_7通常以2为底，而微分熵为计算方便，常以formula_8计算后再转换为formula_9的结果。微分熵与夏农熵最大的不同点在