微分エントロピー
平均 μ {\displaystyle \mu } , 分散 σ 2 {\displaystyle \sigma ^{2}} が固定されたとき、微分エントロピーが最大になるのは分布が正規分布のときである。
X {\displaystyle X} がパラメータ λ {\displaystyle \lambda } の指数分布に従う、つまり確率密度関数が
f ( x ) = λ e − λ x for x ≥ 0 {\displaystyle f(x)=\lambda e^{-\lambda x}{\mbox{ for }}x\geq 0}
であるとする。この微分エントロピーは
ここで、計算の簡易化のため対数の底を e としていることを明示するため、 h ( X ) {\displaystyle h(X)} ではなく h e ( X ) {\displaystyle h_{e}(X)} と書いている。