微分エントロピー
微分エントロピーは推定量の平均二乗誤差に対する、一つの下限を与える。任意の連続型確率変数 X {\displaystyle X} とその推定統計量 X ^ {\displaystyle {\widehat {X}}} に対し、以下が成り立つ:
E  [ ( X − X ^ ) 2 ] ≥ 1 2 π e e 2 h ( X ) {\displaystyle \operatorname {E} [(X-{\widehat {X}})^{2}]\geq {\frac {1}{2\pi e}}e^{2h(X)}}
等号が成立するのは X {\displaystyle X} が正規分布に従い、 X ^ {\displaystyle {\widehat {X}}} が X {\displaystyle X} の平均であるとき、かつそのときに限る。