微分エントロピー
g ( x ) {\displaystyle g(x)} を平均 μ {\displaystyle \mu } ・分散 σ 2 {\displaystyle \sigma ^{2}} の正規分布の確率密度関数とし、 f ( x ) {\displaystyle f(x)} を同一の平均と分散を持つ任意の確率密度関数とする。
2分布間のカルバック・ライブラー情報量
0 ≤ D K L ( f | | g ) = ∫ − ∞ ∞ f ( x ) log  ( f ( x ) g ( x ) ) d x = − h ( f ) − ∫ − ∞ ∞ f ( x ) log  ( g ( x ) ) d x {\displaystyle 0\leq D_{KL}(f||g)=\int _{-\infty }^{\infty }f(x)\log \left({\frac {f(x)}{g(x)}}\right)dx=-h(f)-\int _{-\infty }^{\infty }f(x)\log(g(x))dx}
を考える。ここで