微分エントロピー
この不等式は変換が全単射のとき等式になる。さらに m {\displaystyle m} が回転、平行移動、またはそれらの合成であるとき、ヤコビ行列式の値は常に1であり、 h ( Y ) = h ( X ) {\displaystyle h(Y)=h(X)} となる。
確率変数ベクトル X ∈ R n {\displaystyle X\in \mathbb {R} ^{n}} の平均が0で分散共分散行列が K {\displaystyle K} のとき
h ( X ) ≤ 1 2 log  ( det 2 π e K ) = 1 2 log  [ ( 2 π e ) n det K ] {\displaystyle h(\mathbf {X} )\leq {\frac {1}{2}}\log(\det {2\pi eK})={\frac {1}{2}}\log[(2\pi e)^{n}\det {K}]}
等号が成立するのは X {\displaystyle X} が多変量正規分布に従うとき、かつそのときに限る。
しかし、微分エントロピーは他のいくつかの望ましい性質を持っていない:
微分エントロピーは変数変換(英語版)の下で不変でない。最も有用になるのは変量が無次元の場合である。
微分エントロピーは負になり得る。
これらの欠点に対応するため微分エントロピーを修正したものが relative information entropy であり、これは不変測度因子を含んでいる。en:limiting density of discrete points を参照。