微分エントロピー
対数の底による違いについては en:logarithmic units を参照。関連した概念である結合、条件付き(英語版)、相対微分エントロピーも同様に定義される。
離散的な場合とは異なり、微分エントロピーには X {\displaystyle X} の計測単位に依存して横ずれが生じる。例えば、ある量をミリメートルで測ったときの微分エントロピーは、同じ量をメートルで測ったときよりも log(1000) だけ大きな値になる。無次元量の微分エントロピーは、その 1/1000 を計量の基本単位として表示したときの微分エントロピーよりも log(1000) だけ大きな値になる。
確率密度関数は1を超える値をとり得るから、離散的なエントロピーの性質を微分エントロピーにも適用するときは注意を要する。例えば、一様分布 U ( 0 , 1 / 2 ) {\displaystyle {\mathcal {U}}(0,1/2)} は負の微分エントロピー
∫ 0 1 2 − 2 log  ( 2 ) d x = − log  ( 2 ) {\displaystyle \int _{0}^{\frac {1}{2}}-2\log(2)\,dx=-\log(2)}
X {\displaystyle X} を、確率密度関数 f {\displaystyle f} の関数の台が X {\displaystyle {\mathcal {X}}} である確率変数とする。微分エントロピー h ( X ) {\displaystyle h(X)} または h ( f ) {\displaystyle h(f)} は
と定義される。
明示的な確率密度関数は持っていないが、明示的な分位点関数(英語版)表示 Q ( p ) {\displaystyle Q(p)} を持っている確率変数(確率分布)に対しては h ( Q ) {\displaystyle h(Q)} を Q ( p ) {\displaystyle Q(p)} の微分として定義できる。つまり、分位点密度関数 Q ′ ( p ) {\displaystyle Q'(p)} により
h ( Q ) = ∫ 0 1 log  Q ′ ( p ) d p {\displaystyle h(Q)=\int _{0}^{1}\log Q'(p)\,dp}
と定義する。
離散型の場合と類似して、微分エントロピーの単位は対数の底に依存する(通常は底を2とし、単位はビットとする)。