微分エントロピー

微分エントロピー（びぶんエントロピー、）または連続エントロピー（continuous entropy）は情報理論における概念で、シャノン情報量（確率変数が持つ平均的の尺度）を連続型確率分布にまで拡張するクロード・シャノンの試みに端を発する。情報量の概念を連続量まで真に拡張したものに （LDDP）がある。本記事で述べる微分エントロピーは文献でよく目にするものだが、LDDPに制限を加えた特別な場合の一つであり、離散的情報量の持つ基本的な性質のいくつかを失っている。
定義.
formula_1 を、確率密度関数 formula_2 の関数の台が formula_3 である確率変数とする。微分エントロピー formula_4 または formula_5 は
と定義される。
明示的な確率密度関数は持っていないが、明示的な表示 formula_6 を持っている確率変数（確率分布）に対しては formula_7 を formula_6 の微分として定義できる。つまり、分位点密度関数 formula_9 により
と定義する。
離散型の場合と類似して、微分エントロピーの単位は対数の底に依存する（通常は底を2とし、単位はビットとする）。対数の底による違いについては を参照。関連した概念である結合、、相対微分エントロピーも同様に定義される。
離散的な場合とは異なり、微分エントロピーには formula_1 の計測単位に依存して横ずれが生じる。例えば、ある量をミリメートルで測ったときの微分エントロピーは、同じ量をメートルで測ったときよりも log(1000) だけ大きな値になる。無次元量の微分エントロピーは、その 1/1000 を計量の基本単位として表示したときの微分エントロピーよりも log(1000) だけ大きな値になる。
確率密度関数は1を超える値をとり得るから、離散的なエントロピーの性質を微分エントロピーにも適用するときは注意を要する。例えば、一様分布 formula_12 は負の微分エントロピー
を持つ。
一方で相互情報量 formula_14 は、連続量に対しても2情報の依存度合の尺度として基本的に重要である。この量は実質的に、離散的な formula_1 と formula_16 にそれぞれ「分割（partition）」を施していき、分割幅を限りなく細かくしていったときの極限に相当するからである。formula_14 は formula_1 と formula_16 を線形な位相同型（自身および逆が連続である写像）で変換しても不変であるばかりでなく非線形同型写像による変換の下でも不変である。相互情報量は、空間的に連続的な値を許すような伝送を介する状況下での2情報量の関係を表現することができる。
離散的なエントロピーが持つ性質の微分エントロピーへの拡張については を参照。
微分エントロピーの性質.
しかし、微分エントロピーは他のいくつかの望ましい性質を持っていない：
これらの欠点に対応するため微分エントロピーを修正したものが relative information entropy であり、これは不変測度因子を含んでいる。 を参照。
正規分布のときに最大になること.
定理.
平均 formula_48, 分散 formula_49 が固定されたとき、微分エントロピーが最大になるのは分布が正規分布のときである。
証明.
formula_50 を平均 formula_48 ・分散 formula_49 の正規分布の確率密度関数とし、formula_53 を同一の平均と分散を持つ任意の確率密度関数とする。
2分布間のカルバック・ライブラー情報量
を考える。ここで
である。よって formula_56 。
例：指数分布.
formula_1 がパラメータ formula_58 の指数分布に従う、つまり確率密度関数が
であるとする。この微分エントロピーは
ここで、計算の簡易化のため対数の底を "e" としていることを明示するため、formula_4 ではなく formula_61 と書いている。
推定誤差との関係.
微分エントロピーは推定量の平均二乗誤差に対する、一つの下限を与える。任意の連続型確率変数 formula_1 とその推定統計量 formula_63 に対し、以下が成り立つ：
等号が成立するのは formula_1 が正規分布に従い、formula_63 が formula_1 の平均であるとき、かつそのときに限る。
様々な分布の微分エントロピー.
下記の表で、formula_68 はガンマ関数、formula_69 はディガンマ関数、formula_70 はベータ関数、γ"E" は オイラーの定数である。
これらの多くについては脚注参照。