微分エントロピー
微分エントロピー(びぶんエントロピー、英: differential entropy)または連続エントロピー(continuous entropy)は情報理論における概念で、シャノン情報量(確率変数が持つ平均的自己情報量(英語版)の尺度)を連続型確率分布にまで拡張するクロード・シャノンの試みに端を発する。情報量の概念を連続量まで真に拡張したものに limiting density of discrete points(英語版)(LDDP)がある。本記事で述べる微分エントロピーは文献でよく目にするものだが、LDDPに制限を加えた特別な場合の一つであり、離散的情報量の持つ基本的な性質のいくつかを失っている。