微分エントロピー
微分エントロピー（びぶんエントロピー、）または連続エントロピー（continuous entropy）は情報理論における概念で、シャノン情報量（確率変数が持つ平均的の尺度）を連続型確率分布にまで拡張するクロード・シャノンの試みに端を発する。情報量の概念を連続量まで真に拡張したものに （LDDP）がある。本記事で述べる微分エントロピーは文献でよく目にするものだが、LDDPに制限を加えた特別な場合の一つであり、離散的情報量の持つ基本的な性質のいくつかを失っている。