最大エントロピー原理
確率変数 X が従う分布の密度関数を p(x) とし、 m(x) を確率分布(もしくはより一般に非負の測度)の密度関数とするとき、p(x) の m(x) に対する 相対エントロピーは
− ∫ p ( x ) log  p ( x ) m ( x ) d x {\displaystyle -\int p(x)\log {\frac {p(x)}{m(x)}}\mathrm {d} x}
により定義される (Jaynes 1963), (Jaynes 1968), (Jaynes 2003)(m(x) が確率分布であれば、相対エントロピーはカルバック・ライブラー情報量に一致)。
なお、通常のシャノン・エントロピー
− ∑ i ∈ I p i log  p i {\displaystyle -\sum _{i\in I}p_{i}\log p_{i}}
は X の値域 I が有限集合で、 m(x) が I 上の一様分布である場合の相対エントロピーと一致する。