ギブスの不等式
ある確率分布 P を次のように表す。
P = { p 1 , ... , p n } {\displaystyle P=\{p_{1},\ldots ,p_{n}\}}
別の確率分布 Q を次のように表す。
Q = { q 1 , ... , q n } {\displaystyle Q=\{q_{1},\ldots ,q_{n}\}}
このとき、次の不等式が成り立つ。
− ∑ i = 1 n p i log 2  p i ≤ − ∑ i = 1 n p i log 2  q i {\displaystyle -\sum _{i=1}^{n}p_{i}\log _{2}p_{i}\leq -\sum _{i=1}^{n}p_{i}\log _{2}q_{i}}
ただし、これは全ての i について次の等式が成り立つときだけ等式として成り立つ。
p i = q i {\displaystyle p_{i}=q_{i}\,}
2つの量の差は、カルバック・ライブラー情報量(相対エントロピー)の符号を反転させたものと等しい。したがって、この不等式は次のようにも表せる。
D K L ( P ‖ Q ) ≥ 0 {\displaystyle D_{\mathrm {KL} }(P\|Q)\geq 0}
イェンセンの不等式を使って証明することもできる。