ギブスの不等式
− ∑ i ∈ I p i ln  q i ≥ − ∑ i ∈ I p i ln  p i {\displaystyle -\sum _{i\in I}p_{i}\ln q_{i}\geq -\sum _{i\in I}p_{i}\ln p_{i}}
両辺に 0 を加えても大小関係は変わらないから、0 であるような pi も含めることができて、
− ∑ i = 1 n p i ln  q i ≥ − ∑ i = 1 n p i ln  p i {\displaystyle -\sum _{i=1}^{n}p_{i}\ln q_{i}\geq -\sum _{i=1}^{n}p_{i}\ln p_{i}}
等式として成り立つには、次の条件が成立しなければならない。
全ての i ∈ I {\displaystyle i\in I} について q i p i = 1 {\displaystyle {\frac {q_{i}}{p_{i}}}=1} であれば、 ln  q i p i = 1 − q i p i {\displaystyle \ln {\frac {q_{i}}{p_{i}}}=1-{\frac {q_{i}}{p_{i}}}} が成り立つ。
∑ i ∈ I q i = 1 {\displaystyle \sum _{i\in I}q_{i}=1} であれば、証明の3行目から4行目の部分で等号が成り立つ。
これらが成り立つのは、i = 1, ..., n について以下が成立しているときのみである。
p i = q i {\displaystyle p_{i}=q_{i}}