ギブスの不等式
対数の性質から、次が成り立つ。
log 2  a = ln  a ln  2 {\displaystyle \log _{2}a={\frac {\ln a}{\ln 2}}}
従って、自然対数 (ln) について証明できれば十分である。自然対数には次の性質がある。
ln  x ≤ x − 1 {\displaystyle \ln x\leq x-1}
これは、全ての x について成り立つ(x=1 のときだけ等号)。
pi がゼロでない全ての i {\displaystyle i} の集合を I {\displaystyle I} とする。すると、
− ∑ i ∈ I p i ln  q i p i ≥ − ∑ i ∈ I p i ( q i p i − 1 ) = − ∑ i ∈ I q i + ∑ i ∈ I p i = − ∑ i ∈ I q i + 1 ≥ 0 {\displaystyle {\begin{aligned}-\sum _{i\in I}p_{i}\ln {\frac {q_{i}}{p_{i}}}&{}\geq -\sum _{i\in I}p_{i}\left({\frac {q_{i}}{p_{i}}}-1\right)\\&{}=-\sum _{i\in I}q_{i}+\sum _{i\in I}p_{i}\\&{}=-\sum _{i\in I}q_{i}+1\\&{}\geq 0\end{aligned}}}
となるので、次が成り立つ。
P {\displaystyle P} のエントロピーは次の式で上限が与えられる。
H ( p 1 , ... , p n ) ≤ log  n {\displaystyle H(p_{1},\ldots ,p_{n})\leq \log n}
証明は簡単で、全ての i について q i = 1 / n {\displaystyle q_{i}=1/n} とすればよい。