ギブスの不等式

ギブスの不等式（ぎぶすのふとうしき、英: Gibbs' inequality）とは、情報理論における離散確率分布のエントロピーに関する式である。確率分布のエントロピーに関しては、ギブスの不等式を出発点としていくつかの式が考案されており、ファーノの不等式などがある。
この不等式は19世紀にウィラード・ギブスが最初に提示した。
定義.
ある確率分布 "P" を次のように表す。
別の確率分布 "Q" を次のように表す。
このとき、次の不等式が成り立つ。
ただし、これは全ての "i" について次の等式が成り立つときだけ等式として成り立つ。
2つの量の差は、カルバック・ライブラー情報量（相対エントロピー）の符号を反転させたものと等しい。したがって、この不等式は次のようにも表せる。
証明.
対数の性質から、次が成り立つ。
従って、自然対数 (ln) について証明できれば十分である。自然対数には次の性質がある。
これは、全ての "x" について成り立つ（"x=1" のときだけ等号）。
"pi" がゼロでない全ての formula_8 の集合を formula_9 とする。すると、
となるので、次が成り立つ。
両辺に 0 を加えても大小関係は変わらないから、0 であるような "pi" も含めることができて、
等式として成り立つには、次の条件が成立しなければならない。
これらが成り立つのは、"i" = 1, ..., "n" について以下が成立しているときのみである。
他の証明手法.
イェンセンの不等式を使って証明することもできる。
系.
formula_18 のエントロピーは次の式で上限が与えられる。
証明は簡単で、全ての "i" について formula_20 とすればよい。