ギブスの不等式

ギブスの不等式（ぎぶすのふとうしき、英: Gibbs' inequality）とは、情報理論における離散確率分布のエントロピーに関する式である。確率分布のエントロピーに関しては、ギブスの不等式を出発点としていくつかの式が考案されており、ファーノの不等式などがある。

この不等式は19世紀にウィラード・ギブスが最初に提示した。

定義 
ある確率分布 P を次のように表す。

別の確率分布 Q を次のように表す。

このとき、次の不等式が成り立つ。

ただし、これは全ての i について次の等式が成り立つときだけ等式として成り立つ。

2つの量の差は、カルバック・ライブラー情報量（相対エントロピー）の符号を反転させたものと等しい。したがって、この不等式は次のようにも表せる。

証明 
対数の性質から、次が成り立つ。

従って、自然対数 (ln) について証明できれば十分である。自然対数には次の性質がある。

これは、全ての x について成り立つ（x=1 のときだけ等号）。

pi がゼロでない全ての  の集合を  とする。すると、

となるので、次が成り立つ。

両辺に 0 を加えても大小関係は変わらないから、0 であるような pi も含めることができて、

等式として成り立つには、次の条件が成立しなければならない。
 全ての  について  であれば、 が成り立つ。
  であれば、証明の3行目から4行目の部分で等号が成り立つ。

これらが成り立つのは、i = 1, ..., n について以下が成立しているときのみである。

他の証明手法 
イェンセンの不等式を使って証明することもできる。

系 
 のエントロピーは次の式で上限が与えられる。

証明は簡単で、全ての i について  とすればよい。

関連項目 
情報量
ファーノの不等式

ウィラード・ギブズ
情報理論
符号理論
不等式
数学のエポニム
数学に関する記事