最大エントロピー原理
Z ( λ 1 , ⋯ , λ m ) {\displaystyle Z(\lambda _{1},\cdots ,\lambda _{m})} およびλ1, ..., λm は前述と同様の式で求まる。
なお、上の解において ( T 1 , . . . , T m ) {\displaystyle (T_{1},...,T_{m})} をX の統計量と見なすと、 ( T 1 , . . . , T m ) {\displaystyle (T_{1},...,T_{m})} はパラメータ (λ1,..., λm) の十分統計量である。興味深い事に、確率分布が十分統計量を持つ必要十分条件は、確率密度関数が上の形で書ける事である(Pitman-Koopmanの定理)。 詳細はen:exponential familyを参照。
q i n i ) / N ≈ ( N log  N − ∑ i n i log  n i q i ) / N = log  N − ∑ i p i log  N p i q i = − ∑ i p i log  p i q i {\displaystyle {\begin{aligned}&{\frac {1}{N}}\log W=\left(\log N!-\sum _{i}\log {\frac {n_{i}!}{{q_{i}}^{n_{i}}}}\right)/N\approx \left(N\log N-\sum _{i}n_{i}\log {\frac {n_{i}}{q_{i}}}\right)/N=\log N-\sum _{i}p_{i}\log {\frac {Np_{i}}{q_{i}}}=-\sum _{i}p_{i}\log {\frac {p_{i}}{q_{i}}}\end{aligned}}}
となり、相対エントロピーを最大化するように X の分布を選ぶ事となる。
今、1つの容器があるとし、容器の中央には板が入っていて、容器の右半分と左半分が仕切られているとする。この状態で二種類の気体A、B がそれぞれ容器の右半分、左半分に入れられているときに、容器中の分子が従う分布は、最大エントロピー原理により、
(1) A は容器の右半分、 B は左半分に入っている
という条件下でエントロピーを最大化する。
次に板を外すと、容器中の分子の分布が変化する。この状態で分子が従う分布は、再び最大エントロピー原理により、
(2) A 、B が容器に入っている
という条件下でエントロピーを最大化する。
明らかに条件(2)は条件(1)よりも弱い。従って条件(2)の下での最大値は、条件(1)の下での最大値よりも大きい(小さくない)。すなわち、板を外す事でエントロピーは増大する。
X を実数値の確率変数とし、 k=1,...,m に対し、 Tk を実数値関数、 tk は実数とする。今 X の統計量 Tk(X) の期待値が tk である、すなわち
(1) ∫ p ( x ) T k ( x ) d x = t k k = 1 , ... , m {\displaystyle \int p(x)T_{k}(x)dx=t_{k}\qquad k=1,\dotsc ,m}
である事が分かっているとする。さらにもちろん確率の総和は 1 であるという事も分かっている。すなわち、
(2) ∫ p ( x ) = 1. {\displaystyle \int p(x)=1.\,}
これらの条件下、相対エントロピー
− ∫ p ( x ) log  p ( x ) m ( x ) d x {\displaystyle -\int p(x)\log {\frac {p(x)}{m(x)}}\,dx}
を最大化する分布の確率密度関数p(x) は以下のものである:
p ( x ) = 1 Z ( λ 1 , ... , λ m ) m ( x ) exp  [ λ 1 T 1 ( x ) + ⋯ + λ m T m ( x ) ] {\displaystyle p(x)={\frac {1}{Z(\lambda _{1},\dotsc ,\lambda _{m})}}m(x)\exp \left[\lambda _{1}T_{1}(x)+\dotsb +\lambda _{m}T_{m}(x)\right]}
ここで Z ( λ 1 , ...