最大エントロピー原理
気体が定常状態にある事から、気体の分布は、分子の運動エネルギーの期待値が一定値であるという条件下、 W {\displaystyle W} が最大になる状態にあると考えられる。
前節で説明したように、分子の数→∞の極限において、 W {\displaystyle W} を最大化する事は、相対エントロピー
∑ i p i log  p i V i {\displaystyle \sum _{i}p_{i}\log {\frac {p_{i}}{V_{i}}}}
を最大化する事に等しい。確率と体積の比 p i / V i {\displaystyle p_{i}/V_{i}} は確率の「密度」を表すので、速度空間を分割する領域の数→∞とすると、
∑ i p i log  p i V i = ∑ i p i V i ( log  p i V i ) V i → ∫ p ( v x , v y , v z ) log  p ( v x , v y , v z ) d v x d v y d v z {\displaystyle \sum _{i}p_{i}\log {\frac {p_{i}}{V_{i}}}=\sum _{i}{\frac {p_{i}}{V_{i}}}(\log {\frac {p_{i}}{V_{i}}})V_{i}\to \int p(v_{x},v_{y},v_{z})\log p(v_{x},v_{y},v_{z})dv_{x}dv_{y}dv_{z}}
となる。ここで p ( v x , v y , v z ) {\displaystyle p(v_{x},v_{y},v_{z})} は確率密度関数。
そこで最後に N → ∞ とすると以下が従う。
1 N log  W = ( log  N ! − ∑ i log  n i ! ) / N ≈ (1) ( N log  N − ∑ i n i log  n i ) / N = (2) log  N − ∑ i p i log  N p i = (3) − ∑ i p i log  p i = H ( p ) {\displaystyle {\begin{aligned}&{\frac {1}{N}}\log W=(\log N!-\sum _{i}\log n_{i}!)/N{\underset {\text{(1)}}{\approx }}(N\log N-\sum _{i}n_{i}\log n_{i})/N{\underset {\text{(2)}}{=}}\log N-\sum _{i}p_{i}\log Np_{i}{\underset {\text{(3)}}{=}}-\sum _{i}p_{i}\log p_{i}=H({\boldsymbol {p}})\end{aligned}}}
ここで(1)、(2)、(3)はそれぞれスターリングの公式 n ! ≈ n n {\displaystyle n!\approx n^{n}} 、 p i = n i / N {\displaystyle p_{i}=n_{i}/N} 、 Σ i p i = 1 {\displaystyle \Sigma {}_{i}p_{i}=1} より。
よって以上の方法で X が従う最も自然な分布を選ぶという事は、最大エントロピー原理に従って X の従う分布を決める事を意味する。
, λ m ) {\displaystyle Z(\lambda _{1},\dotsc ,\lambda _{m})} は「正規化定数」(=確率の和が1になるよう全体を調整する為の値)であり、
Z ( λ 1 , ... , λ m ) = ∫ m ( x ) exp  [ λ 1 T 1 ( x ) + ⋯ + λ m T m ( x ) ] d x . {\displaystyle Z(\lambda _{1},\dotsc ,\lambda _{m})=\int m(x)\exp \left[\lambda _{1}T_{1}(x)+\dotsb +\lambda _{m}T_{m}(x)\right]dx.\,}
またλ1,..., λmは未定乗数法におけるラグランジュ乗数であり、これらは連立方程式
t k = ∂ ∂ λ k log  Z ( λ 1 , ... , λ m ) k = 1 , ... , m {\displaystyle t_{k}={\frac {\partial }{\partial \lambda _{k}}}\log Z(\lambda _{1},\dotsc ,\lambda _{m})\qquad k=1,\dotsc ,m}
を満たす値として定まる。この連立方程式は一般には解析的に解くことができないので、数値解析で解くのが普通である。
最大エントロピー原理では m(x) を既知として扱うので、 m(x) は最大エントロピー原理では決定できない。よって何らかの他の論理的手法、例えば「変換群の原理; principle of transformation groups」や条件付き確率、で決定しなければならない。