最大エントロピー原理
今、確率変数 X が前述した(1)、(2)の条件の他に
(3) X の値域は {x1, x2,..., xn} である
という事が分かっていたとする。(すなわちX は離散確率分布。)
さらに m(x)=1 である場合(この場合相対エントロピーは通常の離散の場合のエントロピーと一致)を考える。
このとき、制約条件(1)、(2)、(3)の下で最大エントロピーを達成する分布の確率密度関数p(x) は以下のもの(ギブズ分布)になる:
p ( x i ) = 1 Z ( λ 1 , ... , λ m ) exp  [ λ 1 T 1 ( x i ) + ⋯ + λ m T m ( x i ) ] {\displaystyle p(x_{i})={\frac {1}{Z(\lambda _{1},\dotsc ,\lambda _{m})}}\exp \left[\lambda _{1}T_{1}(x_{i})+\dotsb +\lambda _{m}T_{m}(x_{i})\right]}
確率変数 X がごく自然な方法で得られるという「思考実験」をするとその実験の帰結が最大エントロピー原理と一致する事を示す。この主張は1962年に Graham Wallis が E.T. Jaynes に示唆したことから導き出された(Jaynes, 2003)ものであり、基本的に統計力学においてマクスウェル分布を導出する際の手法と同一であるが、概念的な意味は異なる。
X を m 通りの値を取る確率変数とする(マクスウェル分布のシナリオではX の取りうる値は速度空間上の m 個の微小領域)。話を簡単にする為、以下、X の取りうる値が1,...,m である場合を考えるが、一般の場合も同様である。今X について、X の取りうる値が1,...,m である事と、 X が条件 I を満たす事のみを知っていて他には何も知らないとする。このとき、X がどのような分布に従うと考えるのが自然であろうか。これを考える為、以下の思考実験を行う。
N を十分大きな値とし、大きさ 1/N の微小な「確率のカケラ」をN 個用意し(マクスウェル分布のシナリオでは、各々のカケラは分子に対応する)、そして各々のカケラを x 軸上の 1,...,m のいずれかの場所の上においていく。全てのカケラを置き終わったら、各 i ∈ { 1 , ... , m } {\displaystyle i\in \{1,\dotsc ,m\}} に対し、
n i = {\displaystyle n_{i}=\,} (i の上にあるカケラの数) {\displaystyle \,}
p i = n i / N {\displaystyle p_{i}=n_{i}/N\,}
とする。