最大エントロピー原理
制約条件 I により、エントロピーを最大化する分布は以下のようになる:
X が区間 [a,b] にある事だけが分かっている ⇒ X は [a, b] 上の一様分布
X の平均 μ と分散 σ だけが分かっている ⇒ X は平均 μ 、分散 σ の正規分布
X が区間 [a,b] にあり、平均 μ と分散 σ だけが分かっている ⇒ 切断正規分布。ただし、切断する前の正規分布の平均と分散は μ や σ とずれが生じる。
X の平均 μ と平均絶対偏差 b だけが分かっている ⇒ ラプラス分布
X が正値で平均 μ である事だけが分かっている ⇒ 連続の場合は平均 μ の指数分布、離散の場合は幾何分布
X の値域が有限集合 x1, ..., xn で平均が μ である事だけが分かっている ⇒ Pr  ( X = x k ) = C r x k for k = 1 , ... , n {\displaystyle \operatorname {Pr} (X=x_{k})=Cr^{x_{k}}\quad {\mbox{ for }}k=1,\dotsc ,n} という形の分布。
最大エントロピー原理(さいだいエントロピーげんり、英: principle of maximum entropy)は、認識確率分布を一意に定めるために利用可能な情報を分析する手法である。この原理を最初に提唱したのは Edwin Thompson Jaynes である。彼は1957年に統計力学のギブズ分布を持ち込んだ熱力学(最大エントロピー熱力学(英語版))を提唱した際に、この原理も提唱したものである。彼は、熱力学やエントロピーは、情報理論や推定の汎用ツールの応用例と見るべきだと示唆した。他のベイズ的手法と同様、最大エントロピー原理でも事前確率を明示的に利用する。これは古典的統計学における推定手法の代替である。
統計力学におけるマクスウェル分布は、容器中に気体(1種類の物質からなり、かつ定常状態にある)が閉じ込められている状況において、容器中の各分子の速度が従う確率分布で、分子の速度を ( v x , v y , v z ) {\displaystyle (v_{x},v_{y},v_{z})} とすると、この分布の確率密度関数は
p ( v x , v y , v z ) = 1 Z e x p ( λ m ( v x 2 + v y 2 + v z 2 ) 2 ) {\displaystyle p(v_{x},v_{y},v_{z})={\frac {1}{Z}}\mathrm {exp} \left(\lambda {\frac {m({v_{x}}^{2}+{v_{y}}^{2}+{v_{z}}^{2})}{2}}\right)}
となる。ここで Z は正規化定数で、λは逆温度(=絶対温度の逆数。通常はβで表すがここでは前節までと記号を合わせる為λと書く)。
マクスウェル分布は、最大エントロピー原理から以下のようにして導く事ができる。
容器中に気体(1種類の物質からなり、かつ定常状態にある)が閉じ込められているとし、その気体を構成する各分子の速度を考える。各分子が取りうる速度全体のなす空間(速度空間 )を考えると、速度は3次元のベクトル ( v x , v y , v z ) {\displaystyle (v_{x},v_{y},v_{z})} で表す事ができるので、速度空間は、3次元ベクトル空間(の有限体積の部分集合)となる。
今確率変数 X の値域が区間 (a, b) である事(と確率の総和が1である事)のみが分かっていて他には何も分かっていないとする。この場合相対エントロピーを最大化する分布の確率密度関数は次のようになる。
p ( x ) = m ( x ) / Z , a < x < b {\displaystyle p(x)=m(x)/Z,\qquad a<x<b}
ここで Z は正規化定数である。