最大エントロピー原理
最大エントロピー原理（さいだいエントロピーげんり、）は、認識確率分布を一意に定めるために利用可能な情報を分析する手法である。この原理を最初に提唱したのは E.T. Jaynes である。彼は1957年に統計力学のギブズ分布を持ち込んだ熱力学（）を提唱した際に、この原理も提唱したものである。彼は、熱力学やエントロピーは、情報理論や推定の汎用ツールの応用例と見るべきだと示唆した。他のベイズ的手法と同様、最大エントロピー原理でも事前確率を明示的に利用する。これは古典的統計学における推定手法の代替である。
今確率変数 "X" について、 "X" が条件 "I" を満たす事だけが分かっており、それ以外に "X" に関して何1つ知らなかったとする。このとき、 "X" が従う分布はどのようなものであると仮定するのが最も自然であろうか。今我々は "X" について条件 "I" 以外には何も知らないのだから、条件 "I" の下で "X" の「不確かさ」が最大になるような分布を選ぶのが適切だと思われる。
最大エントロピー原理は、「不確かさ」を図る尺度であるエントロピーを条件 "I" の下で最大にするよう分布を選ぶべきである、という原理である。ただし "X" の取る値が連続的な場合は、技術的な理由によりdifferential entropyではなく、後述の相対エントロピーを最大化する（Jaynesによれば、様々な理由により、こちらの方が「真の」エントロピーの概念である。）。
"X" が従う確率分布を formula_1 とするとき、束縛条件 "I" として
のように formula_1 に関する方程式の形で書けているものを考える。このような制限付き最適化問題は一般にラグランジュの未定乗数法で解くことが出来る。
制約条件 "I" により、エントロピーを最大化する分布は以下のようになる：確率変数"X" が従う分布の密度関数を "p(x)" とし、 "m(x)" を確率分布（もしくはより一般に非負の測度)の密度関数とするとき、 "p(x)" の "m(x)" に対する 相対エントロピー （E.T. Jaynes、1963、1968、2003）は
により定義される（ "m(x)" が確率分布であれば、相対エントロピーはカルバック・ライブラー情報量に一致。）。
なお、通常のシャノン・エントロピー
は "X" の値域 "I" が有限集合で、 "m(x)" が "I" 上の一様分布である場合の相対エントロピーと一致する。
"X" を実数値の確率変数とし、 "k"=1...,"m" に対し、 "T" を実数値関数、 "t" は実数とする。今 "X" の統計量 "T(X)" の期待値が "t" である、すなわち
である事が分かっているとする。さらにもちろん確率の総和は 1 であるという事も分かっている。すなわち、
これらの条件下、相対エントロピー
を最大化する分布の確率密度関数"p(x)" は以下のものである：
ここで formula_20 は「正規化定数」（=確率の和が1になるよう全体を調整する為の値）であり、
また"λ"..., "λ"は未定乗数法におけるラグランジュ乗数であり、これらは連立方程式
を満たす値として定まる。この連立方程式は一般には解析的に解くことができないので、数値解析で解くのが普通である。
最大エントロピー原理では "m"("x") を既知として扱うので、 "m"("x") は最大エントロピー原理では決定できない。よって何らかの他の論理的手法、例えば「変換群の原理; principle of transformation groups」や条件付き確率、で決定しなければならない。
今、確率変数 "X" が前述した(1)、(2)の条件の他に
という事が分かっていたとする。（すなわち"X" は離散確率分布。）
さらに "m"("x")=1 である場合（この場合相対エントロピーは通常の離散の場合のエントロピーと一致）を考える。
このとき、制約条件(1)、(2)、(3)の下で最大エントロピーを達成する分布の確率密度関数"p(x)" は以下のもの(ギブズ分布)になる:
formula_24 およびλ, …, λ は前述と同様の式で求まる。
なお、上の解において formula_25 を"X" の統計量と見なすと、 formula_25 はパラメータ ("λ"..., "λ") の十分統計量である。興味深い事に、確率分布が十分統計量を持つ必要十分条件は、確率密度関数が上の形で書ける事である()。
詳細はを参照。
今確率変数 "X" の値域が区間 ("a", "b") である事（と確率の総和が1である事)のみが分かっていて他には何も分かっていないとする。この場合相対エントロピーを最大化する分布の確率密度関数は次のようになる。
とする。 formula_31 は formula_32 を満たすので、 formula_33 を確率分布と見なす事ができる。
今我々が "X" について知っているのは、 "X" が条件 "I" を満たす事（と取りうる値が 1...,"m" である事）だけである。また "N" は十分大きいので、以上の方法で作った分布 formula_33 はいかなる分布をも十分によく近似できる。従って、 "X" の従う確率分布が以下の方法で決められていると仮定するのは自然であろう：以上の方法で分布を生成したときに「 "X" が分布formula_1に従う確率」を formula_39 とする。
以上の考察を踏まえると、
と見なすのが自然である事が分かる。
明らかに formula_1 は（条件 "I" の付いた）多項分布に従うので、
ただし formula_1 が条件 "I" を満たさない場合は
よってformula_40は条件 "I" を満たす formula_1 により最大化される。
formula_49 の凸性より、 formula_40 を最大化するという事は formula_51 を最大化するのと等価である。そこで最後に "N" → ∞ とすると以下が従う。
ここで(1)、(2)、(3)はそれぞれスターリングの公式 formula_53 、 formula_54 、 formula_32 より。
よって以上の方法で "X" が従う最も自然な分布を選ぶという事は、最大エントロピー原理に従って "X" の従う分布を決める事を意味する。
上ではカケラが "m" 個の場所のどれに配置されるのも等確率である場合を考察したが、より一般に配置される場所毎に確率が異なる場合を考察する。 "i" 番目の場所に配置される確率が "q" であるとすると、 formula_1 は（条件 "I" の付いた）多項分布に従う事から、
よってこの場合は
となり、相対エントロピーを最大化するように "X" の分布を選ぶ事となる。
統計力学におけるマクスウェル分布は、容器中に気体（1種類の物質からなり、かつ定常状態にある）が閉じ込められている状況において、容器中の各分子の速度が従う確率分布で、分子の速度を formula_60 とすると、この分布の確率密度関数は
となる。ここで "Z" は正規化定数で、λは逆温度（＝絶対温度の逆数。通常はβで表すがここでは前節までと記号を合わせる為λと書く）。
マクスウェル分布は、最大エントロピー原理から以下のようにして導く事ができる。
容器中に気体（1種類の物質からなり、かつ定常状態にある）が閉じ込められているとし、その気体を構成する各分子の速度を考える。各分子が取りうる速度全体のなす空間(速度空間 )を考えると、速度は3次元のベクトル formula_60 で表す事ができるので、速度空間は、3次元ベクトル空間（の有限体積の部分集合）となる。
速度空間を formula_63 個の領域に分け、容器中の分子がそれらの領域のどこに属するかを考える。各分子は互いに衝突を繰り返す事でランダムにその位置や速度を変えるが、今気体は定常状態にあるので、各領域にある分子の総数は時間が経過してもほとんど変化しない。
そこで "i" 番目の領域に含まれている分子の数を "n" とし、容器中の分子の総数を "N" とし、 formula_54 とすると、各分子が領域"i" に含まれている確率は formula_31 である。
速度空間の各点における分子の存在確率が常に等しいとする(等確率の原理)と、各分子が領域 "i" にある確率は、領域の体積に比例すると考えられるので、1 番目、...、 formula_63 番目の領域に入っている分子の個数がそれぞれ formula_67 である確率を考える。
各分子が区別できないと仮定すると、多項分布より、
に比例する。
気体が定常状態にある事から、気体の分布は、分子の運動エネルギーの期待値が一定値であるという条件下、 formula_69 が最大になる状態にあると考えられる。
前節で説明したように、分子の数→∞の極限において、formula_69 を最大化する事は、相対エントロピー
を最大化する事に等しい。確率と体積の比 formula_72 は確率の「密度」を表すので、速度空間を分割する領域の数→∞とすると、
となる。ここで formula_74 は確率密度関数。従って気体はこの値を最大化するように振る舞う。
さて、分子の運動エネルギーの期待値が一定であるという前述した条件を数式で書き表すと
と書ける。ここで "m" は分子の質量。
この条件は、 formula_76 に関する期待値なので（確率密度関数 formula_77 も formula_76 に関する関数と見なせるので）、前の節で示した期待値が制約されている場合の最大エントロピー原理の一般解を適用する事で、
である事が分かる。
今、1つの容器があるとし、容器の中央には板が入っていて、容器の右半分と左半分が仕切られているとする。この状態で二種類の気体"A"、"B" がそれぞれ容器の右半分、左半分に入れられているときに、容器中の分子が従う分布は、最大エントロピー原理により、
という条件下でエントロピーを最大化する。
次に板を外すと、容器中の分子の分布が変化する。この状態で分子が従う分布は、再び最大エントロピー原理により、
という条件下でエントロピーを最大化する。
明らかに条件(2)は条件(1)よりも弱い。従って条件(2)の下での最大値は、条件(1)の下での最大値よりも大きい（小さくない）。すなわち、板を外す事でエントロピーは増大する。