最大エントロピー原理
今確率変数 X について、X が条件 I を満たす事だけが分かっており、それ以外に X に関して何1つ知らなかったとする。このとき、X が従う分布はどのようなものであると仮定するのが最も自然であろうか。今我々は X について条件 I 以外には何も知らないのだから、条件 I の下で X の「不確かさ」が最大になるような分布を選ぶのが適切だと思われる。
最大エントロピー原理は、「不確かさ」を図る尺度であるエントロピーを条件 I の下で最大にするよう分布を選ぶべきである、という原理である。ただし X の取る値が連続的な場合は、技術的な理由により微分エントロピーではなく、後述の相対エントロピーを最大化する(Jaynesによれば、様々な理由により、こちらの方が「真の」エントロピーの概念である。)。
X が従う確率分布を p とするとき、束縛条件 I として
g k ( p ) = 0 k = 1 , 2 , ... {\displaystyle g_{k}({\boldsymbol {p}})=0\quad k=1,2,\dotsc \,}
のように p に関する方程式の形で書けているものを考える。このような制限付き最適化問題は一般にラグランジュの未定乗数法で解くことが出来る。