ラグランジュの未定乗数法
ラグランジュの未定乗数法は、次のような定理として記述される。
∂ ∂ p i ( − ∑ k = 1 n p k log 2  p k + λ ( ∑ k = 1 n p k − 1 ) ) = 0. {\displaystyle {\frac {\partial }{\partial p_{i}}}\left(-\sum _{k=1}^{n}p_{k}\log _{2}p_{k}+\lambda (\sum _{k=1}^{n}p_{k}-1)\right)=0.}
これら n 個の方程式から次の式が得られる:
− ( 1 ln  2 + log 2  p i ) + λ = 0. {\displaystyle -\left({\frac {1}{\ln 2}}+\log _{2}p_{i}\right)+\lambda =0.}
これは、すべての pi が等しいということを示している(変数は λ だけだから)。
束縛条件 ∑k pk = 1 を使って、
p i = 1 n {\displaystyle p_{i}={\frac {1}{n}}}
が分かる。すなわち、すべての事象が等確率の一様分布がエントロピー最大の分布である:つまり他のどんな確率分布の場合よりも、確率変数が実際に観測されたときに得られる情報量の期待値が大きいということである。