ラグランジュの未定乗数法
情報理論的エントロピーが最大となる離散的確率分布を見出すことを考えよう。このときエントロピーは確率を変数とする関数で、
f ( p 1 , p 2 , ... , p n ) = − ∑ k = 1 n p k log 2  p k {\displaystyle f(p_{1},p_{2},\dots ,p_{n})=-\sum _{k=1}^{n}p_{k}\log _{2}p_{k}}
となる。もちろんこれらの確率の合計は1に等しく、束縛条件を表す関数は
g ( p 1 , p 2 , ... , p n ) = ∑ k = 1 n p k − 1 {\displaystyle g(p_{1},p_{2},\dots ,p_{n})=\sum _{k=1}^{n}p_{k}-1}
となる。ラグランジュ乗数を用いてエントロピー最大の点を見つけよう。すべての i(1から n をとる)に対して次の条件が必要である:
∂ ∂ p i ( f + λ g ) = 0. {\displaystyle {\frac {\partial }{\partial p_{i}}}(f+\lambda g)=0.}
従って