ラグランジュの未定乗数法
簡単のため2次元の場合を考えよう。g (x, y) = c(ここで c は与えられた定数である)という条件の下、関数 f (x, y) を最大化するものとしよう。f の値を高さとしたグラフを考えると、高さが d の f の等高線は f (x, y) = d で与えられる。ここで、任意の曲線に沿って移動する点を考えると、この点が等高線を横切る場合、必ず f (x, y) は増加、もしくは減少するが、この点が等高線に沿って移動する場合は f (x, y) は変化しないことが分かる。この条件と通常の極値の条件を合わせて考えれば、曲線上で f (x, y) が最大をとる点では、f の等高線の接線と曲線の接線が平行となっているか、f の勾配がゼロとなっていることが分かる。ここで g (x, y) = c の接線は、g の勾配ベクトル ∇x,y g と直交し、また f の等高線 f (x, y) = d の接線は f の勾配ベクトル ∇x,y f と直交することを踏まえると、前述の条件は
∇ x , y f = λ ∇ x , y g {\displaystyle \nabla _{x,y}f=\lambda \nabla _{x,y}g}
と書ける。ここで
束縛条件 g(x, y) = 0 の下で、f(x, y) が最大値となる点 (a , b) を求める問題、つまり
maximize f ( x , y ) , {\displaystyle f(x,y),}
subject to g ( x , y ) = 0 {\displaystyle g(x,y)=0}
という問題を考える。ラグランジュ乗数を λ とし、
F ( x , y , λ ) = f ( x , y ) − λ g ( x , y ) {\displaystyle F(x,y,\lambda )=f(x,y)-\lambda g(x,y)}
とおく。点 (a, b) で ∂g/∂x と ∂g/∂y の少なくとも一方が 0 でないならば、α が存在して点 (a, b, α) で
∂ F ∂ x = ∂ F ∂ y = ∂ F ∂ λ = 0 {\displaystyle {\frac {\partial F}{\partial x}}={\frac {\partial F}{\partial y}}={\frac {\partial F}{\partial \lambda }}=0}
が成り立つ。