ラグランジュの未定乗数法
ラグランジュの未定乗数法（ラグランジュのみていじょうすうほう、）とは、束縛条件のもとで最適化を行うための数学（解析学）的な方法である。いくつかの変数に対して、いくつかの関数の値を固定するという束縛条件のもとで、別のある1つの関数の極値を求めるという問題を考える。各束縛条件に対して定数（未定乗数、）を用意し、これらを係数とする線形結合を新しい関数（未定乗数も新たな変数とする）として考えることで、束縛問題を普通の極値問題として解くことができる方法である。
ラグランジュの未定乗数法は、次のような定理として記述される。
束縛条件"g" ("x" , "y" ) = 0 のもとで、"f" ("x" , "y" )が最大値となる点("a" , "b" )を求める問題，つまり
という問題を考える。ラグランジュ乗数をλとし、
とおく。点("a" , "b" )で∂"g"/∂"x" も∂"g"/∂"y" も0でないならば、αが存在して点("a" , "b" , α)で
が成り立つ
"n" 次元空間の点x = ("x", ... ,"x" ) のある領域"R" を定義域とする被評価関数"z" = "f" (x ) が、同じ領域を定義域とする"m" 次元ベクトル値関数
のもとで、"R" 内の点x において極値をとるための必要条件は、その点における"f" の勾配ベクトル
が、その点で、"m" 個の"g" それぞれの勾配ベクトルが張る"m" 次元線型部分空間に含まれること、すなわち、スカラーの組 λ = (λ, ... ,λ ) を用いて、
が成り立つことである。移項して∇を取れば、
が停留点をとることである。ただし、{∇"g", ... ,∇"g" } は一次独立、すなわち
でなければならない。式(1)の"m" 本と式(2)の"n" 本の式を連立させて、x とλの("n" +"m" ) 個の未知数について解けば、"f" の極値を与える候補点が得られる。
簡単のため2次元の場合を考えよう。"g" ("x","y" ) = "c"（ここで"c" は与えられた定数である）という条件のもと、関数"f" ("x","y" ) を最大化するものとしよう。"f" の値を高さとしたグラフを考えると、高さが "d" の "f" の等高線は "f" ("x","y" ) = "d" で与えられる。ここで、任意の曲線に沿って移動する点を考えると、この点が等高線を横切る場合、必ず "f" ("x","y" ) は増加、もしくは減少するが、この点が等高線に沿って移動する場合は "f" ("x","y" ) は変化しないことが分かる。この条件と通常の極値の条件を合わせて考えれば、曲線上で "f" ("x","y" ) が最大をとる点では、"f" の等高線の接線と曲線の接線が平行となっているか、"f" の勾配がゼロとなっていることが分かる。
ここで "g" ("x","y" ) = "c" の接線は、"g" の勾配ベクトル formula_3と直交し、また "f" の等高線 "f" ("x","y" ) = "d" の接線は "f" の勾配ベクトル formula_4 と直交することをふまえると、前述の条件は
と書ける。
ここで
である。定数は "f" の勾配ベクトルと "g" の勾配ベクトルが平行ではあるが長さが一般に異なるために必要である。
がゼロの場合、"f" ("x","y" ) の勾配がゼロとなる条件になる。これは "g" ("x","y" ) = "c" の曲線上にちょうど "f" の最大値があるため、曲線上で "f" ("x","y" )が最大を取る点と通常の "f" ("x","y" ) の最大値が一致するケースである。
前述の式を変形すると
となることから、formula_8の極値を求めればいいことになる。
物理学の問題を解くとき、ラグランジュの未定乗数は単なる方便ではなく、ある物理量を表すことが多い。
たとえば、流体力学において、非圧縮性流れのナビエ-ストークス方程式を解く場合、圧力は速度ベクトル場が連続の式という束縛条件を満たすための未定乗数として求められる。
2次元問題で、束縛条件が1つの場合には、以下のように連立方程式を作っても良い：
ただしこの場合のλ'は、もとの定理のλとは異なる。
この変則版は、極値となる点で全微分d"f" = 0 となる方向と、d"g" = 0 となる方向が平行であることから導かれる。
情報理論的エントロピーが最大となる離散的確率分布を見出すことを考えよう。このときエントロピーは確率を変数とする関数で、
となる。もちろんこれらの確率の合計は1に等しく、束縛条件を表す関数は
となる。ラグランジュ乗数を用いてエントロピー最大の点を見つけよう。すべての"i" （1から "n" をとる）に対して次の条件が必要である：
これら"n" 個の方程式から次の式が得られる：
これは、すべての"p" が等しいということを示している（変数はλ だけだから）。
束縛条件 ∑ "p" = 1 を使って、
がわかる。すなわち、すべての事象が等確率の一様分布がエントロピー最大の分布である：つまり他のどんな確率分布の場合よりも、確率変数が実際に観測されたときに得られる情報量の期待値が大きいということである。