Multiplicatorul Lagrange

În probleme de optimizare, multiplicatorii Lagrange, denumiți astfel după Joseph Louis Lagrange, sunt o metodă de lucru cu restricții. Se caută punctele de extrem ale unei funcții cu mai multe variabile și una sau mai multe restricții. Această metodă reduce o problemă cu n variabile și k restricții la o problemă rezolvabilă în n + k variabile, fără restricții. Această metodă introduce o nouă variabilă scalară, necunoscută, multiplicatorul Lagrange, pentru fiecare restricție și formează o combinație liniară cu multiplicatorii drept coeficienți.

Introducere 
Considerăm cazul bidimensional. Presupunem că avem o funcție, f(x,y), pe care trebuie să o maximizăm cu condiția ca 

unde c este o constantă. Conturul lui f este dat de 

pentru diferite valori ale lui , iar conturul lui  este dat de . Presupunem că ne mișcăm de-a lungul conturului . Din moment ce, în general, contururile lui  și  vor fi distincte, traversând  conturul va intersecta și va traversa mai multe contururi ale lui . În general, mișcându-ne de-a lungul liniei  putem crește sau descrește valoarea lui . Doar dacă , iar conturul pe care-l urmărim, atinge tangențial, dar nu traversează un contur al lui , nu creștem sau descreștem valoarea lui . Acest lucru apare la restricțiile punctelor de extrem locale și la restricțiile punctelor de inflexiune ale lui .

Un exemplu familiar poate fi obținut din hărțile meteorologice care au contururi pentru temperatură și presiune: restricțiile punctelor de extrem vor apărea acolo unde prin suprapunerea hărților apar linii care se ating, izoplete. 

Geometric, condiția de tangență se traduce prin afirmația că unghiurile lui  și ale lui  sunt vectori paraleli în punctul de maxim. Introducând un scalar necunoscut, λ, obținem

for λ ≠ 0. 

Odată ce valorile lui λ sunt determinate, ne întoarcem la numărul original de variabile și astfel putem continua pentru a găsi punctele de extrem ale noii funcții fără restricții

 = 

într-un mod tradițional. Astfel,  pentru toți  satisfac condiția, deoarece  este egal cu zero în restricție, însă punctele de extrem ale lui  se află toate în .

Metoda multiplicatorilor Lagrange 

Fie f (x) o funcție definită ca {x ∈ Rn}.
Definim k restricțiile gk (x) = 0, și vedem dacă restricțiile sunt într-adevăr satisfăcute: 

Căutăm punctul de extrem al lui h:

care este echivalent cu:

.

Determinăm multiplicatorii necunoscuți λk din restricțiile noastre și obținem astfel un punct de extrem pentru h întărind restricțiile ( gk=0), ceea ce înseamnă că f a fost extremizat.

Metoda multiplicatorilor Lagrange a fost generalizată prin teorema Kuhn-Tucker.

Exemple 

Presupunem că vrem să aflăm distribuția probabilistică discretă, cu entropie informațională maximă. Atunci:

.

Desigur, suma acestor probabilități este egală cu 1, deci restricția noastră este:

.

Putem folosi multiplicatorii Lagrange pentru a găsi punctul entropiei maxime (depinzând de probabilități). Pentru toți i de la 1 la n, se cere ca:

,

și obținem:

Făcând diferențierea acestor ecuații n, obținem:

.

Asta arată că toți pi sunt egali (deoarece ei depind doar de λ ).
Folosind restricția ∑k pk = 1, găsim

.

Din aceasta rezultă că distribuția uniformă are cea mai mare entropie. 

Pentru un alt exemplu, vezi derivarea funcției de partiție.

Legături externe 

 Applet  
 Tutorial and applet 

Optimizare