Ekstremum funkcji

Ekstremum funkcji (l. mn. ekstrema; z  – najdalszy, ostatni) – maksymalna lub minimalna wartość funkcji.

 Funkcja  przyjmuje w punkcie  maksimum lokalne (odpowiednio: minimum lokalne), jeśli w pewnym otwartym otoczeniu tego punktu (np. w pewnym przedziale otwartym) funkcja nigdzie nie ma wartości większych (odpowiednio: mniejszych).
 Jeśli dodatkowo w pewnym otwartym sąsiedztwie punktu  funkcja nie ma również wartości równych  to jest to maksimum (odpowiednio: minimum) lokalne właściwe.
 Minima i maksima lokalne są zbiorczo nazywane ekstremami lokalnymi.
 Największa i najmniejsza wartość funkcji w całej dziedzinie nazywane są odpowiednio maksimum i minimum globalnym, a zbiorczo ekstremami globalnymi.

Obrazowo: Na powierzchni Ziemi maksimum globalne wysokości nad poziomem morza występuje na szczycie Mount Everestu, maksimum lokalnym jest szczyt każdego pagórka. Jeśli szczyt pagórka jest poziomy i płaski (a także niekiedy w innych przypadkach), nie będzie to maksimum lokalne właściwe.

Istnieją funkcje nieposiadające ekstremów lokalnych ani globalnych, np. funkcja 

Poszukiwanie ekstremów jest ważne w praktycznych zastosowaniach matematyki, na przykład w technice i statystyce. Wiele zagadnień optymalizacyjnych sprowadza się do poszukiwania ekstremów odpowiednich funkcji, jak na przykład funkcji kosztu, albo miary jakości dla różnych parametrów danego urządzenia.

Teoria ekstremów w naturalny sposób ma silny związek z teorią nierówności: wiele problemów i twierdzeń można formułować równoważnie zarówno w języku ekstremów, jak i nierówności, co rzuca światło na obie te dziedziny.

Funkcje, dla których można rozważać ekstrema 

W matematyce wartością funkcji nie musi być koniecznie liczba – funkcją jest dowolne przyporządkowanie każdemu elementowi zbioru zwanego dziedziną po jednym elemencie zbioru zwanego przeciwdziedziną. Funkcją jest więc również przyporządkowanie każdemu łysemu aktorowi Teatru Wielkiego koloru włosów jego ulubionej peruki.

Pojęcie ekstremum wymaga, by wartości funkcji dało się ze sobą porównywać – w przeciwdziedzinie funkcji powinien być zatem zdefiniowany jakiś porządek. Zbiór uporządkowany, i to liniowo, tworzą np. liczby rzeczywiste. Nie ma natomiast powszechnie przyjętego uporządkowania kolorów, zwłaszcza porządku liniowego.

W przypadku ekstremum lokalnego konieczne jest ponadto sprecyzowanie pojęcia „lokalności”. Dokonuje się to przez określenie dla każdego argumentu funkcji, które punkty z jej dziedziny są mu „bliskie”. Formalizując to podejście, określamy w każdym punkcie dziedziny funkcji tak zwaną bazę otoczeń punktu. Dla liczby rzeczywistej otoczeniem jest np. przedział otwarty, zawierający tę liczbę. Ogólnie, zbiór z systemem otoczeń, spełniającym pewne naturalne warunki tworzy tzw. przestrzeń topologiczną.

O ekstremach lokalnych można zatem mówić w przypadku dowolnej funkcji, której dziedzina jest przestrzenią topologiczną, a przeciwdziedzina zbiorem częściowo uporządkowanym. Ze względu na zastosowania najczęściej rozważa się szczególny przypadek – funkcje rzeczywiste, czyli funkcje o wartościach w liczbach rzeczywistych, których dziedzina jest podzbiorem skończenie wymiarowej przestrzeni euklidesowej.

Definicje 
Funkcja  o wartościach w zbiorze uporządkowanym określona na przestrzeni topologicznej ma w punkcie  tej przestrzeni:
 minimum lokalne, jeśli istnieje otoczenie otwarte  punktu  takie, że dla każdego 
 
 więc nie występują w okolicy punktu  wartości funkcji mniejsze od  (ani nieporównywalne), choć mogą występować wartości równe,
 maksimum lokalne, gdy istnieje otoczenie otwarte  punktu  takie, że dla każdego 
 
 więc nie występują w okolicy punktu  wartości funkcji większe od  (ani nieporównywalne), choć mogą występować wartości równe,
 właściwe minimum lokalne, jeśli w pewnym otoczeniu otwartym  punktu  funkcja przyjmuje wszędzie, z wyjątkiem tego punktu, wartości większe od  czyli nie ma wartości równych dla  formalnie:
  dla każdego 
 właściwe maksimum lokalne, jeśli w pewnym otoczeniu otwartym  punktu  funkcja przyjmuje wszędzie, z wyjątkiem tego punktu, wartości mniejsze od  formalnie:
  dla każdego 

Funkcja  o wartościach w zbiorze uporządkowanym ma w punkcie  swojej dziedziny:
 minimum globalne, jeśli dla każdego  należącego do jej dziedziny:
 
 maksimum globalne, jeśli dla każdego  należącego do jej dziedziny:
 
 właściwe minimum globalne, jeśli dla każdego  należącego do jej dziedziny:
 
 czyli funkcja przyjmuje wszędzie z wyjątkiem punktu  wartości większe od 
 właściwe maksimum globalne, jeśli dla każdego  należącego do jej dziedziny:
 
 czyli funkcja przyjmuje wszędzie z wyjątkiem punktu  wartości mniejsze od 

Nie każda funkcja posiada ekstrema. Jeśli funkcja nie jest ograniczona (np. ), to nie ma maksimum ani minimum globalnego – jeżeli nie jest ograniczona od góry, to nie ma maksimum globalnego; a jeżeli od dołu, to nie ma minimum globalnego.

Można też mówić o maksimach i minimach w podzbiorze dziedziny – są to wówczas największe lub najmniejsze wartości funkcji dla argumentów z tego podzbioru.

Funkcje rzeczywiste jednej zmiennej

Proste przykłady ekstremów

Przykład – właściwe minimum lokalne w każdym punkcie dziedziny 

Niech funkcja  przyporządkowuje każdej liczbie wymiernej wartość mianownika wyrażającego ją ułamka skróconego. Formalnie:
 

gdzie NWD oznacza największy wspólny dzielnik.

Dla dowolnego wymiernego  istnieje otoczenie otwarte, w którym wszystkie inne liczby wymierne mają większy mianownik, a więc większą wartość funkcji . A zatem funkcja ta ma dla każdej liczby wymiernej (czyli dla każdego punktu swojej dziedziny) właściwe minimum lokalne.

Warunek wystarczający ekstremum globalnego (twierdzenie Weierstrassa) 
Z twierdzenia Weierstrassa wiadomo, że funkcja ciągła o wartościach rzeczywistych, określona na zbiorze zwartym (a więc np. na przedziale domkniętym), osiąga ekstrema globalne. Twierdzenie to jest prawdziwe w pełnej ogólności – a więc nie tylko dla funkcji liczbowych, a dla dowolnych funkcji ciągłych, określonych na zwartych podzbiorach dowolnych przestrzeni topologicznych.

Funkcje różniczkowalne 
W dalszej części sekcji rozważane będą funkcje  ciągłe oraz różniczkowalne w przedziale  Geometrycznie oznacza to, że ich wykres jest „nieprzerwany” i „gładki”, czyli ma w każdym punkcie styczną.

Warunek konieczny istnienia ekstremum lokalnego (twierdzenie Fermata) 

Warunkiem koniecznym istnienia ekstremów lokalnych różniczkowawalnych funkcji  w pewnym punkcie  jest
 

Geometrycznie oznacza to, że styczna do wykresu funkcji jest w tym punkcie prostą poziomą. Jest to tzw. twierdzenie Fermata. Udowodnijmy je:

jeśli  ma w punkcie  ekstremum lokalne, to istnieje takie  że dla każdej liczby rzeczywistej  spełniającej  zachodzi:
 

a więc:
 

Po przejściu do granicy, dla  otrzymujemy:
 

Zatem 

Warunek Fermata nie jest jednak wystarczający. Np. funkcja  nie ma ekstremum, chociaż jej pochodna  zeruje się dla  Ekstremum może natomiast istnieć w punktach, w których nie istnieje (obustronna) pochodna skończona:
 funkcja  ma na przykład, minimum w punkcie  podczas gdy jej pochodna lewostronna w tym punkcie równa się  a prawostronna 
 podobnie funkcja wartość bezwzględna ma w punkcie  minimum globalne, chociaż w tym punkcie nie jest różniczkowalna.

Warunek konieczny i wystarczający istnienia ekstremum lokalnego 
Funkcja ciągła  różniczkowalna w przedziale  i mająca skończoną liczbę punktów stacjonarnych (tj. takich, w których zeruje się jej pierwsza pochodna) ma w punkcie 
 minimum lokalne wtedy i tylko wtedy, gdy istnieje takie  że:
 
  dla 
  dla 

 maksimum lokalne wtedy i tylko wtedy, gdy istnieje takie  że
 
  dla 
  dla

Inne warunki wystarczające istnienia ekstremów 
Jeśli o funkcji  określonej jak wyżej, założy się dodatkowo, że jest dwukrotnie różniczkowalna w przedziale  oraz jej druga pochodna jest ciągła, to jeżeli  i  to funkcja  ma w punkcie  ekstremum, przy czym, gdy  to jest to maksimum lokalne, a gdy  to minimum lokalne.

Powyższe kryterium nie rozstrzyga przypadku, gdy druga pochodna jest równa zero.

Kryterium istnienia ekstremów funkcji n-krotnie różniczkowalnych 
Jeżeli założy się dodatkowo o funkcji  że jest -krotnie razy różniczkowalna i -ta pochodna jest ciągła w  to zachodzi następujące twierdzenie:

jeżeli
 

tj. wszystkie pochodne do -ej zerują się w punkcie  a -ta pochodna jest różna od zera, to
 gdy  jest liczbą parzystą, to  ma ekstremum w punkcie  przy czym jest to maksimum, gdy  lub minimum, gdy 
 gdy  jest liczbą nieparzystą, ekstremum nie istnieje.

 Dowód

Z założenia zerowania się pochodnych do  można wyprowadzić korzystając ze wzoru Taylora:
 

dla pewnego 

Jeśli  jest parzyste, rozumowanie przebiega jak poprzednio. Gdy  jest nieparzyste, prawa strona równości zmienia znak, gdy  zmienia znak, a funkcja  zachowuje w pewnym otoczeniu punktu  ten sam znak co  Czyli  ma dla  inny znak niż dla  więc nie istnieje ekstremum w punkcie

Proste zagadnienia optymalizacyjne 

Zagadnienie wyznaczania ekstremów funkcji występuje często w fizyce i technice. Oto przykład:

Pudełko o największej objętości 
 Problem Z kwadratowego arkusza blachy o boku  wycinane są przy wierzchołkach przystające kwadraty i po zagięciu brzegów tworzone jest prostopadłościenne pudełko. Jak otrzymać pudełko o największej objętości?

 Rozwiązanie 1 Jeśli przez  oznaczyć długość boku wyciętego kwadratu, to objętość  pudełka będzie równa
 
 przy czym
 
 Zadanie sprowadza się do znalezienia ekstremum funkcji  w przedziale  przy czym wartości krańcowe reprezentują pudełko odpowiednio bez ścianek oraz bez podstawki, a więc o zerowej (minimalnej) objętości.
 Pochodna
 
 zeruje się na tym przedziale w punktach  oraz  (w tym przypadku objętość jest zerowa). Ponieważ funkcja objętości jest dodatnia wewnątrz przedziału, 0 na jego końcach i ma we wnętrzu nie więcej niż jedno ekstremum lokalne, to ma ona dokładnie jedno maksimum, które jest zarazem lokalne i globalne (twierdzenie Rolle’a); osiągane jest ono w  Dlatego największa objętość pudełka wynosi
 

 Rozwiązanie 2 Wielkość  gdzie
  oraz 
 są nieujemne, przyjmuje wartość maksymalną dla tego samego  co  Ponieważ
 
 jest stałe i dodatnie, więc stała i dodatnia jest też średnia arytmetyczna nieujemnych liczb 

  jest natomiast sześcianem ich średniej geometrycznej. Wiadomo, że średnia geometryczna liczb nieujemnych jest zawsze mniejsza lub równa od arytmetycznej, przy czym równość między tymi średnimi zajdzie tylko, gdy  (zob. nierówności między średnimi potęgowymi), czyli gdy
 
 czyli dla
 
 Zatem dla tej właśnie wartości   przyjmuje wartość maksymalną:

Koszt eksploatacji statku 
 Problem Wiadomo, że koszt eksploatacji statku w ciągu godziny pływania wyraża się wzorem empirycznym  gdzie  oznacza prędkość statku w węzłach (1 węzeł = 1 Mm/h ≈ 1,85 km/h), natomiast  i  są stałymi, które powinny być obliczone dla każdego statku z osobna (część stała kosztu  pochodzi od amortyzacji i kosztów utrzymania załogi, a część  od kosztów paliwa). Przy jakiej prędkości statek przebędzie dowolną odległość z najmniejszymi kosztami?

 Rozwiązanie Przebycie 1 mili morskiej trwa 1/v godziny, więc kosztuje:
 
 Przyrównując pochodną  do zera, mamy:
  skąd 
 Ponieważ druga pochodna
 
 więc koszty rzeczywiście osiągną najmniejszą wartość dla znalezionej wartości

Funkcje określone na podzbiorach przestrzeni unormowanych 
Pewne wyniki związane z istnieniem ekstremów, otrzymane dla funkcji argumentów rzeczywistych, przenoszą się na funkcje określone na podzbiorach przestrzeni unormowanych.

W dalszej części tego paragrafu przez  rozumiana jest dowolna przestrzeń unormowana, zaś przez  pewien jej otwarty podzbiór. Funkcja  musi być różniczkowalna (w sensie Frécheta) w zbiorze  Przez zapis  lub  rozumie się różniczkę funkcji  która jest odwzorowaniem liniowym i ciągłym przestrzeni  o wartościach w  Pochodna -tego rzędu funkcji (-krotnie różniczkowalnej) jest odwzorowaniem -liniowym przestrzeni  o wartościach rzeczywistych i oznaczana jest przez  lub 

Podobnie jak dla funkcji rzeczywistych, warunkiem koniecznym istnienia ekstremum w punkcie  jest, aby wartość funkcji będącej różniczką w  wynosiła zero dla wszystkich punktów w pewnym otoczeniu   Punkt, w którym różniczka się zeruje (jest funkcją stale równą zero w pewnym otoczeniu ), nazywany jest punktem stacjonarnym.

Tak jak w przypadku funkcji jednej zmiennej, w punkcie stacjonarnym wcale nie musi być ekstremum. Na przykład dla funkcji  danej wzorem  której wykresem jest paraboloida hiperboliczna, pochodne cząstkowe  są jednocześnie równe zeru tylko w punkcie  w którym  Jednocześnie widać (por. rysunek obok), że w dowolnym otoczeniu zera funkcja przybiera zarówno wartości dodanie, jak i ujemne, a więc nie może być w nim ekstremum.

Definicje pomocnicze 
Na potrzeby dalszych twierdzeń, konieczne będzie wprowadzenie kilku definicji:

Funkcjonał dwuliniowy  jest nieujemny, niedodatni, dodatni, ujemny jeśli odpowiednio  dla wszelkich 

Funkcjonał dwuliniowy  jest
 dodatnio określony, jeśli
 
 ujemnie określony, jeśli
 

W szczególności, każda macierz kwadratowa może być interpretowana jako macierz funkcjonału dwuliniowego przestrzeni  (por. macierz dodatnio określona). Prawdziwe jest twierdzenie, które mówi, że każdy dodatni (lub ujemny) funkcjonał dwuliniowy tej przestrzeni jest dodatnio określony (ujemnie określony). Do badania dodatniej (ujemnej) określoności macierzy służy kryterium Sylvestera.

Ekstrema a druga pochodna 
Jeżeli funkcja  jest dwukrotnie różniczkowalna w pewnym otoczeniu  punktu  przy czym  a pochodna  jest ciągła w  to
 jeżeli  ma w  minimum lokalne, to  jest nieujemna,
 jeżeli  ma w  maksimum lokalne, to  jest niedodatnia.

Warunek konieczny i wystarczający istnienia ekstremum 
Niech, jak poprzednio, funkcja  będzie dwukrotnie różniczkowalna w pewnym otoczeniu  punktu  przy czym  a pochodna  jest ciągła w 
 Jeżeli  jest dodatnio określona, to  ma minimum lokalne właściwe w punkcie 
 Jeżeli  jest ujemnie określona, to  ma maksimum lokalne właściwe w punkcie

Funkcje określone na podzbiorach płaszczyzny 
Ważnym przypadkiem są funkcje określone na podzbiorach  Przypadek ten zasługuje na wyróżnienie ponieważ funkcje tego typu szczególnie często pojawiają się w zastosowaniach. Korzystając z własności pochodnych cząstkowych takich funkcji można podać następujący algorytm badania istnienia ekstremów funkcji  gdzie  jest otwartym podzbiorem płaszczyzny. O funkcji  wiadomo, że jest dwukrotnie różniczkowalna i jej druga pochodna jest ciągła.
 Wyznaczamy wszystkie punkty  takie, że pochodne cząstkowe (rozwiązując ten układ równań).
 Dla każdego punktu z osobna badamy znak wyznacznika HessegoNa mocy Twierdzenia Schwarza  więc:
 Jeżeli w danym punkcie  wyznacznik  to w tym punkcie nie ma ekstremum, jeśli  to w pewnych przypadkach może istnieć ekstremum, a pewnych nie. I ostatecznie, jeżeli  to istnieje ekstremum lokalne w tym punkcie, jeśli:
  co dla  jest równoważne  to jest to minimum lokalne,
  co dla  jest równoważne  to jest to maksimum lokalne.

Przykład 

Znaleźć ekstrema funkcji
 

Obliczamy pierwsze pochodne cząstkowe funkcji  i przyrównujemy do zera:
 

Układ równań ma dokładnie 4 rozwiązania, którymi są punkty
 

  i  – zatem w tych punktach nie ma ekstremów (na wykresie zaznaczono je na pomarańczowo, są to tzw. punkty siodłowe funkcji ),
  – w tym punkcie jest minimum lokalne (zaznaczono na czerwono),
  – w tym punkcie jest maksimum lokalne (zaznaczono na zielono).

Funkcje uwikłane 
W tej sekcji rozważane będą ekstrema funkcji  dla której nie znamy jednak bezpośredniej zależności  od  mając jedynie równanie postaci 

Podobnie jak w poprzednim przypadku, o funkcji  zakładamy, że jest dwukrotnie różniczkowalna w pewnym otwartym podzbiorze  oraz  jest zbiorem punktów  obszaru, w których
 

Na mocy twierdzenia o funkcji uwikłanej, wzór
 

gdzie  a w konsekwencji także
 

pozwala wyznaczyć ekstrema funkcji  uwikłanej w równaniu . W tym celu należy wyznaczyć punkty, w których
 

Dwa ostatnie warunki równoważne są poniższym, tj.

Przykład 
Znaleźć ekstrema funkcji  określonej równaniem
 

Ponieważ
 

tylko gdy  więc wstawiając to do równania
 

otrzymujemy jako jedyne rozwiązania punkty 

Ponieważ
 

oraz
 

zatem w punkcie  druga pochodna
 

czyli w tym punkcie jest minimum lokalne, natomiast w punkcie 
 

czyli w tym punkcie jest maksimum lokalne funkcji

Rachunek wariacyjny 

Ważnymi obiektami matematycznymi są te funkcjonały, które danej funkcji przypisują liczbę rzeczywistą, np. długość łuku jej wykresu. Przestrzeń funkcyjna jest przestrzenią unormowaną, opisywaną w jednej z wcześniejszych sekcji, jednak badanie ekstremów tych funkcjonałów jest szczególnie istotne ze względu na zastosowania w fizyce i technice – przykładowo jeśli funkcja będąca argumentem funkcjonału opisuje kształt śmigła samolotu, a wartości funkcjonału opisują wydajność śmigła, to znalezienie globalnego maksimum jest równoważne wyliczeniu jaki kształt śmigła zapewni największą wydajność.

Badania funkcjonałów zapoczątkował Leonard Euler. Klasycznym problemem, prowadzącym do znalezienia ekstremów pewnego funkcjonału jest zagadnienie brachistochrony, postawione w 1696 przez Jana Bernoulliego w periodyku Acta Eroditorium. Sprowadza się ono do znalezienia takiej krzywej łączącej dwa punkty  i  aby ciało staczające się po niej od punktu  do  pokonało tę drogę w najkrótszym czasie.

Ekstrema mocne i słabe 
Szukając lokalnych ekstremów funkcjonałów konieczne jest zdefiniowanie przestrzeni topologicznej. Najprościej zrobić to konstruując bazę coraz węższych otoczeń wokół każdego punktu dziedziny. Rozsądnie jest przyjąć, że ciąg funkcji należących do coraz węższych otoczeń powinien zbiegać do funkcji  odpowiadającej otaczanemu punktowi, jednak nie jest oczywiste, czy także pochodne tych funkcji muszą zbiegać do pochodnej  Jeśli przyjmiemy, że tak, to mówimy o tzw. ekstremum mocnym, jeśli natomiast dopuszczamy dowolne wartości pochodnej, o ekstremum słabym. Każde ekstremum mocne jest szczególnym przypadkiem słabego, odwrotnie – niekoniecznie.

Przykład – równania Eulera-Lagrange’a 

Rachunek wariacyjny bada ekstrema funkcjonałów, często zadanych w postaci całek. W mechanice klasycznej ważne są równania, pozwalające na znajdowanie torów cząstek  jeśli znana jest funkcja  (lagranżjan), opisująca ten układ. Równania te zostały wprowadzone w 1750 roku przez Leonharda Eulera oraz Josepha Louisa Lagrange’a i zwane są dziś nazwiskami ich odkrywców. Równania Eulera-Lagrange’a mają ścisły związek z metodami rachunku wariacyjnego.

Formalnie, o funkcji  zakłada się, że jest określona na  oraz jest dwukrotnie różniczkowalna w sposób ciągły. Dalej, o funkcji
 

zakłada się, że jest funkcją o wartościach wektorowych, dwukrotnie różniczkowalną w sposób ciągły. W celu wyznaczenia toru cząstki, określa się funkcjonał
 

Ekstremów tego funkcjonału szuka się w klasie funkcji dwukrotnie różniczkowalnych, przyjmujących na końcach przedziału  wartości
 

Jest to problem z tzw. ustalonym brzegiem. Okazuje się, że funkcje  dla których funkcjonał  przyjmuje ekstremum, spełniają układ równań różniczkowych cząstkowych, zwanych równaniami Eulera-Lagrange’a, postaci:
 

gdzie:

Ekstrema warunkowe 
W matematyce i fizyce zachodzi często potrzeba badania ekstremów funkcji przy pewnych dodatkowych warunkach. Chcąc np. znaleźć odległość punktu  od hiperpowierzchni zadanej równaniem  należy zbadać minima funkcji
 

przy warunku dodatkowym
 

W paragrafie tym podamy ogólną definicję ekstremum warunkowego (inaczej: związanego) i ogólne wyniki tej teorii, badanie ekstremów warunkowych funkcji tylko dwóch zmiennych zostanie omówione w następnym ustępie.

Jeśli  jest przestrzenią topologiczną,  przestrzenią liniową,  oraz  to mówimy, że funkcja  ma w punkcie  minimum (maksimum) lokalne przy warunku  (albo związane zbiorem ), jeśli istnieje otoczenie  punktu  takie, że  względnie  dla

Warunek konieczny istnienia ekstremum warunkowego 

W dalszym ciągu będziemy zakładali spełnienie założeń twierdzenia Lusternika, tj.
  i  są przestrzeniami Banacha,
  jest różniczkowalne w sposób ciągły w pewnym otoczeniu punktu 
  jest punktem regularnym zbioru  tj.  jest suriekcją  na 
  to znaczy  jest jądrem 
  (rozkład przestrzeni  na topologiczną sumę prostą).

Niech  będzie funkcją określoną na otwartym podzbiorze  przestrzeni Banacha  o wartościach w  oraz niech  będzie punktem regularnym zbioru  Jeżeli funkcja  jest różniczkowalna w punkcie  i ma w tym punkcie ekstremum warunkowe, to
      dla każdego 

W praktyce, często wykorzystywanym faktem do badania ekstremów warunkowych jest tzw. drugie twierdzenie Lusternika, mówiące o tym, że jeżeli spełnione są założenia twierdzenia Lusternika i funkcja  określona jak wyżej, jest różniczkowalna w punkcie  i ma w tym punkcie ekstremum warunkowe (związane warunkiem ), to istnieje funkcjonał liniowy  taki, że
 

Funkcjonał  nazywany jest funkcjonałem Lagrange’a i ma ścisły związek z metodą szukania ekstremów warunkowych, zwaną metodą mnożników Lagrange’a, opisaną dalej.

Warunki wystarczające istnienia ekstremum warunkowego 

W dalszym ciągu, podtrzymując powyższe założenia i zakładając dodatkowo, że funkcje  i  są dwukrotnie różniczkowalne w sposób ciągły w pewnych otoczeniach punktu  można sformułować warunek wystarczający istnienia ekstremum warunkowego. Mianowicie, jeżeli istnieje funkcjonał liniowy  taki, że
 

oraz
 

jest dodatnio (ujemnie) określona dla  to funkcja  ma w punkcie  minimum (maksimum) warunkowe.

Twierdzenie to można udowodnić korzystając z twierdzenia Lusternika i odpowiednio wykorzystując twierdzenia Taylora. Daje się ono łatwo uogólnić na przypadek pochodnych wyższych rzędów – w tym przypadku dodatkowo zakłada się, że odwzorowania  i  są różniczkowalne  razy w sposób ciągły w pewnym otoczeniu punktu  Wówczas, jeżeli istnieje funkcjonał  taki, że
 

dla  oraz odwzorowanie
 

jest dodatnio (ujemnie) określona dla  to funkcja  ma w punkcie  minimum (maksimum) warunkowe.

Ekstrema warunkowe w  
Badanie ekstremów warunkowych przekształceń dowolnych przestrzeni Banacha jest rzeczą trudną. Już samo spełnienie założeń twierdzenia Lusternika może okazać się niemożliwe, gdyż nie każdą przestrzeń unormowaną da się rozłożyć na topologiczną sumę prostą jej podprzestrzeni. Duża część zagadnień praktycznych sprowadza się do badania ekstremów warunkowych w przypadku gdy  a odwzorowanie  reprezentowane jest przez układ  funkcji o  zmiennych, tj. 

Szukanie ekstremów warunkowych funkcji  będących zarazem punktami regularnymi, sprowadza się do rozwiązania układu równań operatorowych
 

gdzie  Wiadomo, że każdy taki funkcjonał  jest reprezentowany przez układ  liczb rzeczywistych  a pochodna  jest macierzą wymiaru  rzędu . Układ równań operatorowych sprowadza się więc do układu  równań skalarnych:
 

gdzie  o  zmiennych  Wszystkie punkty, w których funkcja może przyjmować ekstrema warunkowe, należą do zbioru rozwiązań tego układu równań. Liczby  spełniają tylko rolę pomocniczą i nazywane są często mnożnikami Lagrange’a. Po znalezieniu punktów spełniających warunek konieczny dla ekstremum, należy odwołać się do warunku wystarczającego, tj. zbadać dodatnią (ujemną określoność)
 

dla
 

co sprowadza się do badania formy kwadratowej
 

gdzie:
 

Warunek  jest równoważny równaniu
 

które w postaci macierzowej przybiera formę
 

Do badania określoności tej macierzy można stosować kryterium Sylvestera.

W praktyce, gdy  wprowadzamy funkcję pomocniczą
 

i szukamy dla niej warunków koniecznych na istnienie jej ekstremów, jako funkcji dwóch zmiennych, tj. rozwiązaniu układu równań  a następnie wyrugowaniu z tego układu równań czynnika nieoznaczonego Do otrzymanego warunku dołączamy warunek  Równoważnie, wszystkie punkty, które mogą być ekstremami warunkowymi można wyznaczyć z układu równań
 

gdzie  oznacza jakobian funkcji  i

Przykład – ekstrema funkcji na okręgu 

Ilustracją zastosowania metody mnożników Lagrange’a jest problem wyznaczenia ekstremów funkcji:
 

na kole jednostkowym, tj. przy warunku
 

Zatem funkcja  jest postaci
 

a więc funkcja  wyraża się wzorem:
 

Wszystkie punkty, które mogą być ekstremami warunkowymi są rozwiązaniami układu równań
 

Podstawiając  do pierwszego równania uzyskujemy:  Stosując podobne podstawienie do trzeciego równania, dostaje się warunek  skąd wynika  Funkcja  może zatem przyjmować ekstrema tylko w punktach  Ponieważ okrąg jest zbiorem domkniętym i ograniczonym (czyli zwartym), więc na mocy twierdzenia Weierstrassa, funkcja  osiąga w tych punktach ekstrema (warunkowe):
 minimum warunkowe: 
 maksimum warunkowe: 

Warto zauważyć, że funkcja  określona na całej płaszczyźnie (bez dodatkowego warunku) nie ma ekstremów.

Przykład – problem maksymalnej entropii 
Problem polega na znalezieniu dyskretnego rozkładu zmiennej losowej maksymalizującego entropię. Funkcja entropii prawdopodobieństw  wyraża się wzorem
 

Oczywiście, suma prawdopodobieństw  jest równa jeden, więc warunek na  przyjmuje postać
 

Stosując metodę mnożników Lagrange’a, dostajemy układ  równań:
 

który sprowadza się do układu
 

Różniczkując każde równanie -krotnie, powyższy układ sprowadza się do poniższego:
 

Z powyższego wynika, że wszystkie prawdopodobieństwa są równe, tj.  a ponieważ ich suma jest równa jeden, wynika stąd, że dla dowolnego

Gradacyjna analiza odpowiedniości 
Ciekawym praktycznym zastosowaniem ekstremum lokalnego w przestrzeni par permutacji jest algorytm statystyczny, zwany gradacyjną analizą odpowiedniości (Grade Correspondence Analysis, GCA).

Algorytm ma na celu przekształcenie badanych nominalnych cech statystycznych w cechy porządkowe tak, aby korelacja rangowa pomiędzy nimi w zbiorze uczącym była maksymalna.

Algorytm GCA był stosowany m.in. do tabeli, w której wiersze odpowiadają okręgom wyborczym, kolumny partiom politycznym, a liczby w komórkach macierzy liczbie głosów oddanych na poszczególne partie w poszczególnych okręgach GCA rozmieściło zarówno okręgi wyborcze, jak i partie na skali, która po zbadaniu okazała się odpowiadać continuum lewica-prawica.

Ściśle: danymi wejściowymi jest tzw. macierz kontyngencji, której wiersze odpowiadają możliwym wartościom (tzw. etykietom) pewnej nominalnej cechy statystycznej (zwanej zmienną wierszową), a kolumny możliwym wartościom innej cechy nominalnej (zwanej zmienną kolumnową). Wartości elementów macierzy reprezentują liczebność obserwacji w próbie, dla których rozważane dwie cechy mają wartości przypisane do danego wiersza i kolumny.

Celem algorytmu jest znalezienie takiej permutacji wierszy i kolumn macierzy (czyli etykiet zmiennych wierszowej i kolumnowej), aby współczynnik rho Spearmana dla powstałego rozkładu dwuwymiarowego był największy. Odpowiada to znalezieniu takiego uszeregowania etykiet zmiennych nominalnych, aby powstałe w ten sposób zmienne porządkowe wykazywały możliwie dużą zależność statystyczną w sensie korelacji rangowej.

GCA jest algorytmem iteracyjnym, który wielokrotnie startując od losowych permutacji wierszy i kolumn macierzy, dochodzi do różnych lokalnych maksimów rho Spearmana. Maksima są lokalne w tym sensie, że aby uzyskać większą wartość trzeba zmienić jednocześnie kolejność wierszy i kolumn macierzy. Zmiana wyłącznie kolejności wierszy lub wyłącznie kolejności kolumn nie da wyższej wartości rho.

Zobacz też 
 funkcje minimum i maksimum
 twierdzenie Lagrange’a
 twierdzenie Rolle’a

Uwagi

Przypisy

Bibliografia

Literatura dodatkowa 
 
 
 
 
 

Analiza matematyczna
Funkcje matematyczne
Rachunek wariacyjny
Byłe Artykuły na Medal