Gradientenverfahren
Gradientenverfahren

== Beispiel ==
wird häufig als Test für Optimierungsmethoden verwendet, da sie wegen des schmalen und flachen Tals, in welchem iterative Methoden nur kleine Schritte machen können, eine Herausforderung darstellt. Die Konstanten werden üblicherweise mit  gewählt, das globale Optimum liegt in diesem Fall bei  mit dem Funktionswert .
Der Gradient sowie die Hesse-Matrix ergeben sich als
Damit lassen sich die Algorithmen Verfahren des steilsten Abstiegs und Newton-Verfahren direkt implementieren. Um das Gauß-Newton-Verfahren anzuwenden, muss die Rosenbrock-Funktion zunächst in die Form „Summe von Quadraten von Funktionen“ gebracht werden. Dies ist auf der Seite zum Gauß-Newton-Verfahren im Detail erklärt.
Optimierung mit Verfahren des steilsten Abstiegs, Newton-Verfahren und Gauß-Newton Verfahren
Für die Liniensuche kommt bei allen Verfahren ein Backtracking mit folgenden Parametern zum Einsatz: Startwert , , . Als Startpunkt wird  gewählt.
Das Verfahren des steilsten Abstiegs findet auch nach 1000 Iterationen nicht zum globalen Optimum und steckt in dem flachen Tal fest, wo nur sehr kleine Schritte möglich sind. Im Gegensatz dazu finden sowohl das Newton-Verfahren als auch der Gauß-Newton- Algorithmus in wenigen Iterationen zum globalen Optimum.