Diskussion:Gauß-Newton-Verfahren

message: Ich fände es hilfreich, wenn unter "Aufbau der Matrizen für die Iteration: D = (...)" erwähnt wird, dass es sich bei D um eine Jacobi-Matrix handelt. Zudem fände ich einen Link auf den Wikipedia-Artikel hilfreich (http://de.wikipedia.org/wiki/Jacobi-Matrix). Die Schreibweise der partiellen Ableitungen sollten einheitlich sein (ich ziehe die Darstellung mit d/dx vor).
(Leider kenne ich mich nicht ausreichend mit Wikipedia aus, um das selbst zu ändern). 85.226.244.254 15:17, 01. Mai 2007 (CEST)
thread_title:  D ist Jacobi-Matrix des Systems (2007)

message: Der Artikel braucht statt des Beispiels eine vernünftige Beschreibung des Verfahrens für den allgemeinen Fall und dazu Aussagen über Konvergenzgeschwindigkeit etc. Viele Gruesse --DaTroll 14:17, 10. Apr 2005 (CEST)
thread_title:  Allgemeine Beschreibung und Konvergenz (2005) 

message: Bei der Erklärung des Verfahrens fehlt jeder Hinweis auf die eigentliche Idee hinter dem Verfahren (also die lineare Approximation mittels Taylor-Polynom 1ten Grades, analog zur Tangente bei Newton). Das wird dann erst im Vergleich am Ende des Artikels erwähnt. Ich hab' jetzt mal an den Anfrang einen Hinweis auf Taylor rein geschrieben, aber das überschneidet sich jetzt natürlich mit dem Abschnitt über die Unterschiede zum Newton-Verfahren. Ich finde aber, dass das auf jeden Fall an den Anfang muss, weil sonst wohl kaum jemand versteht, woher plötzlich die Jacobi-Matrix kommt. (nicht signierter Beitrag von Juergen861 (Diskussion | Beiträge) 15:04, 8. Mär. 2010 (CET)
thread_title:  Taylor-Polynom fehlt 

message: Im Vergleich zu anderen ähnlichen Seiten (siehe z.B. Gauß-Verfahren) wirkt diese Seite sehr irritierend.
Es werden konkrete Rechenregeln erörtert, ohne auf die Hintergründe einzugehen (obwohl sich dieses Verfahren sehr anschaulich erklären läßt).
Ich finde die englische Fassung wesentlich aufschlußreicher und würde dafür stimmen, diese ins Deutsche zu übertragen.
-- 95.116.77.114 13:21, 28. Feb. 2011 (CET)
thread_title:  Seite überarbeiten? 

message: Für den Iterationsschritt werden in diesem Artikel die sehr schlecht konditionierten Normalengleichungen verwenden, obwohl mit der QR-Zerlegung eine Alternative existiert, welche numerisch stabiler und wohl auch schneller ist.
Ist es hier die Absicht das Vefahren für die Berechung von Hand darzulegen oder sollten nicht auch numerische Aspekte berücksichtigt werden?
--Betsim 16:27, 4. Jul. 2011 (CEST)
thread_title:  QR-Zerlegung statt Normalengleichungen 

message: Nachdem Leute nun schon so irritiert wurden, dass sie das mehrdimensionale Newton-Verfahren für falsch halten, ist eine klare Darstellung im Artikel von ein paar Grundaussagen angebracht. Diese sollten enthalten:
* Ausgangspunkt ist ein überbestimmtes nichtlineares Gleichungssystem F(x)=y. Dass y extra aufgeführt wird, dient der Anschaulichkeit, dies Konstanten könnten auch in die Funktionen F absorbiert werden.
* Die Grundidee des Verfahrens ist die Bestimmung des nächsten Schrittes durch Minimieren des (Quadratsummen-)Residuums der linearen Näherung, d.h., von
::::\|F(x)+F'(x)s-y\|_2^2.
* Es ist direkt sichtbar, dass dieses Verfahren, angewandt auf ein reguläres quadratisches System, wieder zum Newton-Verfahren zurückführt.
* Minimieren des quadratischen Ausdrucks führt direkt auf die Bedingung
::::F'(x)^TF'(x)s=F'(x)^T(y-F(x))
:und damit die Lösungsformel
::::s=F'(x)^\oplus(y-F(x)).
:mit der Moore-Penrose-Pseudo-Inversen 
::::F'(x)^\oplus=(F'(x)^TF'(x))^{-1}F'(x)^T.
:Diese kann mit SVD oder QR-Zerlegung von F'(x) bestimmt werden, ohne die numerisch instabile Multiplikation von F'(x) mit sich selbst auszuführen. D.h., diese Multiplikation gefolgt von einer Cholesky-Zerlegung, wie derzeit im Artikel propagiert, ist die numerisch schlechteste Variante.
* Mit einer QR-Zerlegung F'(x)=QR kann aber auch direkt die der Schritt aus dem Gleichungssystem
::::Rs=Q^T(y-F(x))
:bestimmt werden, unter Weglassen der unteren Zeilen des transformierten Gleichungssystems, also dort, wo R Nullzeilen hat.
* Optimierung mit Newton-Verfahren angewandt auf das Residuum
::::\|F(x+s)\|_2^2
:geht von der quadratischen Näherung
::::\|F(x)\|_2^2+2F(x)^TF'(x)s+s^TF'(x)^TF'(x)s+F(x)^TF(x)[s,s]
:aus, die zweite Ableitungen des Gleichungssystems enthält und damit ein von Gauß-Newton verschiedenes Verfahren darstellt.
Es ist zu diskutieren, ob eine Darstellung in Matrixkomponenten, wie jetzt im Artikel, aus pädagogischer Sicht sinnvoll ist und erhalten bleiben sollte, neben der oben angesprochenen Kurzfassung der Operationen.--LutzL (Diskussion) 18:50, 6. Nov. 2013 (CET)
replies: text: Ich habe auf meiner Benutzerseite begonnen den Artikel komplett neu zu schreiben, mit dem Ziel die derzeitige Fassung zu ersetzen. Wer Zeit und Lust hat kann sich den aktuellen Stand ja mal ansehen - Verbesserungsvorschläge jederzeit willkommen. --Pingpong128 (Diskussion) 21:55, 6. Mai 2019 (CEST)

text: In der Optimierungspraxis (auch für Studenten und Berufsanfänger) ist die Lineare-Algebra-Variante so ziemlich Standard, daher finde ich die Matrixnotation schon sinnvoll... --Megid (Diskussion) 10:38, 25. Mär. 2021 (CET)

text: Ich verstehe die Frage leider nicht ganz. Meinst du wie man die Abstiegsrichtung berechnet? Auf der Seite zum Gradientenverfahren#Bestimmen_der_Abstiegsrichtung sind verschiedene Methoden angeführt, u.a. das GN Verfahren. Du kannst eine allgemeine Funktion immer mit dem Verfahren des steilsten Abstiegs optimieren, aber wenn das Problem mehr Struktur hat dann gibt es u.U. schnellere Methoden. Für Probleme mit der speziellen Struktur "Summe von Quadraten von Funktionen" ist der GN Algorithmus eine solche schnellere Methode. Der Abstiegsschritt ergibt sich hier wie im Artikel erklärt aus dem Ansatz, eine lineare Approximation des ursprünglichen Problems zu minimieren. --193.83.51.169 14:10, 27. Apr. 2021 (CEST)
thread_title:  Nochmal zum Überarbeiten