Diskussion:Backpropagation

message: Hallo,
ich hätte da einen Einwand bezüglich des folgenden Satzes: Formuliert wurde es zuerst 1974 durch Paul Werbos.
Vor mir liegt eine internationale Edition des Russel Norvig, erste Auflage. Auf Seite 578 unten heisst es:
It was first invented in 1969 by Bryson and Ho, but was more or less ignored until the mid-1980s.
Viele Grüße,
IB. (nicht signierter Beitrag von 92.227.72.155 (Diskussion | Beiträge) 12:22, 12. Okt. 2009 (CEST)
thread_title:  Diskussion: Wann wurde BP erstmals formuliert? 

message: Hallo,
die Formel für den quadratischen Fehler des Netzes ist angegeben als
E={1\over2} \sum^{n}_{i=1} (t_{i}-o_{i})^{2},
wobei n die Dimension des Eingabevektors darstellen soll. Das kann aber doch nicht sein, da t_{i} und o_{i} doch Komponenten des Ausgabevektors (soll und ist) darstellen? Ich denke, n sollte also die Dimension des Ausgabevektors sein. Wenn ich da etwas nicht verstanden habe, wäre ich ansonsten für Aufklärung dankbar. Viele Grüße, --Flo12 11:42, 22. Dez. 2006 (CET)
replies: text: Okay, nachdem der Benutzer mit dem schwer abzutippenden Namen das in "Anzahl der Muster, die dem Netz vorgestellt werden" geändert hat, ergibt es auch Sinn (hab das grad noch mal im Buch nachgeschlagen, steht da auch so). Insofern meinen zweifelnden Kommentar bei der typo-Korrektur bitte ignorieren. Danke und Gruß, --Flo12 14:33, 29. Dez. 2006 (CET)
thread_title:  Formel für quadratischen Fehler 

message: Ist da vielleicht ein Fehler in dem Bild mit dem Untertitel:Künstliches Neuron mit Index j?
die allgemein gängige Notation/Definition ist: Wij==> Kante von j nach i; im Bild ist es aber umgekehrt مبتدئ 03:36, 28. Dez. 2006 (CET)
replies: text: Ist doch reine Definitionssache --chrislb 问题 14:16, 29. Dez. 2006 (CET)
replies: text: Das Bild ist im SVG-Format, man kann es also mit einem normalen Texteditor recht einfach ändern. Auf Wunsch kann ich eine zweite Kopie davon hochladen, oder du machst es einfach selber. Einen Standard in der Literatur kann ich persönlich nicht erkennen, aber lasse mich gerne mit dem Hinweis auf ein paar andere Bücher belehren. Einheitliche Verwendung von Formeln ist auf jeden Fall etwas wünschenswertes. Grüße --chrislb 问题 13:34, 30. Dez. 2006 (CET)
replies: text: Wenn die Literatur hier uneinheitlich ist muss in diesem Artikel unbedingt eine Konvention explizit gewählt und konsequent verwendet werden.--Hfst (Diskussion) 07:59, 6. Nov. 2019 (CET)
thread_title: Fehler?

message: In dem Abschnitt "Ableitung der Fehlerfunktion" kommt bei der Formel für die Berechnung der Steigung der Hidden Neuronen plötzlich eine Summe mit k und w_jk vor. Es ist aber nirgendswo erklärt was das nun bedeutet. Und wie genau werden die Gewichte nun eigentlich aktualisiert? Eine beliebige Eingabe nehmen, alle Gewichte Berechnen und in einem rutsch aktualisieren oder nur ein Gewicht aktualisieren, dann neu rechnen und dann wieder das nächste Gewicht?78.54.165.57 00:21, 14. Aug. 2008 (CEST)
replies: text: Das sollte wohl ergänzt werden. Es wird über die nachfolgenden Neuronen summiert, dies ist der "Back"-teil. Alle Gewichte des Netzes werden zusammen aktualisiert, dies muss aber nicht nach jeder Eingabe erfolgen, sondern kann in einem "Batch" zusammengefasst werden. --chrislb 20:17, 15. Aug. 2008 (CEST)
thread_title: Woher kommt das k?

message: Sollte es bei der Berechnung der \delta_j nicht
:\delta_{j}=\begin{cases}
\varphi'(\mbox{net}_{j}) (t_{j}-o_{j}) & \mbox{falls } j \mbox{ Ausgabeneuron ist,}\\
\varphi'(\mbox{net}_{j}) \sum_{k} \delta_{k} w_{jk} & \mbox{falls } j \mbox{ verdecktes Neuron ist.}
\end{cases}
heißen?
Ich glaube nicht, und ich glaube das ist so falsch wie es jetzt im Artikel steht, richtig waer:
:\delta_{j}=\begin{cases}
\varphi'(o_{j}) (t_{j}-o_{j}) & \mbox{falls } j \mbox{ Ausgabeneuron ist,}\\
\varphi'(o_{j}) \sum_{k} \delta_{k} w_{jk} & \mbox{falls } j \mbox{ verdecktes Neuron ist.}
\end{cases}
--152.105.203.62 17:14, 20. Apr. 2010 (CEST)
replies: text: Nein, ich denke nicht. Auch laut der verlinkten Literatur hängt das Fehlersignal von der Neuroneneingabe und nicht von der Aktivierung ab. Was ist der Grund für deine Annahme? MfG --Adlange ☎ B 19:13, 20. Apr. 2010 (CEST)
replies: text: Also ich habe mir da nochmal ein paar Gedanken gemacht und halte es für egal, ob die Netzeingabe oder die Aktivierung für die Errechnung des Fehlersignals verwendet wird. Voraussetzung ist allerdings, dass keine hard limit-Aktivierungsfunktion verwendet wird, da das Netz sonst mMn sehr viel undynamischer wird. Definiert ist das Fehlersignal aber so, wie es im Artikel steht, demnach sollte es dort auch so bleiben. MfG --Adlange ☎ B 12:13, 21. Apr. 2010 (CEST)
thread_title:  Ableitung der Fehlerfunktion 

message: Möglicherweise habe ich etwas missverstanden aber für mich sieht es so aus als würde das Lernen (Backpropagation#Herleitung) nur bei kleinen Zahlen (genauer: zwischen -1 und +1) funktionieren?
Ein Beispiel:
Ein einfaches Neutron in der Ausgabeschicht. Um das ganze möglichst einfach zu halten sind gibt es 2 Eingaben die konstant den Wert 2 liefern (Also x1 und x2 sind 2). Die Ausgabe (Soll-Ausgabe bzw. t_{j}) soll konstant 1000 betragen. Um es einfach zu machen die Aktivierungsfunktion o_{j}=\varphi={net}_{j} d.h. \varphi' = 1.
Wenn ich das richtig verstanden habe gilt dann für den Fehler:
\delta_{j}=\varphi'(\mbox{net}_{j})(t_{j}-o_{j}) bzw. weil die \varphi' = 1 ist: \delta_{j}=(t_{j}-o_{j}) D.h. in dem konkreten Fall (bei einer initialisierung der Gewichte mit 0) ergibt sich \delta_{j}=(1000-0)=1000.
Wenn ich das in die Fehlerfunktion: \Delta w_{ij}= -\eta \dfrac{\partial E}{\partial w_{ij}} = \eta \delta_{j} x_{i} einsetze (die Lernrate \eta ist der Einfachheit halber 1) kommt folgendes heraus: 
\Delta w_{ij} = 1 * 1000 * 2 = 2000
Das neue \Delta w_{1} bzw. \Delta w_{2} wäre dann also 2000 und die nächste tatsächliche Ausgabe ist X1*w1+x2*w2 d.h. 2*2000+2*2000 = 8000. Das Neuron hat also nichts gelernt sondern ist im Gegenteil "dümmer" geworden. 
Fehlt in dem Artikel die Einschränkung auf den Wertebereich -1 bis +1 oder - was wahrscheinlicher ist - hab ich etwas falsch verstanden? ZeugeDerNacht (Diskussion) 16:32, 7. Mai 2015 (CEST)
thread_title:  Nur für Zahlen <1? 

message: Ist die Fehlerrückführung mit Generational Adversarial Networks (GANs) identisch? Zu diesen fehlt sowieso noch dringend ein deutscher Artikel, bedenkt man, das wohl in nächster Zukunft eine große Menge an KI-Anwendungen darauf basieren wird. --79.242.203.134 08:19, 10. Jun. 2017 (CEST)
replies: text: Generative Adversarial Networks, Backpropagation wird dort beim Training auch benutzt. biggerj1 (Diskussion) 09:00, 18. Jul. 2021 (CEST)
thread_title:  Abgrenzung zu GANs