Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03452.jsonl.gz/1143

Nächste Seite: ALTERNATIVE VERWENDUNGEN DER KETTENREGEL
Aufwärts: ABLEITUNG DER ALGORITHMEN
Vorherige Seite: ABLEITUNG DER ALGORITHMEN
  Inhalt
Analog zu den Algorithmen aus Kapitel 2 spart sich
die off-line Version des Algorithmus die Ausführung
der Gesamtgewichtsänderung für (die Summe aller durch einzelne
Zeitschritte verursachten Gewichtsänderungen)
bis Abschluß der Präsentation aller
Trainingssequenzen auf.
Die entsprechende on-line-Version
ändert zu jedem Zeitschritt jeder Trainingssequenz.
Die interessante Eigenschaft der on-line-Version besteht
wiederum darin, daß die Notwendigkeit zur Spezifikation von
Trainingssequenzbegrenzungen entfällt.
Die Lernrate muß wieder klein
genug sein, um Instabilitäten zu verhindern: Nur
im asymptotischen Fall (bei gegen Null gehender Lernrate) vollzieht
man exakten Gradientenabstieg im Performanzmaß.
Akzeptable Lernraten lassen sich gegenwärtig nur durch
Experimente finden. Die später zu beschreibenden Experimente
legen für Werte zwischen und nahe.
Juergen Schmidhuber
2003-02-20
Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite