Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03258.jsonl.gz/1200

Die Kettenregel erlaubt die Herleitung mehr als eines Algorithmus zur Berechnung ein und desselben Gradienten. Robinson und Fallside wiesen als erste darauf hin, daß die Fehlerpropagierungsphase nicht unbedingt notwendig ist [79](siehe auch [78]). Es ist möglich, schon zur Laufzeit der Aktivierungsausbreitungsphase Information aufzusammeln, die sich bei der Beobachtung von späteren Fehlern sofort zur Berechnung eines Fehlergradienten heranziehen läßt. Der Vorteil dieses Verfahrens liegt darin, daß es bei fixer Netzgröße unabhängig von der Länge der zu erlernenden Sequenzen mit beschränktem Speicherplatz auskommt. Zu jedem Zeitpunkt einer Episode werden im wesentlichen die gleichen Operationen ausgeführt. Damit eignet sich die Methode für `on-line' Lernen, was ihr auch den Namen `Real-Time Recurrent Learning' (RTRL) eingetragen hat.
Wir lehnen uns wieder an Williams und Zipsers Beschreibung an [151] [150]. Verwandte Methoden finden sich in [68], [59], [3], [28] und [80].
Da der Gradient der Summe aller gleich der Summe der
entsprechenden Gradienten ist, genügt es, für jedes Gewicht
den Wert
Für den ersten Zeitschritt ist die entsprechende Ableitung .
Daher lassen sich mit initialisierte
Variablen
und
zur inkrementellen Berechnung der
einführen.
Zu jedem Zeitpunkt werden diese Variablen gemäß
On-Line versus Off-Line. Die off-line Version des Algorithmus spart sich die Ausführung der Gesamtgewichtsänderung (die Summe aller durch einzelne Zeitschritte verursachten Gewichtsänderungen) bis Abschluß der Präsentation aller Trainingssequenzen auf. Die entsprechende on-line-Version ändert die Gewichte zu jedem Zeitschritt jeder Trainingssequenz. Eine interessante Eigenschaft der on-line-Version ist, daß die Notwendigkeit zur Spezifikation von Trainingssequenzbegrenzungen entfällt (`all episodes blend into each other' [150]). Die Lernrate muß dabei natürlich klein genug sein, um kein Potential für Instabilitäten aufkommen zu lassen: Nur im asymptotischen Fall (bei gegen Null gehender Lernrate) vollzieht man exakten Gradientenabstieg in der Fehlersumme. Akzeptable Lernraten lassen sich gegenwärtig nur durch Experimente finden. Die später zu beschreibenden Experimente legen sowohl für die on-line Version als auch für die off-line Version für Werte zwischen und nahe.
Komplexität. Die Speicherkomplexität von RTRL beträgt , die Berechnungskomplexität pro Zeitschritt beträgt .
Es sollte erwähnt werden, daß es auch RTRL-Versionen für nicht-diskrete Zeit gibt [68] [28].
Vor allem die Zeitkomplexität macht das Verfahren für großmaßstäbliche Anwendungen unbrauchbar. Im folgenden Abschnitt lernen wir eine Methode kennen, die exakt denselben Gradienten berechnet, bei gleichem Speicheraufwand aber mal schneller ist.