Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03480.jsonl.gz/2054

Normalerweise stellt eine Prediktorenhierarchie mit mehreren Ebenen den sichersten und schnellsten Weg dar, um den Umgang mit Sequenzen mit hierarchischer zeitlicher Struktur zu erlernen. Ein gewisser Nachteil des Multiebenensystems besteht jedoch darin, daß gewöhnlich nicht von vornherein bekannt ist, wieviele Ebenen benötigt werden. Ein weiterer Nachteil mag in gewissen Fällen darin gesehen werden, daß die Ebenen explizit voneinander getrennt sind, statt in ein und demselben Netzwerk repräsentiert zu werden.
Es ist jedoch bis zu einem gewissen Grad möglich, die Hierarchie in ein einzelnes Netz zu kollabieren. Der vorliegende Abschnitt liefert dazu Architektur und Zielfunktionen. Es soll allerdings gleich vorausgeschickt werden, daß wir hier zum ersten Mal ein mathematisch nicht exaktes Verfahren bekommen werden - es wird auf Gradientenabstieg in einer sich ändernden Funktion basieren und damit ein Potential für Instabilitäten aufweisen [110]. Ein Experiment mit unserer Standardaufgabe wird jedoch zeigen, daß auch die kollabierende Architektur konventionellen rekurrenten Netzen bei weitem überlegen sein kann.