Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03109.jsonl.gz/38

Bei diesem Experiment wurde das System mit einem kontinuierlichen Strom von Eingabeereignissen versorgt. 's Aufgabe bestand darin, seinen einzelnen Ausgabeknoten genau dann anzuschalten, wenn das Ereignis `B' zum ersten Mal nach einem zu einem beliebigen vorherigen Zeitpunkt stattgefundenen Ereignis `A' auftrat. Zu allen anderen Zeitpunkten sollte der Ausgabeknoten ausgeschaltet bleiben. Dies entspricht im wesentlichen der in [150] durch ein rekurrentes Netz gelösten `flip-flop'-Aufgabe.
Eine Schwierigkeit besteht bei diesem Problem darin, daß zwischen korrelierten Ereignissen im Prinzip beliebig lange zeitliche Verzögerungen eintreten können. Eine weitere Schwierigkeit liegt in der Abwesenheit von Information über Traininingssequenzbegrenzungen. Die Aktivationen und Gewichte der beteiligten Netze wurden zu keinem Zeitpunkt rückgesetzt oder von neuem initialisiert. Von Ereignissen aus früheren Trainingssequenzen verursachte Aktivationen konnten somit im Prinzip destruktiven Einfluß auf die Verarbeitung späterer Sequenzen nehmen.
Sowohl als auch besaßen die Topologie eines Standard-Perzeptrons:
verfügte über 3 Eingabeknoten für 3
mögliche Eingabeereignisse `A', `B', and `C', welche in lokaler Manier
repräsentiert wurden:
Der Eingabevektor stand für `A',
stand für `B',
stand für `C'.
Zu einem gegebenen Zeitpunkt wurden die Eingabeknoten von durch
einen zufällig ausgewählten Eingabevektor aktiviert.
's Ausgabe war eindimensional.
besaß 3 Eingabeknoten für die
möglichen Ereignisse `A', `B', and `C'.
Bei Verwendung von Architektur 1
verfügte weiterhin
über 3 Ausgabeknoten, einen für jedes schnelle Gewicht in .
Bei Verwendung von Architektur 2
besaß
4 Ausgabeknoten, drei für 's Eingabeknoten und einen für 's
Ausgabeknoten.
Keines der Netze benötigte für die Aufgabe versteckte
Knoten.
Die Aktivierungsfunktion aller Ausgabeknoten war die
Identitätsfunktion.
Die Gewichtsmodifikationsfunktion (3.2) für die schnellen Gewichte
war durch
|(3.9)|
' `langsame' Gewichte wurden zufällig zwischen -0.1 und 0.1 initialisiert. Die Aufgabe galt als gelöst, falls für 100 aufeinanderfolgende Zeitschritte 's Ausgabefehler den Wert 0.05 nicht überstieg. Wurden die schnellen Gewichte gemäß Architektur 1 und Gleichung (3.4) geändert, fand das System bei und innerhalb von 300 Zeitschritten eine Lösung. Änderten sich die schnellen Gewichte hingegen gemäß Architektur 2 und Gleichung (3.5) (dies bedeutete 4 Ausgabeknoten für ), benötigte das System bei und 800 Zeitschritte zur Lösung des Problems.
Typischerweise besaßen die gefundenen Algorithmen folgende Eigenschaften: Der Auftritt eines `A'-Signals wurde von durch die Kreierung eines starken schnellen Gewichts für die von dem zu `B' gehörigen Eingabeknoten ausgehende Verbindung in beantwortet. Damit wurde das -Netzwerk zu einem `B'-Detektor. Trat nun irgendwann das `B'-Signal auf, `reinitialisierte' das -Netz, indem es das schnelle Gewicht auf der von dem zu `B' gehörigen Eingabeknoten ausgehenden Verbindung in wieder dramatisch schwächte. Dadurch wurde bis zur Beobachtung des nächsten `A's unempfindlich gegenüber weiteren `B'-Signalen.