Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03225.jsonl.gz/988

Nächste Seite: Varianten der Dekodierprobleme
Aufwärts: XOR-Varianten
Vorherige Seite: XOR-Varianten
  Inhalt
Was ist die Quelle möglicher Instabilitäten?
Wie zu erwarten, ergaben
experimentelle Beobachtungen, daß miteinander im
Wettbewerb stehende Knoten einer WTA-Einheit zu einem
gegebenen Zeitpunkt oft sehr ähnliche
Netzeingaben hatten. Das wiederum kann man auf eine Eigenschaft
der neuronalen Eimerkette zurückführen: Das Gewicht einer Verbindung,
die zu einem den Wettbewerb verlierenden Knoten führt,
ändert sich nicht. Man betrachte einen Knoten ,
welcher nicht an einer die korrekte
Klassifikation eines Musters (mit)verursachenden Eimerkette
teilnimmt. Auf führende Verbindungen ändern sich nicht.
Werden sie jedoch während einer in ähnlichem Kontext
stattfindenden korrekten Klassifikation eines Musters leicht
erhöht, so mag das
auch bei der nächsten Präsentierung von zu einer Gewinnersituation
für führen. Daraus wiederum mag eine inkorrekte Klassifikation
von resultieren. Das Zusammenspiel solcher Effekte stellt eine
potentielle Quelle von Instabilitäten dar.
Es wurden auch Experimente für den Fall durchgeführt, daß die
Eingabemuster für aufeinanderfolgende Trainingszyklen nicht
aufgrund zufälliger Auswahl, sondern in
periodischer sequentieller Ordnung angeboten
werden. Dabei stieg die durchschnittliche
Zeitdauer bis zum Auffinden sowohl unstabiler als auch
stabiler Lösungen an. Dies suggeriert einen stabilisierenden
Effekt des Zufallselements bei der Musterauswahl.
Es gibt mindestens zwei Möglichkeiten,
anfänglichen Instabilitäten während der Lernphase entgegenzutreten.
Von der wohl einfachsten Möglichkeit wurde bereits bei den obigen Experimenten
mit Erfolg Gebrauch gemacht: Man wartet einfach, bis die Fluktuationen
zurückgehen, und sich das System stabilisiert.
Die zweite Möglichkeit ist:
Man wartet bei einer gegebenen Aufgabe auf das erste
Auftreten einer Lösung, und fixiert dann alle Gewichte.
Nächste Seite: Varianten der Dekodierprobleme
Aufwärts: XOR-Varianten
Vorherige Seite: XOR-Varianten
  Inhalt
Juergen Schmidhuber
2003-02-20
Related links in English: Recurrent neural networks - Subgoal learning - Reinforcement learning and POMDPs - Reinforcement learning economies - Selective attention
Deutsche Heimseite