Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03128.jsonl.gz/466

Nächste Seite: Sequenzgenerierung
Aufwärts: Die Experimente
Vorherige Seite: Woher können Instabilitäten kommen?
  Inhalt
Ein weiterer Aufgabentyp, an dem Lernverfahren für versteckte
Knoten (BP, Boltzmann Maschine)
häufig getestet werden, ist durch die Dekodierprobleme
gegeben. In unserem Fall bestand das Problem
darin, die acht achtdimensionalen binären
Muster mit Einheitslänge jeweils mit sich selbst zu assoziieren.
Ein `Informationsflaschenhals' (bottleneck) sorgte dafür, daß
das Problem nicht trivial wurde: Acht Eingabeknoten waren mit drei
jeweils zwei Knoten umfassenden WTA-Einheiten `vorwärtsverbunden'.
Von den drei versteckten WTA-Einheiten gingen
Verbindungen zu einer acht Ausgabeknoten umfassenden WTA-Einheit
aus. Zusätzlich war ein `wahrer' Knoten mit allen Nicht-Eingabeknoten
verbunden. Da jede versteckte WTA-Einheit nur zwei verschiedene
Aktivationszustände annehmen konnte, war der Lernalgorithmus
gezwungen, eine extreme Lösung zu finden: Die gesamte
Repräsentationskapazität
( mögliche Zustände) des `Flaschenhalses' mußte
ausgeschöpft werden. Man beachte, daß bei BP-Netzen mit analoger
Struktur (mit 3 versteckten Knoten) dank der reellwertigen
Aktivierungsfunktionen wesentlich mehr
Repräsentationskapazität im Flaschenhals steckt.
Das Vorgehen in diesem Fall illustriert, wie der Eimerkettenmechanismus
in überwachter Manier angewendet werden kann. Im Gegensatz zu
dem bei den XOR-Experimenten verwendeten Verfahren
wurden nämlich auch Verbindungen
zu denjenigen Ausgabeknoten gestärkt, die in Reaktion auf ein angebotenes
Eingabemuster aktiv hätten sein sollen, obwohl sie vielleicht
irrtümlicherweise ausgeschaltet blieben. Abgesehen von dieser
Änderung wurde die oben beschriebene Lern- und Prüfprozedur
vollständig übernommen.
Bei zehn Testläufen erwiesen sich durchschnittlich
1364 Musterpräsentationen pro Muster als notwendig, um eine
Lösung zu finden. Es schien jedoch nicht möglich,
die Lösungen für drei versteckte WTA-Einheiten vollständig zu stabilisieren.
Erweiterte man den Flaschenhals auf vier versteckte WTA-Einheiten, so
waren 2460 Präsentationen pro Muster notwendig, um dem
Stabilitätskriterium Genüge zu tun.
Mit dem analogen ---Dekodierproblem schienen die
Grenzen des Lernverfahrens erreicht: Hier wurden bei verschiedenen
Testläufen keine vollständigen Lösungen erzielt. Erneut sei
darauf hingewiesen, daß nicht behauptet werden soll, daß
die neuronale Eimerkette perfekt sei. Es geht vielmehr
darum, nachzuweisen, daß zumindest in einigen Fällen
vollständig lokales Lernen
und nicht-lineare Lernprobleme
kompatibel sind.
Nächste Seite: Sequenzgenerierung
Aufwärts: Die Experimente
Vorherige Seite: Woher können Instabilitäten kommen?
  Inhalt
Juergen Schmidhuber
2003-02-20
Related links in English: Recurrent neural networks - Subgoal learning - Reinforcement learning and POMDPs - Reinforcement learning economies - Selective attention
Deutsche Heimseite