Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03550.jsonl.gz/157

Ein Beispiel dafür liefern die wohl erstmals von von der Malsburg vorgeschlagenen `dynamischen Verbindungen' (e.g. [138]). Bei diesen handelt es sich um Kanten, deren Gewichte (= Synapsenstärken) sich innerhalb kürzester Zeit von Grund auf ändern können. Solche `schnellen Gewichte' stehen im Kontrast zu den in praktisch allen Netzwerkmodellen verwendeten `langsamen Gewichten', die sich nur durch wiederholte Trainingseinflüsse signifikant ändern und keine Kurzzeitspeicherfunktion übernehmen können.
Gerade so wie die rekurrenten Verbindungen des letzten Kapitels erlauben schnelle Gewichte dank ihres Potentials zur Implementierung zeitüberbrückender Speicherfunktionen dynamische Programmabläufe. Es gibt wenigstens drei Gründe, zu versuchen, Lernalgorithmen für dynamische Verbindungen abzuleiten.
Zum ersten gibt es in nahezu allen in der Literatur beschriebenen KNN wesentlich mehr Verbindungen als Knoten. Verwendet man also dynamische Verbindungen statt Knoten mit Rückkopplung zur Speicherung von Ereignissen, so gewinnt man an Speichereffizienz.
Zum zweiten scheinen dynamische Verbindungen ein ideales Mittel zur Implementierung temporärer Variablenbindungen in KNN darzustellen. Wie implementiert man eine temporäre Bindung? Naheliegenderweise durch einen Zeiger vom Variablennamen auf den gegenwärtigen Inhalt. Genau dafür sind schnelle Gewichte wie geschaffen3.2.
Zum dritten sind gewisse experimentell an biologischen Organismen gewonnene Resultate konsistent mit der Modellvorstellung dynamischer Verbindungen. [1] zeigt beispielsweise, daß sich die dynamische effektive Konnektivität zweier Neuronen innerhalb weniger 10 msec drastisch ändern kann.
Im folgenden wird erstmalig ein gradientenbasierter Lernalgorithmus für ein auf schnellen Gewichten basierendes dynamisches System abgeleitet. Wir folgen unserem üblichen Schema: Nach der Definition der Architektur und der Netzwerkdynamik leiten wir für dasselbe Performanzmaß, das schon im letzten Kapitel verwendet wurde, durch massive Anwendung der Kettenregel den entsprechenden Lernalgorithmus her. Einige Experimente (u.a. zur temporären Variablenbindung) illustrieren schließlich die Arbeitsweise des Verfahrens.