Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03245.jsonl.gz/164

Jede Fokustrajektorie schließt diskrete Zeitschritte 1 ... ein.
Zum Zeitpunkt der Trajektorie heißt 's Eingabevektor
.
ergibt sich aus den sensorischen Eingaben des Fokus zur Zeit .
's Ausgabevektor zur Zeit heißt
.
wird als Steuersignal für den Fokus interpretiert und verursacht
eine Fokusbewegung und damit eine neue Eingabe .
Die finale gewünschte Eingabe der Trajektorie
ist ein extern vorgegebenes Aktivationsmuster und korrespondiert zu
dem in der visuellen Szene zu findenden Objekt. Für alle ist
.
Zunächst nehmen wir an, daß
für alle Trajektorien konstant ist (es soll also immer
dasselbe Detail der Szene gefunden werden).
's Aufgabe besteht darin, startend von beliebig vorgegebenen
Anfangspositionen Sequenzen von Fokusbewegungen zu produzieren, so daß
für alle Trajektorien gilt:
.
Der finale Eingabefehler
der zum Zeitschritt unterbrochenen Trajektorie ist
Die ergeben sich also aus den Differenzen zwischen den gewünschten und den tatsächlichen finalen Eingaben.
Das Modellnetzwerk sieht zu einem gegebenen Zeitpunkt 's Ein- und Ausgabe und wird darauf trainiert, 's nächste Eingabe zu prophezeien. Die folgende Diskussion bezieht sich auf den Fall, daß und parallel lernen. In einigen Experimenten werden wir separate Trainingsphasen für und verwenden, die Änderungen für diesen Fall sind aber trivial und hauptsächlich notationeller Art.
's Eingabevektor zur Zeit der Trajektorie
ist die Konkatenation von
und .
's Ausgabevektor zur Zeit der Trajektorie ist ,
wobei
.
's Fehler zur Zeit der Trajektorie ist
's Ziel ist die Minimierung von
,
wozu BP verwendet wird:
Dem Systemidentifikationsansatz folgend nehmen wir nun an, daß
durch eine differenzierbare Funktion von 's
Gewichtsvektor angenähert werden kann.
Um
Dabei ist das Inkrement von und 's Lernrate. Man beachte, daß die Differenz zwischen der gewünschten finalen Eingabe und der tatsächlichen finalen Eingabe zur Berechnung eines Gradienten für unter Zuhilfenahme von herangezogen wird, nicht die Differenz zwischen der gewünschten finalen Eingabe und der von vorhergesagten finalen Eingabe (siehe auch Kapitel 6). (In den unten beschriebenen Experimenten weichen wir vom reinen Gradientenabstieg ab und ändern 's Gewichte am Ende jeder Trajektorie.)