Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03112.jsonl.gz/3024

Zum Zeitpunkt der Sequenz ist
die (weiter unten zu definierende) Eingabe eines
Autoassoziators
mit versteckten Knoten,
Eingabeknoten, und
Ausgabeknoten.
's interner Zustandsvektor (ablesbar von einem
`Flaschenhals' versteckter Knoten) heißt
.
's -dimensionaler Ausgabevektor
wird mit bezeichnet. Zu jedem Zeitschritt versucht
mittels BP, seine eigene Eingabe zu rekonstruieren.
's Zielfunktion ist dabei
Zum Zeitpunkt der Sequenz erhält ein azyklisches BP-Netz
den Vektor
als Eingabe.
Um die Dinge nicht über Gebühr zu verkomplizieren, nehmen
wir auf (theoretisch eigentlich notwendige) eindeutige
Zeitrepräsentationen keine Rücksicht.
's -dimensionaler Ausgabevektor soll nach
der Trainingsprozedur die Wahrscheinlichkeitsverteilung der
möglichen approximieren. Daher wird so
normalisiert,
daß stets
gilt (siehe z.B. Abschnitt 5.3).
Für sind und folgendermaßen definiert:
Der Effekt dieses Vorgehens ist: Solange sich die nächste Eingabe aus der vorherigen Eingabe und dem vorherigen reduzierten Zustand als (nahezu) vorhersagbar erweist, bleibt die Eingabe des Autoassoziators im wesentlichen invariant. Nur die wirklich unerwarteten Ereignisse generieren neue Zielwerte für - damit wird dazu angehalten, ausschließlich informationstragende Ereignisse in seine internen Repräsentationen einzubinden. Es sollte erwähnt werden, daß obige Methode wiederum nur eine von mehreren Möglichkeiten darstellt, das grundlegende Prinzip zu implemetieren.