Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03550.jsonl.gz/124

wird aus durch ein rekurrentes Netz mit Eingabeknoten und Nichteingabeknoten berechnet. Eine Teilmenge der Nichteingabeknoten wird als die Menge der `normalen' Ausgabeknoten (mit Kardinalität ) bezeichnet.
Der notationellen Bequemlichkeit halber werde ich im folgenden verschiedene Bezeichner für die reellwertige Aktivation ein und desselben Knotens vergeben.
steht für den -ten Knoten im Netz. repräsentiert den -ten Nichteingabeknoten. stellt den -ten `normalen' Eingabeknoten dar. bezeichnet den -ten `normalen' Ausgabeknoten. Steht für einen Knoten, so denotiert seine Aktivation zum Zeitpunkt . Stellt einen Vektor dar, so bezeichnet seine -te Komponente (dies steht nicht im Widerspruch zum vorangegangenen Satz). Einer der `normalen' Eingabeknoten heißt . Es gilt für alle . Der Zweck der verbleibenden Eingabeknoten wird sich im Abschnitt 8.1.2 klären, welcher die `selbstreferentiellen' Aspekte der Architektur beschreibt.
Jeder Eingabeknoten ist Quelle gerichteter Verbindungen zu allen Nichteingabeknoten. Jeder Nichteingabeknoten weist ebenfalls gerichtete Verbindungen zu allen Nichteingabeknoten auf. Offensichtlich gibt es Verbindungen im Netz. Die Verbindung vom Knoten zum Knoten trägt den Namen . Einer der Namen der Verbindung vom -ten `normalen' Eingabeknoten zum -ten `normalen' Ausgabknoten ist demzufolge . s rellwertiges Gewicht zum Zeitpunkt wird mit bezeichnet. Vor Beginn der Trainingsphase werden alle Anfangsgewichte zufällig initialisiert.
Die folgenden Definitionen werden den Leser an Kapitel 2
erinnern:
Für `normale' Eingabeknoten
ist als die -te Komponente des Eingabevektors
definiert.
Die Spezifizierung der
Aktivationen der verbleibenden Eingabeknoten bleibt Abschnitt
8.1.2 vorbehalten.
Für Nichteingabeknoten
definieren wir
|(8.1)|
Der gegenwärtige Algorithmus des Netzes ist durch seine augenblickliche Gewichtsmatrix (sowie die gegenwärtigen Aktivationen) gegeben. Man beachte jedoch, daß die Berechnung der noch nicht spezifiziert wurde. In früher besprochenen Systemen wurden Gewichtsänderungen mindestens eines beteiligten Netzes ausschließlich durch einen festgeschriebenen Lernalgorithmus verursacht. Nicht so jedoch im vorliegenden Fall, wie der nächste Abschnitt zeigen wird.