Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03153.jsonl.gz/117

Das oben verwendete Prinzip zur Geschichtskompression definiert Vorhersagefehler oder `Mismatche' in einer binären Art und Weise: Jeder Eingabeknoten, dessen Aktivation zu einem bestimmten Zeitpunkt nicht vorhersagbar war, zeigt ein unerwartetes Ereignis an. Jedes unerwartete Ereignis provoziert die Aktualisierung des internen Zustandes eines Prediktors auf höherer Ebene. Es gibt kein Konzept eines partiellen `Mismatches', oder einer `nahezu richtigen' Vorhersage. Es ist nicht möglich, ein Netz der höheren Ebene in Antwort auf ein `beinahe erwartetes' Ereignis `nur ein klein wenig' zu aktualisieren.
`Kontinuierliche Geschichtskompression' [119] begegnet dieser Kritik durch die folgenden Ideen (wir halten uns an die Notation aus Abschnitt 7.2):
Wir bedienen uns lokaler Eingaberepräsentation. Die Komponenten von werden so normiert, daß ihre Summe 1 ergibt (siehe z.B. Abschnitt 5.3). wird als Vorhersage der Wahrscheinlichkeitsverteilung der möglichen Eingaben interpretiert: ist die Vorhersage der Wahrscheinlichkeit, daß gleich 1 ist.
Die Entropie der Ausgabeknoten zur Zeit ,
|(7.6)|
Wieviel Information (relativ zum gegenwärtigen Prediktor)
wird dem lernenden System durch das Ereignis
übermittelt? Nach Shannon
[125] lautet die Antwort
Im folgenden werden wir eine Architektur entwerfen, die (im Shannonschen Sinne) informative Ereignisse stärkeren Einfluß auf die Geschichtsrepräsentation nehmen läßt als weniger informative Ereignisse. Die `Stärke' einer Netzwerkaktualisierung ist dabei eine monoton wachsende Funktion der vom beobachteten Ereignis übermittelten Information.