Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03563.jsonl.gz/2736

Nächste Seite: EIN NACHTEIL OBIGER VERFAHREN
Aufwärts: PERFORMANZMASSE FÜR DIE DREI
Vorherige Seite: REELLWERTIGE CODES
  Inhalt
Man kann zur Gewinnung binärer Codes auf den
Autoassoziator verzichten und in (6.6)
setzen.
In diesem Fall bliebe die Maximierung von
Warum sollte dies zur Erzielung von Reversibilität ausreichen?
Die Minimierung des
-Terms verhindert, daß verschiedene Repräsentationsknoten
dieselbe (und damit redundante)
Information über den gegenwärtigen Eingabevektor
liefern.
Jeder Repräsentationsknoten wird lokal ermutigt,
seine Entropie zu maximieren, während er gleichzeitig
versucht, Information aus der Umgebung
zu extrahieren, die nicht bereits in anderen
Repräsentationsknoten enthalten ist.
Reversible Codes werden also favorisiert, obwohl es
keinen globalen Reversibilitätsterm mehr gibt.
Juergen Schmidhuber
2003-02-20
Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite