Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03569.jsonl.gz/29

Nächste Seite: AUTOASSOZIATOREN
Aufwärts: METHODEN ZUR DEFINITION VON
Vorherige Seite: METHODEN ZUR DEFINITION VON
  Inhalt
kann die wechselseitige Information zwischen
Ein- und Ausgaben von sein (siehe Abschnitt 5.2).
Aus den folgenden Gründen wurde Infomax
in den später zu beschreibenden Experimenten
nicht verwendet:
(a) Es ist keine effiziente und allgemeine Methode
zur Maximierung wechselseitiger Information bekannt.
(b) Infomax würde bei unserem grundlegenden Ansatz
nur dann Sinn machen, wenn es automatisch hohe Varianz
der Ausgaben von zur Folge hätte.
Dies ist zwar der Fall bei den vereinfachenden, von Linsker
studierten Rauschmodellen. Für den allgemeinen Fall
trifft dies allerdings nicht zu.
(c) Selbst unter Annahme geeigneter Gaussscher Rauschmodelle
erfordert Infomax bei nichtskalaren, vektorwertigen
Klassifikationen die Maximierung von Funktionen
der Determinante der Kovarianzmatrix der Klassifikationskomponenten
(MAX, siehe Abschnitt 5.2.1).
Juergen Schmidhuber
2003-02-20
Related links in English: Recurrent networks - Fast weights - Subgoal learning - Reinforcement learning and POMDPs - Unsupervised learning and ICA - Metalearning and learning to learn
Deutsche Heimseite