Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03378.jsonl.gz/2783

Becker und Hinton (1989) lösen symmetrische Probleme durch Maximierung der wechselseitigen Information zwischen den Ausgaben von und (IMAX). Dies dient ebenfalls zur Auffindung informativer und dennoch wechselseitig vorhersagbarer Eingabeklassifikationen.
Die zu maximierende Zielfunktion ist
|(5.17)|
Ist die Ausgabe jedes Klassifikators eindimensional, so
wird (5.17) unter gewissen vereinfachenden Gaussschen Annahmen zu
Becker und Hinton berichten allerdings, daß ihr mit probabilistischen Ausgabeknoten ausgestattetes System die oben beschriebenen Stereoaufgabe nur dann zu lösen imstande war, wenn der Algorithmus in sukzessiven `bootstrap'-Stufen angewendet wurde. Auch mußte die Lernrate während der Lernphase geeignet adjustiert werden. Schließlich erwies sich eine obere Schranke für die maximale Gewichtsänderung pro Gradientenanstiegsiteration als erforderlich.
Keine derartigen Tricks waren notwendig, um dieselbe Aufgabe mit unserem alternativen System (siehe Abschnitte 5.5.3 und 6.6.5) zu lösen.
In [35] wird nur der Fall
eindimensionaler Ausgaben
beider Klassifikatoren betrachtet.
In [155] beschäftigen sich Zemel und Hinton
hingegen
mit der Möglichkeit, daß
jeder Klassifikator über mehr
als einen Ausgabeknoten verfügt.
Es wird zunächst von neuem die einschränkende
Annahme Gauss-verteilter Signale gemacht.
Dann läßt sich (5.17) wieder umformulieren - zu maximieren bleibt
|(5.18)|