Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03245.jsonl.gz/2204

Die im vorliegenden Kapitel beschriebenen Methoden sind zumeist daraufhin angelegt, binäre oder zumindest quasi-binäre Codes finden (die einzige Ausnahme findet sich in Abschnitt 6.3.5). Jede an einem quasi-binären Code teilhaftige Codevariable liefert entweder einen konstanten Wert für alle Eingabemuster, oder sie nimmt für jedes gegebene Eingabemuster entweder den Wert 0 oder den Wert 1 an. Binäre Codes sind also ein Spezialfall quasi-binärer Codes. Da wir wie immer mit differenzierbaren Aktivationen hantieren wollen, werden wir unsere quasi-binären Codes ausgehend von reellwertigen Codes schaffen.
Ein binärer faktorieller Code muß drei Kriterien erfüllen:
1. Das Binärkriterium: Keine Codevariable darf Werte außer 1 oder 0 annehmen.
2. Das Reversibilitätskriterium: Es muß möglich sein, die Eingabe aus ihrer Codierung zu rekonstruieren. Ist die Umgebung zu komplex (oder zu `verrauscht'), um ohne Informationsverlust in der von der Kapazität her beschränkten internen Repräsentation codiert zu werden (i.e., im Falle binärer Codes bei mehr als Eingabemustern), wollen wir das Reversibilitätskriterium abschwächen. In diesem Falle sollten die internen Repräsentationen immer noch soviel Information wie möglich über die Eingaben übermitteln. Der Schwerpunkt dieses Kapitels liegt jedoch auf Situationen wie die von Barlow studierten [5]: Rauschfreie Umgebungen bei hinreichender Kapazität in , um alle Eingaben eindeutig und informationsverlustfrei zu repräsentieren. Unter diesen Voraussetzungen impliziert das Reversibilitätskriterium Linskers Infomax-Prinzip (Abschnitt 5.2).
3. Das Unabhängigkeitskriterium: Die Wahrscheinlichkeit,
daß ein beliebiges
Codesymbol einen bestimmten Wert annimmt,
soll unabhängig von den Werten
aller anderen Codesymbole sein.
Ist das Binärkriterium erfüllt, so können wir das
Unabhängigkeitskriterium wie folgt formulieren:
Wir fordern, daß
|(6.1)|