Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03432.jsonl.gz/1000

Barlow et. al
[5]
untersuchen das schwierige Problem,
faktorielle Binärcodes zu finden. Jede Komponente von
darf dabei nur die Werte 0 oder 1 annehmen.
Barlow et. al zeigen, daß
die Minimierung der
Bitentropiesumme
|(5.11)|
Barlow et. al. geben einige `nicht-neuronale' heuristische sequentielle Methoden an, um Codes mit niedriger Bitentropiesumme zu finden. Die einzige sichere bekannte sequentielle Methode besteht jedoch in der erschöpfenden Suche, einem Verfahren, das sich aufgrund des mit der Größe des Codes exponentiell wachsenden Aufwands von selbst verbietet (es ist durchaus möglich, daß das allgemeine Problem des Finden faktorieller Codes NP-vollständig ist).
Bis vor kurzem war auch kein `neuronaler' unüberwachter Lernalgorithmus zur Entdeckung faktorieller Repräsentationen bekannt. Wegen der potentiellen Bedeutung derartiger Repräsentationen wird das nächste Kapitel jedoch zeigen, wie durch Umformulierung des Problems und Definition geeigneter Performanzmaße gradientenbasierte Algorithmen zur Auffindung faktorieller Codes hergeleitet werden können.