Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03322.jsonl.gz/55

Es scheint, daß menschliche Subjekte sich vor allem auf unerwartete und atypische Ereignisse konzentrieren. Häufig versucht man, neue atypische Ereignisse durch früher beobachtete atypische Ereignisse zu erklären. Im Lichte des Prinzips der Geschichtskompression erscheint dies als eine höchst sinnvolle Verhaltensweise.
Sobald ehemals unerwartete Ereignisse zu erwarteten Ereignissen werden, tendieren sie dazu, ins `Unterbewußte' abzugleiten. Man könnte hier eine Analogie zum Ablauf der verschiedenen in diesem Kapitel besprochenen Algorithmen ziehen: Die `Aufmerksamkeit' der höchsten Ebene wird von den erwarteten Ereignissen abgelenkt und fokussiert sich auf die als neuartig empfundenen Ereignisse - erstere werden dabei `automatisiert' und erlauben somit der obersten Schicht (entfernt dem `Bewußtsein' vergleichbar) `Abstraktionen' auf höherer Ebene. Eine derartige Betrachtung lieferte in der Tat die Inspiration für die Bezeichnung `Automatisierer' in der Kollapsarchitektur.
Im Kontext sequenzverarbeitender KNNs macht das Prinzip der unüberwachten Geschichtskompression die Kettenregel zwar nicht obsolet, weist ihr jedoch eine weniger zentrale Rolle zu. Das Prinzip gibt Anlaß zu neuen Architekturen und Zielfunktionen, die die Kettenregel in einer eher lokalen (statt wie früher globalen) Manier zum Einsatz bringen. Welche Ereignisse von auf der Kettenregel basierenden Gradientenabstiegsalgorithmen überhaupt noch berücksichtigt werden, wird mit Hilfe des Kompressionsprinzips entschieden. Dadurch können, wie gesehen, unter Umständen gewaltige Ressourceneinsparungen erzielt werden. Die zentrale Botschaft dieses Kapitels lautet: Unüberwachte Performanzmaße zur Entdeckung kausaler Regelmäßigkeiten im Eingabestrom können zielgerichtetes Lernen in dynamischen Umgebungen unterstützen.
Die Anwendbarkeit des Prinzips der Geschichtskompression beschränkt sich nicht auf neuronale Netzwerke. Jeder adaptive sequenzverarbeitende Mechanismus könnte (und sollte vielleicht auch) davon Gebrauch machen.