Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03533.jsonl.gz/177

Aufbauend auf dem Prinzip der Geschichtskompression konstruieren wir eine sich selbst organisierende hierarchische Prediktorenarchitektur. Die Eingabe für jede Ebene der Hierarchie stammt aus der nächst niedrigeren Ebene. Das System entdeckt in unüberwachter Manier kausale Abhängigkeiten im Eingabestrom und lernt, signifikante informationstragende Ereignisse von anderen zu unterscheiden. Dabei lernt es, sowohl lokalere als auch globalere zeitliche Regularitäten auf verschiedenen Ebenen der Architektur widerzuspiegeln7.2.
Die Aufgabe des Systems kann als Prediktionsaufgabe formuliert werden. Zu jedem Zeitpunkt besteht das Ziel darin, die neue Eingabe aus bereits beobachteten Eingaben vorherzusagen. Falls ein zusätzlicher Lehrer zu bestimmten Zeitpunkten bestimmte Ausgaben fordert, werden diese gewünschten Ausgaben als Teil der vorherzusagenden Eingabe betrachtet. Die Methode vereinfacht das in [101] vorgestellte Verfahren.