Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03445.jsonl.gz/1108

Alle bisher behandelten Algorithmen betreiben stets sturen Gradientenabstieg im Performanzmaß, wobei jede Aktion zu jedem Zeitpunkt in gleichberechtigter Weise zur Berechnung des Gradienten herangezogen wird. Dieser Ansatz ist zwar allgemein, verzichtet jedoch auf möglichen Effizienzgewinn im folgenden Sinne: In vielen typischen Umgebungen lassen sich Lösungen für neu auftretende Probleme in hierarchischer Weise aus Lösungen für weniger komplexe, schon bekannte Probleme zusammensetzen. In solchen Fällen wäre es in der Tat Zeit- und Ressourcenverschwendung, jedes Detail einer bisher unbekannten umfangreichen Aktionssequenz aufs Neue zu lernen, wenn es statt dessen irgendwie möglich wäre, auf höherem Niveau denselben Effekt durch das geeignete Zusammensetzen bereits existierender `Unterprogramme' zu erlernen ( teile und herrsche!).
Im folgenden untersuchen wir eine hierarchische Architektur, die auf derartige Situationen zugeschnitten ist. Statt Aktionen zu beliebigen Zeitpunkten zu betrachten, konzentriert sich der problemlösende Teil der Architektur auf das Finden geeigneter Schnittstellen (den Subzielen) zwischen u.U. langen Aktionsuntersequenzen (den Unterprogrammen).
Wie im letzten Abschnitt beruht die Architektur auf einem differenzierbaren Modell der Effekte bestimmter Netzausgaben auf ein `distanziertes Performanzmaß'. Ein- und Ausgaben dieses Modells werden jedoch mit einer im Vergleich zum letzten Abschnitt sehr unterschiedlichen Interpretation belegt. Sie lassen sich in von Abschnitt 4.1 abweichender Weise zur Gradientenbestimmung heranziehen.
Wie immer leiten wir nach der Definition von Architektur und Zielfunktion mittels Kettenregel den Lernalgorithmus (diesmal einen für adaptive Subzielgenerierung) ab. Experimente zur adaptiven Hindernisvermeidung illustrieren schließlich die Arbeitsweise des Verfahrens.