Deep Reinforcement Learning for POMDPs

Deep reinforcement learning has made a big impact in recent years by achieving human level game play in the Atari 2600 games just using images as input and by learning robot control policies end-to-end from images to motor signals tasks, which were previously intractable for classical reinforcement learning. For learning these control policies based on deep neural networks policy search methods, such as deep deterministic policy gradient (Lillicrap et al., 2015) and especially trust region policy optimization (Schulman et al., 2015), have been very successful, also in transferring insights and past approaches of classical reinforcement learning to deep neural networks. In this thesis we build up this previous work and derive a new algorithm for deep neural networks, called compatible policy search (COPS), based on the idea of the natural gradient, compatible value function approximation, entropy regularization and relative entropy policy search (Peters et al., 2010). In our experiment we investigated the capability of COPS and other policy search methods in challenging partially observable environments: RockSample, where the agent needs to take information gathering into account and Pocman, a large scale partially observable Markov decision processes (POMDP) with ca. 1056 underlying states. We present results where COPS outperforms all other six policy search methods and where the additional entropy regularization constraint, bounding the entropy of the new policy, is essential for exploration and for finding a good policy in these partially observable environments. Furthermore, to encourage additional exploration in these partially observable environments we will propose a factored context tree switching model for POMDPs, which we use for a pseudocount based exploration bonus and leads to additional performance gains. Zusammenfassung In den letzten Jahren hat Deep Reinforcement Learning große Wellen geschlagen. Es hat zum Beispiel nur auf Basis der Bildschirmausgabe die Atari 2600 Konsolenspiele gemeistert und wurde erfolgreich zum Lernen einer künstlichen Intelligenz, die End-zu-End von Kamerabildern die Steuersignale eines Roboters lernen soll, eingesetzt Aufgaben, die für klassisches Reinforcement Learning bis jetzt unlösbar waren. Für das Lernen dieser künstlichen Intelligenzen zur Steuerung der Roboter oder Agenten mit Hilfe tiefer neuronaler Netze haben sich Policy Search Methoden wie „Deep Deterministic Policy Gradient“ (Lillicrap et al., 2015) und besonders „Trust Region Policy Optimization“ (Schulman et al., 2015) als erfolgreich erwiesen und waren in der Lage, vergangene Erkenntnisse und Ansätze aus dem Bereich des klassischen Reinforcement Learning auf tiefe neuronale Netze zu transferieren. In dieser Arbeit schließen wir an diese Methoden an und leiten einen neuen Policy Search Algorithmus für tiefe neuronale Netze her, genannt „Compatible Policy Search“ (COPS), basierend auf der Idee von „Natural Gradient“, „Compatible Value Function Approximation“, „Entropy Regularization“ und „Relative Entropy Policy Search“ (Peters et al., 2010). In Experimenten untersuchten wir die Anwendungsmöglichkeiten dieses neuen Algorithmus und anderer Policy Search Methoden für herausfordernde partiell observierbare Umgebungen: Für die „RockSample“ Umgebung, die das Sammeln von Informationen über den wahren Zustand der Welt erfordert und für die „Pocman“ Umgebung, welche ein riesiger „Partially Observable Markov Decision Process“ (POMDP) mit ca. 1056 Weltzuständen ist. Wir zeigen Ergebnisse, in denen COPS alle anderen sechs Policy Search Algorithmen übertrifft und in welchen die Nebenbedingung zur Begrenzung der Entropie der neuen Policy essentiell zur Exploration und zum Lernen einer guten Policy in diesen partiell observierbaren Umgebungen ist. Des Weiteren, um zusätzliche Exploration in diesen partiell observierbaren Umgebungen zu fördern, stellen wir in dieser Arbeit ein Modell, das auf dem „Context Tree Switching“ Algorithmus basiert, für POMDPs vor. Dieses Modell kann verwendet werden, um einen Explorationsbonus zu berechnen, basierend auf der Idee von einem „Pseudocount“ und führt zu zusätzlichen Leistungssteigerung.