Efficient Exploration using Value Bounds in Deep Reinforcement Learning Effiziente Exploration in Deep Reinforcement Learning mittels beschraenkter

Deep reinforcement learning (DRL) offers many opportunities in the machine learning area due to its ability to solve fundamentally different objectives using the same architecture and algorithm. Deepmind for instance has shown that the same configuration of deep Q-learning (DQN) can be used to achieve human-level performance in a vast number of different Atari games. However, DRL suffers from poor sample efficiency and is dominated by naive exploration strategies like the ε-greedy policy. DQN usually requires a vast number of experiences, which the agent samples through interactions with an environment, to learn good policies. This thesis investigates the usage of value bounds for faster reward propagation [21] in combination with bootstrapped DQN for deeper exploration [4]. Enforcing constraints on value functions potentially leads to more accurate estimations in poorly explored state spaces (early training). Several environments included in OpenAI’s Gym toolkit and a subset of Atari games are used to evaluate the proposed method w.r. t. its exploratory ability. It is demonstrated that performance can be improved in early training by a combination of deep exploration and fast reward propagation in some environments. However, results also show that the proposed method sometimes has difficulties to converge to an optimal solution. This thesis lays a foundation for future work in the area of more sophisticated exploration strategies in DRL, as the proposed algorithm requires improvement in some areas to consistently achieve good performance. Zusammenfassung Deep reinforcement learning (DRL) bietet aufgrund seiner Fähigkeit mittels eines identischen Agenten unterschiedliche Aufgaben zu lösen viele Möglichkeiten im Bereich des maschinellen Lernens. Deepmind zeigte zum Beispiel, dass dieselbe Konfiguration von Deep Q-Learning (DQN) verwendet werden kann, um in einer großen Anzahl verschiedener Atari-Spiele mit Menschen vergleichbare Leistung zu erzielen. DRL leidet jedoch unter einer schlechten Stichprobeneffizienz und wird von naiven Explorationsstrategien, wie z.B. ε-greedy, dominiert. DQN benötigt normalerweise eine große Anzahl an Daten, die durch Interaktion mit einer RL Umgebung gesammelt werden müssen, um gute Handlungsstrategien zu lernen. Diese Masterarbeit untersucht die Verwendung von beschränkten Nutzenfunktionen, für eine schnellere Ausbreitung von Belohnungen [21], in Kombination mit bootstrapped DQN für tiefere Exploration [4]. Die beschränkte Optimierung von Wertefunktionen kann insbesondere in wenig erforschten Zustandsräumen (frühes Training) zu genaueren Schätzungen führen. Das vorgestellte Verfahren wird auf verschiedenen Umgebungen des RL toolkits Gym und einigen Atari-Spielen bezüglich seiner explorativen Fähigkeit ausgewertet. Es wird gezeigt, dass die Leistung im frühen Training durch eine Kombination aus tiefer Exploration und schneller Ausbreitung von Belohnungen in mehreren Umgebungen verbessert werden kann. Allerdings wird auch gezeigt, dass das vorgestellte Verfahren gelegentlich Schwierigkeiten hat, zu einer optimalen Handlungsstrategie zu konvergieren. Diese Masterarbeit bildet ein Fundament für zukünftige Arbeiten im Bereich komplexerer Erforschungsstrategien in DRL, da Verbesserungen am vorgestellten Verfahren notwendig sind, um konsistent gute Ergebnisse zu erzielen.