Risk-Sensitive Policy Search with Applications to Robot-Badminton

With the increasing pace of automation, modern robotic systems need to act in stochastic, non-stationary, partially observable environments. A range of algorithms for finding parameterized policies have been proposed in the past that optimize for long-term average performance. However, the majority of the proposed approaches does not explicitly take into account the variability of the performance metric, which may lead to finding policies that although performing well on average, can perform spectacularly bad in a particular run or period of time. To address this shortcoming, we study an approach to policy optimization that explicitly takes into account higher order statistics of the reward function. In this thesis, we extend policy gradient methods to include the entropic risk measure in the objective function and evaluate their performance on experiments from the field of finance and robot control. Furthermore, we learn a robot badminton task. Badminton requires the robot to execute time critical, precise movements that need to be adapted constantly to new situations. We implement a ball prediction that can estimate a desired hitting point. The hitting movements are learned by kinesthetic teaching of a human instructor. The learned skills can generalize to new situations by adapting a small set of parameters without the need to relearn the complete movement. We apply the proposed method in a simulation environment and a real Barrett WAM. Zusammenfassung Mit der zunehmenden Automatisierung müssen moderne Robotersysteme in stochastischen, nicht stationären, teilweise beobachtbaren Umgebungen agieren. In der Vergangenheit wurde eine Reihe von Algorithmen zum erlernen parametrisierter Policies eingeführt, die den Durchschnittsnutzen maximieren. Die Mehrheit dieser Ansätze berücksichtigt jedoch nicht explizit die Variabilität des Nutzens, was dazu führen kann, dass Policies gefunden werden, die, obwohl sie im Durchschnitt gut sind, in einer bestimmten Sequenz oder in einem bestimmten Zeitraum außerordentlich schlecht abschneiden können. Um dieses Problem zu beheben, untersuchen wir einen Ansatz zur Optimierung von Policies, der explizit statistische Parameter höherer Ordnung in der Nutzenfunktion berücksichtigt. Innerhalb dieser Masterthesis erweitern wir Policy-Gradientenalgorithmen, um das entropische Risikomaß in die Optimierung einzubeziehen und bewerten diese an Experimenten aus dem Finanzbereich und der Robotersteuerung. Außerdem bringen wir einem Roboterarm das Badminton spielen bei. Im Badminton muss der Roboter zeitkritische, präzise Bewegungen ausführen, die ständig an neue Situationen angepasst werden müssen. Wir implementieren eine Ballprädiktion, die den Punkt des Zusammentreffens von Ball und Schläger schätzen kann. Die Schlagbewegungen werden durch kinästhetische Ausführung eines menschlichen Trainers erlernt. Die erlernten Bewegungs-Primitive können sich an neue Situationen anpassen, indem eine kleine Menge von Parametern angepasst wird, ohne die gesamte Bewegung neu erlernen zu müssen. Wir wenden die vorgeschlagene Methode sowohl in einer Simulationsumgebung, als auch an einem echten Barrett WAM an.