State-Action Gist based In-hand Manipulation Learning from Human Demonstration

In-hand manipulation, as a behavior mastered by human, primates and a few kinds of other animals, involves a hand and objects. Transfering these manipulation skills to service-robots is an open and important research topic in the field of robotics. Driven by the hand movements the objects are moved. The hand movements are considered as actions, and we expect the objects to be moved to their destinated states. Therefore, we use “state-action” to model an in-hand manipulation process. For modeling the hand movements, a direct way is to memorize the joint angle variation. However, there are different-sized hands in the world, repeating finger joint angles can produce different manipulation results. Because of that, we propose to use a small number of patterns to summarize the finger motions. In this way we generate the essential information on the actions, and in order to distinguish this idea we name it in-hand manipulation action gist. Correspondingly, with sensors we can capture criteria in terms of the hand, the objects, and the entire environment in the manipulation process, so we use the specific criteria to describe the achievement of the hand movements. Since the criteria are also essential information, we call them state gist. In the state-action based in-hand manipulation learning framework, everybody can successfully teach the robot. At the beginning of the robot learning, we need persons demonstrating in-hand manipulation movements to the robot. With the state-action gist extracted from multiple devices, e.g., data-gloves, cameras, and tactile sensors, the robot starts to learn the skill itself. Through motor babbling the robot finally masters the in-hand manipulation skill. In detail, this thesis applies the Gaussian Markov Random Field to extract the action gist from a data-glove. The applied method does not only work for the simple movements such as grasping, but also works for complicated movements such as finger gaiting. Concerning the state gist, this thesis mainly discusses its relationship to the sensors, and gives examples with respect to several typical sensors and several simple state gists. Afterwards, according to the scenarios with multiple demonstrations and the scenarios with periodic hand movements (like screwing), this thesis offers corresponding solutions. Furthermore, regarding the self-learning, this thesis applies the Particle Swarm Optimization and the Line Search with Re-Start to babbling learn the parameters guided by the corresponding state-action gist. Because babbling learning requires many trials, simulations are taken before the real robot execution. In case the simulated solution is not proper for a real humanoid hand, this thesis proposes a human-interactive mechanism to enhance the real robot learning. In the process of human-robot interaction, the feedbacks are in the form of “compared with the previous trial, this trial is better/worse/equal”. With this kind of feedbacks, the robot finds a better solution for the real scenario. In-Hand-Manipulation bezeichnet das zielgerichtete und kontrollierte Greifen und Bewegen von Objekten mit einer Hand. Neben Menschen verfugen nur Primaten und wenige andere Tiere uber diese Fahigkeit, und die Ubertragung auf Service-Roboter ist eines der zentralen offenen Probleme der Robotik. Dabei konnen die Bewegungen der Finger als Aktionen angesehen werden, mit denen ein Zielzustand der manipulierten Objekte angestrebt wird. Es liegt daher nahe, den gesamten Vorgang als Zustands-Aktions-Beziehung zu modellieren. Naturlich kann jede Bewegung der Hand uber den zeitlichen Ablauf der Fingerstellungen beschrieben werden, aber es gibt kleine und grosse Hande, die Bewegungen verlaufen nicht immer gleich, usw. Zur Vereinfachung und Abstraktion wird in dieser Arbeit daher zunachst das Konzept der Meta-Bewegungen (metamotions) eingefuhrt. Auf diese Weise wird die essentielle Information des Bewegungsablaufs der Finger reprasentiert, also der Kern einer Aktion (action-gist). Eine ahnlich kompakte Darstellung ist auch fur viele Sensordaten moglich, mit denen der Zustand von Hand und Objekt und ggf. der Umgebung wahrend der Bewegung aufgezeichnet wird. Diese Kriterien ergeben die wesentlichen Zustandsanderungen (state-gist). Aktuelle antropomorphe (funf-Finger) Roboterhande sind rein mechanisch in der Lage, alle Bewegungen der menschlichen Hand nachzubilden. Bisher allerdings basieren fast alle erfolgreichen Anwendungen fur Robotermanipulation immer noch auf detaillierter Modellierung und zeitaufwendiger Programmierung durch Experten. In dieser Arbeit wird deshalb ein Framework entwickelt, mit dem der Roboter die wesentlichen Zustands-Aktions-Beziehungen aus Demonstrationen lernen kann. Damit gilt ”Jedermann ist ein Lehrer”, denn nicht nur Experten konnen die Manipulationsaufgaben fur den Roboter demonstrieren. Die Bewegungen der Testpersonen werden mit verschiedenen Geraten aufgezeichnet, zum Beispiel Datenhandschuh, taktile Sensoren, und Kameras. Daraus werden die wesentlichen Zustands-Aktions-Beziehungen abgeleitet und dienen als Start fur den Lernprozess des Systems. Durch Motor-Babbling (ein Lernprozess mit zufalligen Bewegungen, angelehnt an das Lernen und Brabbeln von Babies) verfeinert der Roboter dann seinen Bewegungsablauf, bis die Manipulationsaufgabe gelost wird. Im ersten Teil dieser Arbeit wird ein Gaussian Markov Random Field eingefuhrt, um die Aktions-Beziehungen (action-gist) aus Datenhandschuh-Sensordaten zu extrahieren. Dann werden die Zustands-Beziehungen (state-gist) beschrieben und mit Beispielen fur verschiedene Sensoren erlautert. Fur verschiedene Szenarien werden die zugehorigen Losungen prasentiert, unter anderem fur periodische Handbewegungen wie das Aufschrauben einer Flasche. Zum Lernen des Roboters werden die beiden Lernverfahren Particle Swarm Optimization und Line Search with Re-Start ausgewahlt und analysiert. Da das Lernen mittels Motor-Babbling viele Versuche benotigt, kommt eine Simulation der Hand zum Einsatz, bevor die Bewegungen auf dem echten Roboter getestet werden. Schlieslich wird in dieser Arbeit ein neuartiges Verfahren vorgeschlagen (simple human reward), bei dem der Mensch als Kritiker die zufalligen Bewegungen des Roboters wahrend der Babbling-Phasen bewertet, um den Lernvorgang in die richtige Richtung zu lenken und zu beschleunigen.