An object representation and methods for uncertainty-aware shape estimation and grasping

One of the keys to understanding intelligence is the experience of reproducing it, building it into systems we create. Robotics is the natural ground to implement, test, evaluate and realise concepts. It has already taught us that intelligence is not solely a matter of high cognition, but implies understanding of seemingly trivial everyday skills like walking, sentiment detection and interaction with the physical world. This thesis introduces an internal object representation for the purpose of robotic manipulation. It abstracts the physical appearance of objects and rather considers a function which describes the surface implicitly. The developed methods for building such models employ Bayesian statistical approaches to fuse the information sources - different sensors and a priori knowledge - and estimate the form of an object being aware of the uncertainties. The functions have such a shape that can be interpreted as potential field generated by the object. A controller uses this to navigate a robot arm for grasping and manipulation. Since the representation translates the uncertainty of the sensors into confidence of the model, an improved controller is able to employ this in order to achieve more robust grasping or more efficient estimation of an object. This links to exploration-exploitation notions related to decision theory. Finally, the grasp and estimation methods are integrated to systems used to demonstrate or quantify in simulated and real environments the benefits and limitations of the representation. The key beliefs and insights the thesis builds on and attempts to convey are that sensing and control must benefit from each other; embodiment - own and environmental limitations - are important for learning; object models need to be aware of uncertainty and expose it; uncertainty is motion feature - must be used to improve control; the real world eventually requires uncertainty-aware hardware. Kunstliche und naturliche Intelligenz konnen wir Menschen besser verstehen, wenn wir versuchen sie nachzubilden, d.h. von uns gebaute Systeme mit ihr zu versehen. Somit spielt Robotik fur die Intelligenzforschung eine zentrale Rolle als das Versuchsfeld, auf dem wir unsere Theorien ausprobieren und Erkenntnisse gewinnen. Intelligenz fangt nicht erst beim Schachspielen oder anderen hohen kognitiven Fahigkeiten an, sondern bereits bei alltaglichen, unbewussten, banalen Aktivitaten, wie dem Laufen oder dem Umgang mit der uns umgebenden physikalischen Welt. Diese Dissertation beschaftigt sich mit dem Greifen von Gegenstanden im Kontext der Robotik. Es wird eine neuartige Beschreibung fur Gegenstande entwickelt. Dazu gehoren auch Methoden, die diese Reprasentation benutzen, um die Form von Gegenstanden zu schatzen und sie zu greifen. Anstatt explizit die materielle Erscheinung eines Gegenstandes zu beschreiben, wird er als eine Funktion dargestellt, die seine Form implizit beschreibt. Die Funktion wird durch Bayesianische statistische Methoden von einzelnen Oberflachenpunkten approximiert. Dadurch entsteht eine Verteilung uber die moglichen Formen. Die wahrscheinlichste Form wird benutzt, um anhand einfacher Heuristiken den Roboter zu einem erfolgreichen Griff zu bewegen. In dieser Reprasentation lassen sich die Messwerte verschiedener unpraziser Sensoren mit etwaigem a priori Wissen fusionieren. Die Beschreibung ist nicht nur eng an das sensorische System gekoppelt, sondern die Interpretation der geschatzten Funktion eignet sich auch zum Erzeugen von Greif- und Manipulationsbewegungen. Daruber hinaus wird die Unsicherheit der Sensoren in eine Abschatzung der Verlasslichkeit des Models ubersetzt. Ein Regelungssystem kann sie benutzen, um das Greifen oder das Erkundigen eines Gegenstandes sicherer oder effizienter zu gestalten. Die Berucksichtigung von Unsicherheit in der Bewegungserzeugung stellt eine Verbindung zu der Exploration-Exploitation-Problematik der Entscheidungstheorie her. Schlieslich werden die einzelnen Methoden in simulierte und reale Systeme integriert, um in Experimenten und Demonstrationen die Eigenschaften der Reprasentation zu illustrieren und zu quantifizieren. Wichtige Uberzeugungen und Erkenntnisse, die dieser Arbeit zugrunde liegen, bzw. die sie vermittelt, sind: Sensorik und Motorik gehoren zusammen und sollen voneinander profitieren; Die Einschrankungen, gegeben durch die Fahigkeiten eines Agenten und durch seine Umgebung, sind von groser Bedeutung - als Hinweis, was in der Welt (un)wichtig zum Lernen ist; Eine Reprasentation soll Unsicherheiten berucksichtigen und sie darstellen; Die quantifizierte Unsicherheit soll in die Bewegungserzeugung einfliesen; Eine sinnvolle Umsetzung in der realen Welt erfordert auch Hardware, die inharent mit Unsicherheiten umgeht.