Multimodal object perception for robotics

The ability to recognize and manipulate unknown objects is crucial for any robot to successfully work in natural environments. Object recognition and categorization is a very challenging problem, as three-dimensional objects often give rise to ambiguous, two-dimensional views. This dissertation investigates how multisensory integration methods can be employed to tackle this issue in robotic applications. First, the presented approaches are motivated by discussing aspects of biological and computational object perception. To increase the understanding of the technical context, concepts regarding software development on modern robotic systems will be outlined. The document is separated into two parts, representing two strategies for multimodal object recognition utilizing state-of-the-art robotic hardware. One part focuses on the benefits of employing range sensing technology for the categorization of everyday objects. We present a novel object dataset that served as a testbed to study classification performance combining 2D and 3D cues. The second part incorporates object manipulation into the recognition process. A perception-driven object exploration method, implemented on the humanoid robot iCub, will be presented. In this setup, the robot turns and moves an object in its hand in order to seek out informative views, thereby optimizing the exploration sequence. It will also be shown that, instead of relying on purely visual information, taking motor actions that link object views into account allows the robot to resolve a significant amount of ambiguity. Die Fahigkeit, unbekannte Objekte zu erkennen und zu manipulieren, ist von entscheidender Bedeutung fur Roboter, um in naturlichen Umgebungen arbeiten zu konnen. Da dreidimensionale Objekte allerdings aus unendlich vielen Ansichten betrachtet werden konnen, gestaltet sich ihre Erkennung und Klassifikation oft als auserst schwierig. Im Rahmen dieser Dissertation sollen Wege untersucht werden, wie mittels Integration verschiedener Sensoriken dieses Problem gelost oder vereinfacht werden kann. Zunachst werden Losungansatze motiviert, indem auf Aspekte der biologischen und maschinellen Objekterkennung eingegangen wird. Auserdem wird der technische Hintergrund fur die Entwicklung von Software fur moderne Robotersysteme vorgestellt. Das Dokument gliedert sich in zwei Teile. Diese behandeln zwei Strategien fur multimodale Objekterkennung mittels aktueller Robotikhardware. Der erste Teil konzentriert sich auf die Klassifikation von Alltagsgegenstanden (z.B. Tassen oder Bucher) mittels Tiefenmessung. Hierfur wurde eine neue Objektdatenbank aufgenommen, die eingesetzt wird um die Kombination von 2D und 3D Information zu untersuchen. Im zweiten Teil wird Objektmanipulation in den Erkennungsprozess integriert. Fur den humanoiden Roboter iCub wurde eine Methodik entwickelt, die aktuelle und vorherige Messungen berucksichtigt, um den Objekterkundungsprozess zu steuern. Der Roboter halt hierbei ein Objekt in der Hand und bewegt dieses mit dem Ziel neue Objektansichten mit zusatzlicher Information zu generieren. Zusatzlich wird gezeigt, dass durch die weitere Betrachtung der Roboterbewegung, welche ausgefuhrt wurde, um eine Ansicht in die andere zu uberfuhren, wichtige Information gewonnen wird. Diese ist besonders in Situationen mit widerspuchlicher visueller Information hilfreich Objekte korrekt zu identifizieren.