Machine Learning for Multi-Robot Semantic Simultaneous Localization and Mapping

RESUMEL’automatisation et la robotique prennent une place de plus en plus importante dans notre vie quotidienne, avec de nombreuses utilisations possibles. Les robots pourraient nous epargner des tâches dangereuses et penibles, ou rendre des choses impossibles jusqu’a maintenant possibles. Pour que les robots s’integrent en toute securite dans notre monde et dans de nouveaux environnements inconnus, il est clef qu’ils soient equipes d’une capacite de per-ception, et en particulier qu’ils puissent se localiser par rapport a leur entourage. Afin d’etre reellement independants, les robots doivent pouvoir le faire en se basant uniquement sur leurs propres capteurs, les plus couramment utilises etant les cameras. Une solution pour obtenir de telles estimations est d’utiliser un algorithme de cartographie et localisa-tion simultanee (SLAM), dans lequel le robot va simultanement construire une carte de son environnement et estimer son propre etat. Le SLAM avec un seul robot a fait l’objet de nombreux travaux scientifiques, et est desormais considere comme un domaine de recherche mature. Cependant, l’utilisation d’une equipe de robots peut o˙rir plusieurs avantages en termes de robustesse, d’eycacite et de performances pour de nombreuses tâches. Dans ce cas, des algorithmes de SLAM multi-robots sont necessaires pour permettre a chaque robot de beneficier de l’experience de toute l’equipe. Le SLAM multi-robot peut s’appuyer sur des solutions SLAM classiques, mais necessite des adaptations et fait face a des contraintes de calculs et de communications supplementaires. Un defi particulier dans le SLAM multi-robots est la necessite pour les robots de trouver des fermetures de boucles inter-robots: des liens entre les trajectoires de di˙erents robots qui peuvent etre trouves lorsqu’ils visitent le meme endroit. Deux categories d’approches sont possibles pour detecter les fermetures de boucles inter-robots. Dans les methodes indirectes, les robots communiquent pour verifier s’ils ont cartographie un espace commun, puis tentent de trouver des fermetures de boucles a partir des donnees recueillies par chacun des robots dans cet espace. Dans les methodes directes, les robots s’appuient directement sur les donnees de leurs capteurs pour estimer les fermetures de boucles. Chaque approche a des avantages et des inconvenients, mais les methodes indi-rectes ont ete plus etudiees recemment. Ce memoire s’appuie sur les avancees recentes de la vision par ordinateur pour presenter des contributions a chaque categorie d’approches pour la detection de fermetures de boucles inter-robots. Une premiere contribution est presentee pour la detection de fermetures de boucles indirecte dans une equipe de robots entierement en communication. Elle utilise des constellations, une representation semantique compacte de l’environnement basee sur les objets qui le compose.----------ABSTRACTAutomation and robotics are becoming more and more common in our daily lives, with many possible applications. Deploying robots in the world can extend what humans are capable of doing, and can save us from dangerous and strenuous tasks. For robots to be safely sent out in our real world, and in new unknown environments, one key capability they need is to perceive their environment, and particularly to localize themselves with respect to their surroundings. To truly be able to be deployed anywhere, robots should be able to do so relying only on their sensors, the most commonly used being cameras. One way to generate such an estimate is by using a simultaneous localization and mapping (SLAM) algorithm, in which the robot will concurrently build a map of its environment and estimate its state within it. Single-robot SLAM has been extensively researched and is now considered a mature field. However, using a team of robots can provide several benefits in terms of robustness, eyciency, and performance for many tasks. In this case, multi-robot SLAM algorithms are required to allow each robot to benefit from the whole team’s experience. Multi-robot SLAM can build on top of single-robot SLAM solutions, but requires adaptations and faces computation and communication constraints. One particular challenge that arises in multi-robot SLAM is the need for robots to find inter-robot loop closures: relationships between trajectories of di˙erent robots that can be found when they visit the same place. Two categories of approaches are possible to detect inter-robot loop closures. In indirect methods, robots communicate to find if they have mapped the same area, and then attempt to find loop closures using data gathered by each robot in the place that was jointly visited. In direct methods, robots directly rely on data they gather from their sensors to estimate the loop closures. Each approach has its own benefits and challenges, with indirect methods being more popular in recent works. This thesis builds on recent computer vision advancements to present contributions to each category of approaches for inter-robot loop closure detection. A first approach is presented for indirect loop closure detection in a team of fully connected robots. It relies on constellations, a compact semantic representation of the environment based on objects that are in it. Descriptors and comparison methods for constellations are designed to robustly recognize places based on their constellation with minimal data exchange. These are used in a decentralized place recognition mechanism that is scalable as the size of the team increases. The proposed method performs comparably to state-of-the-art solutions in terms of performance and data exchanges require, while being more meaningful and interpretable.