title: Aerial and ground robot collaboration for autonomous mapping in search and rescue missions
title: Συνεργασία εναέριων και επίγειων ρομπότ για αυτόνομη χαρτογράφηση σε αποστολές έρευνας και διάσωσης
Creators: name: Χατζηπαρασχης Δημητριος
Publisher: name: Technical University of Crete
Year: 2018

description: Nowadays, Humanitarian Crisis scenarios occur on daily basis and typically require immediate rescue intervention. In most cases, the scene conditions may be prohibitive for human rescuers to provide instant aid, because of hazardous, unexpected, and human-unfriendly situations. Those scenarios are ideal for autonomous mobile robot systems to act on, by searching and even rescuing individuals, therefore enhancing rescuers' actions and keeping them safe. In this thesis, we present a ground-aerial robot collaboration approach, in which a quadcopter and a humanoid robot solve a search-and-rescue scenario locally, without any GNSS/GPS system dependencies. Specifically, the quadcopter uses a combination of Simultaneous Localization and Mapping (SLAM) and OctoMapping approaches to extract a 2.5D occupancy grid map of the unknown area in relation to the height of the humanoid robot. At the same time, the quadcopter searches for the humanoid robot in the field and localizes it in the map frame. The humanoid robot awaits for a goal position in the created map and executes a path planning algorithm to estimate the footstep navigation trajectory for reaching the goal. As the humanoid robot navigates, it localizes itself in the map using an adaptive Monte-Carlo Localization algorithm by combining local odometry data with spatial observations from the quadcopter. Finally, the humanoid robot performs visual human body detection using camera data through a Darknet pre-trained neural network. The entire project has been implemented within the Robot Operating System (ROS) and is available as an open source package. The proposed robot collaboration scheme has been tested both in interior and exterior physical environments under real-time conditions. The main advantage of the proposed scheme is the joint-ability to perceive the unknown scene from the air using the quadcopter, while at the same time performing close inspections on the ground using the humanoid robot.
description: Στις μέρες μας, καθημερινά συμβαίνουν σενάρια ανθρωπιστικής κρίσης και τυπικά χρήζουν άμεσης διασωστικής επέμβασης. Στις περισσότερες περιπτώσεις, οι συνθήκες αντιμετώπισης μπορεί να είναι απαγορευτικές για τους διασώστες στη παροχή άμεσης βοήθειας, εξαιτίας των επιβλαβών, απρόβλεπτων και μη φιλικών προς τον άνθρωπο καταστάσεων. Τα σενάρια αυτά είναι ιδανικά για τη δράση αυτόνομων κινητών ρομποτικών συστημάτων, καθώς μπορούν να αναζητήσουν και να διασώσουν ανθρώπους σε ανάγκη, ενισχύοντας έτσι το έργο των διασωστών, κρατώντας τους ασφαλείς. Η παρούσα διπλωματική εργασία παρουσιάζει μια προσέγγιση συνεργασίας ενός επίγειου και ενός εναέριου ρομπότ, στην οποία ένα τετρακόπτερο και ένα ανθρωποειδές ρομπότ αντιμετωπίζουν τοπικά ένα σενάριο έρευνας και διάσωσης, χωρίς εξάρτηση από σύστημα GNSS/GPS. Ακριβέστερα, το τετρακόπτερο χρησιμοποιεί τον συνδυασμό των Simultaneous Localization and Mapping (SLAM) και OctoMapping μεθόδων για να εξάγει ένα 2.5D occupancyd χάρτη της άγνωστης περιοχής σε σχέση με το ύψος του ανθρωποειδούς ρομπότ. Ταυτοχρόνως, το τετρακόπτερο αναζητεί το ανθρωποειδές ρομπότ μέσα στον χώρο και προσδιορίζει τη θέση του μέσα στο σύστημα συντεταγμένων του χάρτη. Το ανθρωποειδές ρομπότ αναμένει μια επιθυμητή θέση ως στόχο μέσα στον χάρτη και εκτελεί έναν αλγόριθμο path planning για να οργανώσει την διαδρομή του στον χώρο, κάνοντας την εκτίμηση τοποθέτησης των βημάτων και πατημάτων του μέχρι να φτάσει στον τελικό στόχο. Τέλος, το ανθρωποειδές ρομπότ πραγματοποιεί οπτική αναγνώριση ανθρώπων χρησιμοποιώντας ένα προ-εκπαιδευμένο νευρωνικό δίκτυο Darknet πάνω στα δεδομένα των καμερών του. Η συνολική εργασία έχει υλοποιηθεί μέσω του Robot Operating System (ROS) και είναι διαθέσιμη ως πακέτο ανοιχτού κώδικα. Η προτεινόμενη προσέγγιση συνεργασίας έχει δοκιμαστεί σε εσωτερικά, αλλά και εξωτερικά, περιβάλλοντα, σε συνθήκες πραγματικού χρόνου. Το βασικό πλεονέκτημα της προτεινόμενης προσέγγισης είναι η συνδυαστική ικανότητα αντίληψης μιας άγνωστης περιοχής από αέρος με τη χρήση του τετρακόπτερου, παράλληλα με την ικανότητα κοντινών παρατηρήσεων στο έδαφος χρησιμοποιώντας ένα ανθρωποειδές ρομπότ.