title: Machine learning for enhancing robotic perception and control
title: Μηχανική μάθηση για την ενίσχυση της ρομποτικής αντίληψης και ελέγχου
Creators: name: Χατζηπαρασχης Δημητριος
Publisher: name: Technical University of Crete
Year: 2020

description: In recent years, there is an emerging need to use robotic systems to facilitate human missions, especially in Search-and-Rescue scenarios. Such systems may operate in cluttered and human-unfriendly environments, in which there may be no ideal circumstances to establish a remote control connection and delays may be detrimental due to the emergencyof such scenarios. Henceforth, the most essential trait of these systems is their ability to deal with the uncertainty of the operating environment, in order to make appropriate decisions and accomplish their objectives autonomously. In this thesis, we utilize
Machine Learning approaches to enhance robotic perception and control, namely visionand navigation, of a simulated Unmanned Aerial Vehicle (UAV) to be able to act fully autonomously in reconnaissance and rescue procedures. On the perception side, we use a custom Deconvolutional Neural Network trained on tailor-made loss functions to achieve autonomous visual target detection. On the control side, we applied Deep Reinforcement Learning using Deep Deterministic Policy Gradient, based on a custom lightweight training simulator, to obtain the appropriate autonomous navigation behavior in unknown
worlds. The enhanced UAV system can navigate safely through an unknown environment, search and detect any existing humans in its surroundings with its onboard gimbasystem, engage and take distance measurements from the acquired target, and georeference it to the global coordinate system. Thenceforth, the UAV pinpoints the positioned target in the generated map, shares it with the responding team, and proceeds with the exploration of the unmapped area to locate other individuals who may be in need.
Throughout this study, each developed autonomous behavior of the UAV was thoroughly evaluated to demonstrate experimental results in various custom environments within the Gazebo robot simulation environment. The proposed system has been developed as a Robot Operating System (ROS) package and is deployable to both simulated and real UAV systems, as long as they meet the minimum proposed software and sensory requirements.
description: Τα τελευταία χρόνια, υπάρχει μια αναδυόμενη ανάγκη χρήσης ρομποτικών συστημάτων για τη διευκόλυνση ανθρώπινων αποστολών, ειδικά σε σενάρια έρευνας και διάσωσης. Τέτοια συστήματα μπορεί να λειτουργούν σε ακατάστατα και μη-φιλικά προς τον άνθρωπο περιβάλλοντα, στα οποία ενδέχεται να μην υπάρχουν ιδανικές συνθήκες για τη δημιουργία απομακρυσμένης σύνδεσης τηλεχειρισμού και οι καθυστερήσεις μπορεί να είναι επιζήμιες λόγω της κρισιμότητας του σεναρίου. Επομένως, το πιο βασικό χαρακτηριστικό αυτών των
συστημάτων είναι η ικανότητά τους να αντιμετωπίζουν την αβεβαιότητα του περιβάλλοντος όπου ενεργούν, προκειμένου να λαμβάνουν τις κατάλληλες αποφάσεις για να επιτυγχάνουν αυτόνομα τους στόχους τους. Στην παρούσα διατριβή, χρησιμοποιούμε προσεγγίσεις Μηχανικής Μάθησης (Machine Learning) για την ενίσχυση της ρομποτικής αντίληψης και ελέγχου, συγκεκριμένα της όρασης και της πλοήγησης, για ένα προσομοιωμένο μη-επανδρωμένο εναέριο όχημα (Unmanned Aerial Vehicle - UAV) που θα μπορεί να ενεργεί πλήρως
αυτόνομα στις διαδικασίες αναζήτησης και διάσωσης. Στην πλευρά της αντίληψης, χρησιμοποιούμε ένα προσαρμοσμένο Deconvolutional Neural Network, εκπαιδευμένο πάνω σε ειδικά σχεδιασμένες συναρτήσεις κόστους, για να πετύχουμε αυτόνομο εντοπισμό οπτικού στόχου.
Στην πλευρά του ελέγχου, εφαρμόσαμε Βαθιά Ενισχυτική Μάθηση (Deep Reinforcement Learning) χρησιμοποιώντας Deep Deterministic Policy Gradient, πάνω σε ένα ειδικά διαμορφωμένο και χαμηλής υπολογιστικής πολυπλοκότητας περιβάλλον εκπαίδευσης, για να αποκτήσουμε την κατάλληλη αυτόνομη συμπεριφορά για πλοήγηση σε άγνωστους κόσμους.
Το βελτιωμένο σύστημα UAV μπορεί να πλοηγηθεί με ασφάλεια μέσα στο άγνωστο περιβάλλον, να αναζητήσει και να εντοπίσει ανθρώπους στη γύρω περιοχή με το ενσωματωμένο σύστημα gimbal, να εστιάσει και να λάβει μετρήσεις απόστασης από τον αναγνωρισμένο στόχο και να τον αναφέρει στο καθολικό σύστημα συντεταγμένων. Στη συνέχεια, το UAV εντοπίζει τον προσδιορισμένο στόχο στον παραγόμενο χάρτη της άγνωστης περιοχής, τον μοιράζεται με την διασωστική ομάδα και προχωρά στην εξερεύνηση της μη-χαρτογραφημένης
περιοχής για να εντοπίσει άλλα άτομα που βρίσκονται σε κίνδυνο. Σε όλη τη διάρκεια της εργασίας, κάθε ανεπτυγμένη αυτόνομη συμπεριφορά του UAV αξιολογήθηκε διεξοδικά για να επιδείξει πειραματικά αποτελέσματα σε διάφορα προσαρμοσμένα περιβάλλοντα στο περιβάλλον προσομοίωσης ρομπότ Gazebo. Το προτεινόμενο σύστημα έχει αναπτυχθεί ως πακέτο Robot Operating System (ROS) και μπορεί να εφαρμοστεί τόσο σε προσομοιωμένα όσο και σε πραγματικά συστήματα, εφόσον πληρούν τις ελάχιστες προτεινόμενες απαιτήσεις λογισμικού και αισθητηρίων.