An active perception and control pipeline for improving UAV navigation using low-cost sensors
Creators: name: Γούνης, Κωνσταντίνος Νικολάου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Ενεργή Όραση
Σύνθεση Πολυαισθητηριακής Πληροφορίας
Βαθιά Αντίληψη
Active Vision
Sensor Fusion
Deep Perception

description: In the present thesis a model pipeline is proposed that combines computer vision with control-theoretic methods and utilizes low – cost sensors. The proposed work enables perception- aware motion control for a quadrotor UAV to detect and navigate to objects of interest such as wind turbines and electric towers. The distance to the object of interest is estimated utilizing RGB as the primary sensory input. For the needs of the study, the Microsoft AirSim simulator was used. As a first step, a YOLOv8 model was integrated providing the position setpoints towards the detection of interest, based on an initial target yaw angle estimated from the deep vision inference. The subsequent algorithms, incorporating classical computer vision and YOLOv8 actively drove the drone to measure the height of the detection and then estimate the distance to it from a calibrated initial world position and orientation. A Convolutional Neural Network was developed, namely ActvePerceptionNet aiming at active YOLOv8 inference from the initial calibrated UAV position, by learning the mapping between the information conveyed at the bounding box and object confidence. The latter was validated for wind turbines where the rotational motion of the propeller was found to affect object confidence in a near periodical fashion. The extracted centroid of the object of interest was tracked in the moving UAV camera coordinate frame. For this, a motion planning and control step was devised for the UAV to move towards the estimated target world position aiming at maintaining or improving the initial estimate of the target in the camera frame. The drone was capable of incorporating an estimate at every sampling step, for localization and / or feedback control purposes. The IMU information was fused with filtered optical flow information whereas an Extended Kalman Filter was devised. Finally, to induce interaction and explainability in the form of dialogue act, the ChatGPT-AirSim Interface was used. By augmenting the existing prompts with new, the execution of the active pipeline via text linguistics was enabled. Hence, perception software testing at a high level of abstraction was achieved. The results of the simulation experiments conducted in this study showed efficient object height and distance estimation and effective localization.
description: Στην παρούσα εργασία προτείνεται ένα σύστημα που συνδυάζει μεθοδολογίες Υπολογιστικής Όρασης και Θεωρίας Ελέγχου χρησιμοποιώντας αισθητήρες χαμηλού κόστους. Η παρούσα μελέτη επιτρέπει σε ένα τετρακινητήριο Μη-Επανδρωμένο Αέριο Όχημα / τηλεσκάφος να ανιχνεύει ενεργά και να πλοηγείται πλησίον αντικειμένων ενδιαφέροντος όπως ανεμογεννήτριες και ηλεκτρικοί πυλώνες. Η απόσταση από το αντικείμενο ενδιαφέροντος εκτιμάται χρησιμοποιώντας το δυσδιάστατο σήμα εικόνας τριών καναλιών ως κύρια αισθητηριακή είσοδο. Για τις ανάγκες της μελέτης, χρησιμοποιήθηκε ο προσομοιωτής Microsoft AirSim. Αρχικά ενσωματώθηκε το μετεκπαιδευμένο μοντέλο ανίχνευσης αντικειμένων YOLOv8 που παρέχει τις εντολές θέσης προς το αντικείμενο ενδιαφέροντος, βασισμένο σε μια αρχική γωνία προσανατολισμού που εκτιμήθηκε από την Βαθιά Όραση. Ακολούθως, οι αλγόριθμοι που σχεδιάστηκαν ενσωματώνοντας κλασσικές μεθόδους και ανίχνευση με το μοντέλο YOLOv8, οδήγησαν ενεργά το τηλεσκάφος ώστε να μετρήσει με ακρίβεια το ύψος του ανιχνευθέντος αντικειμένου και στη συνέχεια να εκτιμήσει την απόσταση από αυτό, έχοντας ως σημείο αναφοράς μια αρχική θέση με βαθμονομημένο προσανατολισμό στο κοσμικό σύστημα συντεταγμένων. Επιπλέον αναπτύχθηκε το συνελικτικό νευρωνικό δίκτυο ActivePerceptionNet, με στόχο την ενεργή ανίχνευση με βάση το YOLOv8 από την αρχική βαθμονομημένη θέση, μαθαίνοντας την αντιστοιχία μεταξύ των πληροφοριών πλαισίου αντικειμένου και της εμπιστοσύνης του αντικειμένου (object confidence). Το τελευταίο επικυρώθηκε για ανεμογεννήτριες όπου η περιστροφική κίνηση του έλικα δείχθηκε ότι επηρεάζει την εμπιστοσύνη του αντικειμένου με σχεδόν περιοδικό τρόπο. Το εξαγόμενο κεντροειδές επιφάνειας του αντικειμένου ενδιαφέροντος παρακολουθήθηκε στο κινούμενο σύστημα συντεταγμένων της κάμερας του τηλεσκάφους. Προς τούτο, υλοποιήθηκε ένας συνδυασμός μοντέλων Σχεδιασμού και Ελέγχου Κίνησης ώστε το τηλεσκάφος να κινηθεί ομαλά προς το αντικείμενο, με στόχο τη βελτίωση της αρχικής εκτίμησης της θέσης του αντικειμένου στο σύστημα συντεταγμένων της κάμερας. Το τηλεσκάφος ήταν ικανό να ενσωματώνει μια εκτίμηση σε κάθε βήμα δειγματοληψίας, για σκοπούς Εντοπισμού Θέσης και / ή Ελέγχου Ανατροφοδότησης Κατάστασης. Οι κινηματικές πληροφορίες συνδυάστηκαν με φιλτραρισμένες πληροφορίες οπτικής ροής, ενώ αναπτύχθηκε ένα Επεκταμένο Φίλτρο Kalman (Extended Kalman Filter) βάσει των παραπάνω. Τέλος, για την πρόσδοση χαρακτηριστικών αλληλεπίδρασης και επεξήγησης με τη μορφή πράξεων διαλόγου, χρησιμοποιήθηκε η διεπαφή ChatGPT-AirSim. Έχοντας επεκτείνει τις υπάρχουσες προτροπές (prompts), έγινε δυνατή η εκτέλεση του συγκερασμού των προαναφερθέντων μοντέλων ενεργής αντίληψης μέσα από γλωσσική πληροφορία / κείμενο. Συνεπώς διαπιστώθηκε πώς είναι εφικτή η δοκιμή λογισμικού αντίληψης σε υψηλό επίπεδο αφαίρεσης. Τα αποτελέσματα των πειραμάτων προσομοίωσης που διεξήχθησαν σε αυτή τη μελέτη έδειξαν πως ήταν αποδοτική η εκτίμηση του ύψους των αντικειμένων ενδιαφέροντος. Ακόμη, ο εντοπισμός θέσης ως προς το αντικείμενο ενδιαφέροντος ήταν αποτελεσματικός, μετά από μείωση της αβεβαιότητας εκτίμησης.