Visual localization in unstructured environments through deep learning
Authors: Πετράκης Γεώργιος 
Published: November 2023

Η κατανόηση της σκηνής, ο εντοπισμός και η χαρτογράφηση, διαδραματίζουν κρίσιμο ρόλο στην όραση υπολογιστών, τη ρομποτική και την τοπογραφία, παρέχοντας πολύτιμη γνώση μέσω ενός τεράστιου και αυξανόμενου αριθμού μεθοδολογιών και εφαρμογών. Ωστόσο, αν και η βιβλιογραφία ανθεί με σχετικές μελέτες σε αστικά και εσωτερικά περιβάλλοντα, πολύ λιγότερες μελέτες επικεντρώνονται σε μη δομημένα περιβάλλοντα. Ο κύριος στόχος αυτής της διατριβής είναι να σχεδιάσει και να αναπτύξει ένα πλαίσιο οπτικού εντοπισμού βασισμένο στη βαθιά μάθηση που στοχεύει στην ενίσχυση της κατανόησης της σκηνής και των δυνατοτήτων της αυτόνομης πλοήγησης σε απαιτητικές αδόμητες σκηνές και στην ανάπτυξη μιας μεθοδολογίας εντοπισμού θέσης με υψηλή ακρίβεια, σε περιβάλλοντα χωρίς GNSS. Η διατριβή μπορεί να χωριστεί σε πέντε διαφορετικά μέρη: (α) σχεδιασμός συνόλων δεδομένων εκπαίδευσης και αξιολόγησης, (β) υλοποίηση και βελτίωση νευρωνικού δικτύου ανίχνευσης και περιγραφής βασικών σημείων για μη δομημένα περιβάλλοντα (γ) υλοποίηση και ανάπτυξη νευρωνικού δικτύου για οπτικό εντοπισμό επικεντρωμένο σε αδόμητα περιβάλλοντα και ενσωμάτωση του εκπαιδευμένου μοντέλου σε σύστημα SLAM (Simultaneous localization and Mapping) ως μονάδα εξαγωγής χαρακτηριστικών (δ) ανάπτυξη αρχιτεκτονικής κωδικοποιητή-αποκωδικοποιητή για σεληνιακή τμηματοποίηση εδάφους (ε) ανάπτυξη μεθοδολογίας για ακριβή εντοπισμό και χαρτογράφηση για περιβάλλοντα χωρίς GNSS.Όσον αφορά το πρώτο μέρος της διατριβής, σχεδιάστηκαν και δημιουργήθηκαν δύο σύνολα δεδομένων για την εκπαίδευση και την αξιολόγηση ανιχνευτών και περιγραφέων χαρακτηριστικών σημείων (Κeypoint detectors and descriptors). Το σύνολο δεδομένων εκπαίδευσης περιλαμβάνει 48 000 εικόνες FPV (First Person View) με μεγάλο εύρος παραλλαγών στα τοπία, συμπεριλαμβανομένων εικόνων από τη Γη, τη Σελήνη και τον Άρη, ενώ το σύνολο δεδομένων αξιολόγησης περιλαμβάνει περίπου 120 ακολουθίες πλανητικών σκηνών όπου κάθε ακολουθία περιέχει την αρχική εικόνα και πέντε διαφορετικές παραγόμενες αναπαραστάσεις της ίδιας σκηνής όσον αφορά τον φωτισμό και την γωνία θέασης.Στο δεύτερο μέρος αυτής της διατριβής, εφαρμόστηκε και τροποποιήθηκε μια αυτο-επιβλεπόμενη αρχιτεκτονική νευρωνικών δικτύων που ονομάζεται SuperPoint, διερευνώντας την αποτελεσματικότητά της στην ανίχνευση και περιγραφή χαρακτηριστικών σημείων όταν εφαρμόζεται σε μη δομημένες και πλανητικές σκηνές. Τρία διαφορετικά μοντέλα SuperPoint δημιουργήθηκαν: (α) ένα πρωτότυπο μοντέλο SuperPoint εκπαιδευμένο χωρίς ενίσχυση μάθησης (transfer learning), (β) ένα πρωτότυπο μοντέλο SuperPoint εκπαιδευμένο με χρήση ενίσχυση μάθησης (transfer learning), (γ) ένα βελτιστοποιημένο μοντέλο SuperPoint εκπαιδευμένο χωρίς ενίσχυση μάθησης (transfer learning). Ο πειραματισμός απέδειξε ότι το βελτιστοποιημένο μοντέλο SuperPoint παρέχει ανώτερη απόδοση, σε σύγκριση με τα αρχικά μοντέλα SuperPoint αλλά και άλλους παραδοσιακούς ανιχνευτές και περιγραφείς χαρακτηριστικών σημείων. Αναφορικά με το τρίτο μέρος της διατριβής, αναπτύχθηκε μια αρχιτεκτονική βαθιάς μάθησης πολλαπλών εργασιών για ανίχνευση και περιγραφή χαρακτηριστικών σημείων, εστιασμένη σε αδόμητες και πλανητικές σκηνές με μειωμένα χαρακτηριστικά και χαμηλό ή μεταβαλλόμενο φωτισμό, ενώ οι διαδικασίες εκπαίδευσης και αξιολόγησης πραγματοποιήθηκαν χρησιμοποιώντας τα προτεινόμενα σύνολα δεδομένων. Επιπλέον, το εκπαιδευμένο μοντέλο ενσωματώθηκε σε ένα οπτικό σύστημα SLAM (Simultaneous Localization and Mapping) ως μονάδα εξαγωγής χαρακτηριστικών και εφαρμόστηκε σε δύο μη δομημένες περιοχές με μειωμένα χαρακτηριστικά. Όσον αφορά τα αποτελέσματα, η προτεινόμενη αρχιτεκτονική παρέχει αυξημένη ακρίβεια ως προς την περιγραφή των σημειακών χαρακτηριστικών, ξεπερνώντας διαδεδομένους παραδοσιακούς αλγόριθμους ενώ το προτεινόμενο SLAM πέτυχε αυξημένα αποτελέσματα σε περιοχές με μέτριο και χαμηλό φωτισμό σε σύγκριση με τον αλγόριθμο ORB-SLAM2.Στο τέταρτο μέρος της διατριβής, προτείνεται μια ελαφριά αρχιτεκτονική νευρωνικού δικτύου κωδικοποιητή-αποκωδικοποιητή (NN) για τμηματοποίηση εδάφους στη σεληνιακή επιφάνεια. Η προτεινόμενη αρχιτεκτονική αποτελείται από ένα τροποποιημένο MobilenetV2 ως κωδικοποιητή και ένα ελαφρύ αποκωδικοποιητή U-net, ενώ οι διαδικασίες εκπαίδευσης και αξιολόγησης διεξήχθησαν χρησιμοποιώντας ένα δημοσίως διαθέσιμο συνθετικό σύνολο δεδομένων με εικόνες σεληνιακού τοπίου. Το προτεινόμενο μοντέλο παρέχει ισχυρά αποτελέσματα τμηματοποίησης, επιτυγχάνοντας παρόμοια ακρίβεια με την πρωτότυπη αρχιτεκτονική U-net αλλά και άλλες εναλλακτικές αρχιτεκτονικές με βάση το U-net που είναι 110 - 140 φορές μεγαλύτερες από την προτεινόμενη αρχιτεκτονική. Αυτή η μελέτη, στοχεύει να συμβάλει στην τμηματοποίηση του εδάφους της Σελήνης χρησιμοποιώντας τεχνικές βαθιάς μάθησης, ενώ αναδεικνύει σημαντικές δυνατότητες στην αυτόνομη σεληνιακή πλοήγηση διασφαλίζοντας μια ασφαλέστερη και ομαλή πλοήγηση στη Σελήνη. Σχετικά με το πέμπτο μέρος της διατριβής, αναπτύχθηκε μια μέθοδος εντοπισμού υψηλής ακρίβειας, με στόχο τον εντοπισμό ειδικών στόχων και χαρακτηριστικών σημείων της σκηνής, παρέχοντας τις τοπικές τους συντεταγμένες στον τρισδιάστατο χώρο με υψηλό επίπεδο ακρίβειας. Αρχικά, οι ειδικοί στόχοι τοποθετούνται στη σκηνή όπου ένας από αυτούς χρησιμοποιείται ως στόχος προέλευσης (origin), ενώ οι υπόλοιποι στόχοι αντιπροσωπεύουν χαρακτηριστικά εδάφους. Στη συνέχεια, ο προτεινόμενος αλγόριθμος SLAM χρησιμοποιώντας μια κάμερα RGB-Depth χαρτογραφεί την επιθυμητή περιοχή, ενώ σε συνδυασμό με γεωμετρικούς μετασχηματισμούς, τεχνικές ακριβούς εντοπισμού και βελτιστοποίησης, η παρούσα μεθοδολογία εκτιμά τις συντεταγμένες των στόχων και ενός νέφος σημείων που προσεγγίζει τη δομή του περιβάλλοντος. Είναι σαφές ότι η χρήση της βαθιάς μάθησης σε μη δομημένα και πλανητικά περιβάλλοντα όσον αφορά την αναγνώριση σκηνής, τον εντοπισμό και τη χαρτογράφηση παρέχει σημαντικές δυνατότητες για μελλοντικές εφαρμογές, ενισχύοντας κρίσιμα θέματα όπως η αυτόνομη πλοήγηση σε απαιτητικά και άγνωστα περιβάλλοντα. Αυτή η διατριβή φιλοδοξεί να ενθαρρύνει τη διερεύνηση και την ανάπτυξη μοντέλων και συνόλων δεδομένων τεχνητής νοημοσύνης, εστιασμένων σε αποστολές πλανητικής εξερεύνησης και ιδιαίτερα στην κατανόηση σκηνών υψηλού και χαμηλού επιπέδου χρησιμοποιώντας υπολογιστικά αποδοτικό εξοπλισμό και μεθόδους, μειώνοντας το οικονομικό και ενεργειακό κόστος των ρομποτικών συστημάτων.