Methods to refine the self - localization of planetary rovers using orbital imaging
Authors: Μπούκας Ευάγγελος 
Published: September 2021

Για αρκετές δεκαετίες οι ερευνητές που ασχολούνται με την εξερεύνηση δυσπρόσιτων περιοχών επιλέγουν τη χρήση ρομποτικών συστήματων, καθώς τα ρομπότ προσφέρουν τόσο ασφάλεια όσο και αδιάκοπη εργασία. Στην περίπτωση της εξερεύνησης του διαστήματος και ειδικά για περιοχές πέρα από την τροχιά της Γης η επιλογή αυτή αποτελεί μονόδρομο καθώς ο άνθρωπος δεν είναι σε θέση να επιβιώσει για μεγάλα χρονικά διαστήματα χωρίς την προστασία της γήινης ατμόσφαιρας. Για το λόγο αυτό η εξερεύνηση του Άρη έχει -έως τώρα- διεξαχθεί αποκλειστικά από ρομπότ. Παρόλη την εντυπωσιακά καλή λειτουργία των διαστημικών ρομποτικών συστημάτων σε αυτόνομες ή ημιαυτόνομες διεργασίες, υπάρχουν ζητήματα τα οποία χρίζουν άμεσης επίλυσης ούτως ώστε να γίνουν δυνατές πολυπλοκότερες αποστολές. Η ακριβής γνώση της θέσης και τροχιάς ενός ρομπότ απο το ίδιο το σύστημα, χωρίς την ανθρώπινη παρέμβαση, αποτελεί ίσως το ποιο κρίσιμο εμπόδιο προς την επιτυχία αποστολών μεγάλης κλίμακας, όπως η δημιουργία ασφαλούς περιβάλλοντος για την μετοίκηση των ανθρώπων σε έναν άλλο πλανήτη. Τα αυτοκινούμενα ρομποτικά συστήματα των αποστολών της Αμερικάνικης Διαστημικής Υπηρεσίας (NASA) στον Άρη (για παράδειγμα τα MER-A και MER-B της αποστολής Mars~Exploration~Rovers-MER και το Curiosity της αποστολής Mars~Science~Laboratory-MSL) πλοηγούνται σχετικά με την θέση προσγείωσης (ή προσαρείωσης) τους, αγνοώντας την ακριβή θέση τους αναφορικά με το σύστημα συντεταγμένων του πλανήτη τον οποίο εξερευνούν.Το κίνητρο για αυτή την Διδακτορική διατριβή ήταν η πιθανότητα να χρησιμοποιήσουμε τους καινοτόμους και υψηλής τεχνολογίας αισθητήρες οι οποίοι βρίσκονται σε τροχιά γύρω από τον Άρη, όπως το πείραμα High~Resolution~Imaging~ Science~Experiment~(HiRISE), ούτως ώστε να εντοπίσουμε χαρακτηριστικά στη επιφάνεια του κόκκινου πλανήτη που στην συνέχεια μπορούν να βοηθήσουν στον εντοπισμό ρομποτικών οχημάτων σε ένα απόλυτο σύστημα αναφοράς. Παρόλα αυτά οι αυτόνομες διεργασίες ρομποτικών συστημάτων απαιτούν από τους επιστήμονες να ακολουθήσουν μια διαθεματική προσέγγιση. Στα πλαίσια αυτής της διατριβής αναπτύχθηκαν αρκετοί αλγόριθμοι -καθένας σε διαφορετικό τομέα- οι οποίοι συνδέονται μεταξύ τους για να σχηματίσουν ένα σύστημα το οποίο θα είναι σε θέση να πραγματοποιήσει «απόλυτο εντοπισμό θέσης». Η παρούσα Διδακτορική Διατριβή έχει συγκροτηθεί σε έξι κεφάλαια, κάθε ένα από τα οποία καταπιάνεται με ένα συγκεκριμένο θέμα. Ξεκινώντας από το πρώτο κεφάλαιο το οποίο παρέχει όλη την βασική κατανόηση και το σχετικό κίνητρο που χρειάζεται κανείς για να παρακολουθήσει το σύνολο τη παρούσας δουλειάς καθώς και παρουσιάζει τη βιβλιογραφική ανασκόπηση των εργασιών που σχετίζονται με τη παρούσα διατριβή. Σχετικά με τη βιβλιογραφική ανασκόπηση, έχουμε υλοποίησει μία ξεκάθαρη ταξινόμηση των εργασιών σύμφωνα με τον τύπο των αισθητηρίων και των μεθόδων που χρησιμοποιούνται σε κάθε δουλειά.Σύμφωνα με τα συμπεράσματα του πρώτο κεφαλαίου, το δεύτερο κεφάλαιο αναπτύσσει το κρίσιμο ζήτημα της αξιολόγησης του συστήματος με κατάλληλα και ρεαλιστικά δεδομένα. Το πρώτο σετ δεδομένων που χρησιμοποιήθηκε, δημιουργήθηκε από την Ευρωπαϊκή Υπηρεσία Διαστήματος (ESA) κατά την διάρκεια μιας αποστολής που ως στόχο είχε την ρομποτική εξερεύνηση της ερήμου Atacama στην Χιλή. Όσο και να προσομοιάζει η Atacama στις συνθήκες του Άρη, αποφασίσαμε να αναπαραστήσουμε μία πραγματική περιοχή του κοκκινου πλανήτη -όσον αφορά την κατανομή σε πέτρες - και συγκεκριμένα τον κρατήρα Gale. Με στόχο να παρέχουμε ρεαλιστικά δεδομένα, κατασκευάσαμε ένα αυτοκινούμενο ρομπότ (Heavy Duty Planetary Rover) το οποίο είναι αντίγραφο -όσον αφορά το σύστημα όρασης - του πλανητικού οχήματος της ESA, ExoMars. Το σετ δεδομένων που παραγάγαμε δεν ωφελεί μόνο εμάς αλλά και ολόκληρη την ερευνητική κοινότητα καθώς το παρέχουμε δωρεάν μέσω των ηλεκτρονικών διακομιστών της ESA.Το τρίτο κεφάλαιο περιλαμβάνει όλες τις μεθόδους που απαιτούνται ούτως ώστε να επιτευχθεί ακριβής σχετική εύρεση θέσης. Παρόλο που η σχετική εύρεση θέσης (μέσω οπτικής οδομετρίας) παράγει μη οριοθετημένα σφάλματα ο ρυθμός με τον οποίο αυτό το σφάλμα μεγαλώνει είναι αρκετά σημαντικός. Αναπτύξαμε δύο μεθόδους, μια η οποία είναι ισοδύναμη με τις αντίστοιχες οι οποίες εφαρμόζονται ήδη σε διαστημικά ρομποτικά οχήματα και μία η οποία είναι πιο εξελιγμένη, αλλά την οποία καταφέραμε να την μετατρέψουμε σε λιγότερo υπολογιστικά απαιτητική. Ο πρώτος αλγόριθμος χρησιμοποιεί μια τρισδιάστατη ανακατασκευή ενός στερεοσκοπικού ζεύγους εικόνων (επάνω στο ρομπότ) και μαζί με την δισδιάστατη αντιστοίχιση παρέχει τρισδιάστατα ζεύγη χαρακτηριστικών σημείων και στη συνέχεια επιλέγει τις σωστές αντιστοιχίσεις μέσω μιας μεθόδου τύπου RANSAC. Στη συνέχεια ένα πρόβλημα τύπου PnP επιλύεται μέσω της μεθόδου EPnP, το αποτέλεσμα της οποίας φιλτράρεται μέσω ενός IMU με τη χρήση ενός φίλτρου EKF. Η δεύτερη προσέγγιση η οποία αναπτύχθηκε από εμάς εμπεριέχει μια μέθοδο περιορισμένου εύρους Bundle Adjustment, με το εύρος να ελέγχεται αυτόματα βάση των μετρήσεων ενός IMU ακριβείας. Τα αποτελέσματα που παράγονται από αυτές τις δύο μεθόδους ισοδυναμούν με τις μεθόδους τελευταίας τεχνολογίας. Υπάρχουν αρκετά τμήματα αυτών των δύο αλγορίθμων τα οποία δεν γνωρίζουμε να έχουν υλοποιηθεί πρότερα, όπως για παράδειγμα ο έλεγχος του εύρους του Bundle Adjustment με χρήση IMU.Το τέταρτο κεφάλαιο περιγράφει τόσο τον σχεδιασμό όσο και την αξιολόγηση μιας διαδικασίας την οποία χρησιμοποιούμε για να εντοπισόυμε και να κατηγοροποιήσουε αυτόνομα περιοχές ενδιαφέροντος (ΠΕ) από εικόνες η οποίες προέρχονται από ρομπότ τα οποία εξερευνούν ένα πλανήτη και από δορυφόρους οι οποίοι καταγράφουν την επιφάνεια αυτού του πλανήτη. Ο εντοπισμός πιθανών ΠΕ πραγματοποιείται μέσω μιας απλής (αλλά και αποτελεσματικής) μετρικής όρασης υπολογιστών. Η μέθοδος υπολογιστικής εκμάθησης (ΥΕ) που χρησιμοποιούμε είναι αυτή της δυαδικής κατηγοριοποίησης για κάθε τύπο ΠΕ. Η εκπαίδευση του συστήματος γίνεται εκ των προτέρων ενώ η κατηγοριοποίηση εκτελείται αυτόνομα σε πραγματικό χρόνο. Μετά από μία εις βάθος εξέταση της σχετικής βιβλιογραφίας δεν καταφέραμε να βρούμε καμία έρευνα η οποία να παρουσιάζει την μεθοδολογία που ακολουθείται για να επιλεχθεί η πιο κατάλληλη μέθοδος για την αναγνώριση διαφόρων ΠΕ, σε εικόνες ρομπότ και δορυφόρων, σχετικά μια διαστημικές πλανητικές αποστολές. Για αυτό το λόγο αποφασίσαμε να ρυθμίσουμε και να αξιολογήσουμε μια πληθώρα κατηγοροποιητών -αναφορικά τους ``K Nearest Neighbors" (k-NN), ``Naive Bayes" (NB), ``Logistic Regression" (LR), ``Classification Tree" (CTree), ``Support Vector Machine" (SVM) και ``Gaussian Process" (GP).Τέλος, στην πέμπτο κεφάλαιο παρουσιάζονται οι μεθοδολογίες που μας επιτρέπουν να κατασκευάσουμε και να αντιστοιχίσουμε αραιά δίκτυα από ρομπότ και δορυφόρους. Τα δύο δίκτυα τα οποία κυριαρχούν στην μέθοδο απόλυτου εντοπισμού ονομάζονται Τοπικό Δίκτυο ΤΔ κα Απόλυτο Δίκτυο ΑΔ. Το ΤΔ δημιουργείται χρησιμοποιώντας τις ΠΕ τις οποίες το ρομπότ έχει εντοπίσει και κατηγοριοποιήσει, ενώ το ΑΔ κατασκευάζεται βάση μιας δορυφορικής εικόνας σε χαρτογραφικές συντεταγμένες. Το σύστημα παρέχει δύο τρόπους απόλυτου εντοπισμού. Ο πρώτος τρόπος αποτελείται από την ημιαυτόνομη μέθοδο DARCES η οποία μπορεί να παρέχει κατανεμημένες λίστες με σειρά πιθανότητας. Ο δεύτερος τρόπος είναι εντελώς αυτόνομος και χρησιμοποιεί βελτιστοποίηση γράφων. Ο γράφος σχηματίζεται ως ένας τυπικός pose graph, εκτός από το γεγονός ότι εμπεριέχει ένα τοπικό και ένα ολικό μέρος τα οποία συνδέονται μόνο μέσω loop closures και όχι μέσω μετασχηματισμού. Επιλέγουμε μία μέθοδο η οποία είναι σε θέση να διαχειριστεί «ψεύτικες αντιστοιχίσεις» και με αυτόν τον τρόπο αποφεύγουμε το εμπόδιο κατά το οποίο ο DARCES παράγει πάνω από μία λύσεις.Η διδακτορική διατριβή ολοκληρώνεται με το τελευταίο κεφάλαιο. Αρχικά θέτει τις βάσεις για συζήτηση σχετικά με τον απόλυτο εντοπισμό θέσεως διαστημικών ρομποτικών οχημάτων τα τελευταία τριάντα χρόνια. Στη συνέχεια παρουσιάζει την μέθοδο η οποία αναπτύχθηκε κατά την διάρκεια αυτής της εργασίας και τα επιτυχημένα ερευνητικά κατορθώματα. Τέλος, παρουσιάζονται οι ιδέες μας για εμπλουτισμό του παρόντος συστήματος καθώς και την εκμετάλλευσή του από άλλα ινστιτούτα ή και για διαφορετικούς σκοπούς.Η συμβολή της παρούσας διδακτορικής διατριβής στην επιστήμη είναι ξεκάθαρη και υποστηρίζεται από την λίστα δημοσιεύσεων μας. Είμαστε αρκετά πεπεισμένοι ότι καμία μέθοδος στο παρελθόν δεν παρουσίασε απόλυτο εντοπισμό χρησιμοποιώντας σημασιολογικά χαρακτηριστικά, τα οποία είναι ορατά τόσο σε δορυφορικές εικόνες όσο και σε εικόνες ρομπότ. Αναφορικά το σύστημα το οποίο αναπτύχθηκε στα πλαίσια τη παρούσας διδακτορικής διατριβής περιέχει τα εξής υποσυστήματα: «υπολογισμό κίνησης (σχετική εύρεση θέσης)», «όραση υπολογιστών για τον εντοπισμό πιθανών χαρακτηριστικών σημείων ενδιαφέροντος», «εκμάθηση μηχανής για τον αυτόνομο χαρακτηρισμό σημείων ενδιαφέροντος», «βελτιστοποίηση γράφων για την βελτίωση θέσης και προσανατολισμού». Όλα αυτά τα στοιχεία του συστήματος μας βρίσκονται στην αιχμή της γνώσης καθώς είτε υπερτερούν ή ισοδυναμούν με όλες τις προηγούμενες μελέτες σε κάθε υπό-τομέα. Όσον αφορά την σχετική εύρεση θέσης έχουμε υλοποιήσει μια μη επαναληπτική μέθοδο (EPnP) η οποία βελτιστοποιείται με χρήση Bundle Adjustment μεταβλητούς εύρους, με το εύρος αυτό να μεταβάλλεται σε πραγματικό χρόνο με χρήση ενός IMU υψηλής ακριβείας. Αυτή είναι η πρώτη φορά που η συγκεκριμένη δομή αλγορίθμου σχετικής εύρεσης θέσης παρουσιάζεται στην βιβλιογραφία. Μετά από μία εις βάθος εξέταση της σχετικής βιβλιογραφίας δεν καταφέραμε να βρούμε καμία έρευνα - σχετικά με διαστημικές πλανητικές αποστολές- η οποία να παρουσιάζει την μεθοδολογία που ακολουθείται για να επιλεχθεί η πιο κατάλληλη μέθοδος για την αναγνώριση διαφόρων ΠΕ, σε εικόνες ρομπότ και δορυφόρων. Για το λόγο αυτό πραγματοποιήσαμε για πρώτη φορά μία τέτοια αξιολόγηση με αξιοσημείωτα αποτελέσματα. Η χρήση των ΤΔ και ΑΔ σε έναν γράφο για την επίλυση του προβλήματος της απόλυτης εύρεσης θέσης, στο σενάριο του «ρομπότ χαμένου στο διάστημα» δεν έχει αναφερθεί στο παρελθόν. Η τεχνολογία που έχει αναπτυχθεί στα πλαίσια αυτής της έρευνας θα βοηθήσει στην εξέλιξη τόσο των παρόντων όσο και των μελλοντικών αποστολών. Όσον αφορά τους ερευνητές, οι οποίοι εντοπίζουν ρομπότ στον Άρη μη αυτοματοποιημένα, αντί να ερευνούν μια αχανή περιοχή, εις το εξής θα ψάχνουν σε ένα μικρό εύρος θέσεων. Επίσης, οι αυτόνομες δυνατότητες του συστήματος μας θα δώσουν ώθηση για μελλοντικές ρομποτικές εξωπλανητικές αποστολές όπως οι αποστολή Mars Sample Return και η μετοίκηση των ανθρώπων σε άλλους πλανήτες.