Registration, semantic segmentation and change detection with deep learning in urban environments
Authors: Παπαδομανωλάκη Μαρία 
Published: July 2022

Τα τελευταία χρόνια, η τεράστια διαθεσιμότητα ετερογενών δορυφορικών δεδομένων έχει επιτρέψει στην κοινότητα της τηλεπισκόπισης να διερευνήσει πολυάριθμα ερευνητικά πεδία με σκοπό τη συστηματική παρατήρηση της γης. ΄Ενας τρόπος για την παρακολούθηση του πλανήτη είναι η σύγκριση χρονοσειρών εικόνων που αποκτήθηκαν σε διαφορετικές χρονικές στιγμές και στις οποίες έχει εφαρμοστεί κατάλληλη αντιστοίχιση. Επιπλέον, οι σημασιολογικοί χάρτες μεμονωμένων εικόνων μπορούν να συμβάλλουν στην αυτόματη αναγνώριση της διάταξης μιας συγκεκριμένης περιοχής. Στην παρούσα διατριβή ερευνώνται τα θέματα της αντιστοίχισης εικόνων, της σημασιολογικής κατάτμησης και της ανίχνευσης μεταβολών, προτείνοντας νέες μεθόδους που περιλαμβάνουν τη συλλογή δεδομένων και εστιάζουν κυρίως σε τεχνικές βαθιάς μηχανικής μάθησης (deep learning). Παρόλο που πολλές σύγχρονες τεχνικές παρέχουν αξιόπιστα αποτελέσματα σε αυτά τα θέματα, η δημιουργία ισχυρών αλγορίθμων ικανών να επεξεργάζονται διαφορετικά είδη δεδομένων παραμένει μια πρόκληση λόγω της ποικιλόμορφης φύσης των δορυφορικών εικόνων. Οι συνεισφορές της διατριβής αυτής είναι οι εξής: (i) ένας καινοτόμος αλγόριθμος βαθιάς μηχανικής μάθησης για σημασιολογική κατάτμηση στον οποίο ενσωματώνονται χωρικές πληροφορίες των αντικειμένων της εικόνας με σκοπό την παραγωγή περισσότερο ομαλών σχημάτων, (ii) ένα δίκτυο πολλαπλών εργασιών για την ανίχνευση μεταβολών το οποίο αξιοποιεί όχι μόνο τα σημασιολογικά χαρακτηριστικά των εικόνων αλλά και τη χρονική συσχέτιση μεταξύ τους χρησιμοποιώντας πλήρως συνελικτικά δίκτυα μακροπρόθεσμης-βραχυπρόθεσμης μνήμης τα οποία προτείνονται για πρώτη φορά σε αυτό το πρόβλημα, και (iii) έναν αυτόματο αλγόριθμο αντιστοίχισης εικόνων στηριγμένο στη βαθιά μηχανική μάθηση ο οποίος εξάγει απευθείας τις παραμέτρους μετασχηματισμού, λαμβάνοντας ταυτόχρονα υπόψη τις περιοχές στις οποίες έχουν επέλθει αλλαγές. ΄Ολες οι προτεινόμενες μέθοδοι αξιολογήθηκαν σε μια ποικιλία δημόσιων και ιδιωτικών οπτικών δεδομένων υψηλής και πολύ υψηλής ανάλυσης, επιδεικνύοντας πολύ καλές επιδόσεις ανώτερες απότις τρέχουσες σύγχρονες μεθόδους.Η πρώτη συνεισφορά επικεντρώνεται στη σημασιολογική κατάτμηση αστικών περιοχών, επιλύοντας τα προβλήματα των διάσπαρτων λανθασμένων προβλέψεων εικονοστοιχείων καθώς και των ακανόνιστων σχημάτων αντικειμένων που προκύπτουν από τις περισσότερες μεθόδους στη βιβλιογραφία. Συγκεκριμένα, παρουσιάζεται ένας αλγόριθμος κατά τον οποίο οι δορυφορικές εικόνες τμηματοποιούνται αρχικά σε ομάδες εικονοστοιχείων με βάση τις φασματικές και χωρικές τους σχέσεις. Η πληροφορία αυτή ενσωματώνεται στη διαδικασία εκπαίδευσης του αλγορίθμου μέσω μιας επιπρόσθετης συνάρτησης κόστους η οποία αναθέτει την κυρίαρχη κλάση κάθε ομάδας εικονοστοιχείων σε όλα τα εικονοστοιχεία που ανήκουν στο εν λόγω τμηματοποιημένο μέρος της εικόνας. Η μέθοδος αυτή αξιολογήθηκε διεξοδικά σε δορυφορικά δεδομένα πολύ υψηλής ανάλυσης, ενώ συγκρίθηκε επίσης και με άλλα συνελικτικά και πλήρως συνελικτικά δίκτυα αποδεικνύοντας την αποτελεσματικότητά της τόσο ποσοτικά όσο και ποιοτικά.Η δεύτερη συνεισφορά σχετίζεται με την ανίχνευση αστικών μεταβολών και αντιμετωπίζει το πρόβλημα της πληθώρας ψευδώς θετικών προβλέψεων που προκύπτουν από τη διακύμανση των φασματικών τιμών και τα περιορισμένα δείγματα δεδομένων αλλαγών που περιλαμβάνονται στα διάφορα είδη δεδομένων. Συγκεκριμένα, χρονοσειρές εικόνων επεξεργάζονται από ένα πλήρως συνελικτικό δίκτυο πολλαπλών εργασιών της μορφής κωδικοποιητής-αποκωδικοποιητής (encoder-decoder), όπου οι εργασίες ανίχνευσης μεταβολών και σημασιολογικής κατάτμησης υλοποιούνται ταυτόχρονα με τη χρήση δύο ξεχωριστών αποκωδικοποιητών. Η συνεργία αυτών των δύο εργασιών ωφελεί και τις δύο, κάνοντας πιο σταθερή την εκπαίδευση του αλγορίθμου και οδηγώντας σε καλύτερες επιδόσεις. Επιπλέον, η χρονική συσχέτιση μεταξύ των εικόνων εξάγεται σε διαφορετικές χωρικές αναλύσεις με την τοποθέτηση πλήρως συνελικτικών δικτύων μακροπρόθεσμης-βραχυπρόθεσμης μνήμης σε κάθε επίπεδο του κωδικοποιητή. Ειδικότερα, εισάγεται για πρώτη φορά η χρήση πλήρως συνελικτικών δικτύωνμακροπρόθεσμης-βραχυπρόθεσμης μνήμης (Long Short-Term Memory Networks) για την αντιμετώπιση της ανίχνευσης μεταβολών, μειώνοντας κατά πολύ τις παραμέτρους που απαιτούνται από τα αντίστοιχα δίκτυα που έχουν εφαρμοστεί στη βιβλιογραφία. Η ευρωστία της μεθόδου αξιολογήθηκε σε δεδομένα υψηλής και πολύ υψηλής ανάλυσης, ενώ συγκρίθηκε και με άλλα πλήρως συνελικτικά δίκτυα, δίκτυα πολλαπλών εργασιών και δίκτυα επεξεργασίας χρονοσειρών εικόνων.Στην τελευταία μέθοδο που αναπτύχθηκε, στόχος ήταν η γεωμετρική επίλυση των παραμορφώσεων στα ζεύγη εικόνων που δημιουργούονται από διαφορετικές γωνίες λήψης εκτός ναδίρ ή αισθητήρες με ανόμοια χαρακτηριστικά. Το πρόβλημα αυτό καθορίζει επίσης την ποιότητα και αποδοτικότητα των τεχνικών ανίχνευσης μεταβολών. Στη μελέτη αυτή προτείνεται για πρώτη φορά ένα δίκτυο αντιστοίχισης (registration) εικόνων το οποίο παράγει απευθείας ένα πυκνό πλέγμα ελαστικών παραμορφώσεων για ζεύγη οπτικών δεδομένων πολύ υψηλής ανάλυσης. Συγκεκριμένα, σχεδιάζεται μια ημι-επιβλεπόμενη μέθοδος πολλαπλών βημάτων βασισμένη στη συλλογή δεδομένων, όπου οι παράμετροι μετασχηματισμού προκύπτουν άμεσα από ένα πλήρως συνελικτικό δίκτυο αντιστοιχίζοντας αυτόματα τα ζεύγη εικόνων μέσα από ένα δισδιάστατο επίπεδο μετασχηματισμού (2D transformer layer). Οι ακμές των εικόνων αντιστοχίζονταιεπίσης κατά τη διάρκεια της εκπαίδευσης προκειμένου να διατηρηθούν καλύτερα τα σχήματα των εικόνων. Τέλος, χρησιμοποιείται μια δυαδική μάσκα μεταβολών με σκοπό τη χαλάρωση των περιορισμών αντιστοίχισης στις περιοχές όπου έχουν επέλθει αλλαγές, αποφεύγοντας τον αποπροσανατολισμό του μοντέλου από ακραίες φασματικές και γεωμετρικές διαφορές. Πολλαπλά πειράματα πραγματοποιήθηκαν χρησιμοποιώντας δεδομένα υψηλής και πολύ υψηλής ανάλυσης, συγκρίνοντας τα αποτελέσματα με άλλες τεχνικές αντιστοίχισης που έχουν εφαρμοστεί στη βιβλιογραφία.Στη διατριβή αυτή παρέχονται λύσεις και για τα τρία προαναφερθέντα θέματα, τα οποία συνδέονται άρρηκτα μεταξύ τους. Συγκεκριμένα, η σημασιολογική κατάτμηση μπορεί να υιοθετηθεί ως επιπρόσθετη εργασία παρέχοντας χρήσιμες περαιτέρω πληροφορίες κατά την εκπαίδευση των αλγορίθμων ανίχνευσης μεταβολών. Επιπλέον, η ανίχνευση μεταβολών είναι ουσιαστικά ένα πρόβλημα σημασιολογικής κατάτμησης δεδομένου ότι το αποτέλεσμα είναι ένας σημασιολογικός χάρτης με περιοχές αλλαγών και μή αλλαγών, επομένως οι επιτυχημένες μέθοδοι που αναδύονται στον τομέα της σημασιολογικής κατάτμησης μπορούν να προσφέρουν ιδέες και έμπνευση για την εξέλιξη των τεχνικών ανίχνευσης μεταβολών. Τέλος, η ανίχνευση μεταβολών απαιτεί πρώτα την ορθή αντιστοίχιση των ζευγών εικόνων, ώστε να αποφεύγονται οι ψευδώς θετικές ανιχνεύσεις που προκαλούνται από γεωμετρικές μεταβολές. Για τους παραπάνωλόγους στοχεύσαμε στη δημιουργία σχημάτων που συνδυάζουν πληροφορίες από αυτά τα τρία προβλήματα για την παροχή αποδοτικότερων και ταχύτερων αλγορίθμων προς την κατεύθυνση της αυτόματης παρακολούθησης της γήινης επιφάνειας. ΄Ολοι οι αλγόριθμοι που προτάθηκαν και αναπτύχθηκαν σε αυτή τη διατριβή έχουν δημοσιευτεί και είναι διαθέσιμοι στην επιστημονική κοινότητα.