Unlocking the potential of artificial intelligence for satellite image processing
Authors: Κριστολλάρη Βικτωρία 
Published: July 2024

H τεχνητή νοημοσύνη αφορά την εκτέλεση εργασιών που τυπικά συνδέονται με έξυπνες οντότητες, από μηχανές. Οι εξελίξεις στη νευροεπιστήμη από τον 19ο αιώνα και μετά ενέπνευσαν τη δημιουργία του “perceptron” το 1958, το οποίο αποτελεί ένα μαθηματικό μοντέλο ενός βιολογικού νευρώνα. Από τότε, τα τεχνητά νευρωνικά δίκτυα (ΤΝΔ), μία μέθοδος τεχνητής νοημοσύνης που εμπνέεται από τον ανθρώπινο εγκέφαλο, έχουν επιδείξει μεγάλη πρόοδο σε διάφορες εργασίες. Η αυξημένη υπολογιστική ισχύς που παρέχεται την τελευταία δεκαετία αποτέλεσε έναν από τους κύριους παράγοντες ώθησης του τομέα. Τα ΤΝΔ επιδεικνύουν τις δυνατότητές τους κυρίως σε εργασίες “Μεγάλων Δεδομένων”, όπου υπερτερούν σε σχέση με άλλες μεθόδους. Επομένως, υψηλό είναι το ερευνητικό ενδιαφέρον στην επιστήμη της Δορυφορικής Τηλεπισκόπησης καθώς συχνά συλλέγονται μεγάλοι όγκοι δεδομένων. Τα κύρια πλεονεκτήματα είναι η ανεξαρτησία από τη χειρωνακτική εξαγωγή χαρακτηριστικών, η υψηλή ευελιξία και η χωρική αντίληψη στο πεδίο της επεξεργασίας εικόνων, ενώ μειονεκτήματα συνιστούν η χρονοβόρα δημιουργία επισημασμένων δεδομένων και η χαμηλή ερμηνευσιμότητα. Στην παρούσα διδακτορική διατριβή, διερευνήθηκαν οι δυνατότητες των ΤΝΔ σε τέσσερις εφαρμογές της Τηλεπισκόπησης: αφαίρεση νεφών σε Sentinel-2 (S2) δεδομένα, ανίχνευση μεταβολών σε εικόνες πολύ υψηλής ανάλυσης, ανίχνευση θαλάσσιων πλαστικών απορριμμάτων μέσω συγχώνευσης εικόνων και τέλος μετάφραση φυσικών έγχρωμων εικόνων (ΦΕΕ) σε εικόνες εγγύς υπέρυθρου (ΕΥ). Η ανίχνευση νεφών (cloud masking) είναι ένα κρίσιμο βήμα προεπεξεργασίας στην ανάλυση τηλεπισκοπικών δεδομένων καθώς αποκλείει τα νέφη από τις οπτικές εικόνες. Οι μέθοδοι κατωφλίωσης, οι οποίες εξακολουθούν να είναι ο χρυσός κανόνας στην επίλυση του συγκεκριμένου προβλήματος, παρουσιάζουν μειωμένη απόδοση σε περιπτώσεις αυξημένης δυσκολίας όπως είναι η παρουσία ημιδιαφανών νεφών (σφάλμα παράλειψης) και φωτεινών μη-νεφωδών αντικειμένων (σφάλμα συμπερίληψης). Για να αντιμετωπιστούν οι παραπάνω προκλήσεις πραγματοποιήθηκαν τρεις μελέτες σε αυτήν τη διατριβή σε S2 εικόνες. Στην πρώτη μελέτη εφαρμόστηκε μία αρχιτεκτονική πολυεπίπεδων perceptron η οποία παρήγαγε καλύτερα αποτελέσματα σε σύγκριση με κοινά αποδεκτές μεθόδους κατωφλίωσης και πολυχρονικές μεθόδους όσον αφορά τη διάκριση νεφών από φασματικές υπογραφές (ΦΥ) βαθιάς θάλασσας με επιδράσεις θορύβου και ανάκλασης. Για τις ανάγκες της μελέτης δημιουργήθηκε ένα σετ δεδομένων το οποίο δημοσιεύθηκε προς ελεύθερη χρήση καθώς αντίστοιχα σετ δεδομένων δεν διατίθενται στη βιβλιογραφία. Ενδιαφέροντα ευρήματα αποτέλεσαν η πιθανή θετική επίδραση της εφαρμογής κανονικοποίησης στο σετ δοκιμής αντί του σετ εκπαίδευσης και ο καθορισμός των σημαντικών καναλιών στην αντιμετώπιση ΦΥ με επιδράσεις θορύβου και ανάκλασης μέσω της χρήσης βαρών του δικτύου. Στη δεύτερη μελέτη αναπτύχθηκε μία νέα μεθοδολογία ρύθμισης (fine-tuning) αυτό-οργανωμένων χαρτών (ΑΟΧ), η οποία διόρθωσε επιτυχώς τις εσφαλμένες ταξινομήσεις φωτεινών μη-νεφώδων ΦΥ στην ξηρά. Οι ΑΟΧ είναι ΤΝΔ τα οποία διαθέτουν τοπολογικές ιδιότητες. Η προτεινόμενη προσέγγιση, η οποία εφαρμόζεται στο αποτέλεσμα του μη ρυθμισμένου δικτύου, είναι ανεξάρτητη από την εκάστοτε εφαρμογή και απαιτεί μόνο μικρή ποσότητα δεδομένων. Επιπλέον, εξαλείφει την ανάγκη για περαιτέρω εκπαίδευση του δικτύου. Πραγματοποιείται με τον εντοπισμό των νευρώνων που αντιστοιχούν στα εσφαλμένα ταξινομημένα φωτεινά μη νεφώδη αντικείμενα και την τροποποίηση των επισημάνσεων τους. Στη τρίτη μελέτη δημιουργήθηκε ένα συνελικτικό νευρωνικό δίκτυο (ΣΝΔ) (patch-to-pixel) το οποίο εντόπισε τα ημιδιαφανή νέφη και διέκρινε τα φωτεινά νέφη από τα φωτεινά μη-νεφώδη αντικείμενα. Τα ΣΝΔ είναι ΤΝΔ τα οποία εμπνέονται από την ανθρώπινη όραση. Το μοντέλο υποβλήθηκε σε αξιολόγηση στο πρώτο δημόσια διαθέσιμο επισημασμένο σετ αφαίρεσης νεφών, επιτρέποντας την αξιόπιστη και αντικειμενική αξιολόγηση. Η μελέτη ενίσχυσε περαιτέρω την αξία των ΣΝΔ σε εφαρμογές όπου η χωρική πληροφορία είναι κρίσιμη και έδειξε ότι λιγότερο σύνθετα δίκτυα μπορούν να έχουν ικανοποιητική απόδοση στο πεδίο της αφαίρεσης νεφών. Η ανίχνευση μεταβολών (AM) στην επιστήμη της Τηλεπισκόπησης αφορά την παρακολούθηση των καλύψεων γης μέσα στο χρόνο. Όταν εκτελείται σε δεδομένα πολύ υψηλής ανάλυσης (ΠΥΑ), είναι δυνατή η AM σε μικρότερα αντικείμενα, όπως κτίρια. Ωστόσο, η πολυπλοκότητα του προβλήματος αυξάνεται λόγω της έντονης διασποράς εντός κλάσεων και γεωμετρικών σφαλμάτων συνταύτισης. Οι παραδοσιακές μέθοδοι σύγκρισης εικονοστοιχείων ή κατάτμησης είναι πιο αποτελεσματικές σε δεδομένα υψηλής/μεσαίας ανάλυσης όπου τα υπολειπόμενα σφάλματα συνταύτισης είναι λιγότερο σημαντικά. Πρόσφατα η συνελικτική βαθιά μηχανική μάθηση (ΒΜΜ) συνέβαλε στην AM σε εικόνες ΠΥΑ καθώς τα ΣΝΔ διαθέτουν έμφυτη αντίληψη της χωρικής πληροφορίας. Ωστόσο, η έρευνα έχει επικεντρωθεί κυρίως σε εικόνες με μικρά σφάλματα συνταύτισης και η αξιολόγηση συνήθως δεν διεξάγεται σε πολύ ανόμοια σετ δοκιμών. Σε απόπειρα μείωσης του συγκεκριμένου κενού στην έρευνα, στην παρούσα διατριβή διεξήχθη μία συγκριτική μελέτη, όπου διάφορες προηγμένες μέθοδοι ΒΜΜ που ανιχνεύουν μεταβολές και αυτόματες μέθοδοι συνταύτισης αξιολογήθηκαν σε εικόνες ΠΥΑ με σοβαρά σφάλματα συνταύτισης. Οι εικόνες συλλέχθηκαν από ευρωπαϊκές περιοχές με ποικίλα αστικά μοτίβα και οι προκλήσεις περιλάμβαναν γεωμετρικές παραμορφώσεις και ραδιομετρικές διαφορές, καθώς και μεταβολές συσχετισμένες με εποχές και κίνηση οχημάτων. H διαφοροποίηση των σετ εκπαίδευσης από τα σετ μελέτης αποτέλεσε επίσης πρόκληση για τις επιβλεπόμενες μεθόδους. Η αξιολόγηση ενισχύθηκε από ένα νέο προτεινόμενο ποσοτικό δείκτη που βελτιώνει την αντίληψη του μεγέθους του σφάλματος συμπερίληψης. Η μελέτη έδειξε ότι μία μέθοδος που χρησιμοποιεί συσχέτιση φάσης παρήγαγε τα πιο ικανοποιητικά αποτελέσματα συνταύτισης και το δίκτυο STANet παρουσίασε την καλύτερη απόδοση όσον αφορά μεταβολές που σχετίζονται με κτίρια. Η απόδοση του δικτύου πιθανώς οφείλεται στη συνέργεια μεταξύ του μηχανισμού χωρικής προσοχής και του συνοδευτικού επισημασμένου σετ δεδομένων. Τα θαλάσσια απορρίμματα προκαλούν ένα ευρύ φάσμα ανεπιθύμητων περιβαλλοντικών και κοινωνικοοικονομικών επιπτώσεων. Το πλαστικό, το οποίο αποτελεί το κυρίαρχο συστατικό, συνιστά το σημαντικότερο κίνδυνο. Πρόσφατες έρευνες οι οποίες χρησιμοποίησαν δορυφορικά δεδομένα έδειξαν ελπιδοφόρα αποτελέσματα στην ανίχνευση θαλάσσιων απορριμμάτων μεγάλου μεγέθους αλλά το συγκεκριμένο πεδίο είναι ακόμη στα πρώτα του βήματα. Η υψηλή χωρική και φασματική ανάλυση είναι δύο κρίσιμοι παράγοντες για τη βελτίωση της ικανότητας εντοπισμού και ταυτοποίησης των πλαστικών. Ωστόσο, στους παρόντες δορυφορικούς αισθητήρες υπάρχουν κρίσιμες συμβιβαστικές λύσεις όσον αφορά το συγκεκριμένο θέμα. Στην παρούσα διατριβή, υπό την υπόθεση ότι το προαναφερθέν πρόβλημα θα μπορούσε να αντιμετωπιστεί μέσω συγχώνευσης εικόνων, πραγματοποιήθηκαν δύο μελέτες οι οποίες επικεντρώθηκαν στην αύξηση της χωρικής ανάλυσης των δορυφόρων PRISMA και S2. Στην πρώτη μελέτη διερευνήθηκαν για πρώτη φορά οι δυνατότητες της υπερφασματικής (YΦ) δορυφορικής Τηλεπισκόπησης μέσω PRISMA δεδομένων στον εντοπισμό θαλάσσιων πλαστικών απορριμμάτων. Η έρευνα επικεντρώθηκε στον εντοπισμό στόχων μικρού μεγέθους (≤ 5 m) που σχεδιάστηκαν αποκλειστικά για το πείραμα, αυξάνοντας τη δυσκολία του προβλήματος. Αξιολογήθηκαν διάφορες συμβατικές μέθοδοι καθώς και προηγμένα δίκτυα ΒΜΜ της βιβλιογραφίας με στόχο τη συγχώνευση του παγχρωματικού καναλιού με τα υπερφασματικά. Τα καλύτερα αποτελέσματα παρήχθησαν από μία συμβατική μέθοδο αντικατάστασης κύριων συνιστωσών, όπου διαχωρίστηκαν αποτελεσματικά οι ΦΥ του πλαστικού από του νερού χωρίς να προκαλούνται παραμορφώσεις στη συγχωνευμένη εικόνα. Στις μεθόδους ΒΜΜ (σημειώνεται ότι στην προγενέστερη βιβλιογραφία είχαν εφαρμοστεί σε εικόνες ΠΥΑ), χωρικές παραμορφώσεις εντοπίστηκαν στις συγχωνευμένες εικόνες λόγω της μεγάλης διαφοράς στις χωρικές αναλύσεις μεταξύ του παγχρωματικού και των ΥΦ καναλιών και της έλλειψης αληθών δεδομένων (ground-truth). Ωστόσο, η σημασία της αποκοπής του ιστογράμματος καθιερώθηκε, καθώς τυχαίες ΦΥ νερού διαχωρίστηκαν αποτελεσματικά από τις αντίστοιχες των στόχων πλαστικού. Λόγω απουσίας διακριτών χαρακτηριστικών στο μέσο υπέρυθρο (short-wave infrared (SWIR)), αξιοποιήθηκαν χαρακτηριστικά στο ορατό και εγγύς υπέρυθρο τμήμα του φάσματος και εφαρμόστηκε η τομή των αποτελεσμάτων τριών νέων δεικτών θαλάσσιων πλαστικών στη συγχωνευμένη εικόνα της μεθόδου των κυρίων συνιστωσών. Η ελάχιστη διάσταση ανιχνεύσιμου πλαστικού ήταν 8% του εικονοστοιχείου της ΥΦ εικόνας. Στη δεύτερη μελέτη πραγματοποιήθηκε συγχώνευση S2 και WV-3 εικόνων καθώς η πληροφορία του μέσου υπέρυθρου (διαθέσιμη στον S2 και απούσα στον WV-3) είναι πολύτιμη στον εντοπισμό και στην ταυτοποίηση των πλαστικών. Αξιολογήθηκαν διάφορες συμβατικές μέθοδοι συγχώνευσης καθώς και προηγμένα δίκτυα ΒΜΜ ως προς την ακρίβεια της απεικόνισης της χωρικής και φασματικής πληροφορίας τεχνητών στόχων πλαστικού. Η μέθοδος CNMF επέδειξε την καλύτερη συνολικά απόδοση, ενώ δύο μοντέλα βασισμένα σε ανταγωνιστική μάθηση (GANs) και υπολειπόμενες συνδέσεις αντίστοιχα (δημιουργήθηκαν για την πραγματοποίηση της μελέτης), ξεπέρασαν σε επιδόσεις όλες τις μεθόδους ως προς τη φασματική ομοιότητα. Σημαντικά ευρήματα ήταν: α) η επάρκεια της πληροφορίας στο εγγύς υπέρυθρο του WV-3 για την παραγωγή του καλύτερου συγχωνευμένου αποτελέσματος, βελτιώνοντας τις πιθανότητες επίτευξης χρονικά κοντινών λήψεων, β) η ενίσχυση της σημασίας της πληροφορίας του μέσου υπέρυθρου στον εντοπισμό πλαστικών και γ) η παρατήρηση ανομοιοτήτων στις συγχωνευμένες ΦΥ των διάφορων πλαστικών υλικών. Σημειώνεται ότι οι συμβατικές μέθοδοι συγχώνευσης εκτελέστηκαν από τη Μ. Κρεμεζή. Ο αγγλικός όρος image-to-image translation (ITIT) αναφέρεται σε μία τεχνική επεξεργασίας εικόνας που στοχεύει στην εκμάθηση των συναρτήσεων αντιστοίχισης μεταξύ μίας εικόνας εισόδου και μίας εικόνας εξόδου. Μπορεί να εκτελεστεί είτε σε paired δεδομένα (συνταύτιση εικόνας εισόδου και εξόδου) είτε σε unpaired. Το τελευταίο διάστημα, η κοινότητα της Τηλεπισκόπησης έχει εκδηλώσει αυξημένο ενδιαφέρον για το ITIT με paired δεδομένα, χρησιμοποιώντας συνήθως δίκτυα ανταγωνιστικής μάθησης (ΔΑΜ) υπό συνθήκη (conditional GANs) για να συνθέσουν την πληροφορία που λείπει σε διάφορες εφαρμογές. Η πρόβλεψη εικόνων ΕΥ από ΦΕΕ, στην οποία επικεντρώθηκε η παρούσα διατριβή, είτε έχει προσεγγιστεί έμμεσα στο πλαίσιο της δημιουργίας ΥΦ προϊόντων (spectral super-resolution), είτε έχει κατευθυνθεί αποκλειστικά σε εφαρμογές βλάστησης. Όσον αφορά το ITIT σε unpaired δεδομένα, έχει χρησιμοποιηθεί ως επί το πλείστον ως ενδιάμεσο βήμα για τη βελτίωση των αποτελεσμάτων της σημασιολογικής κατάτμησης μεταξύ διαφορετικών πεδίων (μη επιβλεπόμενη προσαρμογή πεδίου). Η παρούσα διατριβή επιχείρησε να συμβάλει στην έρευνα πρόβλεψης ΕΥ από ΦΕΕ, πραγματοποιώντας μία εμπεριστατωμένη μελέτη που επικεντρώθηκε σε τρεις κύριες κατηγορίες κάλυψης γης (μη διαπερατό, βλάστηση, έδαφος) σε ετερογενείς δίχρονες ΠΥΑ εικόνες. Μέσω μίας μεθοδολογίας τριών βημάτων με χρήση ΔΑΜ αξιοποιήθηκαν αντιστοιχιζόμενα και μη αντιστοιχιζόμενα δεδομένα, ενώ εξετάστηκαν και διαφορετικές παραλλαγές δικτύου, με στόχο την ικανοποιητική ΕΥ πρόβλεψη σε δεδομένα εντός και εκτός πεδίου (δεν ανήκουν στο πεδίο του σετ εκπαίδευσης). Τα πειράματα των paired δεδομένων, τα οποία εκτελέστηκαν σε δεδομένα εντός και εκτός πεδίου, έδειξαν ότι τα ΔΑΜ υπό συνθήκη παρήγαγαν επαρκείς προβλέψεις ΕΥ ακόμα και στις περιπτώσεις εκτός πεδίου, όταν οι ανομοιότητες των πεδίων (domain gap) δεν ήταν πολύ υψηλές. Επιπλέον προέκυψε ότι η κανονικοποίηση ανά περίπτωση (instance normalization) απόδωσε καλύτερα από την κανονικοποίηση ανά σύνολο (batch normalization), ιδιαίτερα σε δεδομένα με χαμηλή εκπροσώπηση στο σετ εκπαίδευσης. Στα πειράματα των unpaired δεδομένων κατέστη δυνατή η βελτίωση της πρόβλεψης του ΕΥ στην κατηγορία της βλάστησης σε περιπτώσεις υψηλών ανομοιοτήτων στα αντίστοιχα φυσικά έγχρωμα πεδία.