Unsupervised learning and explainable artificial intelligence in computer vision and remote sensing
Authors: Κακογεωργίου Ιωάννης 
Published: July 2024

Τα τελευταία χρόνια, με τη χρήση βαθιών νευρωνικών δικτύων (Deep Neural Networks - DNN) και μέσω της επιβλεπόμενης μάθησης (supervised learning) έχει σημειωθεί σημαντική πρόοδος σε τεράστιο πλήθος εφαρμογών στην όραση υπολογιστών και στην τηλεπισκόπηση. Συγκεκριμένα, τα DNN εκπαιδεύονται έτσι ώστε να αντιστοιχίζουν σωστά τις εισόδους στις εξόδους. Ωστόσο, τα συστήματα αυτά απαιτούν τεράστιες ποσότητες επισημασμένων δεδομένων προκειμένου να επιτύχουν υψηλή απόδοση. Αυτό σημαίνει ότι η μάθηση με επίβλεψη απαιτεί μεγάλο όγκο ανθρώπινης εργασίας για την παραγωγή και ψηφιοποίηση επαρκών επισημάνσεων υψηλής ποιότητας. Επίσης, υπάρχουν περιπτώσεις όπου η συλλογή ικανοποιητικού αριθμού επισημάνσεων είναι πολύ δύσκολη. Ένα τέτοιο παράδειγμα είναι η συλλογή και ψηφιοποίηση δεδομένων θαλάσσιας ρύπανσης (π.χ. πλαστικά απορρίμματα) στο θαλάσσιο περιβάλλον. Ακόμα, τα DNN που εκπαιδεύονται με επιβλεπόμενη μάθηση συνήθως δεν έχουν ικανοποιητική γενίκευση σε νέα δεδομένα, καθώς εκπαιδεύονται στο να αποδίδουν καλά μόνο σε μια συγκεκριμένη εργασία/ περιοχή, και δεν είναι ικανά να μεταφερθούν με επιτυχία σε κάποια άλλη νέα (transfer learning). Προς αυτή την κατεύθυνση, η μη επιβλεπόμενη μάθηση (unsupervised learning) επιχειρεί να αντιμετωπίσει τις προαναφερθείσες προκλήσεις. ΄Ενα από τα υποσχόμενα πρότυπα εκπαίδευσης χωρίς επίβλεψη είναι η αυτό-επίβλεψη (self-supervised learning). Τα DNN που εκπαιδεύονται μέσω αυτό-επίβλεψης μπορούν να μαθαίνουν χωρίς επισημασμένα δεδομένα. Έμμεσα, μέσω της αυτο-επίβλεψης τα δεδομένα εκπαίδευσης επισημαίνονται "αυτόματα". Μια καθιερωμένη προσέγγιση είναι η δημιουργία προσχηματικών εργασιών (pretext tasks), όπως για παράδειγμα η πρόβλεψη της περιστροφής μιας εικόνας ή ο χρωματισμός της εικόνας. Έτσι ένα DNN εκπαιδεύεται χρησιμοποιώντας κάποια προσέγγιση αυτο-επίβλεψης και στη συνέχεια επανεκπαιδεύεται/ προσαρμόζεται για την επίλυση άλλων εργασιών, όπως η ταξινόμηση εικόνων. Ωστόσο, ο πολύπλοκος τρόπος λειτουργίας των DNN δημιουργεί ερωτήματα, αβεβαιότητα και εμπόδια στη χρήση τους, με αποτέλεσμα τα μοντέλα αυτά να αναφέρονται συχνά και ως μαύρο κουτί (black-box). Σε αυτή την κατεύθυνση, οι μέθοδοι ερμηνείας τεχνητής νοημοσύνης (Explainable Artificial Inteligence - XAI), παρουσιάζονται ικανές να παρέχουν εξηγήσεις για την καλύτερη κατανόηση των αποφάσεων και της λειτουργίας πολύπλοκων μεθόδων μηχανικής μάθησης. Συγκεκριμένα μέσω των τεχνικών αυτών μπορεί να γίνει κατανοητό το τι οδήγησε να πάρει το μοντέλο μία συγκεκριμένη απόφαση αλλά και γενικά χαρακτηριστικά για τη λειτουργία του. Συνεπώς δύναται να αξιολογηθεί η απόδοση ενός μοντέλου πέραν των καθιερωμένων μετρικών ακρίβειας. Μέθοδοι ερμηνείας μπορούν να αξιοποιηθούν είτε α) όντας ενσωματωμένες εντός του μοντέλου δημιουργώντας αυτό-ερμηνεύσιμα μοντέλα είτε β) χωρίς να έχουν συμπεριληφθεί σε αυτά εξαρχής. Όσον αφορά την πρώτη περίπτωση, σύγχρονες τεχνικές μη επιβλεπόμενης μάθησης ενσωματώνουν προηγμένες αρχιτεκτονικές όπως τους Transformers, οι οποίοι περιλαμβάνουν επίπεδα προσοχής (attention layers). Αυτά τα επίπεδα (layers) διευκολύνουν την ερμηνεία των αποτελεσμάτων του μοντέλου. Οι Transformers, αρχικά αναπτύχθηκαν για εφαρμογές στη επεξεργασία φυσικής γλώσσας (Natural Language Processing - NLP), και έγιναν γρήγορα δημοφιλείς λόγω της ικανότητάς τους να διαχειρίζονται τις μακρινές συσχετίσεις μεταξύ λέξεων σε κείμενα. Αυτό επιτυγχάνεται μέσω της χρήσης των επιπέδων προσοχής (attention layers) που επιτρέπουν την έμφαση σε σημαντικά τμήματα του κειμένου. Πρόσφατα οι Transformers έχουν επεκταθεί και στον τομέα της όρασης υπολογιστών, με την εισαγωγή του Vision Transformer (ViT), όπου οι εικόνες χωρίζονται σε μέρη (patches) και η επεξεργασία αυτών γίνεται παρόμοια με τις λέξεις. Παρόλα αυτά η περαιτέρω αξιοποίηση των επιπέδων προσοχής κατά την ίδια την διαδικασία της μάθησης δεν έχει εξεταστεί στις πιο πρόσφατες προσεγγίσεις στην όραση υπολογιστών. Ως προς την δεύτερη περίπτωση, τα τελευταία χρόνια η ανάπτυξη και ο σχεδιασμός τεχνικών XAI για την ερμηνεία των μοντέλων έχουν συγκεντρώσει σημαντικό επιστημονικό ενδιαφέρον. Ωστόσο, ελάχιστες επιστημονικές μελέτες έχουν πραγματοποιηθεί στο αντικείμενο της τηλεπισκόπησης και παρατήρησης γης. Προς αυτή την κατεύθυνση η παρούσα διδακτορική διατριβή διερεύνησε και εξέλιξε προηγμένες τεχνικές μάθησης χωρίς επίβλεψη στις περιοχές αυτό-επίβλεψης (self-supervised learning) και αντικειμενοστραφούς μάθησης (object-centric learning) αξιοποιώντας τα επίπεδα προσοχής (attention layers) των ViT, καθώς και αξιολόγησε και εφάρμοσε μεθόδους ερμηνείας τεχνητής νοημοσύνης (XAI) στην τηλεπισκόπηση, στις επιστημονικές περιοχές χρήσεων γης (land cover) και ανίχνευσης θαλάσσιας ρύπανσης (marine pollution). Στο πρώτο στάδιο, η διατριβή επικεντρώθηκε στην λεπτομερή αξιολόγηση μεθόδων XAI για τη βέλτιστη ερμηνεία των αποφάσεων βαθιών νευρωνικών δικτύων σε προβλήματα ταξινόμησης στην τηλεπισκόπηση. Συγκεκριμένα, αξιοποιώντας σύνολα δορυφορικών δεδομένων χρήσεων γης όπως το BigEarthNet και το SEN12MS, μελετήθηκαν και αξιολογήθηκαν δέκα τεχνικές XAI: Saliency, Input × Gradient, Integrated Gradients, Guided Backpropagation, Grad-CAM, Guided Grad-CAM, Lime, Occlusion, DeepLift καθώς και οι παραλλαγές τους που ενσωματώνουν την τεχνική SmoothGrad. Η αξιολόγηση πραγματοποιήθηκε χρησιμοποιώντας ποσοτικές μετρικές και ποιοτική ανάλυση για την κάθε μέθοδο, εξετάζοντας την επεξηγηματικότητα, την αξιοπιστία, την υψηλή χωρική ανάλυση των αποτελεσμάτων, καθώς και τις υπολογιστικές απαιτήσεις. Ως προς τις ποσοτικές μετρικές εξετάστηκαν: α) η μέγιστη ευαισθησία (Max-Sensitivity) της κάθε μεθόδου όταν η εικόνα εισόδου διαταράσσεται ελαφρώς, β) το πόσο γρήγορα μεταβάλλεται η απόφαση του μοντέλου καθώς αφαιρούμε σταδιακά εικονοστοιχεία (pixels), τα οποία εμφανίζονται ως τα πιο σημαντικά για μια απόφαση (Most Relevant First - (MoRF)), γ) το μέγεθος της ερμηνείας σε Kilobytes (KB) μετά από JPEG συμπίεση για την ποσοτικοποίηση του περιεχομένου πληροφορίας (File Size) και δ) ο υπολογιστικός χρόνος που απαιτείται για την εκτέλεση της κάθε μεθόδου ερμηνείας (Computational Time). Η ανάλυση αυτή ανέδειξε τα πλεονεκτήματα και τα μειονεκτήματα των μεθόδων XAI. Συγκεκριμένα, καμία μέθοδος XAI δεν κατέστη αναμφισβήτητα η κορυφαία, όμως οι Occlusion, Grad-CAM και Lime ξεχώρισαν για την ερμηνευσιμότητα και αξιοπιστία τους. Επιπλέον, από αυτές, η Grad-CAM εμφανίστηκε υπολογιστικά η πιο αποδοτική. Στη συνέχεια η διατριβή επικεντρώθηκε σε μεθόδους βαθιάς μηχανικής μάθησης χωρίς επίβλεψη που χρησιμοποιούν αρχιτεκτονικές Transformer, οι οποίες εμπεριέχουν επίπεδα (layers) προσοχής (attention) και καθιστούν ως ένα βαθμό τα μοντέλα αυτά αυτο-ερμηνεύσιμα. Συγκεκριμένα, στόχευσε στην αξιοποίηση των επιπέδων προσοχής (attention layers) κατά την ίδια την μάθηση με σκοπό τη βελτίωση της απόδοσης των μοντέλων. Στην κατεύθυνση αυτή, εστίασε στην υπο-περιοχή της αυτο-επιβλεπόμενης μάθησης που ονομάζεται Μοντελοποίηση Καλυμμένης Εικόνας (Masked Image Modeling - MIM). Στην MIM, μέρη μιας εικόνας καλύπτονται σκοπίμως και το μοντέλο εκπαιδεύεται να προβλέπει τα καλυμμένα τμήματα, βελτιώνοντας έτσι την ικανότητά του να αναγνωρίζει και να ερμηνεύει οπτικά δεδομένα. Παραδοσιακά, η κάλυψη πραγματοποιείται με τυχαία επιλογή περιοχών της εικόνας. Η διατριβή εισήγαγε μία καινοτόμο στρατηγική όπου η απόκρυψη μέρους της εικόνας επιτυγχάνεται μέσω καθοδήγησης από τους χάρτες προσοχής (attention maps) του τελευταίου επιπέδου ενός ViT. Η προσέγγιση αυτή ονομάζεται Attention-Guided Masked Image Modeling (AttMask) και αποτελεί μια σημαντική πρόοδο στην περιοχή, προσφέροντας βελτιωμένη απόδοση σε σχέση με τις προηγούμενες στρατηγικές κάλυψης της εικόνας. Συγκεκριμένα, επιταχύνει τη διαδικασία μάθησης, επιτυγχάνει κορυφαία απόδοση σε μια σειρά από εφαρμογές (downstream tasks) με ή χωρίς επανεκπαίδευση (finetuning), εφαρμογές με περιορισμένα δεδομένα, και παρουσιάζει πιο σταθερή λειτουργία (robustness) σε αλλαγές του φόντου, εστιάζονται έτσι σε περιοχές της εικόνας που εμφανίζουν οπτική σημασία (salient regions). Επιπλέον, εισήγαγε την τεχνική SPOT, μια καινοτόμο προσέγγιση που αξιοποιεί επίπεδα προσοχής για να βελτιώσει την αντικειμενοστραφή μάθηση (object-centric learning). Οι πιο σύγχρονες μεθοδολογίες αντικειμενοστραφούς μάθησης, βασίζονται σε αρχιτεκτονικές που ένας κωδικοποιητής (encoder) παράγει διανύσματα (slots), που το κάθε ένα προορίζεται να αναπαριστά ένα αντικείμενο της εικόνας, και στην συνέχεια ένας αποκωδικοποιητής (decoder) προσπαθεί να ανακατασκευάσει την εικόνα εισόδου χρησιμοποιώντας αυτά τα διανύσματα. Επίσης, έχει παρατηρηθεί ότι στον τομέα της αντικειμενοστραφούς μάθησης οι προσεγγίσεις με τις καλύτερες επιδόσεις είναι εκείνες στις οποίες ο αποκωδικοποιητής βασίζεται σε αρχιτεκτονική Autoregressive (AR) Transformer. Στα πλαίσια της διατριβής, παρατηρήθηκε ότι οι χάρτες προσοχής (attention maps) που προέρχονται από τον αποκωδικοποιητή υπερτερούν από εκείνες του κωδικοποιητή ως προς την ικανότητα τους να κατατέμνουν τα αντικείμενα. Έτσι, η μεθοδολογία SPOT αξιοποιεί τον αποκωδικοποιητή του μοντέλου για να ενισχύσει τον κωδικοποιητή του μοντέλου μέσω απόσταξης (distillation). Συνεχίζοντας, η μεθοδολογία SPOT εισήγαγε επίσης την αναδιάταξη των τμημάτων της εικόνας εισόδου (patches) στον AR Transformers αποκωδικοποιητή. Παρατηρήθηκε, οτι στους AR Transformers, η εξάρτηση τους από τα διανύσματα αναπαράστασης των αντικειμένων slots επιτυγχάνεται κυρίως κατά την ανακατασκευή των πρώτων τμημάτων (patches) μιας εικόνας και μειώνεται κατά την ανακατασκευή των επόμενων τμημάτων. Αυτό συμβαίνει γιατί η ανακατασκευή των επόμενων τμημάτων βασίζεται όλο και περισσότερο στα προηγούμενα τμήματα και όχι στις slots αναπαραστάσεις, αποδυναμώνοντας έτσι την ικανότητα του αποκωδικοποιητή να μαθαίνει με τον βέλτιστο τρόπο. Με την εφαρμογή αναδιατάξεων, οι αποκωδικοποιητές μπορούν να αντιμετωπίσουν αυτή την πρόκληση, αυξάνοντας τη σημασία και την αξιοποίηση των slot κατά τη διαδικασία της ανακατασκευής της εικόνας. Αυτό οδηγεί σε ισχυρότερο εποπτικό σήμα (supervisory signal) και στη βελτίωση της μάθησης, βελτιώνοντας έτσι τη συνολική αποτελεσματικότητα του μοντέλου. Η μεθοδολογία SPOT αποτελεί τη νεότερη και βέλτιστη προσέγγιση (state-of-the-art) στην περιοχή της αντικειμενοστραφούς μάθησης (object-centric learning). Στο τελευταίο στάδιο της διατριβής αξιοποιήθηκαν οι γνώσεις που αποκτήθηκαν μέσω της αξιολόγησης των XAI μεθόδων στο πρώτο στάδιο, για την εφαρμογή τους στο κρίσιμο περιβαλλοντικό ζήτημα της ανίχνευσης θαλάσσιας ρύπανσης. Στην κατεύθυνση αυτή, αναπτύχθηκε αρχικά ένα καινοτόμο μοντέλο βαθιάς μάθησης που ονομάζεται MariNeXt, το οποίο ξεπερνά σημαντικά τα προηγούμενα μοντέλα αναφοράς (baselines). Στη συνέχεια, αξιοποιώντας τη μέθοδο XAI Grad-CAM, έγινε προσπάθεια κατανόησης και αξιολόγησης των αποφάσεων του μοντέλου πέρα από τις παραδοσιακές μετρικές ακρίβειας. Οι γνώσεις που προέκυψαν αποκάλυψαν χρήσιμες πληροφορίες σχετικά με την ανίχνευση θαλάσσιας ρύπανσης με τη χρήση δορυφορικών δεδομένων. Τέλος, στην κατεύθυνση δημιουργίας μιας μελλοντικής επιχειρησιακής λύσης ανίχνευσης θαλάσσιας ρύπανσης, αξιολογήθηκαν αλγόριθμοι εντοπισμού σύννεφων στο θαλάσσιο περιβάλλον, το οποίο αποτελεί σημαντικό στάδιο προεπεξεργασίας των δορυφορικών δεδομένων. Το αντικείμενο της παρούσας διατριβής αναπτύσσεσαι με παρουσίαση και ανάλυση των πρόσφατων εξελίξεων της σχετικής βιβλιογραφίας, περιγραφή των μεθοδολογιών και παράθεση των πειραματικών αποτελεσμάτων, καθώς και συζήτηση των συμπερασμάτων που εξήχθησαν από αυτή. Η διατριβή αναπτύσσεται σε 5 κεφάλαια: Στο Κεφάλαιο 1, αναπτύσσεται το πλαίσιο και αντικείμενο της επιστημονικής μελέτης, περιγράφονται οι βασικές πτυχές και προκλήσεις των μεθόδων ερμηνείας τεχνητής νοημοσύνης, μη-επιβλεπόμενης μάθησης και προχωρημένων μεθόδων εντοπισμού θαλάσσιας ρύπανσης. Παράλληλα, προσδιορίζεται με σαφήνεια το κίνητρο, τα ερευνητικά ερωτήματα και οι στόχοι της διατριβής. Στο Κεφάλαιο 2 αναπτύσσεται η διαθέσιμη βιβλιογραφία σχετικά με μεθόδους ερμηνείας τεχνητής νοημοσύνης στην όραση υπολογιστών, καθώς και μετρικές αξιολόγησης των μεθόδων αυτών. Επιπλέον, εφαρμόζονται και αξιολογούνται ποσοτικά και ποιοτικά σε τηλεπισκοπικά δορυφορικά δεδομένα χρήσεων γης καθώς και παρουσιάζονται τα προτερήματα και μειονεκτήματα της κάθε μεθόδου. Στο Κεφάλαιο 3 αναπτύσσονται οι καινοτόμες μεθοδολογίες μη-επιβλεπόμενης μάθησης AttMask και SPOT για αυτό-επίβλεψη και αντικειμενοστραφή μάθηση, αντίστοιχα. Αρχικά, παρουσιάζεται η αυτο-επίβλεψη μέσω Μοντελοποίησης Καλυμμένης Εικόνας (Masked Image Modeling) και στην συνέχεια αναπτύσσεται και αξιολογείται η μεθοδολογία AttMask. Έπειτα, παρουσιάζεται η περιοχή της αντικειμενοστραφούς μάθησης και η μεθοδολογία SPOT, καθώς και ποσοτική και ποιοτική αξιολόγησης της μεθόδου. Στο Κεφάλαιο 4 παρουσιάζεται το μοντέλο MariNeXt για τον εντοπισμό θαλάσσιας ρύπανσης στα πολυφασματικά δορυφορικά δεδομένα Sentinel-2. Επιπλέον, γίνεται αξιολόγηση του μοντέλου και ανάλυση των παραγόμενων προβλέψεων μέσω τεχνικών XAI. Επίσης, παρουσιάζεται συγκριτική μελέτη αλγορίθμων εντοπισμού σύννεφων στο θαλάσσιο περιβάλλον. Τέλος, το Κεφάλαιο 5 παρουσιάζει τα συμπεράσματα της διατριβής σχολιάζοντας τα βασικά μεθοδολογικά στοιχεία και τα πειραματικά ευρήματα. Ακόμη, παρέχεται συζήτηση και σκέψεις για βελτιώσεις, και μελλοντικές επεκτάσεις του προτεινόμενου μεθοδολογικού πλαισίου. Οι βασικές ιδέες της διατριβής και τα σχετικά πειραματικά αποτελέσματα έχουν δημοσιευτεί σε μια σειρά επιστημονικών εργασιών σε περιοδικά και πρακτικά συνεδρίων με σημαντικό αριθμό αναφορών στη διεθνή βιβλιογραφία. Οι μεθοδολογίες και οι αναλύσεις συνδυαστικά με τα διεξοδικά πειραματικά αποτελέσματα μπορούν να συνεισφέρουν σημαντικά στην περαιτέρω εξέλιξη της μη επιβλεπόμενης μάθησης και της ερμηνεύσιμης τεχνητής νοημοσύνης στην όραση υπολογιστών και στην τηλεπισκόπηση καθώς και σε εφαρμογές εντοπισμού θαλάσσιας ρύπανσης και χρήσεων γης με δορυφορικά δεδομένα.