Color image analysis and optimization for shadow removal and segmentation
Authors: Κούτσιου Δήμητρα-Χριστίνα 
Published: April 2024

Η παρούσα διδακτορική διατριβή έχει ως στόχο τη διερεύνηση μεθοδολογιών επεξεργασίας και ανάλυσης έγχρωμων εικόνων εστιάζοντας στην τμηματοποίηση περιοχών ενδιαφέροντος, τον εντοπισμό και την αφαίρεση σκιάσεων. Η τμηματοποίηση περιοχών ενδιαφέροντος σε ιατρικές εικόνες βρίσκει πολλές εφαρμογές στην ιατρική απεικόνιση, όπως για τον ακριβή προσδιορισμό των ορίων μη φυσιολογικών περιοχών, τη μέτρηση και την αξιολόγησή τους. Η ύπαρξη σκιάσεων σε εικόνες φυσικού περιβάλλοντος μπορεί να επηρεάσει τα ευφυή συστήματα αναγνώρισης και εντοπισμού αντικειμένων, καθώς αλλοιώνει τη φωτεινότητα και τα χαρακτηριστικά των αντικειμένων και του περιβάλλοντος χώρου τους. Στόχος είναι η ανάπτυξη μεθοδολογιών για την επίλυση αυτών των προβλημάτων, η βελτίωση της ακρίβειας που επιτυγχάνεται σε σχέση με τις υπάρχουσες μεθόδους, η βελτίωση των χρόνων επεξεργασίας, όπως επίσης και η μείωση του όγκου δεδομένων που απαιτείται για την προσαρμογή τους σε διαφορετικές εφαρμογές. Οι εμπνευσμένοι από τη φύση αλγόριθμοι βελτιστοποίησης μπορούν να συμβάλλουν στις διεργασίες αυτές μέσω των φυσικών και μαθηματικών προσεγγίσεων που ακολουθούν.Αρχικά, με στόχο τη διερεύνηση των αλγορίθμων αυτών, αναπτύχθηκε ο υβριδικός αλγόριθμος βελτιστοποίησης Emotion-Aware Brain Storm Optimization (EMABSO) ο οποίος είναι εμπνευσμένος από την συναισθηματική κατάσταση των συμμετεχόντων κατά τη διάρκεια της διαδικασίας του καταιγισμού ιδεών (brainstorming) σε μία ομάδα ανθρώπων. Ο αλγόριθμος αυτός έδειξε ότι γενικότερα υπερέχει στην επίλυση προβλημάτων βελτιστοποίησης, βάσει αξιολόγησης που πραγματοποιήθηκε με τη χρήση συναρτήσεων αναφοράς (benchmark functions) που έχουν προταθεί για το σκοπό αυτό στη βιβλιογραφία. Στη συνέχεια για το πρόβλημα αντιμετώπισης των σκιάσεων αναπτύχθηκε η πρωτότυπη μεθοδολογία εντοπισμού σκιάσεων H-V (H-V Shadow Detection, HSVD) αξιοποιώντας αλγόριθμο βελτιστοποίησης εμπνευσμένο από τις ηλεκτρομαγνητικές δυνάμεις μεταξύ φορτισμένων σωματιδίων. Ο HVSD απέδωσε καλύτερα ή συγκρίσιμα αποτελέσματα σε σχέση με καινοτόμες μεθοδολογίες οι οποίες είτε α) κάνουν χρήση δαπανηρών αισθητήρων στην υπέρυθρη περιοχή του ηλεκτρομαγνητικού φάσματος, είτε β) χρησιμοποιούν υπολογιστικά δαπανηρές μεθόδους βασιζόμενες στη μηχανική μάθηση. Η μεθοδολογία του HVSD επεκτάθηκε αναπτύσσοντας τον μη επιβλεπόμενο αλγόριθμο για αφαίρεση της σκίασης SUShe του οποίου τα βασικά προτερήματα είναι α) ότι δεν απαιτεί εκπαίδευση σε μεγάλο όγκο δεδομένων και β) η χαμηλή υπολογιστική του πολυπλοκότητα. Τα αποτελέσματα έδειξαν ότι ο SUShe υπερέχει όλων των μη επιβλεπόμενων μεθόδων της υπάρχουσας βιβλιογραφίας, όπως επίσης και κάποιων που βασίζονται σε πολυπλοκότερες τεχνικές Συνελικτικών Νευρωνικών Δικτύων (Convolutional Neural Networks, CNNs) και Παραγωγικών Αντιπαραθετικών Δικτύων (Generative Adversarial Networks, GANs). Αναφορικά με όσες παρουσιάζει χαμηλότερη επίδοση, δίνει συγκρίσιμα αποτελέσματα. Επιπλέον στοχεύοντας στη διερεύνηση της αφαίρεσης των σκιάσεων σε πιο σύνθετες εικόνες αναπτύχθηκε μια πρωτότυπη αρχιτεκτονική Multiscale Shadow Removal U-Net (MSSRU-Net), και συγκρίθηκε με διάφορες μεθοδολογίες αιχμής. Η προτεινόμενη αρχιτεκτονική και οι μεθοδολογίες αυτές αξιολογήθηκαν αξιοποιώντας μια πρωτότυπη βάση δεδομένων που περιέχει εικόνες που προσομοιώνουν πραγματικές 11 καταστάσεις από την καθημερινότητα, εμπεριέχοντας πραγματικά εμπόδια σε σύνθετα σκηνικά. Τα αποτελέσματα έδειξαν ότι το MSSRU-Net υπερέχει έναντι των άλλων σύγχρονων μεθόδων. Τέλος, στο πλαίσιο της ανάλυσης ιατρικών εικόνων, αναπτύχθηκε μία υβριδική μεθοδολογία εκπαίδευσης Μετασχηματιστών Όρασης (Vision Transformers ,ViTs), η οποία έχει τη βάση της σε μια παραδοσιακή τεχνική τμηματοποίησης που βασίζεται σε ισοσταθμικά σύνολα (level sets). Οι ενεργειακοί όροι που εμπεριέχουν τα σύνολα αυτά προσδίδουν χωρικές πληροφορίες σχετικά με τα όρια των περιγραμμάτων των ανωμαλιών. Επομένως οι ViTs ολοκληρώθηκαν με τα ισοσταθμικά σύνολα εισάγοντας μια συνάρτηση κόστους (loss function) εμπνευσμένη από αυτά, κατά τη διάρκεια της εκπαίδευσης των μοντέλων. Η μεθοδολογία αξιολογήθηκε συνολικά σε τρεις δημόσιες βάσεις δεδομένων: δύο που περιλαμβάνουν εικόνες με δερματικές βλάβες και μία που περιλαμβάνει ιστολογικές εικόνες με αδενοκαρκινώματα του παχέος εντέρου. Τα αποτελέσματα έδειξαν ότι η χρήση της συγκεκριμένης συνάρτησης α) βελτιώνει τις επιδόσεις των καινοτόμων ViTs και β) συμβάλλει στην ενίσχυση της γενικευτικής ικανότητας των μοντέλων αυτών.Οι εργασίες που παρουσιάζονται στη διατριβή αυτή περιλαμβάνουν μεθόδους οι οποίες αποσκοπούν στην εξεύρεση λύσεων σε θέματα τμηματοποίησης, ανίχνευσης και αφαίρεσης σκιάσεων. Οι μέθοδοι αυτές μπορούν να χρησιμοποιηθούν ως βάση για μελλοντική έρευνα αλλά και εφαρμογές όπως η ρομποτική, η υποβοηθούμενη πλοήγηση αλλά και την τηλεϊατρική.