Exploring the generalization capabilities of deep learning architectures for universal image feature learning
Authors: Γκέλιος Σωκράτης 
Published: May 2024

Τα τελευταία χρόνια παρατηρείται μια ραγδαία ανάπτυξη στον τομέα της Τεχνητής Νοημοσύνης, ο οποίος έχει κεντρίσει το ενδιαφέρον οχι μόνο της επιστημονικής κοινότητας αλλά και ολόληρού του κόσμου. Η αλματώδης ανάπτυξη οφείλεται κυρίως στον ολοένα και αυξονόμενο όγκο διαθέσιμων δεδομένων αλλά και στην εξέλιξη του υλικού των υπολογιστών όπως οι κάρτες γραφικών και οι επεξεργαστές ώστε να είναι ικανοί να διαχειριστούν αποτελεσματικά αυτόν τον όγκο. Ήδη από το 2012, όπου o Alex Krizhevsky παρουσίασε την αρχιτεκτονική AlexNet δείχνοντας πως τα νευρωνικά δίκτυα μπορούν να εκπαιδευθούν εξαιρετικά γρήγορα με την χρήση κάρτας γραφικών, ξεκινούσε μια καινούρια εποχή στον τομέα της Τεχνητής Νοημοσύνης. Το έναυσμα αυτό έδωσε χώρο να αναπτυχθούν χιλιάδες τεχνικές που βασίζονται σε διάφορες αρχιτεκτονικές όπως τα Πλήρως Συνδεδεμένα Δίκτυα (FNN), τα Συνελικτικά Νευρωνικά δίκτυα (CNN), τα Δίκτυα Μακράς Βραχύχρονης Μνήμης (LSTM) αλλά και τα προσφάτως ανεπτυγμένα δίκτυα Μετασχηματιστών (Transformers) και Οπτικών μετασχηματιστών (Vision Transformers). Ιδιαίτερα στον τομέα της μηχανικής όρασης το πεδίο έχει αλλάξει εντελώς τα τελευταία δέκα χρόνια. Η επιστημονική κοινότητα έχει στραφεί σχεδόν αποκλειστικά σε τεχνικές Τεχνητής Νοημοσύνης για κάθε πιθανή εφαρμογή, ενώ η χρήση των κλασικών μεθόδων ολοένα και μειώνεται. Πλέον, χάρη στην ανάπτυξη και την διάθεση ανοικτού κώδικα και προ-εκπαιδευμένων δικτύων, οποιοσδήποτε χρήστης μπορεί να εκμεταλλευθεί την πληθώρα αρχιτεκτονικών που έχουν εκπαιδευθεί σε τεράστιες βάσεις δεδομένων. Αν και η πρόοδος όλων αυτών των τεχνικών είναι αξιοσημείωτη, υπάρχουν ακόμα σημαντικά ζητήματα που αφορούν την ικανότητα γενίκευσης και καθολικότητας της πληροφορίας που μπορεί να εξαχθεί απο αυτές. Τα ζητήματα αυτά αφορούν κυρίως την μετάδοση γνώσης (transfer learning), μια δημοφιλή και πολύ ισχυρή μέθοδο κατά την όποια πραγματοποιείται εκπαίδευση ενός δικτύου σε μια βάση και στην συνέχεια εφαρμόζεται σε κάποια άλλη βάση ή εφαρμογή που μπορεί να διαθέτει παρόμοια ή διαφορετικά δεδομένα. Πειραματικά, τα δίκτυα αποδίδουν εξαιρετικά όταν η κατανομή των δεδομένων ή το πεδίο των δεδομένων είναι παρόμοιο. Όμως, όσο περισσότερο διαφοροποιούνται τα δεδομένα ή η εφαρμογή τόσο η απόδοση των δικτύων αρχίζει να αποκλίνει από τα επιθυμητά αποτελέσματα. Στόχος της διδακτορικής έρευνας κατά την έναρξη της το 2020, ήταν η ανάπτυξη ενός πολυ ισχυρού δικτύου, που θα είχε την δυνατότητα εξαγωγής χαρακτηριστικών υψηλής ποιότητας και γενίκευσης απο οποιαδήποτε εικόνα. Βάση για το συγκεκριμένο εγχείρημα αποτέλεσε η χρήση ήδη προ-εκπαιδευμένων δικτύων σε πολύ μεγάλες συλλογές δεδομένων, καθώς η ανάπτυξη τόσο πολυσύνθετων μοντέλων από την αρχή περιορίζεται εξαιτίας των τεράστιων υπολογιστικών απαιτήσεων. Η έρευνα που διενεργήθηκε διακρίνεται σε δύο κύρια και αλληλένδετα μέρη. Το πρώτο μέρος περιλαμβάνει την αξιολόγηση/ανάπτυξη τεχνικών βαθιάς μάθησης για την εξαγωγή χαρακτηριστικών εικόνας. Ως κριτήριο για την αξιολόγηση των εξαγόμενων χαρακτηριστικών χρησιμοποιείται η διεργασία της Ανάκτησης Εικόνας απο συγκεκριμένες Βάσεις αξιολόγησης (benchmark databases). Η διεργασία αυτή προσπαθεί να προσεγγίσει την ανθρώπινη οπτική κατανόηση όσον αφορά την ομοιότητα των εικόνων. Όσο πιο λεπτομερή και ουσιώδη τα χαρακτηριστικά που εξάγει το δίκτυο τόσο πιο πλούσιος σε πληροφορία θα είναι ο περιγραφέας κάθε εικόνας. Αρχικά στο πρώτο μέρος, πραγματοποιήθηκε μια εκτενής εξερεύνηση και μελέτη όσον αφορά τις τεχνικές βαθιάς μάθησης στην εξαγωγή χαρακτηριστικών. Αξιοποιήθηκαν οι πιο σύγχρονες αρχιτεκτονικές τόσο για τα Συνελικτικά Νευρωνικά Δίκτυα όσο και για τα δίκτυα Οπτικών Μετασχηματιστών που είχαν εκπαιδευθεί στην βάση δεδομένων Imagenet. Και στις δυο περιπτώσεις προτάθηκαν δύο συστήματα Ανάκτησης Εικόνων Βάσει Περιεχομένου (Content based Image Retrieval). Η πρώτη προσέγγιση χρησιμοποιούσε όλη την εικόνα απο το προεκπαιδευμένο δίκτυο για να εξάγει ένα καθολικό περιγραφέα, ενώ η δεύτερη έδινε διάφορα κομμάτια της εικόνας για να εξάγει πολλούς τοπικούς περιγραφείς. Παράλληλα δοκιμάστηκε ένα πλήθος υπερπαραμέτρων όπως η κανονικοποίηση των περιγραφέων, το μέγεθος της εικόνας όταν εισέρχεται στο δίκτυο και διάφορες μετρικές απόστασης/ομοιότητας. Κατά την ολοκλήρωση του πρώτου μέρους, ο στόχος επεκτάθηκε στην δημιουργία ενός καθολικού κωδικοποιητή ανεξάρτητου πεδίου. Με λίγα λόγια, το δίκτυο θα πρέπει να εξάγει ισχυρά χαρακτηριστικά ανεξάρτητα του περιεχομένου της εικόνας, ακόμα και αν οι εικόνες αυτές δεν σχετίζονται με τις εικόνες που παρουσιάστηκαν στο σετ των δεδομένων εκπαίδευσης. Σε αυτήν την περίπτωση υιοθετήθηκε η αρχιτεκτονική CLIP, προεκπαιδευμένη σε μια βάση πολύ μεγαλύτερη από την Imagenet. Το δίκτυο επανεκπαιδεύθηκε με μια νέα προσέγγιση, η οποία έλαβε την 6η θέση στο διαγωνισμό της Google "Universal Image Embedding". Η προσέγγιση αυτή, συνδυάζει διάφορες τεχνικές μάθησης και μια πληθώρα δεδομένων από διαφορετικά πεδία ώστε να προσεγγίσει την καθολικότητα των εξαγόμενων χαρακτηριστικών. Το δεύτερος μέρος της διατριβής αφορά την εφαρμογή των μοντέλων βαθιάς μάθησης σε πραγματικά προβλήματα και πως η ικανότητα γενίκευσης που παρουσιάζουν τα καθίστα την πρώτη επιλογή για εφαρμογές όρασης. Η πρώτη εφαρμογή συνδυάζει το πρωτόκολλο μετάδοσης πακέτων LoRa με τα CNNs με στόχο την αναγνώριση ασθενειών αμπέλου από εικόνες σε συνθήκες περιορισμένου εύρους-ζώνης (απώλεια σημαντικού ποσοστού πακέτων/εικονοστοιχείων). Η δεύτερη χρησιμοποίησε CNNs ως συστήματα CBIR για την αυτοματοποίηση της διαδικασίας ομοιότητας με βάση το GESTALT για εκπαιδευτικούς σκοπούς, αλληλοεπιδρώντας με ένα ανθρωποειδές ρομπότ NAO. Ο στόχος ήταν η αύξηση της προσοχής και της δημιουργικότητας των συμμετεχόντων.