Development, implementation and evaluation of methods for the description and the retrieval of multimedia visual content using intelligent techniques
Authors: Ιακωβίδου Χρυσάνθη 
Published: August 2021

Η παρούσα διδακτορική διατριβή συνοψίζει τεσσεράμισι χρόνια ερευνητικής προσπάθειας και κεκτημένης γνώσης της συγγραφέως στο αντικείμενο της περιγραφής και της ανάκτησης βασισμένη σε οπτική πληροφορία. Κύριος στόχος αποτέλεσε η ανάπτυξη νέων τεχνικών και η παραγωγή συνιστωσών που θα μπορούσαν να χρησιμοποιηθούν για την αποτελεσματική ανάκτηση βασισμένη στο οπτικό περιεχόμενο πολυμέσων. Με πυρήνα το πρόβλημα της αποδοτικής ανάκτησης εικόνας με βάση το οπτικό περιεχόμενο (Content Based Image Retrieval), οι ερευνητικές προσπάθειες και η κύρια ερευνητική συνεισφορά έγκεινται στην ανάπτυξη περιγραφέων εικόνων (image descriptors) που βασίζονται στην εξαγωγή των πιο διακριτικών χαρακτηριστικών της, με ευφυείς τεχνικές. Σε ανώτερο επίπεδο, αξιολογείται το συνολικό πλαίσιο της διαδικασίας της ανάκτησης και προτείνονται επιμέρους βελτιώσεις. Με εφαλτήριο την βιβλιογραφική έρευνα υπαρχουσών τεχνικών του πεδίου της ανάκτησης με βάση το οπτικό περιεχόμενο, εντοπίζονται οι αδυναμίες και οι ευκαιρίες βελτίωσης των συστημάτων που συνολικά κατηγοριοποιούνται ως εξής:1.Παρά την πληθώρα προτεινόμενων προσεγγίσεων, επικρατεί ακόμη μια βάσιμη ασάφεια σχετικά με την κατηγορία των χαρακτηριστικών (καθολικά ή τοπικά) που θα αποτελέσουν το σώμα των περιγραφέων για την αποτελεσματικότερη εξυπηρέτηση της ανάκτησης. Το αντικείμενο της αντιπαράθεσης συνοψίζεται στις εξειδικευμένες ανάγκες του πεδίου εφαρμογής, το συνολικό υπολογιστικό κόστος και στις αποθηκευτικές ανάγκες των ολοένα αυξανόμενων δεδομένων.2.Ο εμπλουτισμός του τελικού περιγραφέα για την ευρύτερη αναπαράσταση του περιεχομένου της εικόνας, που επιτυγχάνεται με τον συνδυασμό πολλαπλών διαφορετικών χαρακτηριστικών, καθώς και η διανυσματοποίηση αυτών με τρόπο που να επιτρέπει την μέτρηση της ομοιότητας μεταξύ των αναπαραστάσεων, συνοδεύεται από ανάλογη αύξηση της πολυπλοκότητας, η οποία επηρεάζει σημαντικά την αποδοτικότητα μιας μεθόδου.3.Τα προτεινόμενα μοντέλα ανάκτησης, που ευρέως χρησιμοποιούνται στην βιβλιογραφία, είναι πολυπαραμετρικά συστήματα που απαιτούν αρχικοποιήσεις και συντονισμό από τους χρήστες στα διάφορα στάδιά τους: από την ρύθμιση παραμέτρων σχετικές με την προ-επεξεργασία των εικόνων, την επιλογή κλιμακώσεων για την αναζήτηση χαρακτηριστικών, τον προκαθορισμό του μεγέθους του διανύσματος του περιγραφέα και στάθμισής του, μέχρι και την χρονοβόρα αναδραστική αξιολόγηση της συνάφειας των αποτελεσμάτων από τον χρήστη για σταδιακή βελτίωση των προβαλλόμενων αποτελεσμάτων.4.Τέλος, στην συντριπτική τους πλειοψηφία, οι μέθοδοι της βιβλιογραφίας δεν μπορούν να αξιολογηθούν σε πολλαπλές πειραματικές διατάξεις ή να επεκταθούν, καθώς δεν διατίθενται υλοποιήσεις λογισμικού οργανωμένες σε επεκτάσιμες βιβλιοθήκες και πλατφόρμες ανοιχτού κώδικα, αφιερωμένες αποκλειστικά στην ανάκτηση με βάση το οπτικό περιεχόμενο. Με τα παραπάνω σημεία να αποτελούν τον κεντρικό άξονα γύρω από τον οποίο οργανώθηκε η έρευνα, η διατριβή ξεκινά με μία εκτενή ανασκόπηση της βιβλιογραφίας που καλύπτει όλα τα συνιστώντα μέρη και τα διαδοχικά στάδια της περιγραφής και ανάκτησης με βάση το οπτικό περιεχόμενο. Από καθιερωμένες στρατηγικές και παραλλαγές αυτών, μέχρι σύγχρονες τάσεις και εξελίξεις, η μελέτη (α) παρέχει το γνωσιακό υπόβαθρο για τον αναγνώστη και (β) αποτελεί τη βάση για τον σαφή προσδιορισμό των κινήτρων της διατριβής. Κατά την ανασκόπησης της βιβλιογραφίας παρουσιάζεται επιπλέον μια εστιασμένη μελέτη των στρατηγικών που χρησιμοποιούνται για τη μέτρηση της απόδοσης των συστημάτων ανάκτησης, ενώ παρατίθενται αποτελέσματα πρωτότυπης έρευνας που αξιολογούν και συγκρίνουν μονότιμες μετρικές της απόδοσης των συστημάτων, μέσα από ένα ευρύ φάσμα διαφορετικών πειραματικών διατάξεων. Προχωρώντας στον κεντρικό πυρήνα της διατριβής, παρουσιάζονται νέες, πρωτότυπες τεχνικές περιγραφής και ανάκτησης, απορρέουσες από την πολύπλευρη διερεύνηση του θέματος, με στόχο την κάλυψη όλων των ανοιχτών θεμάτων και των ευκαιριών βελτίωσης που απαριθμήθηκαν παραπάνω. Η παρουσίαση των πρωτότυπων προτεινόμενων προσεγγίσεων οργανώθηκε με βάση το είδος των χαρακτηριστικών που ενσωματώνουν και συνολικά παρουσιάζονται: α. Ένα ολοκληρωμένο σύστημα ανάκτησης βασισμένο σε περιγραφέα καθολικών χαρακτηριστικών: Πρόκειται για μια πλήρως μη επιβλεπόμενη, προσαρμοστική μέθοδο, που δεν απαιτεί προκαθορισμό παραμέτρων σε κανένα της στάδιο. Η αποδοτική και ταυτόχρονα αποτελεσματική αναπαράσταση του οπτικού περιεχομένου της απεικόνισης πραγματοποιείται με τον εντοπισμό και τον συνδυασμό των πληροφοριών περιγραμμάτων και χρώματος, που εξάγονται με μια τεχνική εμπνευσμένη από το ανθρώπινο οπτικό σύστημα. Η μέθοδος αξιολογήθηκε σε μια ευρεία σειρά πειραματικών διατάξεων σε πέντε βάσεις εικόνων ποικίλης θεματολογίας και συγκρίθηκε με μεθόδους της βιβλιογραφίας, καθολικών αλλά και τοπικών χαρακτηριστικών. b. Δύο συστήματα ανάκτησης βασισμένα σε περιγραφείς τοπικών χαρακτηριστικών: Το πρώτο στηρίζεται στην ιδέα του εμπλουτισμού του κλασικού διανύσματος συχνοτήτων εμφάνισης των οπτικών λέξεων με χωρική πληροφορία, εντοπίζοντας την κατανομή της εντροπίας κάθε οπτικής λέξης με την δημιουργία ομόκεντρων δακτυλίων στα κέντρα των κλάσεων. Το δεύτερο σύστημα παρουσιάζει μια τρίπλευρη συμβολή: (i) εξαλείφει την ανάγκη του καθορισμού της ελεύθερης παραμέτρου που αφορά την επιλογή του μεγέθους του λεξικού, υπολογίζοντας δυναμικά το κατάλληλο μέγεθος με την βοήθεια ενός αυτοφυούς και αυτο-οργανούμενου νευρωνικού δικτύου τύπου GAS (SGONG) που έχει την δυνατότητα να αποφασίζει για την δημιουργία, την αφαίρεση και τη κατάργηση νευρώνων. (ii) Για την αντιστοίχιση των χαρακτηριστικών στις κλάσεις του λεξικού προτείνεται μια soft-weighting τεχνική που αποδίδει κάθε χαρακτηριστικό σε μια μοναδική κλάση, υπολογίζοντας τον βαθμό συμμετοχής από ιστορικά χαρακτηριστικά. Η μέθοδος βελτιώνει τα αποτελέσματα, διατηρώντας παράλληλα υπολογιστικό πλεονέκτημα έναντι των κλασικών προσεγγίσεων. (iii) Παράγεται ένας νέος, σύνθετος περιγραφέας που περιέχει πληροφορία χρώματος και πληροφορία υφής συνδυασμένες στο επίπεδο εξαγωγής των χαρακτηριστικών. c. Μια ολόκληρη οικογένεια υβριδικών περιγραφέων: Προτείνεται ένα πλαίσιο (framework), για την μετατροπή εδραιωμένων καθολικών περιγραφέων σε περιγραφείς τοπικών χαρακτηριστικών. Βασιζόμενοι στην απλή ιδέα ότι θα μπορούσαμε να υιοθετήσουμε μια σειρά τεχνικών δειγματοληψίας για τον καθορισμό κλιμακούμενων τμημάτων της εικόνας που στη συνέχεια θα περιγραφούν αυτόνομα με μεθόδους καθολικών χαρακτηριστικών που έχουν αποδεδειγμένη απόδοση σε προβλήματα ανάκτησης με βάση το οπτικό περιεχόμενο, καταλήξαμε σε μια οικογένεια ισχυρών και συνάμα χαμηλού υπολογιστικού κόστους περιγραφέων τοπικών χαρακτηριστικών.Στο πέμπτο τμήμα της διατριβής παρουσιάζονται τα εργαλεία και οι υλοποιήσεις σε υλικό και λογισμικό, που αναπτύχθηκαν στα πλαίσια της διατριβής. Η υλοποίηση σε υλικό αφορά την εκμετάλλευση της παράλληλης επεξεργαστικής ισχύος πολλαπλών πυρήνων που διαθέτουν οι κάρτες γραφικών (GPU) για την επιτάχυνση των υπολογισμών, με σκοπό την επίτευξη ευρετηρίασης πραγματικού χρόνου για ροές εικόνων (video) και την μείωση του χρόνου ανάκτησης για βάσεις εικόνων μεγάλης κλίμακας. Υλοποιήθηκε, ακόμα, μια νέα πλατφόρμα ανοιχτού κώδικα σύνθεσης και εκτέλεσης μεθόδων περιγραφής και ανάκτησης με βάση το οπτικό περιεχόμενο. Η προτεινόμενη πλατφόρμα προσφέρει ένα ολοκληρωμένο πλαίσιο για την ανάπτυξη συστημάτων που στηρίζονται στην αρχιτεκτονική του μοντέλου Bag of Visual Words (BOVW). Σκοπός ήταν να παρέχει λύσεις για την εύκολη ενσωμάτωση CBIR τεχνικών, για ένα ευρύ φάσμα εφαρμογών. Χρησιμεύει ως πλατφόρμα δοκιμών για τους ερευνητές και μπορεί να χρησιμοποιηθεί για την αξιολόγηση υφιστάμενων αλλά και νέων προσεγγίσεων καθώς είναι επεκτάσιμη. Στο σύνολό της η διατριβή παρουσιάζει σημαντική συνεισφορά στην επιστήμη καθώς το πρόβλημα της ανάκτησης εικόνων με βάση το οπτικό περιεχόμενο αντιμετωπίζεται σφαιρικά και παρουσιάζονται λύσεις καθολικών και αλλά και τοπικών περιγραφέων με προτάσεις βελτιώσεων υπαρχουσών τεχνικών και παρουσίαση καινοτόμων σχημάτων.Όπως αναλύθηκε παραπάνω, αντιμετωπίζονται καίρια προβλήματα των συστημάτων ανάκτησης και προτείνονται πρωτότυπες μέθοδοι περιγραφής και ανάκτησης βασισμένες σε ευφυείς τεχνικές, που βελτιώνουν τα αποτελέσματα της σύγχρονης βιβλιογραφίας και αξιολογούνται εκτενώς σε βάσεις εικόνων γενικής θεματολογίας καθώς και σε πειράματα μεγάλης κλίμακας.Σε όλες τις υλοποιήσεις, οι αναπαραστάσεις των εικόνων διανυσματικά προκύπτουν από σύνθεση πληροφοριών (υφή/χρώμα/περιγράμματα/χωρική κατανομή) στο επίπεδο της εξαγωγής των χαρακτηριστικών ενώ ταυτόχρονα γίνεται προσπάθεια εξάλειψης των ελεύθερων παραμέτρων στα διάφορα στάδια της ανάκτησης.Εφαρμογές λογισμικού όλων των προτεινόμενων μεθόδων είναι διαθέσιμες σε C#, Matlab και Java, υπό την άδεια χρήσης GNU GPL. Υλοποιήσεις περιλαμβάνονται, επίσης, ως επεκτάσεις, στην πλατφόρμα Img (Rummager) και στην βιβλιοθήκη ανάκτηση ανοικτού κώδικα LIRe