Αυτόματη σημασιολογική ταξινόμηση εικονοσειρών με τη χρήση χωρικών και χρονικών περιγραφέων
Authors: Ζάμπογλου Μάρκος 
Published: January 2014

Με την ευρεία εμπορική διάδοση των μέσων αποθήκευσης οπτικής και ακουστικής πληροφορίας όπως οι κάμερες και οι φωτογραφικές μηχανές, ο όγκος του πολυμεσικού υλικού που καταγράφεται και διακινείται καθημερινά έχει, τις τελευταίες δεκαετίες, γνωρίσει κατακόρυφη αύξηση. Ταυτόχρονα, η ύπαρξη ιστοσελίδων ανοιχτής δημοσίευσης, καθώς και εξειδικευμένων βάσεων πολυμεσικών δεδομένων, από τηλεοπτικά αρχεία μέχρι καταλόγους μουσείων, έχει ως συνέπεια η αναζήτηση πολυμεσικού υλικού να αποτελεί καθημερινή πρακτική για ένα μεγάλο αριθμό χρηστών. Οι σημερινές προσεγγίσεις αρχειοθέτησης στηρίζονται στην περιγραφή κάθε πολυμεσικού αντικείμενου με το χέρι. Το ερευνητικό πεδίο της Αυτόματης Σημασιολογικής Ταξινόμησης αποσκοπεί στην αυτόματη αναγνώριση υψηλού επίπεδου εννοιών στο περιεχόμενο των πολυμεσικών αντικείμενων, ώστε ο χρήστης να μπορεί να πλοηγείται σε μια συλλογή βάσει των πραγματικών του επιθυμιών. Στην εργασία αυτή εστιάζουμε στους περιγράφεις χαμηλού επίπεδου των οπτικών χαρακτηριστικών των εικονοσειρών, με σκοπό τη σημασιολογική ταξινόμηση. Στο κεφάλαιο 1 παρουσιάζεται η πρόκληση της σημασιολογικής ταξινόμησης, μια σύντομη ιστορική ανάδρομη σε αντίστοιχα ερευνητικά εγχειρήματα και οι σύγχρονες τάσεις της έρευνας καθώς και οι στόχοι της διατριβής, ενώ στο κεφάλαιο 2 παρουσιάζονται οι βασικές έννοιες που θεωρούνται απαραίτητες για την κατανόηση της εργασίας. Στο κεφάλαιο 3 γίνεται μια εξαντλητική ανάλυση των διαθέσιμων περιγραφέων χρώματος, υφής, τοπικών χαρακτηριστικών, καθώς και κίνησης ενώ αναφέρονται συνοπτικά οι κυρίες τάσεις στους/ περιγράφεις σχήματος. Για κάθε περιγραφέα αναλύεται η φιλοσοφία του, τα ισχυρά του σημεία καθώς και οι αδυναμίες του, με έμφαση στα αποτελέσματα των δημοσιευμένων πειραματικών συγκρίσεων, όπου αυτά υπάρχουν. Ακολουθώντας την ανάλυση, στο κεφάλαιο 4 προτείνονται τρεις νέοι περιγράφεις των φαινομένων κίνησης, καθένας από τους οποίους αντιστοιχεί σε διαφορετικό τύπο πληροφορίας. Ο πρώτος αποσκοπεί στην περιγραφή της κίνησης κάμερας, εστιάζοντας στην καταγραφή των χρονικών σχέσεων μεταξύ των κινήσεων της κάμερας για κάθε καρέ. Οι χρονικές σχέσεις αυτές αφορούν το ενδεχόμενο συνύπαρξης δύο διαφορετικών κινήσεων την ίδια χρονική στιγμή, καθώς και στην διαδοχή διαφορετικών κινήσεων στο χρόνο. Ο δεύτερος αποτελεί μια απόπειρα βελτίωσης ενός κλασικού περιγραφέα της κίνησης προσκήνιου, μεταφέροντας τον από το πεδίο διανυσμάτων μπλοκ στην οπτική ροή, και μετατοπίζοντας την εστίασή του από την κίνηση των αντικείμενων του προσκήνιου στην αναπαράσταση της χωρικής κατανομής της κίνησης αυτής. Ο τρίτος περιγραφέας επιδιώκει την αναπαράσταση των σχέσεων μεταξύ γειτονικών διανυσμάτων κίνησης με τη μορφή Τοπικών Δυαδικών Προτύπων. Καθώς πρόκειται για έναν εντελώς νέο περιγραφέα της δυναμικής υφής μέσω των τοπικών χαρακτηριστικών κίνησης, μια σειρά διαφορετικών επιλογών παρουσιάζονται σχετικά με τη δομή του. Στο κεφάλαιο 5 παρουσιάζεται μια πρόταση για εφαρμογή του αλγορίθμου VACOR από τον κλάδο της Ανάλυσης Δεδομένων, για την αξιολόγηση περιγραφέων και την ανάλυση του ρόλου τους στην ταξινόμηση βάσει του σημασιολογικού περιεχομένου. Πειραματικά, επιχειρείται η καθοδηγούμενη από τα δεδομένα Ιεραρχική Ταξινόμηση ενός συνόλου εικονοσειρών που ανήκουν σε τρεις διαφορετικές σημασιολογικές κλάσεις. Αφού εξεταστεί ο διαχωρισμός μεταξύ των σημασιολογικών εννοιών που επιτεύχθηκε με τη χρήση των περιγραφέων μας, ακολουθεί αναλυτική εξέταση των κόμβων της ταξινόμησης και του ρόλου της κάθε μεταβλητής των περιγραφέων στο σχηματισμό τους. Η εφαρμογή αυτή αποτελεί ένα υπόδειγμα για την αξιολόγηση περιγραφέων με τη χρήση μεθόδων της Ανάλυσης Δεδομένων. Στο κεφάλαιο 6, επιχειρείται Σημασιολογική Ταξινόμηση με τη χρήση Μηχανών Διανυσμάτων Υποστήριξης. Σε μια βάση δεδομένων 1074 εικονοσειρών ορίζονται 16 σημασιολογικές κλάσεις και ένας αριθμός διαφορετικών εκδοχών των πρωτότυπων περιγραφέων αξιολογούνται με κριτήριο τη συγκριτική τους ικανότητα ταξινόμησης άγνωστων εικονοσειρών. Στη συνέχεια οι περιγραφείς μας συγκρίνονται πειραματικά με κλασικούς περιγραφείς παρόμοιας στόχευσης, ώστε να αναδειχθεί ο βαθμός στον οποίο αποτελούν βελτίωση επί των δημοφιλέστερων προσεγγίσεων. Τέλος, υλοποιείται πειραματικά ένα ολοκληρωμένο σύστημα ταξινόμησης εικονοσειρών, βασισμένο στους αποτελεσματικότερους κλασικούς περιγράφεις, όπως αυτοί αναδείχθηκαν από την ανάλυσή μας. Στα πλαίσια του συστήματος αυτού, εξετάζεται και αξιολογείται η συνεισφορά των περιγραφέων μας στην βελτίωση της ακρίβειας της ταξινόμησης, καθώς και η συνολική ικανότητα ταξινόμησης του τελικού συστήματος. Από την πειραματική διερεύνηση των ισχυρών τους σημείων, άλλα και των αδυναμιών τους, καταλήγουμε στο κεφάλαιο 7 σε μια σειρά συμπερασμάτων όσον άφορα το βαθμό επίτευξης των στόχων μας, τη σημασία των συνεισφορών μας, καθώς και τις μελλοντικές ερευνητικές κατευθύνσεις γύρω από αυτές.