Κατηγοριοποίηση αντικειμένων σε εικόνες με χρήση ιδιοτήτων και λεκτικών περιγραφών
Creators: name: Πουρνάρας, Απόστολος Αθανασίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2017
Subjects: Κατηγοριοποίηση εικόνων
Ένθεση ετικετών
Μάθηση χωρίς παραδείγματα
Image Classification
Label Embedding
Zero-Shot Learning

description: Στόχος της κατηγοριοποίησης φωτογραφιών είναι η σωστή πρόβλεψη της κατηγορίας στην οποία ανήκει μια δοθείσα φωτογραφία. Το σύνολο των διαφορετικών κατηγοριών είναι πεπερασμένο και προκαθορισμένο, έχει όμως την δυνατότητα επέκτασης. Οι φωτογραφίες εστιάζουν σε ένα συγκεκριμένο αντικείμενο ή έννοια, όπως ``παπαγάλος'', ``αυτοκίνητο'' κ.λ.π. Ο κατηγοριοποιητής φωτογραφιών θα πρέπει αφού εξετάσει μια φωτογραφία, να αποφανθεί αν η εικόνα είναι συναφής με την έννοια ή το αντικείμενο. Λόγο της ενδεχόμενης δυσκολίας εύρεσης φωτογραφιών-παραδείγματα για την φάση της εκπαίδευσης του κατηγοριοποιητή, ενδιαφέρον παρουσιάζει το πρόβλημα της πρόβλεψης με μάθηση χωρίς παραδείγματα ή με λίγα παραδείγματα. Ακόμη, ενδιαφέρον δείχνει η χρήση ιδιοτήτων που περιγράφουν τις κατηγορίες. Οι ιδιότητες αυτές ενδέχεται να είναι κοινές μεταξύ πολλών κατηγοριών και η χρήση τους ενδέχεται να βοηθήσει στις περιπτώσεις με λίγα ή καθόλου παραδείγματα. Έτσι, η μέθοδος η οποία εξετάστηκε και υλοποιήθηκε στην παρούσα διπλωματική εργασία, είχε δύο στόχους. Ο πρώτος αφορούσε την δυνατότητα χρήσης βοηθητικής πληροφορίας σχετικής με τις διαφορετικές κατηγορίες, όπως ιδιότητες που περιγράφουν τις κατηγορίες αυτές ή λεκτικές περιγραφές. Ο δεύτερος αφορούσε την επίτευξη αποδεκτών ποσοστών σωστής πρόβλεψης σε καταστάσεις όπου υπάρχουν λίγα ή καθόλου φωτογραφίες-παραδείγματα κάποιων κατηγοριών. Η μέθοδος της εργασίας βασίζεται στην ένθεση των φωτογραφιών σε έναν χώρο γνωρισμάτων και την ένθεση των κατηγοριών σε έναν χώρο ιδιοτήτων. Η απόφαση για την κατηγορία της εκάστοτε φωτογραφίας γίνεται με την βοήθεια μιας συνάρτησης που μετρά την συμβατότητα της ένθεσης της φωτογραφίας αυτής με τις ενθέσεις των κατηγοριών. Κατά την εκπαίδευση, μαθαίνονται οι παράμετροι της συνάρτησης αυτής ώστε οι σωστές κατηγορίες να έχουν την υψηλότερη συμβατότητα. Τα πειράματα που έγιναν πάνω σε τρία διαφορετικά σύνολα δεδομένων έδειξαν πως πολύ υψηλά ποσοστά ευστοχίας επιτυγχάνονται ακόμα και στις περιπτώσεις με εκπαίδευση δίχως παραδείγματα. Υψηλά ποσοστά επιτυγχάνονται όταν γίνεται χρήση καλής βοηθητικής πληροφορίας σε συνδυασμό με καλή μέθοδο ένθεσης των εικόνων.
description: The objective of image classification is to properly predict the class to which a given image belongs. The set of different classes is finite and predetermined, but can be expanded. Images focus on a particular object or concept such as ``parrot'', ``car'' etc. The image classifier, after processing the given image, decides which specific concept or object is relevant to that image. Because of the potential difficulty in finding example images for the training phase of the classifier, the problem of training when some classes have zero or few example images is of great interest. Another interesting topic is that of the use of class-descriptive attributes. These attributes may be common among classes and their usage may aid the classifier in situations where there are zero or few example images for some classes. Thus, the method examined and implemented in this diploma thesis had two objectives. The first concerned the use of ancillary information related to the different classes, such as attributes describing these classes or verbal descriptions. The second concerned the achievement of acceptable percentages of correct predictions in situations with zero or few example images for some classes. The method of this thesis is based on embedding the images into an attribute space and embedding the classes into a features space. The decision about the class that each image belongs, is made via a function that measures the compatibility between the embedding of each image and the embeddings of the classes. During training, the parameters of this function are learned so that the correct classes have the highest compatibility. Experiments conducted on three different datasets showed that very high rates of accuracy are achieved even in situations with zero or few example images. High rates are achieved when good ancillary information is used in conjunction with a good image embedding method.
description: Σε συνεργασία με: Λογιστικής και Χρηματοοικονομική (Πανεπιστήμιο Μακεδονίας)