Multi-label machine learning algorithms for automated image annotation:
Creators: name: Σεχίδης, Κωνσταντίνος Αναστασίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2011
Subjects: Αλγόριθμοι μηχανικής μάθησης από δεδομένα πολλαπλών ετικετών
Χαρακτηρισμός εικόνων
Περιορισμοί ετικετών
Multi-label machine learning algorithms
Image annotation
Label constraints

description: Η διπλωματική εργασία έχει δυο κύριες κατευθύνσεις. Αρχικά προσπαθούμε να βελτιώσουμε την απόδοση τεχνικών για κατηγοριοποίηση πολλαπλών ετικετών (multi label classification) και έπειτα εφαρμόζουμε αυτές τις τεχνικές στην περιοχή του αυτόματου χαρακτηρισμού εικόνων (automated image annotation). Στο κομμάτι της μηχανικής μάθησης μελετάμε τον αλγόριθμος Ensemble of Classifier Chains (ECC). Σε αυτόν τον αλγόριθμο προτείνουμε μια τροποποίηση για να βελτιώσουμε την απόδοση του στις ανά ετικέτα μετρικές (per label measures) και πιο συγκεκριμένα βελτιώνετε σημαντικά η απόδοση της Mean Average Precision (MAP) μετρικής. Επίσης προτείνουμε την εισαγωγή ενός σταδίου επεξεργασίας το οποίο θα χρησιμοποιεί την πληροφορία από τους περιορισμούς που υπάρχουν ανάμεσα στις ετικέτες. Αυτό το στάδιο εφαρμόζετε πάνω στις πιθανότητες που μας δίνει ο αλγόριθμος και λαμβάνει υπόψη δυο διαφορετικούς περιορισμούς ανάμεσα στις ετικέτες: ετικέτες που είναι αμοιβαίος αποκλειόμενες και ετικέτες που η ύπαρξη της μιας συνεπάγετε την ύπαρξη της άλλης. Στο δεύτερο κομμάτι εστιάζουμε στα δεδομένα τα οποία επεξεργαζόμαστε στην παρούσα εργασία. Τα δεδομένα είναι ένα σύνολο από εικόνες από το Flickr μαζί με τις ετικέτες που έχει ορίσει ο χρήστης για κάθε μια από αυτές και βασίζονται στα δεδομένα του διαγωνισμού ImageCLEF2010 από το κομμάτι του αυτόματου χαρακτηρισμού εικόνων. Με βάση αυτά τα δεδομένα σχηματίζουμε δυο διαφορετικών ειδών μοντέλα. Μοντέλα που βασίζονται στην οπτική πληροφορία (visual information) και μοντέλα που βασίζονται στην πληροφορία κειμένου (textual information). Σε αυτό το κομμάτι η καινοτομία που προτείνουμε είναι η υλοποίηση ενός μοντέλου ομάδων (ensemble model) από αλγορίθμους που εκπαιδεύονται σε διαφορετικές οπτικές της πληροφορίας κειμένου. Τέλος αξίζει να σημειωθεί ότι τα τελευταία χρόνια υπάρχει ραγδαίο ενδιαφέρων για συστήματα που χαρακτηρίζουν αυτόματα εικόνες. Αρκετοί διαγωνισμοί ασχολούνται με αυτό το αντικείμενο ενώ είδη υπάρχουν στο διαδίκτυο τέτοιες εφαρμογές. Για αυτό τον λόγο αξίζει να μελετήσουμε πως οι τεχνικές για κατηγοριοποίηση πολλαπλών ετικετών αποδίδουν σε σχέση με άλλους αλγορίθμους μηχανικής μάθησης.
description: There are two main purposes for this thesis. Firstly we are trying to improve the multi-label classification techniques and secondly we apply these techniques in automated image annotation field. In machine learning part we examine the Ensemble of Classifier Chains (ECC) algorithm. We modify this algorithm in order to improve the per concept (or per label) performance and improve its performance over Mean Average Precision (MAP) metric. Also we suggest techniques to manipulate the existence of label constraints in a data set. We introduce a post-processing step and we suggest two different techniques to operate the different constraints in the data set. In the second part we focus mainly on the data set that we examine in this work. This dataset is taken out from the photo annotation task of ImageCLEF 2010 contest and we give a short description of it. Then we build models depending on two different kinds of information that we have for every image of the data set, the visual information and the textual information. Another contribution of that work is the suggestion of an ensemble model depending only on different kinds of textual information. An interesting thing to mention is that there is an increasing interest for automated image annotation. Many contests are focused on this field while are already some online applications for image annotation. So it is worth to search and simulate multi-label algorithms in image annotation field in order to see how they perform comparing to other machine learning algorithms.