Machine learning techniques for semantic text indexing
Creators: name: Παπανικολάου, Γιάννης Ν.
Publisher: name: Aristotle University of Thessaloniki
Year: 2018
Subjects: Μάθηση από δεδομένα πολλαπλών ετικετών
Λανθάνουσα κατανομή Dirichlet
Ακραία ταξινόμηση
Μοντέλα θεμάτων
Multi-label learning
Latent Dirichlet allocation
Extreme classification
Topic models

description: Η διατριβή συνεισφέρει μια πρωτότυπη έρευνα στον τομέα της μηχανικής μάθησης και πιο συγκεκριμένα στις περιοχές της μάθησης από δεδομένα πολλαπλών ετικετών και των μοντέλων θεμάτων. Το κύριο πρόβλημα που αντιμετωπίζεται αφορά ένα σενάριο όπου υπάρχει ένα σύνολο δεδομένων για τα οποία υποθέτουμε ότι κάθε στοιχείο μπορεί να περιγραφεί από περισσότερες της μίας σημασιολογικές έννοιες, ή μία κατανομή επί αυτών. Ο στόχος μας σε αυτή την περίπτωση, είναι να προσδιορίσουμε τις έννοιες αυτές για κάθε στοιχείο του συνόλου δεδομένων. Στην περίπτωση της μάθησης από δεδομένα πολλαπλών ετικετών, το πρόβλημα ανήκει στην επιβλεπόμενη μάθηση: υπάρχει ένα σύνολο δεδομένων εκπαίδευσης και μια δοσμένη οντολογία εννοιών και ο στόχος είναι να εκπαιδευτεί ένα μοντέλο πολλαπλών ετικετών που θα προβλέπει επιτυχώς έννοιες σε νέα δεδομένα. Τα μοντέλα θεμάτων αφορούν ένα πλαίσιο μη επιβλεπόμενης μάθησης, στοχεύοντας στον προσδιορισμό τόσο της οντολογίας των εννοιών, δηλαδή των θεμάτων της συλλογής, όσο και τις έννοιες που περιγράφουν κάθε στιγμιότυπο δεδομένων, δηλαδή τις κατανομές στιγμιότυπου-θεμάτων. Αν και το πεδίο εφαρμογής της διατριβής είναι το κείμενο, εντούτοις οι συνεισφορές της μπορούν εύκολα να επεκταθούν και σε άλλους τομείς εφαρμογών. Σε αυτή την εργασία, μας απασχολούν τα εξής προβλήματα: α) ο αποτελεσματικός συνδυασμός μοντέλων μάθησης πολλαπλών ετικετών, β) η βελτίωση του υπολογισμού των παραμέτρων για επιβλεπόμενα και μη επιβλεπόμενα μοντέλα θεμάτων γ) η αποτελεσματική αντιμετώπιση του προβλήματος της ανισορροπίας κλάσεων και των μεγάλης κλίμακας προβλημάτων μάθησης από δεδομένα πολλαπλών ετικετών μέσω της διαμέρισης του χώρου ετικετών δ) η επέκταση επιβλεπόμενων μοντέλων θεμάτων, ώστε να αντιμετωπίζουν επιτυχώς προβλήματα μάθησης από δεδομένα πολλαπλών ετικετών που έχουν πάρα πολύ μεγάλες οντολογίες εννοιών. Αρχικά, παρουσιάζουμε μια μέθοδο συνόλου για μεθόδους μάθησης από δεδομένα πολλαπλών ετικετών, που συνδυάζει ταξινομητές πολλαπλών ετικετών και εφαρμόζει ένα τεστ στατιστικής σημαντικότητας ώστε να επιβεβαιώσει τις επιλογές του. Στη συνέχεια, εισάγεται μια καινοτόμα μέθοδος υπολογισμού των παραμέτρων για μοντέλα θεμάτων. Η μέθοδος κάνει χρήση της πλήρους κατανομής πιθανότητας της Λανθάνουσας Κατανομής Dirichlet, προτείνοντας βελτιωμένους εκτιμητές παραμέτρων τόσο από πλευράς απόδοσης όσο και χρονικής πολυπλοκότητας. Η επόμενη εργασία αφορά την ανάπτυξη μιας μεθόδου που διαμερίζει τον χώρο τον ετικετών και ακολουθεί μια τακτική διαίρει και βασίλευε για την αποτελεσματική αντιμετώπιση μεγάλης κλίμακας προβλημάτων, με έντονη ανισορροπία κλάσεων. Τέλος, προτείνουμε μια επέκταση για μοντέλα θεμάτων επιβλεπόμενης μάθησης, που καταφέρνουν να αντιμετωπίσουν επιτυχώς προβλήματα με εκατοντάδες χιλιάδες έννοιες. Οι παραπάνω μέθοδοι αξιολογούνται σε εκτενή πειράματα με την αιχμή της τεχνολογίας σε κάθε τομέα, με τα αποτελέσματα να φανερώνουν σημαντικά πλεονεκτήματα για τις μεθόδους μας, σε όλες τις περιπτώσεις.
description: This thesis presents an original research in the field of machine learning and more specifically in the areas of multi-label learning and topic models. The main task considered in this thesis involves a setting in which there exists a collection of data instances and we assume that each of these instances can be described with multiple concepts, or a distribution over them. Our goal then, is to determine these concepts for each instance. In the case of multi-label learning, the task is supervised: there exist a training data set and a given concepts ontology and the goal is to train a multi-label learning model that will effectively predict concepts on new data. Topic models entail an unsupervised context, aiming at specifying both the ontology of concepts, or, in other words, the topics of the collection, as well as the concepts describing each data instance, i.e., the instance-topics distribution. Throughout the dissertation the application domain is text, nevertheless the contributions of the thesis can readily be extended to other data domains. In this thesis, we are interested in the following problems: a) effective combination of multi-label learning methods, b) improving parameter estimation for supervised and unsupervised topic models c) partitioning of the output space to effectively solve large-scale multi-label tasks and d) adaptation of supervised topic modelling algorithms, to deal successfully with extremely large multi-label learning tasks. First, we present a multi-label ensemble method, that combines multi-label classifiers and employs a statistical significance test in order to validate its choices. Second, a novel method for parameter estimation for topic models is introduced. This method, employs a full probability distribution to compute improved estimators for the topic model parameters, both in terms of performance and time complexity. Third, we present a method to deal with large-scale multi-label classification, which proceeds by learning a hierarchy out of the label set and then solves the resulting easier and simpler sub-tasks. Finally, we propose an extension to supervised topic models, that effectively scales up to tasks with hundreds of thousands of concepts. All of the above methods are evaluated and compared against the relevant state-of-the-art, in multiple experimental settings and for diverse evaluation procedures, the results demonstrating significant improvements in all cases.