Keyphrase Extraction from Scholarly Documents
Creators: name: Κοντούλης, Χρυσοβαλάντης Γεώργιος Χρήστου
Publisher: name: Aristotle University of Thessaloniki
Year: 2021
Subjects: Εξαγωγή Φράσεων Κλειδιών
Μηχανική Μάθηση
Επιστημονικά Έγγραφα
Keyphrase Extraction
Machine Learning
Scholarly Documents

description: The problem of keyphrase extraction is essential for many academic research tasks such as document indexing, recommendation systems, and, many more. Keyphrases could be used even as a special kind of text summarization for humans to assist in the comprehension of the discussed topics in some text without having to read it first. Despite its importance, it is a particularly challenging problem as even the state-of-the-art models cannot achieve top-tier performance. In this thesis, we explore the problem of automatic keyphrase extraction on academic publications by utilizing various methods on the Bi-LSTM-CRF model, which is a state-of-the-art recurrent neural network for this task. To our knowledge, there is no public repository with a contemporary implementation of the model tuned for keyphrase extraction. So, we provide one with a tensorflow implementation of the model. We approach the task as a binary sequence labeling problem, in which the words are classified into keywords and non-keywords. We also provide insightful information and general guidelines stemming from data analysis in view of improving the performance on the task. Additionally, we experimented with methods aiming to introduce new keyphrases in comparison to the staple combination of the title and abstract in hopes of further improving performance. Specifically, considering the data analysis, we isolate parts of the documents that potentially are more keyphrase dense, e.g. the first few paragraphs of a scholarly document, and, we experiment with the full-text of the documents by splitting it into paragraphs and sentences. Also, we experiment with summaries of the full-text documents, which are generated by state-of-the-art deep learning models. To check the validity of our methods, we employed them to popular unsupervised models as well. Our methods can be used with any keyphrase extraction, and possibly abstraction, model to achieve greater results. In our setting, we managed to increase the exact match F1-score by as much as 5.85%. We further provide guidelines to select the proper text excerpt for each of the used machine learning models. Last but not not least, we introduce a new method of calculating the F1-score, recall and precision metrics. This method aims to soothe the strictness of the exact matching by addressing the case where a gold keyphrase is a substring of a predicted. For that reason, we call the new method semi-exact matching.
description: Το πρόβλημα της εξαγωγής λέξεων κλειδιών είναι σημαντικό για πολλές ακαδημαϊκές ερευνητικές εργασίες όπως η ευρετηρίαση εγγράφων, τα συστήματα συστάσεων και πολλά άλλα. Οι λέξεις κλειδιά θα μπορούσαν να χρησιμοποιηθούν ακόμη και ως ένα ειδικό είδος περίληψης κειμένου, το οποίο μπορεί να βοηθήσει τους ανθρώπους στην κατανόηση των συζητηθέντων θεμάτων κάποιου κειμένου χωρίς να χρειάζεται να το διαβάσουν πρώτα. Παρά τη σημαντικότητα του, είναι ένα ιδιαίτερα δύσκολο πρόβλημα, καθώς ακόμη και τα υπερσύγχρονα μοντέλα δεν μπορούν να επιτύχουν κορυφαία απόδοση. Σε αυτή τη διατριβή, αναλύουμε το πρόβλημα της αυτόματης εξαγωγής φράσεων κλειδιών σε ακαδημαϊκές δημοσιεύσεις, χρησιμοποιώντας διάφορες μεθόδους στο μοντέλο Bi-LSTM-CRF, το οποίο είναι ένα υπερσύγχρονο επαναλαμβανόμενο νευρικό δίκτυο (RNN). Από όσα γνωρίζουμε, δεν υπάρχει δημόσιο αποθετήριο (repository) με σύγχρονη και επικαιροποιημένη υλοποίηση του μοντέλου που έχει ρυθμιστεί για να αντιμετωπίζει το πρόβλημα εξαγωγής φράσεων κλειδιών. Έτσι, δημιουργήσαμε εμείς ένα, με μια υλοποίηση του μοντέλου που στηρίζεται στην βιβλιοθήκη tensorflow. Σε αυτή την εργασία, προσεγγίζουμε το πρόβλημα ως δυαδικό, όπου οι λέξεις των ακολουθιών ταξινομούνται σε λέξεις-κλειδιά και μη λέξεις-κλειδιά. Επίσης, παρέχουμε σημαντικές πληροφορίες, παρατηρήσεις και γενικές οδηγίες που προκύπτουν από την ανάλυση των δεδομένων με σκοπό τη βελτίωση της απόδοσης των μοντέλων στο πρόβλημα. Επιπλέον, πειραματιστήκαμε με μεθόδους που στοχεύουν στην εισαγωγή νέων φράσεων κλειδιών σε σύγκριση με τον κλασσικό συνδυασμό του τίτλου και της περίληψης που χρησιμοποιείται ευρέως, με την ελπίδα βελτίωσης της απόδοσης. Συγκεκριμένα, λαμβάνοντας υπόψη την ανάλυση δεδομένων, απομονώσαμε τμήματα των εγγράφων που είναι πιθανώς πυκνώτερα σε φράσεις κλειδιά, π.χ. τις πρώτες παραγράφους ενός επιστημονικού εγγράφου και, πειραματιστήκαμε με το πλήρες κείμενο των εγγράφων χωρίζοντάς το σε παραγράφους και προτάσεις. Επίσης, πειραματιστήκαμε με περιλήψεις των εγγράφων που προκύπτουν αυτοματοποιημένα από το πλήρες κείμενο με τη χρήση υπερσύγχρονων μεθόδων βαθειάς μάθησης. Για να ελέγξουμε την αποτελεσματικότητα των μεθόδων μας, τις χρησιμοποιήσαμε και σε δημοφιλή μοντέλα χωρίς επίβλεψη. Οι μέθοδοι μας μπορούν να χρησιμοποιηθούν με οποιαδήποτε μέθοδο εξαγωγής φράσεων κλειδιών για την επίτευξη καλύτερων αποτελεσμάτων. Στα πειράματα μας, καταφέραμε να αυξήσουμε τη μετρική exact match F1-score κατά 5.85%. Επιπλέον, προτείνουμε οδηγίες για την επιλογή του κατάλληλου αποσπάσματος κειμένου για κάθε ένα από τα μοντέλα μηχανικής μάθησης που χρησιμοποιήσαμε στα πειράματα. Τέλος, εισάγουμε μια νέα μέθοδο υπολογισμού των μετρικών απόδοσης F1-score, ανάκλησης (recall) και ακρίβειας (precision). Αυτή η μέθοδος έχει ως στόχο να μειώσει την αυστηρότητα της ακριβούς αντιστοίχισης (exact match) αντιμετωπίζοντας την περίπτωση όπου μια φράση βασικής αλήθειας (ground truth) είναι υποσύνολο μιας προβλεπόμενης. Για αυτόν τον λόγο, ονομάζουμε τη νέα μέθοδο ημι-ακριβή αντιστοίχιση (semi-exact match).