Ανθρωποκεντρική Περίληψη Οικονομικών Κειμένων
Creators: name: Πασσαλή Σουλτάνα Τατιάνα Χαράλαμπου
Publisher: name: Aristotle University of Thessaloniki
Year: 2021
Subjects: Βαθιά Μάθηση
Επεξεργασία Φυσικής Γλώσσας
Αυτόματη Παραγωγή Περίληψης
Deep Learning
Natural Language Processing
Summarization

description: Η αυτόματη παραγωγή περίληψης γνωρίζει ραγδαία ανάπτυξη τα τελευταία χρόνια καθώς επιτρέπει την γρήγορη και αποτελεσματική επεξεργασία του ολοένα και αυξανόμενου όγκου εγγράφων που είναι διαθέσιμος στον παγκόσμιο ιστό. Επιπλέον, τα τελευταία χρόνια παρατηρείται μια αυξανόμενη ανάπτυξη μοντέλων περίληψης, με ιδιαίτερη έμφαση στα μοντέλα βαθιάς μάθησης, τα οποία εξειδικεύονται σε συγκεκριμένη θεματολογία εγγράφων π.χ. ιατρικές εκθέσεις, επιστημονικές δημοσιεύσεις, χρηματοοικονομικά αρχεία κ.λπ. Παρά την αδιαμφισβήτητη επιτυχία αυτών των μοντέλων, συνήθως είναι απομονωμένα από τους χρήστες και δεν επιτρέπουν οποιαδήποτε χρήσιμη ανατροφοδότηση από αυτούς, καθώς επίσης δεν παρέχουν ουσιαστικά κάποια εξήγηση σχετικά με την διαδικασία παραγωγής των τελικών προβλεψεων. Στην παρούσα διπλωματική εργασία, εστιάζουμε στην παραγωγή περίληψης από κείμενα οικονομικού χαρακτήρα και συνεισφέρουμε με την δημιουργία ενος νέου συνόλου δεδομένων που αποτελείται αποκλειστικά από χρηματοοικονομικά άρθρα. Επιπλέον, προσεγγίζουμε το ζήτημα της αυτόματης περίληψης μέσα από μια ανθρωποκεντρική σκοπιά δημιουργόντας ένα σύστημα στο οποίο ο χρήστης έχει ενεργό ρόλο δίνοντας του επιπλέον την δυνατότητα να επιλέξει μεταξύ διαφορετικών προτάσεων όσον αφορά την τελική περίληψη. Τέλος, αναλύουμε την ερμηνευσιμότητα του βασικού μηχανισμού της σύνθετης δομής του μοντέλου βαθιάς μάθησης που χρησιμοποιήσαμε με στόχο την καλύτερη ερμηνεία των τελικών προβλεψεων. Ειδικότερα, παρέχουμε μερικά χρήσιμα στοιχεία σχετικά με τους αιτιατούς παράγοντες που οδηγούν τη συμπεριφορά του μοντέλου, επιτρέποντας την καλύτερη κατανόηση των τελικών προβλέψεων με στόχο να ενισχύσουμε την εμπιστοσύνη του χρήστη με το προτεινόμενο σύστημα. Ολες οι παραπάνω πτυχές συνδυάζονται σε μια ανθρωποκεντρική διεπαφή η οποία μπορεί να χρησιμοποιηθεί εύκολα και γρήγορα απο τον χρήστη. Η ανάλυσή μας θέτει τις βάσεις για την ανάπτυξη εξελιγμένων ανθρωποκεντρικών μοντέλων αυτόματης περίληψης, ανοίγοντας το δρόμο για μελλοντικές ερευνητικές κατευθύνσεις
description: Automatic summarization has seen a rapid growth in recent years, allowing for efficient handling and processing of the huge amount of documents, which are available on the Web. There is also an increasing growth of domain-specific summarization models which use knowledge of the particular domain terminology e.g., medical reports, scientific publications, financial and company filings etc. Despite the success of these models, the majority of them are isolated from the users, not allowing any kind of useful feedback from them during the summarization process as well as not providing any meaningful explanations about the final predictions to them. In this thesis, we focus on financial summarization and we contribute a new dataset, which consists explicitly of financial newswire articles from economic and business categories via Bloomberg's website. We also propose a financial human-centered summarization model, utilizing the implementation of an existing state-of-the-art transformer model: PEGASUS. We approach the task of summarization from a human-centered aspect, providing an interpretation analysis of the complex structure of the existing neural model, especially by examining the transparency of a widely used attention mechanism, namely self-attention. The user has an active role in our summarization system by selecting among different diverse hypotheses during inference, improving this way the quality of our collected dataset with human-approved summaries. We significantly improve the performance of the model after the fine-tuning by 10 points in terms of ROUGE-1 score. At the same time, we provide some useful insights about the causative factors which drive the behavior of the model, allowing for better understanding of the final predictions. We combine all the above aspects into a simple human-centered summarization interface. Our analysis sets the ground for the development of sophisticated human-centered summarization techniques, opening the way for prospective research directions