Εξαγωγή περίληψης κειμένου με τεχνικές τεχνητής νοημοσύνης
Creators: name: Κουγιουμτζίδου, Άννα Βιτάλιου
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Περίληψη κειμένου
Νευρωνικά δίκτυα transformer
Κοινωνικό δίκτυο Reddit
Text summarization
Transformer neural networks
Reddit social network

description: Ο όγκος των δεδομένων που διατίθενται στο Διαδίκτυο αυξάνεται καθημερινά με ραγδαίους ρυθμούς. Ως αποτέλεσμα πολύτιμες πληροφορίες βρίσκονται ελεύθερα διαθέσιμες στο Διαδίκτυο χωρίς ωστόσο να είναι πάντα δυνατή η εύρεση, η επεξεργασία και η αξιοποίησή τους από τον άνθρωπο. Στο πλαίσιο αυτό παρουσιάζεται η ανάγκη για σύμπτυξη της διαθέσιμης πληροφορίας. Στην παρούσα εργασία μελετάται η αυτόματη παραγωγή περιλήψεων που αποτελεί μέθοδο σύμπτυξης της πληροφορίας κειμένου. Πιο συγκεκριμένα, διερευνάται η παραγωγή περιλήψεων κειμένων που προέρχονται από το κοινωνικό δίκτυο Reddit με χρήση προ-εκπαιδευμένων νευρωνικών δικτύων τύπου κωδικοποιητή-αποκωδικοποιητή, αρχιτεκτονικής Transformer. Αρχικά εξετάζονται οι επιδόσεις που πετυχαίνουν τα νευρωνικά μοντέλα BART, PEGASUS και ProphetNet στο πρόβλημα της εξαγωγής abstractive περιλήψεων στο θορυβώδες σύνολο δεδομένων Webis-TLDR-17 του Reddit. Ακολούθως πραγματοποιείται νέο fine-tuning των ίδιων μοντέλων σε υποσύνολο του Webis-TLDR-17 και διερευνώνται οι νέες επιδόσεις τους. Τα αποτελέσματα των πειραμάτων υποδεικνύουν ότι στο πρόβλημα της παραγωγής των περιλήψεων του Webis-TLDR-17 επιτυγχάνεται μεταφορά μάθησης τόσο από το PEGASUS που έχει προ-εκπαιδευτεί σε δεδομένα του ίδιου τομέα, όσο και από τα BART και ProphetNet που έχουν προ-εκπαιδευτεί σε ειδησεογραφικά δεδομένα. Το περαιτέρω fine-tuning στο ίδιο το Webis-TLDR-17 βελτιώνει τις επιδόσεις όλων των μοντέλων που εξετάστηκαν με όρους μετρικών ROUGE, ωστόσο αυτό δε συνεπάγεται απαραίτητα τη βελτίωση της ποιότητας των περιλήψεων.
description: The volume of the data that is available on the Internet is growing rapidly on a daily basis. Although this results in valuable information being freely available online, humans are not always capable of finding, processing, and leveraging this information. In this context the need for information compression arises. In this work we study the automatic summarization of texts originating from the social network Reddit, with the use of pre-trained Transformer-based encoder-decoder neural networks. Initially we examine the performance of the neural models BART, PEGASUS, and ProphetNet on the noisy Webis-TLDR-17 Reddit dataset in the task of abstractive summarization. Subsequently we fine-tune the same models one more time using a subset of Webis-TLDR-17 and re-examine their performance. The experimental results suggest that successful transfer-learning from both PEGASUS, that has been pre-trained on same-domain data, and BART and ProphetNet, that have been pre-trained on news domain data, is achieved in the task of Webis-TLDR-17 summarization. Further fine-tuning of the models on Webis-TLDR-17 enhances their performance in terms of ROUGE scores, however, this does not directly translate to higher summary quality.
description: Σε συνεργασία με: Λογιστικής και Χρηματοοικονομικής (Πανεπιστήμιο Μακεδονίας)