Θεματική μοντελοποίηση με τη τεχνική LDA- Εφαρμογή για την ελληνική γλώσσα
Creators: name: Λυσικάτου, Άννα Γεωργίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Αλγόριθμος λανθάνουσας κατανομής
Υπερπαράμετροι α, β
Θεματική μοντελοποίηση ελληνικών κειμένων
Algorithm Latent Dirichlet Allocation
Dirichlet priors
Topic Modelling in Greek text

description: Σκοπός της παρούσας εργασίας αποτελεί η εφαρμογή του αλγορίθμου λανθάνουσας κατανομής Dirichlet, γνωστού ως Latent Dirichlet Allocation για την εξαγωγή θεμάτων σε ελληνικά δεδομένα κειμένου, όπως δημοσιεύονται στις περιλήψεις των άρθρων στα πρακτικά των συνεδρίων της Ελληνικής Επιστημονικής Ένωσης Τεχνολογιών Πληροφορικής από το 2008 μέχρι το 2021. Βασικός στόχος της μελέτης είναι η τροποποίηση των υπερπαραμέτρων και η σημασία τους στην εξαγωγή συμπερασμάτων. Αρχικά επισημαίνεται πως η εξαγωγή θέματος αποτελεί βασικό εργαλείο για τους χρήστες, αφού παρέχει τη δυνατότητα εντοπισμού κύριων σημείων ενός άρθρου, καθώς και των ομοιοτήτων μεταξύ τους συντελώντας με αυτόν τον τρόπο στην κατηγοριοποίηση των κειμένων. Ωστόσο βασικός παράγοντας στην παραπάνω διαδικασία θεωρείται η κατανόηση της σημασίας των λέξεων, γεγονός που εξαρτάται από την αποτελεσματικότητα του αλγορίθμου που χρησιμοποιήθηκε καθώς και της παραμετροποίησης των παραμέτρων και υπερπαραμέτρων αυτού. Τα ερευνητικά ερωτήματα της εργασίας εστιάζουν: 1) Στην αντιμετώπιση των δυσκολιών και περιορισμών κατά την εφαρμογή της θεματικής μοντελοποίησης σε κείμενα στην ελληνική γλώσσα. 2) Στον προσδιορισμό των πιο συχνών όρων και θεμάτων στις περιλήψεις των άρθρων στα αναλυόμενα συνέδρια. 3) Στο πως επηρεάζεται η ποιότητα των αποτελεσμάτων από τον τρόπο παραμετροποίησης των παραμέτρων και υπερπαραμέτρων γνωστών ως Dirichlet priors κατά την εφαρμογή του αλγόριθμου λανθάνουσας κατανομής Dirichlet στο οικοσύστημα της Python με την εφαρμογή της βιβλιοθήκης sklearn μέσα από την αποτίμηση συγκεκριμένων μετρικών. Πρώτα από όλα γίνεται αναφορά στο θεωρητικό υπόβαθρο του αλγορίθμου της θεματικής μοντελοποίησης γνωστός ως αλγόριθμος λανθάνουσας κατανομής Dirichlet «Latent Dirichlet Allocation». Στη συνέχεια εξετάζονται τα στάδια της προεπεξεργασίας των κειμένων, ο ρόλος και η σημασία της τροποποίησης των παραμέτρων και υπερπαραμέτρων με στόχο τη βελτίωση των αποτελεσμάτων αναφορικά με τον προσδιορισμό των πιο συχνών όρων καθώς και της κατανόησης αυτών. Η παρουσίαση και υλοποίηση της μεθοδολογίας ολοκληρώνεται με την ανάλυση των αποτελεσμάτων, τα συμπεράσματα και τη διατύπωση παρατηρήσεων και μελλοντικών βελτιώσεων. Προκειμένου να απαντηθεί το πρώτο ερευνητικό ερώτημα γίνονται αναφορές στις δυσκολίες και στα θέματα που παρουσιάστηκαν σχετικά με την επεξεργασία των κειμένων στην ελληνική γλώσσα ιδιαίτερα με την έλλειψη εξειδικευμένων εργαλείων, τη χρήση στέμματος και λήμματος καθώς και των κοινών συχνά χρησιμοποιούμενων λέξεων. Ακόμη προκειμένου να προσδιοριστούν και να διερευνηθούν οι πιο συχνοί όροι χρησιμοποιήθηκαν δυο σύνολα με το σώμα των περιλήψεων των άρθρων. Το πρώτο σετ περιλάμβανε τις περιλήψεις από το 2008 – 2014 και ονομάστηκε «Σενάριο 1» και το δεύτερο σετ με τις περιλήψεις των άρθρων από το 2016 – 2021 ονομάστηκε «Σενάριο 2». Στη συνέχεια μετά την εφαρμογή της προεπεξεργασίας εφαρμόστηκε ο αλγόριθμος LDA με την κατάλληλη παραμετροποίηση και ως αποτέλεσμα προκύπτουν μεμονωμένες λέξεις ενώ γίνεται σύγκριση και με αλληλουχίες δυο λέξεων. Η εντύπωση που σχηματίστηκε ήταν ότι η χρήση δυο λέξεων σε μεγαλύτερο αριθμό περιλήψεων δίνει πιο κατανοητά αποτελέσματα αναφορικά με τα πιο συχνά θέματα και με αυτόν τον τρόπο απαντήθηκε και το δεύτερο ερώτημα. Τέλος για να απαντηθεί το τρίο ερώτημα αναφορικά με την ποιότητα των αποτελεσμάτων χρησιμοποιήθηκε εκτός από τις παραμέτρους λογαριθμική-πιθανοφάνεια και σύγχυση και ο ανθρώπινος παράγοντας (εισβολή λέξης) προκειμένου να αποσαφηνιστεί το θέμα της κατανόησης των αποτελεσμάτων της μηχανικής γλώσσας.
description: The aim of the present thesis is the application of the algorithm of Dirichlet latent distribution, known as Latent Dirichlet Allocation for topic modeling in Greek text data, as published in the abstracts of the conference proceedings of the Hellenic Scientific Association of Information Technology during the period of 2008 till 2021. The main purpose of this study is the modification of the hyperparameters and their importance in drawing meaningful conclusions. Initially is pointed out that topic extraction is a key tool for users, as it enables them to identify the main points of an article and the similarities between them, which contribute to text categorization. However, a key factor in the above process is considered to be the understanding of the word meaning, which depends on the effectiveness of the used algorithm and the setting of its parameters and hyperparameters. The research questions of this thesis focus on: 1) Dealing with the difficulties and limitations in the application of topic modeling in Greek texts. 2) Identifying the most common terms and topics in the abstracts of articles. 3) How the quality of the results is affected by the way the parameters and hyperparameters known as Dirichlet priors are configured during the application of the Dirichlet latent distribution algorithm in the Python ecosystem by the application of the sklearn library through the evaluation of specific metrics. Initially is presented the theoretical background of the topic modeling algorithm known as Dirichlet algorithm. Then the stages of pre-processing of the texts are examined, as well as the role and importance of modifying the parameters and hyper-parameters in order to improve the results regarding the definition of the most common terms. The presentation and implementation of the methodology which is used, is completed with the analysis of the results, the conclusions, the formulation of observations and future improvements. In order to answer the first research question, references are made to the difficulties and issues that arose regarding the processing of texts in Greek language, especially the lack of functional tools using the stemma and lemma as well as the stop words. Also, in order to identify and investigate the most common terms, two sets with corpora of the abstracts were used. The first set included the abstracts from 2008 - 2014 and was named "Scenario 1" and the second set with the abstracts from 2016 - 2021 was named "Scenario 2". Then, after the pre-processing, the LDA algorithm was applied leading to one-word sequence, followed by a comparison with two-word sequences. The impression formed was that the use of two-word in a significant number of abstracts gives more understandable results regarding the most common topics and so the second question was answered. Finally, in order to answer the third question regarding the quality of the results, in addition to parameters log-likelihood and perplexity, the human factor (word intrusion) was also used to clarify the issue of understanding the results of machine language.