Ανάλυση Δεδομένων για Υπολογιστική Πολιτική
Creators: name: Κορώνη, Ιωάννα Κωνσταντίνου
Publisher: name: Aristotle University of Thessaloniki
Year: 2022
Subjects: Επεξεργασία φυσικής γλώσσας
Ελληνικά tweets
Πολικότητα, Ειρωνεία ή Μεταφορά ή Σαρκασμός, Επιθετικότητα, Μεροληψία
NLP
Greek tweets
Polarity, Offensive, Figurative, Biast

description: Η εργασία ασχολείται με το πρόβλημα της συναισθηματικής ανάλυσης πολιτικών κειμένων που συλλέχθηκαν από το μέσο κοινωνικής δικτύωσης Twitter API. Στόχος της εργασίας αποτελεί η χρήση αλγορίθμων μηχανικής μάθησης με επίβλεψη για την ανάλυση συναισθήματος. Πιο συγκεκριμένα, εξετάστηκαν τα τέσσερα συναισθήματα: Πολικότητα, Ειρωνεία/Μεταφορά/Σαρκασμό, Επιθετικότητα και Μεροληψία. H Πολικότητα χαρακτηρίστηκε στις κλάσεις Αρνητικά, Ουδέτερα και Θετικά και τιμές -1, 0 και 1 αντίστοιχα. Το συναίσθημα της Ειρωνείας/Μεταφοράς/Σαρκασμού χαρακτηρίστηκε στις κλάσεις Ειρωνικό και Μη Ειρωνικό και τιμές 0 και 1 αντίστοιχα. Το συναίσθημα της Επιθετικότητας χαρακτηρίστηκε στις κλάσεις Επιθετικό και Μη Επιθετικό και τιμές 0 και 1 αντίστοιχα. Το συναίσθημα της Μεροληψίας χαρακτηρίστηκε στις κλάσεις Μεροληπτικό και Μη Μεροληπτικό και τιμές 0 και 1 αντίστοιχα. Δημιουργείται η Βάση δεδομένων από δεδομένα που συλλέχθηκαν από το Twitter API. Περιγράφεται η δημιουργία τριών συλλογών δεδομένων (Α,Β,Γ) και η κατηγοριοποίηση τους στα τέσσερα συναισθήματα και αναφέρονται τα ποσοστά που έλαβε η κάθε κλάση συναισθήματος. Το συναίσθημα της Πολικότητας ήταν το πιο δύσκολο να χαρακτηριστεί και οι απαντήσεις συγκεντρώνονται σε μια κλάση, ενώ το συναίσθημα της Ειρωνείας και Μεροληψίας είχαν αρκετά ισομοιρασμένες απαντήσεις. Το συναίσθημα της Επιθετικότητας έχει άνισες απαντήσεις στις κλάσεις. Έπειτα, παρουσιάζεται η κατηγοριοποίηση της συλλογής δεδομένων Γ στα τέσσερα συναισθήματα. Τα άτομα ανήκαν είτε στην ομάδα των ερευνητών ή την ομάδα των φίλων/συγγενών. Με τη χρήση μεθόδων μείωσης διάστασης (MDS, SpectralEmbedding, TSNE, Isomap και LocallyLinearEmbedding) έγινε μια προσπάθεια να ελεγχθεί αν τα άτομα απαντούν διαφορετικά λόγω ιδιότητας ή των γνώσεων τους, τα αποτελέσματα βέβαια δεν έδειξαν ξεκάθαρα κάτι τέτοιο. Με την χρήση του δείκτη της εντροπίας για τον προσδιορισμό της αταξίας των δεδομένων μεταξύ των κλάσεων, ελέγχθηκε η εντροπία σε κάθε συναίσθημα και φάνηκε ότι το συναίσθημα της πολικότητας έχει τη μεγαλύτερη εντροπίας. Τέλος, δημιουργήθηκε ο πίνακας αποστάσεων βάσει απόστασης Hamming και παίρνοντας το άθροισμα των στοιχείων πάνω από τη διαγώνιο φάνηκε σε ποιο συναίσθημα υπάρχει η μεγαλύτερη διαφωνία μεταξύ των απαντήσεων, το συναίσθημα αυτό ήταν το συναίσθημα της Πολικότητας. Εδώ αξίζει να σημειωθεί ότι με τις παραπάνω μετρήσεις είναι ξεκάθαρο ότι το συναίσθημα της πολικότητας οδηγεί σε ανομοιόμορφες απαντήσεις. Στο τρίτο και τελευταίο επίπεδο, παρατέθηκε η χρησιμοποίηση ένα σύνολο δεδομένων 93.324 tweets το οποίο είχε χαρακτηριστεί σε τρεις κλάσεις για το συναίσθημα της Πολικότητας. Το υπάρχον σύνολο δεδομένων εκπαιδεύτηκε με ένα συνελικτικό δίκτυο. Έπειτα, το μοντέλο επανεκπαιδεύτηκε δύο φορές. Η πρώτη επανεκπαίδευση έγινε στο σύνολο δεδομένων Α. Η δεύτερη επανεκπαίδευση έγινε στο σύνολο δεδομένων Β. Έπειτα, παρουσιάστηκαν τα αποτελέσματα με το σύνολο δεδομένων Α να έχει καλύτερο ποσοστό ακρίβειας. Τέλος, συγκρίθηκε το ποσοστό επιτυχίας του μοντέλου (αναβαθμισμένο από ένα συνάδελφο) με το ποσοστό ακρίβειας των απαντήσεων του συνόλου δεδομένων Γ (εκτός ενός 11 άτομα) για τα τέσσερα αυτά συναισθήματα, με σκοπό να παρουσιαστεί αν το μοντέλο έχει καλύτερες επιδόσεις από τους ανθρώπους και αν επιδέχεται βελτίωσης. Βάση των αποτελεσμάτων φαίνεται ότι στο συναίσθημα της Πολικότητας οι άνθρωποι έχουν μικρότερο ποσοστό ακρίβειας από το μοντέλο, άρα είναι δύσκολο να βελτιωθεί το μοντέλο. Στα συναισθήματα Ειρωνείας και Επιθετικότητας το μοντέλο έχει περιθώρια βελτίωσης. Ενώ στο συναίσθημα της μεροληψίας είναι στα ίδια επίπεδα ακρίβειας.
description: The paper deals with the problem of sentiment analysis of political tweets, that were collected from the social media Twitter API. The aim is to use supervised machine learning algorithms for sentiment analysis. More specifically, the four sentiments were examined: Polarity, Figurative, Offensive and Biast. The sentiment polarity was annotated to the classes Negative, Neutral and Positive with values -1, 0 and 1. The sentiment figurative was annotated to the classes Figurative and Regular with values 0 and 1. The sentiment offensive was annotated to the classes Offensive and Regular with values 0 and 1. The sentiment biast was annotated to the classes Partisan and Regular with values 0 and 1. The Database was created from data collected from the Twitter API. It is described the creation of three datasets (A, B, C) and their categorization into the four sentiments and the percentages received by each class. The sentiment polarity was the most difficult to annotate and the answers were grouped together, while the sentiment offensive and biast had fairly shared answers. The sentiment offensive has unequal responses in the classes. Next, the data collection C is categorized into four sentiments. The individuals belonged to either the research team or the group of friends / relatives. Using dimension reduction methods (MDS, SpectralEmbedding, TSNE, Isomap and LocallyLinearEmbedding) an attempt was made to test whether individuals respond differently due to their nature or knowledge, the results of course did not clearly show this. Using the entropy index to determine the disorder of the data between classes, the entropy in each sentiment was checked and it appeared that the sentiment sentiment polarity had the highest entropy. Finally, the Hamming distance table was created and taking the sum of the elements above the diagonal showed which sentiments has the greatest disagreement between the answers, this sentiment was the sentiment polarity. It is worth noting here that with the above measurements it is clear that the sentiment polarity leads to non-uniform responses. In the final level, the use of a data set of 93,324 tweets, which was already annotated to three classes for the sentiment polarity. The existing data set was trained with a concatenated network. The model was then retrained twice. The first retraining was done in data set A. The second retraining was done in data set B. Then, the results were presented with data set A having a better accuracy rate. Finally, the success rate of the model (upgraded by a colleague) was compared with the accuracy rate of data set C responses (excluding 11 people) for these four sentiments, in order to show whether the model performs better than humans and if it can be improved. Based on the results it seems that in the sentiment polarity people have a lower degree of accuracy than the model, so it is difficult to improve the model. In the sentiments figurative and offensive the model has room for improvement. While in the sentiment biast it is at the same levels of accuracy.