Emotion Detection on Greek and English text for Natural Disasters using Large Language Models and Transformers. An Advanced Annotation Label Aggregation Method
Creators: name: Αυγουστίδης, Φώτιος Πέτρου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Ταξινόμηση
Γράφοι
Γλωσσικά Μοντέλα
Classification
Graph
Language Models

description: This thesis aims at investigating the use of Large Language Models (LLMs) and transformer-based models, BERT and RoBERTa, in the context of emotion classification in Greek and English texts regarding natural disasters. It also proposes potential solutions to the problems of the specific subcategories of emotions as well as the potential of employing data annotation with limited labeled data. We identify the potential of LLMs in the aforesaid task as few-shot learners and then compare their performance with context models like BERT and by evaluating the LLMs in generation of more diverse and synthetic data, which may further enhance the classification performance of the transformer models. Furthermore, we describe and assess an inter-annotation agreement approach aimed at enhancing the reliability of datasets annotated by multiple annotators, such as Google's GoEmotions. Our results show that LLMs, especially state-of-the-art models like GPT-3.5, are more than capable at identifying fine-grained emotions. LLMs can accomplish this task due to their extensive pre-existing knowledge, enabling them to get excellent outcomes with less or no additional training. Data enhancement methods, such as Easy Data Augmentation and creating synthetic data with LLMs, have shown promise in improving model performance, especially for emotions that are not well represented. The proposed Label Aggregation Method for inter-annotation agreement has demonstrated its effectiveness in identifying and mitigating the impact of noisy or malicious annotators, improving the classification performance of baseline models. This methodology proves particularly valuable in scenarios involving crowd-sourced data annotation.
description: Σε αυτή τη διπλωματική εργασία, μελετάμε την εφαρμογή των Μεγάλων Γλωσσικών Μοντέλων (LLMs) και των μοντέλων μετασχηματιστών (transformers) , συγκεκριμένα των BERT και RoBERTa, για την ταξινόμηση των συναισθημάτων σε ελληνικά και αγγλικά κείμενα που σχετίζονται με τις φυσικές καταστροφές. Αντιμετωπίζουμε τις προκλήσεις της ανίχνευσης λεπτών συναισθημάτων και της αυτοματοποίησης των διαδικασιών επισήμανσης δεδομένων σε σενάρια με περιορισμένα δεδομένα. Μελετάμε την απόδοση των LLMs στην ανίχνευση των υποκείμενων συναισθημάτων μέσω της εκμάθησης με λίγα παραδείγματα και συγκρίνουμε την απόδοσή τους με τα παραδοσιακά μοντέλα όπως το BERT καθώς και τον αντίκτυπο των LLMs στην παραγωγή συνθετικών δεδομένων για την ενίσχυση της απόδοσης ταξινόμησης μοντέλων που βασίζονται σε μετασχηματιστές. Επιπλέον, αναπτύσσουμε και επικυρώνουμε μια μέθοδο συμφωνίας μεταξύ ετικετών δεδομένων που έχει σχεδιαστεί για να βελτιώσει την αξιοπιστία των ετικετών συναισθημάτων που λαμβάνονται από πολλαπλές επισημάνσεις. Τα αποτελέσματά μας δείχνουν ότι τα LLMs, ειδικά τα state-of-the-art μοντέλα όπως το GPT-3.5, είναι περισσότερο από ικανά να ταξινομήσουν συναισθήματα. Η επιτυχία τους σε τέτοιου είδους εργασίες αποδίδεται στην υπάρχουσας γνώσης τους, επιτρέποντάς τους να αποκτήσουν άριστα αποτελέσματα με λιγότερη ή καμία πρόσθετη εκπαίδευση. Μέθοδοι βελτίωσης δεδομένων, όπως η αύξηση δεδομένων και η δημιουργία συνθετικών δεδομένων, έχουν δείξει υποσχόμενα αποτελέσματα για τη βελτίωση της απόδοσης του μοντέλου, ειδικά για τα συναισθήματα που δεν εκπροσωπούνται καλά. Η προτεινόμενη μέθοδος συμφωνίας ετικετών ήταν σε θέση να εντοπίσει και να μειώσει την επίδραση των θορυβώδους ή κακόβουλων ετικετών, γεγονός που οδήγησε σε πιο ακριβείς ετικέτες συναισθημάτων και καλύτερη απόδοση μοντέλου. Αυτή η μέθοδος αποδείχθηκε αποτελεσματική σε σενάρια όπου η ποιότητα των δεδομένων κατάρτισης τέθηκαν σε αλλοίωση.