Embedding-based contextually-aware annotation protocol for textual datasets
Creators: name: Σαμαράς, Βασίλειος Πασχάλη
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Μηχανική μάθηση
Πρωτόκολλο επισημείωσης δεδομένων
Διανυσματικές αναπαραστάσεις με βάση τα συμφραζόμενα
Machine Learning
Data annotation protocol
Contextual information

description: Machine Learning (ML) has revolutionized the way we extract value from complex data sets, with its ability to identify patterns and make predictions without explicit programming. However, the effectiveness of ML often hinges on the availability of accurately labeled data, a condition not always met in real-world scenarios. Semi-supervised and active learning techniques have emerged as solutions, using both labeled and unlabeled data for training and employing iterative feedback mechanisms to optimize labeling effort. Despite ongoing efforts to balance exploration and exploitation in sample selection, many existing annotation protocols struggle to efficiently manage the trade-off between label cost and model accuracy. They often overlook real-world constraints and fail to consider the contextual information of instances selected for annotation, leading to a contextual imbalance that can affect model performance. This study proposes an annotation protocol that utilizes semi-supervised or active learning and takes into account contextual information. Through a series of experiments using both a labeled and unlabeled dataset, we aim to present the potential of increasing the model's performance using the proposed annotation protocol
description: Η μηχανική μάθηση (ML) έχει φέρει επανάσταση στον τρόπο με τον οποίο εξάγουμε αξία από πολύπλοκα σύνολα δεδομένων, με την ικανότητά της να εντοπίζει μοτίβα και να κάνει προβλέψεις χωρίς ρητό προγραμματισμό. Ωστόσο, η αποτελεσματικότητα της ML εξαρτάται συχνά από τη διαθεσιμότητα δεδομένων με ακριβείς ετικέτες, μια προϋπόθεση που δεν πληρούται πάντα σε πραγματικές περιπτώσεις. Οι τεχνικές ημι-επιβλεπόμενης και ενεργού μάθησης έχουν αναδειχθεί ως λύσεις, χρησιμοποιώντας τόσο επισημειωμένα όσο και μη επισημειωμένα δεδομένα για εκπαίδευση και χρησιμοποιώντας επαναληπτικούς μηχανισμούς ανατροφοδότησης για τη βελτιστοποίηση της προσπάθειας επισημείωσης. Παρά τις συνεχιζόμενες προσπάθειες για την εξισορρόπηση της διερεύνησης και της εκμετάλλευσης στην επιλογή δειγμάτων, πολλά υπάρχοντα πρωτόκολλα επισημείωσης δυσκολεύονται να διαχειριστούν αποτελεσματικά τον συμβιβασμό μεταξύ του κόστους των ετικετών και της ακρίβειας του μοντέλου. Συχνά παραβλέπουν τους περιορισμούς του πραγματικού κόσμου και αποτυγχάνουν να λάβουν υπόψη τους τις πληροφορίες συμφραζομένων των περιπτώσεων που επιλέγονται για σχολιασμό, οδηγώντας σε μια ανισορροπία συμφραζομένων που μπορεί να επηρεάσει την απόδοση του μοντέλου. Η παρούσα μελέτη προτείνει ένα πρωτόκολλο επισημείωσης που χρησιμοποιεί ημι-επιβλεπόμενη ή ενεργή μάθηση και λαμβάνει υπόψη τις πληροφορίες συμφραζομένων. Μέσω μιας σειράς πειραμάτων που χρησιμοποιούν τόσο ένα σύνολο δεδομένων με ετικέτες όσο και ένα σύνολο δεδομένων χωρίς ετικέτες, στοχεύουμε να παρουσιάσουμε τις δυνατότητες αύξησης της απόδοσης του μοντέλου με τη χρήση του προτεινόμενου πρωτοκόλλου επισημείωσης.