Deception detection from text in a multilingual and multicultural context
Authors: Παπαντωνίου Αικατερίνη 
Published: March 2024

Η αυτόματη εξαγωγή εξαπάτησης από κείμενο είναι μια κρίσιμη εργασία με εφαρμογές τόσο στην άμεση φυσική επικοινωνία όσο και στην επικοινωνία ανθρώπων μέσω υπολογιστή. Σε αυτή τη διατριβή, εστιάζουμε στον αυτόματο εντοπισμό εξαπάτησης σε κείμενο μεταξύ πολιτισμών και διαφορετικών γλωσσών. Σε αυτό το πλαίσιο, βλέπουμε τον πολιτισμό μέσα από το πρίσμα της διάστασης ατομικισμού/συλλογικότητας και προσεγγίζουμε τον πολιτισμό χρησιμοποιώντας τη χώρα ως αντιπρόσωπο. Έχοντας ως αφετηρία τα πρόσφατα συμπεράσματα από τον κλάδο της κοινωνικής ψυχολογίας, διερευνούμε εάν οι διαφορές στη χρήση συγκεκριμένων γλωσσικών ενδείξεων εξαπάτησης μεταξύ των πολιτισμών μπορούν να επιβεβαιωθούν και να αποδοθούν σε πολιτισμικούς κανόνες σε σχέση με το διαχωρισμό ατομικισμού/συλλογικότητας. Επιπλέον, διερευνούμε εάν υπάρχει ένα καθολικό σύνολο χαρακτηριστικών για διαπολιτισμικές εργασίες εντοπισμού παραπλάνησης κειμένου. Για αυτούς τους στόχους, πραγματοποιήσαμε μια ενδελεχή στατιστική ανάλυση (δοκιμές Mann-Whitney και Πολλαπλή Λογιστική Παλινδρόμηση) σε έντεκα σύνολα δεδομένων από πέντε γλώσσες (αγγλικά, ολλανδικά, ρωσικά, ισπανικά και ρουμανικά) και έξι χώρες (Ηνωμένες Πολιτείες Αμερικής, Βέλγιο, Ινδία, Ρωσία, Μεξικό και Ρουμανία). Η ανάλυση έδειξε την απουσία ενός καθολικού συνόλου χαρακτηριστικών και επίσης την αστάθεια και την ευαισθησία των ενδείξεων εξαπάτησης ακόμη και σε σύνολα δεδομένων εντός της ίδιας κουλτούρας/γλώσσας. Επιπλέον, η ανάλυση αποκάλυψε ορισμένες διαφορές στα σημάδια εξαπάτησης μεταξύ των πολιτισμών και των γλωσσών, π.χ. στην έκφραση του συναισθήματος και ταυτόχρονα στη διαπολιτισμική εγκυρότητα ορισμένων άλλων. Για να αξιολογήσουμε την προγνωστική ισχύ διαφορετικών συνόλων χαρακτηριστικών και προσεγγίσεων, δημιουργήσαμε ταξινομητές πειραματιζόμενοι με ένα ευρύ φάσμα χαρακτηριστικών ν-γραμμάτων από διάφορα επίπεδα γλωσσικής ανάλυσης, συγκεκριμένα φωνολογία, μορφολογία και σύνταξη, άλλα γλωσσικά στοιχεία όπως μετρήσεις φωνημάτων, αντωνυμιών κλπ., καθώς και embeddings. Πειραματιστήκαμε επίσης με τον συνδυασμό αυτών των χαρακτηριστικών, ενώ τα προαναφερθέντα σύνολα δεδομένων χρησιμοποιήθηκαν για εκπαίδευση/δοκιμές. Εφαρμόσαμε δύο μεθόδους ταξινόμησης, Λογιστική Παλινδρόμηση και με το fine-tuning τόσο μονογλωσσικών όσο και πολυγλωσσικών μοντέλων BERT. Συνολικά, τα fine-tuned μοντέλα ξεπερνούν τις άλλες προσεγγίσεις, αλλά είναι ενδιαφέρον ότι υπάρχουν περιπτώσεις που ο συνδυασμός BERT embeddings με γλωσσικά χαρακτηριστικά είναι επωφελής. Ο πειραματισμός με τα πολυγλωσσικά μοντέλα ως μια περίπτωση zero-shot transfer learning έδειξε υποσχόμενα αποτελέσματα. Για να διερευνήσουμε την εξαπάτηση σε διαφορετικά από τα παραπάνω πεδία εισάγουμε μια νέα συλλογή δεδομένων που αφορά πρωταπριλιάτικα άρθρα για την ελληνική γλώσσα. Από όσο γνωρίζουμε, αυτό είναι η πρώτη ελεύθερη διαθέσιμη συλλογή σχετιζόμενη με εξαπάτηση για τα ελληνικά. Τα συμπεράσματα που βασίζονται σε παρόμοια ανάλυση με την παραπάνω και η σύγκριση με μια ανάλογη συλλογή στα αγγλικά ευθυγραμμίζονται με τα αποτελέσματα του πρώτου μέρους της διατριβής. Τέλος, εστιάζουμε στο πόσο καλά μπορούν να γενικευτούν διάφορα μοντέλα αυτόματης ανίχνευσης εξαπάτησης σε δεδομένα που δεν εξασφαλίζεται ότι ακολουθούν την υπόθεση ανεξαρτησίας και ίδιας κατανομής. Χρησιμοποιώντας ένα πλούσιο σύνολο διαφορετικών δεδομένων για δοκιμές στα αγγλικά και στα ισπανικά, διερευνούμε τη διαφορά απόδοσης μεταξύ των μοντέλων που εξετάστηκαν. Τεχνικές γενίκευσης από τη βιβλιογραφία εξετάζονται επίσης σε μια προσπάθεια να ενισχυθούν οι δυνατότητες γενίκευσης των μοντέλων. Οι προσεγγίσεις που βασίζονται σε transformers γενικά υπερτερούν των προσεγγίσεων που βασίζονται μόνο σε γλωσσικά χαρακτηριστικά, αλλά τόσο ο συνδυασμός τους με ρητές ενδείξεις εξαπάτησης όσο και οι τεχνικές γενίκευσης είναι επωφελείς.