Αρχιτεκτονικές βαθιάς μάθησης στην Γλωσσική Τεχνολογία
Authors: Μουρατίδη Δέσποινα 
Published: October 2021

Η αυτόματη αξιολόγηση της μηχανικής μετάφρασης αποτελεί ένα από τα σημαντικότερα ζητήματα στον οικείο ερευνητικό χώρο. Μάλιστα, οι περισσότερες μέθοδοι αυτόματης αξιολόγησης επικεντρώνονται στην αξιολόγηση της παραγόμενης μετάφρασης και υπολογίζουν το βαθμό της ομοιότητας με τη μετάφραση αναφοράς, έχοντας ως στόχο τον προσδιορισμό της ποιότητας της μετάφρασης. Η παρούσα διδακτορική διατριβή προτείνει και παρουσιάζει ένα βαθύ σχήμα μάθησης, με τη χρήση νευρωνικών δικτύων, το οποίο μπορεί να εφαρμοστεί σε πολλά ζητήματα μηχανικής μάθησης. Το προτεινόμενο σχήμα βασίζεται σε διαφορετικές κατηγορίες πληροφοριών (γλωσσικά χαρακτηριστικά, μετρικές επεξεργασίας φυσικής γλώσσας, διανυσματικές αναπαραστάσεις των λέξεων, καθώς και στη μετάφραση αναφοράς). Οι παραγόμενες μεταφράσεις που χρησιμοποιήθηκαν στα πειράματα προέκυψαν από ένα σύστημα στατιστικής μηχανικής μετάφρασης και ένα σύστημα νευρωνικής μηχανικής μετάφρασης. Το προτεινόμενο μοντέλο εφαρμόστηκε σε δύο ζεύγη γλωσσών: Αγγλικά - Ελληνικά και Αγγλικά - Ιταλικά. Σε αυτό το πλαίσιο, διεξήχθησαν ευρείας κλίμακας πειράματα με διαφορετικές παραμέτρους. Η παρούσα εργασία διερευνά επίσης τις διαφορές που επηρεάζουν την επίδοση της αξιολόγησης της μηχανικής μετάφρασης μεταξύ διαφορετικών ειδών κειμένων. Επιπλέον, διεξάγεται μια συγκριτική μελέτη μεταξύ της χρήσης ενός απλού επιπέδου διανυσματικής αναπαράστασης και ενός επιπέδου που χρησιμοποιεί προ-εκπαιδευμένες διανυσματικές αναπαραστάσεις. Επιπροσθέτως, πραγματοποιήθηκε ανάλυση αφενός του αντίκτυπου στην ορθότητα ταξινόμησης, αφετέρου των μεθόδων επιλογής και μείωσης της διαστασης των χαρακτηριστικών.Τα αποτελέσματα της έρευνας καταδεικνύουν πως η χρήση ενός μοντέλου νευρωνικών δικτύων με διαφορετικές εισόδους (προτεινόμενο μοντέλο) παρουσιάζει πολύ καλά αποτελέσματα σε ό,τι αφορά την αξιολόγηση της μηχανικής μετάφρασης, τόσο σε κείμενα με πλούσια δομή και λέξιλόγιο, όσο και σε κείμενα με «θόρυβο». Επιπροσθέτως, στοχεύοντας στην πλέον ολοκληρωμένη ανάλυση των αποτελεσμάτων επίδοσης, πραγματοποιήθηκε γλωσσική ανάλυση για την αντιμετώπιση σύνθετων γλωσσικών φαινομένων. Η προτεινόμενη αρχιτεκτονική είναι ανεξάρτητη της γλώσσας, στην οποία εφαρμόζεται και επιτυγχάνει υψηλότερη ορθότητα ταξινόμησης σε σύγκριση με μοντέλα που χρησιμοποιούν πληροφορίες βαθμολογίας BLEU, καθώς και άλλες προσεγγίσεις ταξινόμησης, όπως το Random Forest (RF) και το Support Vector Machine (SVM).Επίσης, μια παραλλαγή του προτεινόμενου σχήματος χρησιμοποιήθηκε για την εκτίμηση της ποιότητας της μηχανικής μετάφρασης. Το εν λόγω σχήμα απαιτεί περιορισμένους πόρους δεδομένων και βασίζεται σε πληροφορίες σχετικά με τις προτάσεις πηγής και με γλωσσικά χαρακτηριστικά. Προτείνεται λοιπόν ένας νέος αυτόματος τρόπος προσδιορισμού της καλύτερης μετάφρασης μέσω της χρήσης της βαθμολογίας της εκτίμησης ποιότητας (QE score). Το QE score βασίζεται σε χαρακτηριστικά τα οποία υπολογίζονται από τις προτάσεις πηγής και τις παραγόμενες μεταφράσεις. Τα αποτελέσματα κατέδειξαν μια ικανοποιητική επίδοση για το προτεινόμενο μοντέλο των νευρωνικών δικτύων, συγκριτικά με τα προϋπάρχοντα μοντέλα, τα οποία απαιτούν περισσότερους πόρους για την αξιολόγηση της μηχανικής μετάφρασης.Το προτεινόμενο σχήμα εφαρμόσθηκε επίσης και στο ζήτημα της αυτόματης ανίχνευσης ψευδών ειδήσεων. Κατά την τελευταία δεκαετία, παρατηρείται αυξανόμενος αριθμός χρηστών κοινωνικών δικτύων, γεγονός που ενδέχεται να οδηγήσει στην εμφάνιση ψευδών προφίλ, ψευδών ειδήσεων και προπαγάνδας από κακόβουλους χρήστες. Το προτεινόμενο σχήμα έκανε χρήση διανυσματικών αναπαραστάσεων από τις προτάσεις των ειδήσεων και χρησιμοποιεί γλωσσικά χαρακτηριστικά και χαρακτηριστικά δικτύου. Επιπλέον, τα tweets χωρίσθηκαν σε τίτλους ειδήσεων και σε κείμενο ειδήσεων, ενώ μια εκτεταμένη πειραματική ρύθμιση εκτέλεσε επί αυτών δοκιμές ταξινόμησης και τα αποτελέσματα έδειξαν απόδοση υψηλής ακρίβειας στην ανίχνευση ψευδών ειδήσεων. Η προτεινόμενη αρχιτεκτονική βαθιάς μάθησης υπερτερεί των σύγχρονων ταξινομητών και χρησιμοποιεί λιγότερα χαρακτηριστικά και ενσωματώσεις από το κείμενο του tweet.