Improving language model representations for biomedical relation extraction and low-resource languages
Authors: Ζαΐκης Δημήτριος 
Published: January 2024

Η παρούσα διατριβή παρουσιάζει σημαντικές συνεισφορές στα πεδία της Επεξεργασίας Φυσικής Γλώσσας (NLP) και της Μηχανικής Μάθησης (ML) σε τρεις διακριτούς τομείς. Η διατριβή ξεκινά με ένα εισαγωγικό μέρος, που αποτελείται από δύο κεφάλαια, ακολουθούμενα από τρία βασικά κεφάλαια, το καθένα από τα οποία εξετάζει συγκεκριμένα ερευνητικά προβλήματα και παρέχει νέες λύσεις. Το εισαγωγικό μέρος θέτει τις βάσεις για ολόκληρη τη διατριβή εισάγοντας βασικές έννοιες στο ML και το NLP. Καλύπτει τις βασικές αρχές των κατηγοριών Μηχανικής Μάθησης, συμπεριλαμβανομένων της μάθησης με επίβλεψη, χωρίς επίβλεψη και της ενισχυτικής μάθησης. Επιπλέον, εμβαθύνει στις έννοιες του NLP, όπως τη μοντελοποίηση γλώσσας, την εξαγωγή σχέσεων (RE) και τις προκλήσεις των γλωσσών χαμηλών πόρων (LRLs). Το κεφάλαιο εισάγει επίσης κρίσιμα αρχιτεκτονικά στοιχεία όπως τον Transformer και τους Γράφγους Γνώσης (KGs) στη δομημένη αναπαράσταση γνώσης. Το τρίτο κεφάλαιο εστιάζει στην προώθηση του πεδίου του βιοϊατρικού NLP προτείνοντας νέες τεχνικές που βασίζονται σε Γλωσσικά Μοντέλα (LM) για την εξαγωγή αλληλεπίδρασης μεταξύ φαρμάκων (DDI). Αυτό το κεφάλαιο πραγματεύεται το πολύπλοκο έργο του προσδιορισμού των αλληλεπιδράσεων μεταξύ των φαρμάκων στη βιοϊατρική βιβλιογραφία. Αναλύει τη διαδικασία εξαγωγής DDI σε δύο επιμέρους εργασίες: ταξινόμηση αλληλεπιδράσεων με βάση δεδομένες οντότητες φαρμάκων και εξαγωγή οντοτήτων φαρμάκων από κείμενα πριν από την ταξινόμηση των αλληλεπιδράσεών τους. Τα μοντέλα που αναπτύχθηκαν σε αυτό το κεφάλαιο ξεπερνούν τις υπάρχουσες προσεγγίσεις αιχμής όσον αφορά την απόδοση, τις δυνατότητες γενίκευσης και προσπαθούν να παρέχουν ερμηνευσιμότητα. Τα σύνολα δεδομένων αναφοράς χρησιμοποιούνται για την πειραματική επικύρωση της υπεροχής τους. Το τέταρτο κεφάλαιο διερευνά μεθόδους για το συνδυασμό πολλαπλών πηγών πληροφοριών ή εργασιών σε μια ενιαία αρχιτεκτονική, ιδιαίτερα στο πλαίσιο γλωσσών χαμηλών πόρων και εργασιών στο NLP. Το κεφάλαιο εισάγει νέες τεχνικές βασισμένες σε LM προσαρμοσμένες για εργασίες Αναγνώρισης Ανθρώπινων Αξιών και Ανάλυσης Επιδραστικών Κειμένων (ATA). Παρουσιάζει καινοτόμες στρατηγικές προεκπαίδευσης δεύτερης φάσης και ένα ενιαίο πλαίσιο με κοινές παραμέτρους για ταξινόμηση πολλαπλών εργασιών. Η έρευνα περιλαμβάνει τη δημιουργία ενός νέου συνόλου δεδομένων γλώσσας χαμηλών πόρων και καταδεικνύει την ανώτερη απόδοση των μοντέλων σε διάφορα προβλήματα μέσω πειραματικών αξιολογήσεων. Το πέμπτο κεφάλαιο εμβαθύνει στη βελτίωση των αναπαραστάσεων LM για γλώσσες χαμηλών πόρων, με ιδιαίτερη έμφαση στην ελληνική γλώσσα. Το κεφάλαιο εισάγει διάφορα ελληνικά σύνολα δεδομένων και αντιμετωπίζει προκλήσεις όπως μη ισορροπημένα δεδομένα στην ανάλυση συναισθήματος βάσει πτυχών (οντοτήτων). Διερευνά προσαρμοσμένη στον τομέα αντιθετική μάθηση και προσεγγίσεις προ-εκπαίδευσης LM πολλαπλών σταδίων για τη βελτίωση της ποιότητας των αναπαραστάσεων LM. Η έρευνα καταδεικνύει σημαντικές βελτιώσεις στην απόδοση σε μια σειρά εργασιών ταξινόμησης στην ελληνική γλώσσα. Στο τελικό κεφάλαιο, η διατριβή συνοψίζει τα βασικά ευρήματα και τις συνεισφορές από κάθε κεφάλαιο. Συζητά επίσης πιθανές κατευθύνσεις για μελλοντική έρευνα που ευθυγραμμίζονται με τους στόχους και τις γνώσεις που αποκτήθηκαν σε όλη τη διατριβή. Αυτή η διατριβή στοχεύει να προωθήσει τα πεδία του βιοϊατρικού NLP, της συνέργειας πληροφοριών σε περιβάλλοντα χαμηλών πόρων και των αναπαραστάσεων LM για LRL, με επιπτώσεις στην υγειονομική περίθαλψη, το πολυγλωσσικό NLP και την κατανόηση γλώσσας χαμηλών πόρων.