Innovations in domain knowledge augmentation of contextual models
Authors: Μιχαλόπουλος Γεώργιος 
Published: November 2023

Η ψηφιακή αλλαγή που συμβαίνει στη κοινωνία δημιουργεί τεράστιο όγκο δεδομένων με πρωτοφανή ρυθμό. Ένα μεγάλο μέρος αυτών των δεδομένων είναι σε μη δομημένη μορφή κειμένου. Ενώ απολαμβάνουμε το πλεονέκτημα της άμεσης πρόσβασης σε δεδομένα, επιβαρυνόμαστε επίσης από την υπερφόρτωση πληροφοριών. Στην υγειονομική περίθαλψη, οι ιατροί πρέπει να ξοδεύουν σημαντικό μέρος του χρόνου τους διαβάζοντας, γράφοντας και συνθέτοντας δεδομένα σε ηλεκτρονικά συστήματα καταγραφής ασθενών. Η υπερφόρτωση από πληροφορίες αναφέρεται ως ένας από τους κύριους παράγοντες που συμβάλλουν στην επαγγελματική εξουθένωση των ιατρών - ωστόσο, η υπερφόρτωση από πληροφορίες δεν αφορά μόνο την υγειονομική περίθαλψη. Χρειαζόμαστε καλύτερα πρακτικά εργαλεία που θα μας βοηθήσουν να έχουμε πρόσβαση στις σωστές πληροφορίες τη σωστή στιγμή. Αυτό έχει οδηγήσει σε αυξημένο ενδιαφέρον για την έρευνα και τις λύσεις υψηλών επιδόσεων Επεξεργασίας Φυσικής Γλώσσας. Η Επεξεργασία Φυσικής Γλώσσας (ΕΦΓ), ή Γλωσσική Τεχνολογία, είναι ένα πεδίο της επιστήμης των υπολογιστών που επικεντρώνεται στην ανάλυση και την αναπαράσταση της ανθρώπινης γλώσσας. Οι πιο πρόσφατες εξελίξεις στον τομέα της ΕΦΓ είναι τα μεγάλα προ-εκπαιδευμένα γλωσσικά μοντέλα με βάση τα συμφραζόμενα (π.χ. transformers μοντέλα), τα οποία προ-εκπαιδεύονται σε μαζικά σώματα κειμένων. Η εισαγωγή αυτών των μοντέλων έχει οδηγήσει σε σημαντική αύξηση της απόδοσης σε διάφορες μεταγενέστερες εργασίες, συμπεριλαμβανομένης της ανάλυσης συναισθήματος και της αναγνώρισης οντοτήτων. Τέτοια μοντέλα έχουν τη δυνατότητα να αλλάζουν την embeddding μιας λέξης με βάση την υποτιθέμενη σημασία της, η οποία προκύπτει από τα συμφραζόμενα.Τα contextual μοντέλα μπορούν να κωδικοποιήσουν μόνο τη γνώση που είναι διαθέσιμη σε σώματα ακατέργαστου κειμένου. Η ενσωμάτωση δομημένης γνώσης συγκεκριμένου τομέα σε αυτά τα contextual μοντέλα θα μπορούσε να βελτιώσει περαιτέρω την απόδοση και την αποτελεσματικότητά τους. Ωστόσο, αυτό δεν είναι ένα τετριμμένο έργο. Απαιτεί βαθιά κατανόηση της αρχιτεκτονικής του μοντέλου και της φύσης και της δομής της γνώσης του τομέα που ενσωματώνεται στο μοντέλο. Μια άλλη πρόκληση που αντιμετωπίζει η ΕΦΓ είναι το πρόβλημα των "χαμηλών πόρων", που προκύπτει από την έλλειψη δημοσίως διαθέσιμων (ειδικού τομέα) μεγάλων συνόλων δεδομένων για σκοπούς εκπαίδευσης. Η πρόκληση των χαμηλών πόρων είναι ιδιαίτερα έντονη στον τομέα της βιοϊατρικής, όπου αυστηροί κανονισμοί για την προστασία των ιδιωτικών πληροφοριών απαγορεύουν σε πολλά σύνολα δεδομένων να είναι δημόσια διαθέσιμα στην κοινότητα της ΕΦΓ. Η σοβαρή έλλειψη κλινικών εμπειρογνωμόνων επιδεινώνει περαιτέρω την έλλειψη συνόλων δεδομένων εκπαίδευσης για την κλινική ΕΦΓ έρευνα. Προσεγγίζουμε αυτές τις προκλήσεις από τη σκοπιά της επαύξησης της γνώσης των μοντέλων. Η παρούσα διατριβή διερευνά πώς η γνώση που βρίσκεται σε δομημένες βάσεις γνώσης, είτε σε λεξιλογικές βάσεις δεδομένων γενικού σκοπού (π.χ. WordNet) είτε σε βάσεις γνώσης ειδικού τομέα (π.χ. UMLS, ICD), μπορεί να χρησιμοποιηθεί για την αντιμετώπιση του προβλήματος των χαμηλών πόρων. Δείχνουμε ότι με την ενσωμάτωση γνώσης ειδικού τομέα σε μια αρχιτεκτονική βαθιάς μάθησης, μπορούμε να αναγκάσουμε ένα μοντέλο να μάθει τις συσχετίσεις μεταξύ διακριτών ορολογιών που διαφορετικά μπορεί να μην έχει την ευκαιρία να μάθει λόγω της σπανιότητας των συνόλων δεδομένων ειδικού τομέα. Ακολουθήθηκαν τέσσερις διαφορετικές αλλά συμπληρωματικές στρατηγικές. Πρώτον, διερευνούμε πώς τα contextual μοντέλα μπορούν να χρησιμοποιήσουν τη δομημένη γνώση που περιέχεται στη λεξιλογική βάση δεδομένων WordNet για να διακρίνουν μεταξύ σημασιολογικά παρόμοιων λέξεων. Επικαιροποιούμε την πολιτική εισόδου ενός contextual μοντέλου εισάγοντας μια νέα mix-up embedding στρατηγική. Εισάγουμε επίσης πρόσθετες πληροφορίες, όπως ο βαθμός ομοιότητας μεταξύ των ορισμών της λέξης-στόχου και των υποψήφιων λέξεων. Αποδεικνύουμε ότι αυτή η συμπληρωματική πληροφορία επέτρεψε στο μοντέλο να επιλέξει υποψήφιες λέξεις που είναι σημασιολογικά παρόμοιες με τη λέξη-στόχο και όχι εκείνες που είναι κατάλληλες μόνο για τα συμφραζόμενα της πρότασης. Αφού αποδείξαμε με επιτυχία ότι η λεξιλογική γνώση μπορεί να βοηθήσει ένα contextual μοντέλο στη διάκριση μεταξύ σημασιολογικά παρόμοιων λέξεων, επεκτείνουμε αυτή την προσέγγιση σε εξαιρετικά εξειδικευμένα λεξιλόγια, όπως αυτά που συναντώνται σε ιατρικά κείμενα. Διερευνούμε κατά πόσον η χρήση γνώσης ειδικού τομέα (ιατρικής) στην αρχιτεκτονική ενός transformer μοντέλου μπορεί να βοηθήσει το μοντέλο στη δημιουργία "σημασιολογικά εμπλουτισμένων" αναπαραστάσεων. Διερευνούμε επίσης κατά πόσον η ενσωμάτωση δομημένης ιατρικής γνώσης στη φάση προ-εκπαίδευσης ενός transformer μοντέλου μπορεί να βοηθήσει στο μοντέλο να μάθει με μεγαλύτερη ακρίβεια τη συσχέτιση μεταξύ διακριτών ορολογιών. Η στρατηγική αυτή έχει αποδειχθεί αποτελεσματική μέσω μιας σειράς συγκρίσεων με άλλα συναφή μοντέλα.Αφού δείξαμε την επίδραση της δομημένης ιατρικής γνώσης στην απόδοση ενός transformer μοντέλου, επεκτείνουμε τα ιατρικά χαρακτηριστικά και καταδεικνύουμε ότι η δομημένη ιατρική γνώση μπορεί επίσης να ενισχύσει την απόδοση ενός transformer-based sequence-to-sequence μοντέλου (ιατρικής) περίληψης. Εισάγουμε ένα σήμα καθοδήγησης που αποτελείται από τις ιατρικές ορολογίες στην ακολουθία εισόδου. Επιπλέον, η πολιτική εισόδου τροποποιείται με τη χρήση των σημασιολογικών τύπων από το UMLS, και προτείνουμε επίσης μια νέα σταθμισμένη συνάρτηση απώλειας. Η μελέτη μας καταδεικνύει το όφελος αυτών των στρατηγικών στην παροχή ενός ισχυρότερου κινήτρου για το μοντέλο ώστε να συμπεριλάβει τα σχετικά ιατρικά γεγονότα στη περίληψη. Εξετάζουμε περαιτέρω κατά πόσον ένα μοντέλο μπορεί να εκμεταλλευτεί τόσο τις σχεσιακές πληροφορίες μεταξύ διαφορετικών ετικετών όσο και τις embedding πληροφορίες, εισάγοντας έναν νέο μηχανισμό προσοχής (αντί να ενισχύσουμε την αρχιτεκτονική των μοντέλων με δομημένες πληροφορίες, όπως περιγράφηκε στις προηγούμενες παραγράφους). Αντιμετωπίζουμε την πρόκληση της αυτόματης κωδικοποίησης ΙCD η οποία είναι το έργο της αντιστοίχισης κωδικών του Διεθνούς συστήματος ICD σε ιατρικές σημειώσεις. Μέσω ενός καινοτόμου μηχανισμού προσοχής, ενσωματώνουμε τις πληροφορίες από ένα Graph Convolutional Network (GCN) που εξετάζει τη σχέση μεταξύ των διαφόρων κωδικών με τα συμφραζόμενα των προτάσεων των ιατρικών σημειώσεων. Τα πειράματά μας αποκαλύπτουν ότι αυτή η βελτίωση ενισχύει αποτελεσματικά την απόδοση του μοντέλου στην εργασία αυτόματης κωδικοποίησης ICD.Η κύρια συνεισφορά αυτής της διατριβής είναι διττή: (1) η διατριβή αυτή συνεισφέρει στη βιβλιογραφία της επιστήμης των υπολογιστών, καταδεικνύοντας τον τρόπο με τον οποίο η γνώση συγκεκριμένου τομέα μπορεί να ενσωματωθεί αποτελεσματικά σε contextual μοντέλα για τη βελτίωση της απόδοσης του μοντέλου σε εργασίες που δεν διαθέτουν χρήσιμους πόρους εκπαίδευσης και (2) οι στρατηγικές επαύξησης της γνώσης και τα contextual μοντέλα που αναπτύχθηκαν σε αυτή την έρευνα αποδεικνύεται ότι βελτιώνουν την απόδοση της ΕΦΓ στον τομέα της βιοϊατρικής, όπου τα δημόσια διαθέσιμα σύνολα δεδομένων εκπαίδευσης είναι σπάνια, αλλά οι βάσεις γνώσης για συγκεκριμένους τομείς έχουν επιτύχει ευρεία υιοθέτηση στα συστήματα ηλεκτρονικών ιατρικών αρχείων.