Weakly Supervised NER for Cardiology Using Multilingual Transformers
Creators: name: Στοϊκοπούλου, Ελεονώρα Φίλιππου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Aναγνώριση Kλινικών Oντοτήτων
Eξιτήρια νοσηλευθέντων
Επιπρόσθετη πληροφορία
Καρδιολογία
Πολυγλωσσικά Transformers
Annotation
Clinical Coding
EHRs
GreekBERT
ICD-10
mBERT
Transformers
XLM-R
Weak-Supervision
Additional Context
Cardiology
Discharge letters
Multilingual Transformers
NER

description: The utilization of EHRs significantly enhances clinical research by providing semi-structured data. Despite the application of deep learning techniques for clinical NER and clinical coding in both English and Spanish, there remains a notable gap in the literature regarding applications focused on the domain of cardiology in the Greek language. This thesis aims to address this gap through three key objectives: firstly, the construction of a Greek annotated clinical dataset, consisting of discharge letters of hospitalized patients with cardiac conditions; secondly, the integration of additional information as contextual data in model training; and thirdly, the employment of multilingual and monolingual transformer models for weakly supervised Greek clinical entity recognition in order to be used for clinical coding. Leveraging the unique structure of the given dataset, a technique is proposed wherein additional descriptions of clinical entities present in each discharge letter are concatenated into the input. Evaluation of the proposed method is conducted using three state-of-the-art models on the manually annotated Greek dataset, demonstrating successful handling of the complexities inherent in clinical NER. Furthermore, comparative analysis with simple NER highlights the efficacy of utilizing additional context to enhance model performance in recognizing clinical entities. Additionally, findings indicate that multilingual models outperform existing monolingual ones, underscoring the necessity for further research in the Greek language domain.
description: Η χρήση των EHRs ενισχύει σημαντικά την κλινική έρευνα με την παροχή ημιδομημένων δεδομένων. Παρά την εφαρμογή τεχνικών βαθιάς μάθησης για αναγνώριση κλινικών οντοτήτων και το clinical coding τόσο στην αγγλική όσο και στην ισπανική γλώσσα, παραμένει ένα αξιοσημείωτο κενό στη βιβλιογραφία όσον αφορά εφαρμογές που επικεντρώνονται στον τομέα της καρδιολογίας στην ελληνική γλώσσα. Η παρούσα διπλωματική εργασία αποσκοπεί στην αντιμετώπιση αυτού του κενού μέσω τριών βασικών στόχων: πρώτον, την κατασκευή ενός annotated ελληνικού συνόλου κλινικών δεδομένων, το οποίο αποτελείται από εξιτήρια νοσηλευθέντων ασθενών με καρδιακές παθήσεις, δεύτερον, την ενσωμάτωση πρόσθετων πληροφοριών ως μεταδεδομένων στην εκπαίδευση των μοντέλων και τρίτον, την αξιοποίηση πολύγλωσσικων και μονόγλωσσικων μοντέλων transformers για ασθενώς επιβλεπόμενη αναγνώριση κλινικών οντοτήτων στα ελληνικά, προκειμένου να χρησιμοποιηθούν για clinical coding. Αξιοποιώντας την ιδιαίτερη δομή του συγκεκριμένου συνόλου δεδομένων, προτάθηκε μια τεχνική κατά την οποία πρόσθετες περιγραφές κλινικών οντοτήτων που υπάρχουν σε κάθε εξιτήριo νοσηλευθέντων ασθενών παρατίθενται στην είσοδο. Η αξιολόγηση της προτεινόμενης μεθόδου διεξάγεται με τη χρήση τριών μοντέλων αιχμής στο χειροκίνητα annotated ελληνικό σύνολο δεδομένων, αποδεικνύοντας τον επιτυχή χειρισμό της πολυπλοκότητας που ενυπάρχει στην αναγνώριση κλινικών οντοτήτων. Επιπλέον, η συγκριτική ανάλυση με την απλή αναγνώριση κλινικών οντοτήτων αναδεικνύει την αποτελεσματικότητα της χρήσης πρόσθετης πληροφορίας για την ενίσχυση της απόδοσης του μοντέλου. Τέλος, τα ευρήματα δείχνουν ότι τα πολύγλωσσικα μοντέλα υπερτερούν των υφιστάμενων μονόγλωσσικων, υπογραμμίζοντας την ανάγκη για περαιτέρω έρευνα στον τομέα της ελληνικής γλώσσας.