Transferring Labels from the Document Level to the Mention Level in Clinical Coding by Interpreting Transformer-based Classifiers
Creators: name: Τούμπας, Αχιλλέας Γεωργίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Ερμηνεύσιμη Μηχανική Μάθηση
Ταξινόμηση πολλαπλών ετικετών
Αυτοματοποιημένη κωδικοποίηση ιατρικών εγγράφων
Deep Learning
Interpretable Machine Learning
Multi-label Classification
Automated Clinical Coding

description: Automated clinical coding plays a crucial role in transforming unstructured medical data gathered from patients into structured information, in order to facilitate clinical research and analysis. The development of advanced Natural Language Processing and Machine Learning techniques has had great impact on this task, with transformer models in particular seeing extensive usage. However, existing research predominantly focuses on English clinical text, leaving other languages, such as Greek, underrepresented. Moreover, the potential of multilingual Machine Learning models remains largely unexplored. In our work, we aim to address these gaps by experimenting with various transformer models on the subject of clinical coding, with a specific focus on Greek clinical text. To this end, a novel clinical coding dataset containing discharge notes written in Greek has been developed. Additionally, the approach taken towards solving the task involves employing multi-label classification at document level and interpretability techniques, in order to tag mentions of clinical entities contained in each document with ICD-10 codes. By asking a trained model to provide explanations for the ground truth labels in each discharge letter, our approach allows us to transfer the labels from document level to mention level.
description: Η αυτοματοποιημένη κωδικοποίηση ιατρικών κειμένων διαδραματίζει κρίσιμο ρόλο στη μετατροπή αδόμητων δεδομένων που συλλέγονται από ασθενείς σε πληροφορίες με δομή, προκειμένου να διευκολυνθεί και να προωθηθεί η ιατρική έρευνα. Η ανάπτυξη προηγμένων τεχνικών Επεξεργασίας Φυσικής Γλώσσας και Μηχανικής Μάθησης έχει επιφέρει μεγάλο αντίκτυπο σε αυτη την διαδικασία, όπου μοντέλα με αρχιτεκτονική transformer έχουν χρησι- μοποιηθεί εκτεταμένα για αυτό τον σκοπό. Ωστόσο, η υπάρχουσα έρευνα επικεντρώνεται κυρίως σε ιατρικά κείμενα γραμμένα στην Αγγλική γλώσσα, ενώ άλλες γλώσσες, όπως τα Ελληνικά, υποεκπροσωπούνται σε ερευνητικά έργα. Επιπλέον, οι δυνατότητες των πολύγλωσσων μοντέλων Μηχανικής Μάθησης παραμένουν σε μεγάλο βαθμό ανεξερεύνητες. Σε αυτή την εργασία, στόχος μας αποτελεί να καλύψουμε τα παραπάνω κενά, πειραματιζό- μενοι με διάφορα μοντέλα transformer στο πρόβλημα της κωδικοποίηση ιατρικών δεδομένων, δίνοντας ιδιαίτερη έμφαση σε κείμενα γραμμένα σε Ελληνικά. Για την επίτευξη αυτού του στόχου, δημιουργήσαμε ένα καινοτόμο σύνολο δεδομένων, το οποίο περιέχει ενημερωτικά σημειώματα ασθενών γραμμένα σε Ελληνικά. Επιπλέον, η προσέγγιση που υιοθετήσαμε για την επίλυση του προβλήματος περιλαμβάνει τη χρήση ταξινόμησης πολλαπλών ετικετών, σε επίπεδο εγγράφου, καθώς και την χρήση τεχνικών ερμηνευσιμότητας, προκειμένου να συνδέσουμε φράσεις με ιατρικό περιεχόμενο με κωδικούς της οντολογίας ICD-10. Επιπλέον, καθώς στην προσέγγισή μας ζητάμε από ένα εκπαιδευμένο μοντέλο να παράσχει εξηγήσεις για τις ετικέτες που γνωρίζουμε ότι υπάρχουν σε επίπεδο εγγράφου, η ιδέα αυτή επιτρέπει τη μεταφορά των ετικετών στο επίπεδο των φράσεων εντός του κειμένου.