Ερμηνεύσιμη μάθηση πολλαπλών ετικετών σε βιοϊατρικά κείμενα
Creators: name: Γιάντσιος, Κωνσταντίνος Δημητρίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2022
Subjects: Ερμηνεύσιμη μάθηση πολλαπλών ετικετών
Βαθιά μάθηση
Eξηγησιμότητα Τεχνητής Νοημοσύνης
Interpretable Multi-Label Learning
Deep Learning
Explainable AI

description: Κάθε χρόνο, ένας μεγάλος αριθμός ερευνητικών άρθρων δημοσιεύεται από τη βιοϊατρική κοινότητα. Αυτά τα αδόμητα δεδομένα πρέπει να υποβάλλονται σε επεξεργασία και να ευρετηριάζονται από ηλεκτρονικά εργαλεία προκειμένου να είναι διαθέσιμα και προσβάσιμα σε άλλους ερευνητές και χρήστες. Αυτές οι διαδικασίες περιλαμβάνουν την εξαγωγή λέξεωνκλειδιών, την κατηγοριοποίηση θεμάτων, την εξαγωγή περίληψης και την κατηγοριοποίηση πολλαπλών ετικετών. Αυτές οι εργασίες είναι αδύνατο να ολοκληρωθούν σε περιορισμένο χρονικό διάστημα από ανθρώπους, επομένως τεχνικές μηχανικής μάθησης χρησιμοποιούνται είτε για να βοηθήσουν στη διαδικασία σχολιασμού είτε για να εκτελέσουν ολόκληρη τη διαδικασία. Οι αρχιτεκτονικές Transformer είναι λύσεις τελευταίας τεχνολογίας σε αυτά τα προβλήματα. Ωστόσο, είναι πολύ δύσκολο να ερμηνευτούν. Οι επεξηγήσεις που συμπληρώνουν τις αποφάσεις μπορούν να βοηθήσουν τους σχολιαστές να περατώσουν τις εργασίες τους αποτελεσματικά ή να διευκολύνουν τον εντοπισμό σφαλμάτων σε περίπτωση που ληφθεί λάθος απόφαση. Σε αυτήν την εργασία, προτείνουμε διάφορες τεχνικές ερμηνείας, τόσο χωρίς επίβλεψη όσο και υπό επίβλεψη, για την παραγωγή επεξηγήσεων σε επίπεδο προτάσεων για περιλήψεις που κατηγοριοποιούνται σε πολλαπλές ετικέτες από μοντέλα Transformer. Χρησιμοποιούμε το BERT, ένα μοντέλο που βασίζεται σε Transformer αρχιτεκτονική, ως βάση στις αρχιτεκτονικές των μοντέλων μας. Επιπλέον, σχεδιάσαμε εκ νέου τις μετρικές F1 και Faithfulness για να αξιολογήσουμε και να αποδείξουμε ότι μπορούμε να παράγουμε ουσιαστικές επεξηγήσεις σε επίπεδο πρότασης, παρόλο που χρησιμοποιούμε μοντέλα βαθιάς μάθησης
description: Every year, a great number of research articles are published by the biomedical community. This unstructured data must be processed and indexed by online tools in order to be available and accessible to other researchers and users. These processes include keyword extraction, topic categorisation, summarisation, and multi-label classification. These tasks are impossible for human oracles to complete in a limited amount of time, hence machine learning techniques are utilised to either assist in the annotation process or to perform the entire process themselves. Transformer architectures are state-of-the-art solutions to these problems. They are, however, very difficult to interpret. Interpretations that supplement decisions can help annotators do their tasks effectively or enable debugging in the event of a wrong decision being made. In this work, we propose several interpretability techniques, both unsupervised and supervised, to produce sentence-level explanations for abstracts being classified into multiple labels by transformer models. We use BERT, a transformer-based model, as the backbone in our model architectures. Moreover, we have re-designed F1 and Faithfulness-based metrics to evaluate and prove that we can produce meaningful sentencelevel explanations even though we employ deep learning models