Fine-grained Semantic Indexing of Biomedical Literature
Creators: name: Καντρίου, Μάριο Γκεζίμ
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Σημασιολογική Δεικτοδότηση
Αντιθετική μάθηση
Ιεραρχία
Semantic Indexing
Contrastive Learning
Hierarchy

description: Due to a considerable increase in the amount of data now available it has become increasingly difficult for people to locate pertinent information without the use of effective information retrieval strategies. To make it easier for researchers and practitioners to navigate biological material, medical subject headings (MeSH) were created. The process of adding relevant MeSH terms to biomedical publications can be time-consuming and expensive. Researchers are currently exploring the possibility of automating the annotation process using machine learning. Weakly supervised learning is good for controlling the assignment of new descriptors when there are not any annotated examples. The usefulness of contrastive learning and hierarchy techniques for fine-grained semantic indexing of biomedical literature was examined in this thesis along with the effects of balancing imbalanced data using weak labels and inserting scope notes and entry terms into the indexing process. It was found that weak label classification can be improved by using both contrastive learning and hierarchy. When these methodologies were used together the outcomes were noticeably better than when inadequate supervision was used exclusively. Additionally, adding scope notes improved the effectiveness of the outcomes. More in-depth information may be communicated by using longer language that included specific semantic elements rather than just difficult to manage words. The model with scope notes included was shown to be the most successful but the model with entry terms outperformed the baseline. The number of articles used in training had no effect on the F1-scores of the baseline model. Unoptimized models that relied only on hierarchy, contrastive learning or a mix of the two exhibited a positive association between the number of articles and their F1-scores. The addition of scope notes and entry terms to the optimized model revealed no correlation between the number of articles and F1-scores implying that adding extra articles would not greatly improve the performance of the models. The analysis of 18 labels revealed that a tool might be created to carry out fine-grained semantic indexing automatically. However, to support these findings more extensive research with more labels would need to be carried out.
description: Στις μέρες μας, η ραγδαία αύξηση του όγκου των διαθέσιμων δεδομένων καθώς και η έλλειψη αποτελεσματικών στρατηγικών ανάκτησης πληροφοριών έχει δυσκολέψει τον εντοπισμό της γνώσης. Ερευνητές και επαγγελματίες μπορούν πιο εύκολα να πλοηγηθούν στο βιοϊατρικό υλικό χάρις στην ανάπτυξη των ιατρικών θεματικών επικεφαλίδων. Όμως, απαιτείται μεγάλη προσπάθεια και δαπάνη χρημάτων προκειμένου τα βιοϊατρικά άρθρα να χαρακτηριστούν με σχετικές ιατρικές θεματικές επικεφαλίδες. Για αυτόν τον λόγο, οι ερευνητές διερευνούν πως η χρήση της μηχανικής μάθησης μπορεί να αυτοματοποιήσει την διαδικασία του σχολιασμού. Πιο συγκεκριμένα όταν υπάρχει έλλειψη σχολιασμένων άρθρων η μάθηση με ασθενή επίβλεψη αποτελεί κατάλληλη μέθοδο για την ανάθεση νέων περιγραφών. Στην συγκεκριμένη διπλωματική εργασία, ερευνήθηκε η χρησιμότητα της αντιθετικής μάθησης και της ιεραρχίας για τη fine-grained σημασιολογική ευρετηρίαση της βιοϊατρικής βιβλιογραφίας. Επιπλέον, εξετάστηκε η σημαντικότητα των συνώνυμων λέξεων, των scope notes και της εξισορρόπησης των ανισόρροπων δεδομένων. Διαπιστώθηκε πως η αντιθετική μάθηση και ιεραρχία είναι κατάλληλες για τον χειρισμό των αδύναμων ετικετών. Ο συνδυασμός αυτών των τεχνικών επιφέρει αισθητά καλύτερα αποτελέσματα σε σχέση με την μέθοδο της ανεπαρκούς εποπτείας. Επίσης, το μοντέλο που χρησιμοποιεί τα scope notes παρουσιάζει τις καλύτερες επιδόσεις σε σχέση με τα υπόλοιπα μοντέλα. Οι πιο λεπτομερείς περιγραφές τους προσφέρουν εκτενέστερη πληροφορία στις ετικέτες με τις οποίες σχετίζονται. Τα μη βελτιστοποιημένα μοντέλα που βασίζονταν μόνο στην ιεραρχία, στην αντιθετική μάθηση ή στο συνδυασμό τους παρουσίασαν θετική συσχέτιση μεταξύ του πλήθους των άρθρων και των αποτελεσμάτων F1. Αντιθέτως, η αύξηση του πλήθους των άρθρων δεν πρόσφερε κάποια σημαντική βελτίωση στην απόδοση των βελτιστοποιημένων μοντέλων που εμπεριέχουν τις επιπρόσθετες πληροφορίες. Η δημιουργία ενός εργαλείου αυτόματης fine-grained σημασιολογικής ευρετηρίασης θα μπορούσε να τεθεί ως μια επόμενη επέκταση της παρούσας έρευνας αφού πρώτα διεξαχθεί περαιτέρω μελέτη με μεγαλύτερο πλήθος πειραμάτων και με περισσότερες από 18 ετικέτες.