Zero-shot semantic indexing of biomedical literature
Creators: name: Σπανούδης, Θεμιστοκλής Ιωάννη
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Μηδενική μάθηση
Σημασιολογική ευρετηρίαση
Επικεφαλίδες ιατρικών θεμάτων
Zero-shot learning
Semantic indexing
Medical subject headings

description: Semantic indexing refers to methods that can retrieve data based on their content. Such methods enable effective search through unstructured data like text. A particular type of text where semantic indexing can provide a lot of value is scientific publications. MeSH (Medical Subject Headings) is a structured vocabulary of standardised terms that can be used for indexing articles of the biomedical literature. Classifying an article with appropriate MeSH headings assists researchers and practitioners in locating the information required to successfully conduct their activities. There are different approaches for building semantic indexing systems, a common one being the training of one or more supervised classifiers using annotated examples. However, access to annotated documents is often restricted and costly especially when the set of labels is constantly enriched and mutated. In such cases, zero-shot learning methods can prove a valuable alternative for building semantic indexing systems. This thesis focuses on the problem of zero-shot semantic indexing of emerging fine-grained MeSH descriptors. These are new descriptors that are added for the first time in the standardised structured vocabulary and are used to further classify articles in more detailed topics. Extending the previous work this thesis develops zero-shot learning methods that follow a matching framework dependent on the similarities between text embeddings of article sentences and of MeSH descriptors. The main contributions are the exploration of key architectural aspects of zero-shot learning formulations, the application of the methods on a subcategory of semantic indexing which is fine-grained semantic indexing and the scaling of the evaluation on a larger dataset. Specifically, we examine a novel aspect of zero-shot learning formulations, which is the utilisation of additional auxiliary information that accompanies each descriptor. Moreover, we also explore the choice of similarity aggregation function which is an important parameter of the adopted zero-shot formulation. Additionally, we scale the evaluation of said methods on a dataset consisted of 20 fine-grained emerging descriptors and almost 500k publications, which is two orders of magnitude larger compared to the datasets used in relevant work. The results indicate a novel finding, which is the increased performance of zero-shot learning for semantic indexing by including additional information in the labels. This is an aspect that wasn’t encountered in any of the relevant work and thus opens up interesting future work directions. Additionally, we also infer that taking the average of sentence similarities is the best choice of aggregation function. Finally, we examine various document-label similarity histograms to further understand the challenges that fine-grained semantic indexing poses.
description: Η σημασιολογική ευρετηρίαση αναφέρεται σε μεθόδους οι οποίες μπορούν να ανακτήσουν δεδομένα βάσει του περιεχομένου τους. Τέτοιες μέθοδοι επιτρέπουν την αποτελεσματική αναζήτηση σε μη δομημένα δεδομένα όπως το κείμενο. ́Ενας συγκεκριμένος τύπος κειμένου όπου η σημασιολογική ευρετηρίαση μπορεί να προσφέρει μεγάλη αξία είναι οι επιστημονικές δημοσιεύσεις. Οι επικεφαλίδες ιατρικών θεμάτων είναι ένα δομημένο λεξιλόγιο από τυποποιημένους όρους που μπορούν να χρησιμοποιηθούν για σημασιολογική ευρετηρίαση άρθρων της βιοιατρικής βιβλιογραφίας. Η κατηγοριοποίηση ενός άρθρου με κατάλληλες επικεφαλίδες ιατρικών θεμάτων βοηθά τους ερευνητές και τους επαγγελματίες στο χώρο της υγείας να εντοπίζουν τις πληροφορίες που χρειάζονται για να διεξάγουν επιτυχώς τις δραστηριότητες τους. Υπάρχουν διαφορετικές προσεγγίσεις για την ανάπτυξη συστημάτων σημασιολογικής ευρετηρίασης. Μία σύνηθης είναι η εκπαίδευση ενός ή περισσοτέρων ταξινομητών με επίβλεψη χρησιμοποιώντας χαρακτηρισμένα παραδείγματα. Ωστόσο, η πρόσβαση σε χαρακτηρισμένα έγγραφα είναι συνήθως περιορισμένη και κοστοβόρα, ειδικά όταν το σετ των ετικετών εμπλουτίζεται και αλλάζει συνεχώς. Σε τέτοιες περιπτώσεις, οι μέθοδοι μηδενικής μάθησης μπορούν να αποδειχθούν μία πολύτιμη εναλλακτική λύση για την ανάπτυξη συστημάτων σημασιολογικής ευρετηρίασης. Αυτή η εργασία εστιάζει στο πρόβλημα της σημασιολογικής ευρετηρίασης με νέες λεπτομερείς επικεφαλίδες ιατρικών θεμάτων χρησιμοποιώντας μεθόδους μηδενικής μάθησης. Τέτοιες επικεφαλίδες είναι αυτές που προστίθενται για πρώτη φορά στο τυποποιημένο και δομημένο λεξιλόγιο και χρησιμοποιούνται για να κατηγοριοποιήσουν άρθρα σε ακόμα πιο λεπτομερείς θεματικές. Επεκτείνωντας την προϋπάρχουσα έρευνα, αυτή η εργασία αναπτύσει μεθόδους μηδενικής μάθησης που ακολουθούν ένα πλαίσιο αντιστοίχισης βασισμένο σε ομοιότητες μεταξύ ενσωματώσεων των προτάσεων των άρθρων και επικεφαλίδων ιατρικών θεμάτων. Οι κύριες συνεισφορές είναι η διερεύνηση σημαντικών αρχιτεκτονικών πτυχών των μεθόδων μηδενικής μάθησης, η εφαρμογή των μεθόδων σε μία υποκατηγορία της σημασιολογικής ευρετηρίασης που είναι η λεπτομερής σημασιολογική ευρετηρίαση και η κλιμάκωση της αξιολόγησης σε ένα μεγαλύτερο σύνολο δεδομένων. Συγκεκριμένα, εξετάζει μια νέα πτυχή των μοντέλων μηδενικής μάθησης, η οποία είναι η αξιοποίηση επιπλέον βοηθητικής πληροφορίας που συνοδεύει κάθε επικεφαλίδα. Επίσης, διερευνούμε την επιλογή συνάρτησης συσσωμάτωσης των ομοιοτήτων, η οποία είναι μία σημαντική παράμετρος των μοντέλων μηδενικής μάθησης. Επιπλέον, κλιμακώνουμε την αξιολόγηση των μεθόδων σε ένα σύνολο δεδομένων αποτελούμενο από 20 νέες λεπτομερείς επικεφαλίδες και σχεδόν 500 χιλ. δημοσιεύσεις, το οποίο είναι μεγαλύτερο κατά δύο τάξεις μεγέθους σε σύγκριση με τα σύνολα δεδομένων σχετικών εργασιών. Τα αποτελέσματα υποδεικνύουν ένα νέο εύρημα, το οποίο είναι η βελτίωση της απόδοσης των μεθόδων μηδενικής μάθησης για σημασιολογική ευρετηρίαση με την προσθήκη επιπλέον πληροφορίας στις ετικέτες. Αυτή είναι μία πτυχή που δεν συναντήσαμε σε καμία από τις σχετικές εργασίες και συνεπώς ανοίγει ενδιαφέρουσες κατευθύνσεις για μελλοντική δουλειά. Επιπροσθέτως, συμπεραίνουμε ότι ο υπολογισμός του μέσου όρου των ομοιοτήτων των προτάσεων είναι η καλύτερη επιλογή συνάρτησης συσσωμάτωσης. Τέλος, εξετάζουμε διαφορετικά ιστογράμματα ομοιοτήτων εγγράφων-ετικετών για να κατανοήσουμε περαιτέρω τις προκλήσεις που θέτει το πρόβλημα της λεπτομερής σημασιολογικής ευρετηρίασης.