Αξιοποίηση του Γλωσσικού Μοντέλου BERT για την Αναγνώριση Ονοματικών Οντοτήτων σε Σώμα Τουριστικών Κειμένων στην Ελληνική
Creators: name: Δουγαλή, Φωτεινή Δημητρίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2020
Subjects: Αναγνώριση Ονοματικών Οντοτήτων
Σώμα Τουριστικών Κειμένων στην Ελληνική
Γλωσσικό μοντέλο BERT
Named Entity Recognition
Greek Tourism Corpus
BERT Language Model

description: Η κατανόηση της φυσικής γλώσσας περιλαμβάνει ένα ευρύ φάσμα διαφορετικών εργασιών, με την Αναγνώριση Ονοματικών Οντοτήτων (Named Entity Recognition - NER) να αποτελεί μία από τις πιο συνήθεις εργασίες στην Επεξεργασία Φυσικής Γλώσσας (Natural Language Processing - NLP). Υπάρχουν διάφοροι ορισμοί για το τί είναι μία ονοματική οντότητα, ωστόσο, ο ορισμός ο οποίος αποδεικνύεται να είναι ο πιο συνεπής είναι ο ορισμός ο οποίος στηρίζεται στον σκοπό και στον τομέα της εφαρμογής. Για παράδειγμα, στον τομέα της βιοϊατρικής, οι ονοματικές οντότητες μπορεί να περιλαμβάνουν γονίδια, πρωτεΐνες και φάρμακα, ενώ στον τουριστικό τομέα οι τοποθεσίες και τα ονόματα των επιχειρήσεων (ξενοδοχειακές μονάδες, ενοικιαζόμενα δωμάτια) αποτελούν δύο από τα κύρια είδη των οντοτήτων ενδιαφέροντος. Παρόλο που τα μη επισημειωμένα σώματα κειμένων αφθονούν, τα επισημειωμένα δεδομένα για την εκμάθηση των NLP εργασιών είναι λιγοστά. Ένας από τους στόχους της παρούσας διπλωματικής εργασίας ήταν η δημιουργία ενός σχολιασμένου σώματος κειμένων τουριστικού περιεχομένου, ώστε να μπορούν να αναγνωριστούν οι ονοματικές οντότητες στην Ελληνική. Από όσο γνωρίζουμε δεν υπάρχει διαθέσιμο κάποιο αντίστοιχο σώμα κειμένων για την Ελληνική γλώσσα. Το επισημειωμένο σώμα κειμένων τουριστικού περιεχομένου χρησιμοποιήθηκε για την προσαρμογή (fine-tuning) και την αξιολόγηση του γλωσσικού μοντέλου BERT (Bidirectional Encoder Representations from Transformers) στον εντοπισμό και την ταξινόμηση των ονοματικών οντοτήτων που περιέχονται σε αυτό. Συγκεκριμένα, χρησιμοποιήθηκε το προ-εκπαιδευμένο μοντέλο ‘Bert-Base, Multilingual Cased’. Τέλος, προκειμένου να αξιολογήσουμε τις διαφορές στην απόδοση του μοντέλου, χρησιμοποιήθηκε ένα δεύτερο σώμα κειμένων με δημοσιογραφικό περιεχόμενο.
description: One of the most common tasks in Natural Language Processing (NLP) is the task of Named Entity Recognition (NER). NER is an information extraction technique that identifies named entities in text and classifies them into pre-defined categories. Entities can be persons, organizations, locations, times, quantities, monetary values, percentages and more. In biomedical domain, entities can be proteins, genes, and medicines, while in tourism domain, locations, and organizations (e.g., hotel names) consist two of the most popular entities to be identified. NLP systems need a numeric representation of words for words to be processed. One Hot Encoding (OHE) and Term Frequency - Inverse Document Frequency representation (TF-IDF) are very common methodologies for word to vector representation since they offer a simple localist representation of words. However, even though both methodologies provide weights to different words, they generate sparse vectors as well as they are unable to capture word semantics. Word embeddings solve the shortcomings and achieve both dimensionality reduction and more expressive representations of words using contextual similarity. The two most popular word embeddings are Word2Vec and GloVe. However, even though word embeddings, such as Word2Vec and GloVe, have been intensely influential, they generate static vectors in that each token is assigned a unique representation. Thus, word embeddings cannot address the problem of polysemy, since they assume that word's meaning is relatively stable across sentences. Contextual word embeddings have yielded better results in quality of word's representation. Pre-trained language models, such as Embeddings from Language Models (ELMo), Bidirectional Encoder Representations from Transformers (BERT) and Generative Pre-Training Transformer (GPT), generate deep contextualized word embeddings and create state-of-the-art models for a wide range of tasks, such as question answering and language inference. Although large unlabeled text corpora are abundant, labeled data for learning NLP tasks, such as named entity recognition, is scarce. One of the aims of this thesis was the creation of an annotated tourism corpus, so that named entities can be identified in tourism documents where the main language is Greek. The annotated corpus was used to fine-tune and evaluate BERT on NER task. BERT is a transformer-based language model which is bidirectionally pre-trained on a huge corpus of unlabeled text, to generate deep contextualized word embeddings and can be fine-tuned using labeled data from the specific task. More specifically, the model is trained for two pre-training tasks - Masked Language Model (MLM) and Next Sentence Prediction (NSP). For finetuning, BERT is initialized with the pre-trained parameters, and all the parameters are fine-tuned using labeled data from the specific task. BERT was fine-tuned and evaluated on NER using both the tourism corpus that we created and a second corpus from news domain. Finally, the performance of the fine-tuned models is compared with four state-of-the-art deep learning architectures.