Yapısal olmayan metinler için adlandırılmış varlık tanıma algoritmaları ve uygulamaları
Named entity recognition algorithms and applications for non-structural texts
Yazar: MUSTAFA GENCER
Danışman: DR. ÖĞR. ÜYESİ RESMİYE NASİBOĞLU
Dokuz Eylül Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Bilimleri Ana Bilim Dalı / Bilgisayar Bilimleri Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Doğal dil işleme = Natural language processing ; Metin madenciliği = Text mining ; Metin tanıma = Text recognition

Özet:
Adlandırılmış varlık tanıma (AVT) problemi, veri çıkarımı, doğal dil işleme ve metin madenciliği gibi alanların alt dalı olarak ele alınmaktadır. Adlandırılmış varlık tanıma, yapılandırılmamış metinlerdeki varlık isimlerinin uygunluklarına göre önceden belirlenen kişi ismi, organizasyon ismi veya yer ismi gibi sınıflara atama yapmak için kullanılan bir araçtır. AVT çalışmaları pek çok alanda kullanıma sahiptir. Bunlara örnek olarak sohbet botlarının oluşturulması, sosyal ağlarda içerik önerisi oluşturma, özgeçmişleri işlemek veya müşteri çağrılarını sınıflandırmak ve onlardan öngörü elde etmek vb. söylenebilir.
Bu tez çalışmasında ilk olarak iki farklı durum üzerinde AVT yapılmıştır. İlk olarak İngilizce haber yazılarından oluşan bir veri seti üzerinde iki farklı ön eğitimli kütüphane olan Spacy ve Stanford NLP kütüphaneleri kullanılarak kişi adı, yer adı, organizasyon adı vb. varlık adları tanınmaya çalışılmıştır. Bu çalışmanın sonunda kütüphaneler ile elde edilen doğruluk oranları, kütüphanelerin çalışma yapısı, hızları vb. ölçütler karşılaştırılmıştır. Çalışmanın devamında ise Twitter'daki Türkçe tweetler kullanılarak küfür, hakaret ve uygunsuz kelimeler adlandırılmış varlık tanım problemi olarak ele alınmış ve bu kelimeler farklı yöntemler ile tespit edilmeye çalışılmıştır. Önce metinlerde geçen kelime ve kelime öbekleri etiketlenmiş daha sonra ise etiketlenen kelimeler vektörleştirilmiştir. Vektörler, RNN, çift yönlü RNN, GRU, çift yönlü GRU, LSTM, çift yönlü LSTM ve önceden eğitilmiş çok dilli BERT modeli kullanılarak eğitim yapılmıştır. Modellerin çalışma sonuçları analiz edilmiş ve iki modelin sonuçları kıyaslamalı olarak değerlendirilmiştir.

Abstract:
Named entity recognition (NER) problem is considered as a sub-branch of fields such as data extraction, natural language processing and text mining. Named entity recognition is a tool used to assign classes such as predetermined person name, organization name or place name according to the suitability of entity names in unstructured texts. NER studies have uses in many fields. Examples of these are the creation of chatbots, suggesting content on social networks, processing resumes or categorizing customer calls and gaining insights from them, etc. can be said.
In this study, NER was performed on two different conditions. Firstly, on a dataset consisting of news articles in English, using two different pre-trained libraries, Spacy and Stanford NLP libraries, the name of the person, the name of the place, the name of the organization, etc. entity names have been tried to be recognized. At the end of this study, the accuracy rates obtained with the libraries, the working structure of the libraries, their speed, etc. criteria were compared. In the rest of the study, using Turkish tweets on Twitter, swearing, insults and inappropriate words were handled as a named entity definition problem and these words were tried to be determined by different methods. First, the words and phrases in the texts were labeled, and then the labeled words were vectorized. Vectors are trained using RNN, bidirectional RNN, GRU, bidirectional GRU, LSTM, bidirectional LSTM and a pre-trained multilingual BERT model. The study results of the models were analyzed and the results of the models were evaluated comparatively.