Kelime gömme yaklaşımlarının iadesiz torbalanmasına dayanan uzun kısa süreli bellek mimarisi ve metin sınıflandırmasına uygulanması
Long-short term memory architecture based on non-returnable baggigng of word embedding approaches and an application to text classification
Yazar: MUHAMMET OĞUZHAN YALÇIN
Danışman: DOÇ. DR. NEVİN GÜLER DİNCER
Muğla Sıtkı Koçman Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Derin öğrenme = Deep learning ; Metin sınıflandırma = Text categorization

Özet:
Metin sınıflandırma, doğal dil işlemenin temel uygulama alanlarından biridir. Metin sınıflandırma,  metin verilerini sahip oldukları ayırt edici özellikler dikkate alınarak önceden belirlenen bir sınıfa atama süreci olarak tanımlanabilir. Duygu analizi, istenmeyen e-postaların tespit edilmesi, soru cevaplama, hastalık belirtilerine göre ilaç önerimi,  haberleri içeriklerine göre kategorize etme gibi birçok problemin çözümü için metin sınıflandırmadan yararlanılmaktadır. Metin sınıflandırma, her biri sınıflandırma performansı üzerinde önemli etkiye sahip üç temel adımdan oluşmaktadır: i) metin önişleme, ii) özellik çıkarımı ve iii) sınıflandırma. Metin önişleme adımında, metin, gerekli olmayan kelime ve özel karakterlerden arındırma, kelime bölümleme, kelime kodlama gibi işlemlerden geçerek özellik çıkarım adımına hazır hale getirilir. Özellik çıkarım adımında, kelimeler sınıflandırma yöntemlerinin gerektirdiği sayısal verilere dönüştürülür. Word2vec, GloVe, FastText gibi kelime gömme yaklaşımları, kelimeler arasındaki bağlamsal ilişkileri, kelimelerin sözdizimsel ve semantik anlamlarını yakalayabilme yeteneklerinden dolayı literatürde yaygın olarak kullanılmaktadır. Metin sınıflandırmanın son aşaması, sayısallaştırılmış metinler ile sınıf etiketleri arasındaki ilişkiyi açıklayan sınıflandırıcının tahmin edilmesidir. Bu adım için kullanılan yöntemleri geleneksel makine öğrenmesi yöntemleri ve derin öğrenme dayalı yöntemler olarak iki ana başlık altında toplamak mümkündür. K-en yakın komşuluk, destek vektör makineleri, naive bayes, karar ağaçları metin sınıflandırmasında kullanılan geleneksel makine öğrenmesi yöntemlerine örnek olarak verilebilir. Benzer şekilde LSTM, CNN, RNN ve GRU gibi derin öğrenme mimarileri de metin sınıflandırmasında kullanılan ve oldukça başarılı sonuçlar üreten yöntemler arasındadır. 
Bu tez çalışmasının 3 ana amacı mevcuttur. Birincisi, Word2vec, GloVe ve FastText kelime gömme yaklaşımlarının sınıflandırma başarılarını karşılaştırmaktır. İkinci amacı kelime gömme yaklaşımlarının birleştirilmiş versiyonlarının sınıflandırma performansı üzerindeki etkisini araştırmaktır. Tezin son amacı ise, metin sınıflandırması için kelime gömme yaklaşımlarından elde edilen  ağırlıklarının iadesiz torbalanmasına ve LSTM derin öğrenme mimarilerine dayanan yeni bir yaklaşım önermektir. Önerilen yöntemin temel amacı, geleneksel torbalama yöntemlerine benzer olarak, varyansı ve aşırı uyumu azaltmak ve birden fazla tahmin edicinin sonuçlarını birleştirerek sınıflandırma performansını iyileştirmektedir. Önerilen yaklaşımın performansını değerlendirmek amacıyla 4 farklı veri setine 28 farklı versiyonu uygulanmış ve sonuçlar Doğruluk, F ve Hassasiyet ölçüleri kullanılarak karşılaştırılmıştır. Karşılaştırmalar sonucunda, önerilen yöntemin sınıflandırma sonuçlarını iyileştirdiği sonucuna varılmıştır.

Abstract:
Text classification is one of the main application fields of natural language processing. Text classification can be defined as the process of assigning text data to a predetermined class based on their distinctive features. Text classification is utilized for solving many problems such as sentiment analysis, detecting spam, answering questions, recommending drug according to disease symptoms, categorizing news according to their content. Text classification consists of three basic steps, each of which has a significant impact on classification performance: i) text preprocessing, ii) feature extraction, and iii) classification. In the text preprocessing step, the text is made prepared for the feature extraction step by going through processes such as removing stopwords and special characters, word segmentation, word encoding. In the feature extraction step, the words are converted into numerical data required by the classification methods. Word embedding approaches such as Word2vec, GloVe, FastText are widely used in the literature due to their ability to capture the contextual relationships between words and their syntactic and semantic meanings. The final stage of text classification is to predict a classifier, which describes the relationship between the digitized texts and the class labels. It is possible to collect the methods used for this step under two main titles as traditional machine learning methods and methods based on deep learning. K-nearest neighbors, support vector machines, naive bayes, decision trees are examples of traditional machine learning methods used in text classification. Similarly, deep learning architectures such as LSTM, CNN, RNN and GRU are among the methods used in text classification and producing very successful results. This thesis has three main objectives. The first is to compare the classification success of Word2vec, GloVe and FastText word embedding approaches. The second objective is to investigate the effect of combined versions of word embedding approaches on classification performance. The final objective of the thesis is to propose a new approach based on bagging without replacement of weights obtained from word embedding approaches and LSTM deep learning architectures for text classification. The main objective of the proposed method is to reduce variance and overfitting and to improve classification performance by combining the results of multiple classifiers, similar to traditional bagging methods. In order to evaluate the performance of the proposed approach, 28 different versions were applied to 4 different data sets and the results were compared using the Accuracy, F and Precision measures. As a result of the comparisons, it has been concluded that the proposed method improves the classification results.