Çizge evrişimli sinir ağları kullanılarak metin sınıflandırma
Text classification using graph convolutional networks
Yazar: RUKİYE ÖZDEMİR TEKİR
Danışman: DOÇ. DR. ABDURRAHİM AKGÜNDOĞDU
İstanbul Üniversitesi-Cerrahpaşa / Lisansüstü Eğitim Enstitüsü / Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı / Elektrik Elektronik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Metin sınıflandırma, doğal dil işlemede yaygın olarak kullanılan önemli bir görevdir. Bir metnin sınıfını belirlemek, metin verilerinin anlamını çözümlemek ve bu verilerden yararlı bilgiler elde etmek için gereklidir. Metin sınıflandırma; konu etiketleme, spam tespiti ve duygu analizi gibi uygulamalarda kullanılabilir. Metinlerin sınıflandırılması işlemi belirli anahtar kelimelere dayalı kural tabanlı yaklaşımlarla yapılabileceği gibi sınıflandırma için yapay zekâ temelli bazı sınıflandırma algoritmaları da kullanılabilir. Yapay zekâ temelli metin sınıflandırma algoritmaları, yapısal olmayan metin verilerini işleyebilmek için, metinlerin özelliklerini çıkararak sayısal bir vektör olarak temsil etmeyi gerektirir. Bu işleme vektör temsili denir.
Bu tez çalışmasında, metin sınıflandırma için kullanılan vektör temsil yöntemleri incelenmiş ve yapay zekâ temelli 4 algoritma ile iki Türkçe veri seti üzerinde deneyler yapılmıştır. Veri setlerinden biri TTC4900 adlı 7 kategorili bir haber metni veri seti, Sosyal Medya Verileri 2 kategorili bir duygu analizi veri setidir. Deneylerde Naive Bayes (NB), Evrişimli Sinir Ağları (ESA), Tekrarlayan Sinir Ağları (RNN) ve Çizge Evrişimli Sinir Ağları (GCN) modelleri kullanılmıştır. NB, ESA ve RNN modellerinde metinleri sayısallaştırmak için TF-IDF ve Sayma Vektörleştirici (Kelime Çantası) yöntemleri kullanılmıştır. Bu modellerin performansları GCN modeli ile karşılaştırılmıştır.
GCN modeli ise metin sınıflandırma alanında yeni ve farklı bir yaklaşım sunmaktadır. Bu yaklaşımda metinler çizge yapısı şeklinde temsil edilerek, kelimeler arasındaki bağlantılar ve anlamsal ilişkiler öğrenilmeye çalışılmaktadır. Böylece, metin sınıflandırma problemi düğüm sınıflandırma problemine indirgenmektedir. Metinleri çizge yapısı şeklinde temsil etmek için, belgelerden oluşan büyük bir çizge oluşturulmaktadır. Bu çizgede düğümler kelimeleri veya belgeleri, kenarlar ise kelimeler veya belgeler arasındaki ilişkileri göstermektedir. Kenarların ağırlıkları ise TF-IDF veya PMI gibi istatistiksel yöntemlerle hesaplanmaktadır. Oluşturulan bu çizge yapısı GCN modeline girdi olarak verilmekte ve model parametreleri eğitilmektedir. Bu çalışmada GCN modeli eğitimi için 200 epoch tanımlanmış ancak erken durdurma mekanizması ile eğitimde erken durdurma sağlanmıştır.
Deney sonuçlarına göre, GCN modelinde TTC4900 veri seti için yüksek doğruluk sağlanmıştır. Sosyal Medya Verileri veri setinde diğer modellere nispeten doğruluk düşüktür. Ancak veri setinde eğitim verileri için farklı bir ayrım yapıldığında yüksek doğruluk oranına ulaşılmıştır. Bunun veri setindeki kayıtlardan ve ön işleme problemlerinden kaynaklandığı düşünülmektedir. Bu çalışmada elde edilen sonuçlar GCN modelinin metin sınıflandırma problemine etkili bir çözüm sunabileceğini göstermektedir.
Anahtar kelimeler: Metin Sınıflandırma, Çizge Evrişimli Sinir Ağları, Metin Madenciliği

Abstract:
Text classification is an important and commonly used task in natural language processing. Determining the class of a text is necessary to analyze the meaning of text data and obtain useful information from it. Text classification can be used in applications such as topic labeling, spam detection, and sentiment analysis. The process of classifying texts can be done using rule-based approaches based on specific keywords, as well as artificial intelligence-based classification algorithms. Artificial intelligence-based text classification algorithms require extracting the features of texts and representing them as a numerical vector to process non-structural text data. This process is called vector representation.
In this thesis study, vector representation methods used for text classification were examined, and experiments were conducted on two Turkish datasets using four artificial intelligence-based algorithms. One of the datasets is a 7-category news text dataset called TTC4900, and the other is a sentiment analysis dataset with 2 categories called Social Media Data. Naive Bayes (NB), Convolutional Neural Networks (CNN), Recurrent Neural Networks (RNN), and Graph Convolutional Neural Networks (GCN) models were used in the experiments. TF-IDF and Bag-of-Words (Count Vectorizer) methods were used to digitize the texts in the NB, CNN, and RNN models. The performance of these models was compared with the GCN model.
The GCN model presents a new and different approach in the field of text classification. In this approach, texts are represented in the form of a graph structure, and the connections and semantic relationships between words are learned. Thus, the text classification problem is reduced to a node classification problem. To represent texts in the form of a graph structure, a large graph consisting of documents is created. In this graph, nodes represent words or documents, and edges represent relationships between words or documents. The weights of the edges are calculated using statistical methods such as TF-IDF or PMI. This graph structure is given as input to the GCN model, and the model parameters are trained. In this study, 200 epochs were defined for training the GCN model, but early stopping mechanism was used to stop the training early.
According to the experimental results, the GCN model achieved high accuracy for the TTC4900 dataset. The accuracy for the Social Media Data dataset is relatively low compared to other models. However, when a different distinction is made for the training data in the dataset, a high accuracy rate is achieved. This is thought to be due to the records in the dataset and preprocessing problems. The results obtained in this study show that the GCN model can provide an effective solution to the text classification problem.
Keywords: Text Classification, Graph Convolutional Neural Networks, Text Mining