Türkçe Nefret Söylemi Problemi Analizinde Farklı Sınıflandırma Algoritmalarının ve Özellik Seçimi Yöntemlerinin Performans Karşılaştırması
Performance Comparison of Different Classification Algorithms and Feature Selection Methods in Turkish Hate Speech Problem Analysis
Yazar: Yakar, Özlem; Büyüktanır, Büşra; Çil, Abdullah Emir; Altınel Girgin, Ayşe Berna
Dergi: Avrupa Bilim ve Teknoloji Dergisi No. 53, 2023
Anahtar kelimeler: Natural Language Processing ; Doğal Dil İşleme ; Türkçe nefret söylemi tespiti,Siber zorbalık,Türkçe tweetler,Makine öğrenmesi,LSTM ; Turkish hate speech detection,Cyberbullying,Turkish tweets,Machine learning,LSTM

Günümüzde teknolojinin gelişmesine bağlı olarak sosyal medya kullanımı ve sosyal medya ağlarının sayısı gün geçtikçe artmaktadır. Bu durum, sosyal medyada nefret söylemi içeriklerinin sayıca artması ve buna bağlı olarak bu içeriklerin paylaşılması anlamına gelmektedir. Sosyal medya kullanıcılarını olumsuz yönde etkileyen bu paylaşımların önüne geçebilmek adına kamu otoriteleri ve sosyal medya geliştiricileri tarafından alınan önlemler yetersizdir. Bu sebeple, hacimce büyük miktarda üretilen nefret söylemi içeriklerinin tespitini kolaylaştıran otomatik sistemlere ihtiyaç duyulmaktadır. Öte yandan, İngilizce ve diğer pek çok dilde yapılan çalışmalar incelendiğinde, Türkçe’de nefret söylemi içeriklerinin tespitinde yeterli düzeyde çalışmaya henüz varılamamıştır. Mevcut çalışmalar incelendiğinde ise, küçük boyutta veri kümesi kullanımı, özellik seçim yöntemlerinin azlığı ve sınıflandırma algoritmalarının benzerliği görülmüştür. Literatürde bahsedilen tüm bu eksikliklerin giderilmesi için, bu çalışma gerçekleştirilmiştir. Çalışma kapsamında, Türkçe dilinde farklı boyutlarda iki adet tweet veri kümesi (veri kümesi_1k, veri kümesi_2k) kullanılmıştır. Öncelikle veri kümesi üzerinde beş farklı özellik seçimi algoritması uygulanarak özellik sayısı 1.000’e düşürülmüştür. Daha sonra nefret söylemi tespiti için, her bir özellik seçiminden elde edilen 1.000 özellik üzerinde sırası ile makine öğrenmesi algoritmalarından K-En Yakın Komşu (KNN), Rasgele Orman (RF), Naive Bayes (NB), Destek Vektör Makinesi (SVM), Uzun Kısa-Süreli Bellek (LSTM) ve Word2Vec+SVM yöntemleri uygulanmıştır. Deneysel sonuçlarda, başarı ölçütü olarak F-ölçüm değeri kullanılmıştır. Veri kümesi_1k için en iyi sonucu %88,81 F-ölçüm oranıyla oneR özellik seçimi ile NB algoritması vermiştir. Veri kümesi_2k için en iyi sonucu %87,71 F-ölçüm oranıyla InfoGain özellik seçimi ile NB algoritması vermiştir. Beş farklı özellik seçimiyle yapılan deneylerde, LSTM algoritması diğer tüm algoritmalara göre daha başarılı olmuştur.

Today, due to the development of technology, use of social media and the number of social media networks are increasing day by day. This means that the number of hate speech contents on social media increases and, accordingly, these contents are shared. The measures taken by public authorities and social media developers to prevent these posts that negatively affect social media users are insufficient. For this reason, automatic systems that facilitate the detection of hate speech content produced in large quantities are needed. On the other hand, when studies conducted in English and many other languages are examined, sufficient studies have not been achieved yet in detecting hate speech content in Turkish. When existing studies are examined, use of small datasets, scarcity of feature selection methods and similarity of classification algorithms are seen. This study is carried out to eliminate all these deficiencies mentioned in the literature. Within the scope of the study, two tweet datasets of different sizes in Turkish (dataset_1k, dataset_2k) are used. First of all, five different feature selection algorithms are applied on these datasets and the number of features is reduced to 1,000. Then, machine learning algorithms are used on 1,000 features obtained from each feature selection to detect hate speech. These algorithms are K-Nearest Neighbor (KNN), Random Forest (RF), Naive Bayes (NB), Support Vector Machine (SVM), Long Short-Term Memory (LSTM) and Word2Vec+SVM methods, respectively. In experimental results, F-measurement value is taken as a criterion of success. In the experimental results, F-measure is used as the performance metric. NB algorithm with oneR feature selection is achieved the best result for Data set_1k with an F-measure of 88.81%. NB algorithm with InfoGain feature selection is achieved the best result for Data set_2k with an F-measure of 87.71%. It has been observed that LSTM algorithm is more successful than all other algorithms in the experiments with five different feature selections.