GPT modelleri kullanılarak ironi tespiti ve sınıflandırması
Irony detection and classification using GPT models
Yazar: MUSTAFA ULVİ AYTEKİN
Danışman: PROF. DR. OSMAN AYHAN ERDEM
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Her geçen gün daha da önemli hale gelmeye devam eden bir yapay zeka alanı olan doğal dil işlemeye özellikle son yıllarda geliştirilen ön eğitimli büyük dil modelleriyle katkılar sağlanmaya devam edilmektedir. Görünenden farklı bir anlam barındıran ironik metinlerin tespiti ve sınıflandırılması görevleri, doğal dil işleme alanında daha iyi çözüm aranmaya devam edilmesi gereken görevlerdendir. Son yıllarda geliştirilmiş ve araştırmacıların kullanımına açık durumda olan son Generative Pre-trained Transformer (GPT) modellerinin ironi tespiti ve sınıflandırması görevlerindeki başarısı sıfır denemede öğrenme ve birkaç denemede öğrenme yöntemleri kullanılarak incelenmiştir. Aynı zamanda GPT metin gömme modelleri, başarısı çeşitli çalışmalarla kanıtlanmış metin gömme modeli olan GloVe ile çeşitli makine öğrenmesi ve derin öğrenme metotları kullanılarak karşılaştırılmıştır. Semantic Evaluation 2018 çalıştayı kapsamında hazırlanan SemEval-2018 Task 3 veri kümesinin kullanıldığı bu çalışmada, ironi tespiti görevinde en iyi sonuç text-davinci-003 modelinde birkaç denemede öğrenme yöntemiyle elde edilen %68,9 F1 değeridir. İroni sınıflandırma görevinde ise text-embedding-ada-002 metin gömme modeli Gaussian Naive Bayes (GNB) algoritması ile birlikte kullanıldığında %48,5 F1 değeriyle en iyi sonucu elde etmiştir. Elde edilen bu sonuçlar en başarılı modellerle karşılaştırılabilir derecede başarılı sonuçlar elde etmiştir.

Abstract:
Natural language processing (NLP) is an area of artificial intelligence that continues to become increasingly important daily. Scientists have been developing large pre-trained language models in recent years, contributing to the field continuously. Detecting and classifying ironic texts with a different meaning than what is apparent is one of the tasks for which better solutions should be sought in NLP. The success of the latest Generative Pre-trained Transformer (GPT) models, which have been developed in recent years and are available to researchers, in irony detection and classification tasks have been examined using zero-shot learning and few-shot learning methods. In addition, GPT text embedding models were compared with GloVe, a proven text embedding model, using various machine learning and deep learning methods. This study used the SemEval-2018 Task 3 dataset prepared for the Semantic Evaluation 2018 Workshop. The best result in binary classification, which we can also call the irony detection task, is a 68.9% F1 score obtained by the text-davinci-003 model with the few-shot learning method. In the multiclass classification, the text-embedding-ada-002 text embedding model achieved the best result with a 48.5% F1 score when used with the Gaussian Naive Bayes algorithm. Our study revealed successful results comparable to the models that achieved the best results.