Çift yönlü enkoder transformatör tabanlı duygu analizi derin öğrenme modeli geliştirilmesi
Bidirectional encoder transformer based emotion analysis deep learning modeldevelopment
Yazar: CEVHERNUR SÖYLEMEZ
Danışman: DOÇ. DR. AKIN ÖZÇİFT ; DOÇ. DR. DENİZ KILINÇ
Manisa Celal Bayar Üniversitesi / Fen Bilimleri Enstitüsü / Yazılım Mühendisliği Ana Bilim Dalı / Yazılım Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Doğal dil işleme = Natural language processing ; Duygu analizi = Sentiment analysis ; Makine öğrenmesi = Machine learning

Özet:
Bu tezde, Türkçe duygu analizi için yeni sinirsel dil modeli olan BERT modeli uygulanmıştır. Doğal dil işleme son zamanlarda ilerleme kaydetmiş olsa da bileşik anlamları temsil etmek zorlu bir iştir. Geleneksel derin öğrenme yöntemleri, cümlelerin sıradan bir doğrusal yapı, yani zincirler veya diziler olduğunu iddia eder. Bu tezde, kelimelerin morfolojik yapısı dikkate alınarak Türkçe duygu analizi problemi için daha başarılı sonuçlar elde etmek amacıyla önceden eğitilmiş sinir ağı kullanılarak uygulama geliştirilmiştir.

 	Etiketlenmemiş metinden yakın zamanda yapılan derin çift yönlü bir kendi kendine dikkat gösterimi olan BERT, ince ayarlı birçok Doğal Dil İşleme (DDİ) görevinde dikkate değer sonuçlar elde etti. Bu tezde, morfolojik olarak zengin bir dil olan Türkçe için BERT algoritması etkinliğini göstermek amaçlanmıştır. Morfolojik olarak zengin diller, verileri Makine Öğrenimi (MÖ) algoritmalarına uygun olacak şekilde modellemek için yoğun dil ön işleme adımları gerektirir. Özellikle, veri seyrekliği veya yüksek boyutlu problemlerin üstesinden gelmek için verimli bir veri modeli elde etmek için parçalama, kök bulma görevlerine ihtiyaç vardır. Bu bağlamda, literatürden Türkçe için yaygın DDİ araştırma problemlerinden duygu analizi problemi seçilmiştir. Sonrasında BERT'in deneysel performansı temel MÖ algoritmalarıyla karşılaştırıldı. Ağır ön işleme görevlerini ortadan kaldırırken, seçilen DDİ probleminde temel MÖ algoritmalarına kıyasla gelişmiş sonuçlar elde edilmiştir.

Abstract:
In this thesis, the BERT model, which is a new neural language model for Turkish sentiment analysis, was applied. Although natural language processing has recently progressed, representing compound meanings is a challenge. Traditional deep learning methods claim that sentences are an ordinary linear structure, that is, chains or sequences. In this thesis, an application has been developed by using a previously trained neural network in order to obtain more successful results for the Turkish sentiment analysis problem, taking into account the morphological structure of the words.

BERT, a recent deep bidirectional demonstration of self-attention from unlabeled text, achieved remarkable results on many fine-tuned Natural Language Processing (NLP) tasks. This thesis, it is aimed to show the effectiveness of the BERT algorithm for Turkish, which is a morphologically rich language. Morphologically rich languages require intensive language preprocessing steps to model the data in a way that conforms to Machine Learning (ML) algorithms. In particular, fragmentation, and root finding tasks are needed to obtain an efficient data model to overcome data sparsity or high dimensional problems. In this context, the sentiment analysis problem, which is one of the common NLP research problems for Turkish, was chosen from the literature. The experimental performance of BERT was then compared with the basic ML algorithms. While eliminating heavy preprocessing tasks, improved results were obtained in the selected NLP problem compared to the basic ML algorithms.