Derin öğrenme algoritmaları kullanılarak karakter tabanlı anlamlı kelime üretimi
Using deep learning algorithms character-based word generation
Yazar: İSA ERGİN
Danışman: DR. ÖĞR. ÜYESİ TİMUR İNAN
Altınbaş Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilişim Teknolojileri Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilim ve Teknoloji = Science and Technology

Özet:
Bu çalışmanın amacı derin öğrenme algoritmaları kullanılarak karakter tabanlı bir dil modeli geliştirmek ve Türkçe dil bilgisi kurallarına uygun anlamlı kelime üretmektir. Metin üretimi, bilgisayarların insanların iletişim kurma şeklini taklit ederek doğal dilde metin oluşturmak için kullanılmaktadır. Doğal dilde metin verileri yan yana olarak ve zaman sırasına göre sıralanmış birbiriyle ilişkili kelime veya kelime gruplarının oluşturduğu bütünsel bir düzen şeklinde bulunmaktadır. Metin içerisinde bulunan karakterlerin ve kelimelerin sırasının ve anlamının önemi çok büyüktür. Bu nedenle oluşturulacak kelime, cümle ve metin parçalarında karakterler veya kelimeler arasındaki ilişkilerin iyi öğrenilebilmesi için geçmiş bilgileri hatırlayarak öğrenen derin öğrenme algoritmalarının kullanılması gerekmektedir. Derin öğrenme algoritmalarından özyinelemeli yapay sinir ağları geçmiş bilgileri hatırlayarak sıralı örüntüler oluşturmada başarılı sonuçlar verdiği için bu alanda etkili bir şekilde kullanılmaktadır. Çalışmada LSTM, GRU, Kodlayıcı-Kod Çözücü ve dikkat mimarisi kullanılarak Türkçe dil bilgisi kurallarına uygun anlamlı kelimeler üretilmektedir. Çalışmada özellikle Kodlayıcı-Kod Çözücü ve dikkat modeline ağırlık verilmektedir. Nedeni ise diğer modellerin (LSTM/GRU) giriş ve çıkış verilerinin uzunluğu arttıkça karakterler arasındaki ilişkileri hatırlamakta yetersiz kalmalarıdır. Bu sorunların üstesinden gelebilmek için daha uzun girdi ve çıktı dizelerinde daha başarılı sonuçlar veren Kodlayıcı-Kod Çözücü ve Dikkat mimarisi kullanılmaktadır. Çalışmada her bir model 100, 300, 500 epoch değerlerinde sıcaklık örnek alma yönteminin farklı eşik değerlerinde çalıştırılmaktadır. LSTM modeli 100 epoch ve sıcaklık örnek alma yönteminin 0.5 eşik değerinde 91,3% başarı oranı ile en iyi sonucu, GRU modeli 300 epoch ve sıcaklık örnek alma yönteminin 0.5 eşik değerinde 93.8% başarı oranı ile en iyi sonucu, Kodlayıcı-Kod Çözücü ve Dikkat modeli 500 epoch ve sıcaklık örnek alma yönteminin 0.2 eşik değerinde 95.7 % başarı oranı ile en iyi sonucu vermektedir. Çalışma sonunda kodlayıcı-kod çözücü ve dikkat mimarisi kullanılarak oluşturulan dil modelinin anlamlı kelime üretiminde ve daha uzun kelime gruplarının oluşturulmasında diğer modellere (LSTM,GRU) göre daha yüksek başarı elde edildiği görülmektedir. Karakter tabanlı geliştirilen modellerin Türkçe dil bilgisi kurallarına uygun kelime ve kelime grubları üretmede başarılı olduğu görülmektedir.

Abstract:
The aim of this study is to develop a character-based language model using deep learning algorithms and to produce meaningful words in accordance with Turkish grammar rules. Text generation is used to create text in natural language by imitating the way computers communicate. In natural language, text data exists side by side and in the form of a holistic arrangement of related words or phrases arranged in chronological order. The order and meaning of the characters and words in the text are of great importance. For this reason, deep learning algorithms that learn by remembering past information should be used in order to learn the relationships between characters or words in words, sentences and text fragments to be created. Recursive artificial neural networks, one of the deep learning algorithms, are used effectively in this field because they give successful results in creating sequential patterns by remembering past information. In the study, meaningful words in accordance with Turkish grammar rules are produced by using LSTM, GRU, Encoder-Decoder and attention architecture. In the study, especially the Encoder-Decoder and attention model are emphasized. The reason is that other models (LSTM/GRU) fail to remember the relationships between characters as the length of the input and output data increases. In order to overcome these problems, the Encoder-Decoder and Attention architecture is used, which gives more successful results in longer input and output strings. In the study, each model is operated at different threshold values of the temperature sampling method at 100, 300, 500 epoch values. LSTM model 100 epoch and temperature sampling method best result at 0.5 threshold with 91.3% success rate, GRU model 300 epoch and temperature sampling method best result with 93.8% success rate at 0.5 threshold, Encoder-Decoder and Attention model gives the best result with a success rate of 95.7% at 500 epochs and 0.2 thresholds of the temperature sampling method. At the end of the study, it is seen that the language model created by using encoder-decoder and attention architecture has higher success in producing meaningful words and creating longer word groups than other models (LSTM, GRU). It is seen that the character-based models are successful in producing words and word groups in accordance with Turkish grammar rules.