Doğal dil işleme alanındaki derin öğrenme modellerinin karşılaştırılması
Comparison of deep learning models in natural language processing
Yazar: TUNA TOPAÇ
Danışman: DR. ÖĞR. ÜYESİ ALTAN MESUT
Trakya Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Yapay zekanın günümüzde hayatın işleyişine verimlilik ve üretkenlik 
kavramlarını katarak yön verdiğini söylemek yanlış olmaz. Bununla birlikte yapay 
zekanın bir alt dalı olan makine öğrenimi özellikle son yirmi yılda oldukça ön plana 
çıkmış ve teknolojik olarak en çok talep gören alan olmuştur. Yapay zeka ve özellikle 
makine öğrenimi, bu alanda çalışan şirket ve organizasyonların rekabet ve başarılarında 
da kendini göstermiştir. Makine öğrenimi, bilgisayarların belirli görevleri yerine getirmek 
için veriler üzerinden eğitim yoluyla edindikleri modellerin kullanılmasıdır. Bu görevleri 
kullanan alanlardan bir tanesi doğal dil işlemedir. Doğal dil işleme alanı, insan dillerinin 
hesaplamalı işlenmesini ve anlaşılmasını içeren çeşitli konuları kapsar. Son birkaç yılda, 
doğal dil işleme alanı, derin öğrenme modellerinin kullanımı ile daha da artmıştır. Bu tez 
çalışması, doğal dil işleme alanının metin üretme (text generation) alt alanında derin 
öğrenme mimarileri ve yöntemlerinin performans açısından karşılaştırılmasını ele 
almaktadır.  Bu kapsamda huggingface sitesinden indirilen 7 dönüştürücü modelin metin 
üretme işlevleri kullanılarak bu alanda kullanılan ölçme metrikleri ile benzerlik oranları 
hesaplanmıştır. Amaç, referans metinler ile modeller tarafından üretilen metinlerin 
birbirleri ile benzerliği ve anlam bütünlüğünün ölçülmesidir. Yapılan deneyler, model 
büyüklüğünün performansa etkisine çok önemli bir şekilde etki ettiğini gösterdi. 5 ölçüm 
metriği arasında dönüştürücü tabanlı olan BertScore' un n-gram tabanlı metriklere göre 
daha başarılı ölçüm yaptığı görüldü.

Abstract:
Artificial intelligence has shaped the functioning of life today by adding the 
concepts of efficiency and productivity. However, machine learning, a sub-branch of 
artificial intelligence, has come to the forefront especially in the last two decades and has 
become the most demanded technological field. Artificial intelligence and especially 
machine learning has also manifested itself in the competition and success of companies 
and organizations working in this field. Machine learning is the use of models that 
computers have obtained through training over data to perform certain tasks. One of the 
fields that use these tasks is natural language processing. The field of natural language 
processing covers a variety of topics involving the computational processing and 
understanding of human languages. In the last few years, the field of natural language 
processing has been further enhanced by the use of deep learning models. This thesis 
presents a performance comparison of deep learning architectures and methods in the text 
generation subdomain of natural language processing. In this context, the text generation 
functions of 7 transformative models downloaded from the huggingface website were 
used to calculate similarity ratios with the measurement metrics used in this field. The 
aim was to measure the similarity and semantic integrity between the reference texts and 
the texts produced by the models. The experiments showed that model size has a 
significant effect on performance. Among the 5 measurement metrics, BertScore, which 
is transducer-based, was found to be more successful than n-gram-based metrics.