Yeni nesil yapay zekâ teknolojisi üretken ön eğitimli dönüştürücü üzerine bir inceleme
A review on the new generation technology artificial intelligence generative pre-trained transformer
Yazar: NAZİF AYDIN
Danışman: PROF. DR. OSMAN AYHAN ERDEM
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Dijitalleşen dünyada Yapay Zekâ (YZ), insanlar tarafından yapılan rutin işlerin otomatikleşmesine ve hayatın kolaylaşmasına zemin hazırlamaktadır. Son dönemlerde YZ ve uygulamaları sağlıktan eğitime, ulaşımdan enerjiye, tarımdan turizme kadar hayatımızın hemen her alanında kullanılmaktadır. YZ uygulamalarının, özellikle Doğal Dil İşleme (DDİ) ve Derin Öğrenme (DÖ) alanındaki önemli ve güncel gelişmeler yönünde hızla ilerleme kaydettiği görülmektedir. Bu alanlardaki ilerlemelerin somut örneklerinden biri de GPT-3 (Üretken Ön Eğitimli Dönüştürücü-3) dil modelidir. YZ destekli GPT-3, önceden eğitilmiş algoritmaları kullanarak insanların yazdığı metinlere benzer; uzun ve tutarlı içerik üretebilen DDİ alanında etkin olarak kullanılan DÖ modelidir. GPT-3, dikkate dayalı DÖ tekniği olan dönüştürücü mimarisini kullanarak her türlü girdiye en uygun çözümler üretebilen ve birçok alanda insanlarla rekabet edebilecek boyuta ulaşmıştır. Bu çalışma, YZ destekli GPT-3 alanında Türkçe kaynakların sınırlı olması nedeniyle, modelin tarihsel gelişimini, etkinliğini, yapısını ve potansiyelini detaylı bir şekilde inceleyerek, literatüre hem nitelik hem de nicelik açısından katkı sağlama amacı taşımaktadır. Ayrıca bu çalışmada, GPT-3 modelinin, öğrenci destek hizmetleri kapsamında eğitim ve öğretim süreçlerinde bireysel öğrenci desteği sağlama konusunda sıkça karşılaşılan sorunlara çözüm sunmak amacıyla bir uygulama örneği gerçekleştirilmiştir. Bu uygulamada, modelin eğitimi için öğrencilerin eğitim süreçleriyle ilgili metin örneklerinden bir veri kümesi oluşturulmuştur. Model, okul öncesi, ilköğretim, ortaöğretim, lise, lisans ve lisansüstü olmak üzere altı farklı sınıf kategorisine ayrılan veri kümesiyle eğitilerek, çoklu sınıflandırma görevindeki performansının ölçülmesi için kullanılmıştır. Bu performans ölçümü sonucunda, modelin doğruluk ve f1 skor değerleri % 77 olarak elde edilmiştir.

Abstract:
In the digitalized world, Artificial Intelligence (AI) paves the way for the automation of routine tasks and makes life easier for humans. Recently, AI and its applications have been used in almost every aspect of our daily lives, from healthcare to education, transportation to energy, and agriculture to tourism. Significant and current developments, especially, in Natural Language Processing (NLP) and Deep Learning (DL) have been observed in AI applications. One concrete example of the advancements in these areas is the GPT-3 (Generative Pre-trained Transformer-3) language model. GPT-3 is a DL model that effectively uses NLP and can generate long and coherent content similar to human-written texts by utilizing pre-trained algorithms. By utilizing the attention-based DL technique known as transformer architecture, GPT-3 can generate the most appropriate solutions for any input. It has reached a level where it can compete with humans in many areas. Due to the limited availability of Turkish resources in the field of AI-supported GPT-3, this study aims to contribute to the literature in terms of both quality and quantity by thoroughly examining the historical development, effectiveness, structure, and potential of the model. Furthermore, an application example has been carried out in this study to provide a solution to the frequently encountered problems of providing individual student support in education and training processes through the use of the GPT-3 model. In this application, a dataset was created from text examples related to students' education processes for the model's training. The model was trained with a dataset divided into six class categories: preschool, primary education, secondary education, high school, undergraduate, and graduate. The model's performance in multi-classification tasks was measured by using accuracy and f1 score values, which were obtained as 77%.