Yapay zekâ tabanlı teknik destek sohbet robotu tasarımı
Artificial intelligence based technical support chatbot design
Yazar: AYHAN ARISOY
Danışman: PROF. DR. ECİR UĞUR KÜÇÜKSİLLE
Süleyman Demirel Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Günümüzde birçok şirket, müşteri hizmetlerini geliştirmek ve etkili bir şekilde
yönetmek için yapay zekâ tabanlı çözümler aramaktadır. Teknik destek alanında
kullanıcıların sorunlarını hızlı ve doğru bir şekilde çözebilecek bir botun
kullanılması büyük bir avantaj sağlamaktadır.
Bu çalışmada, teknik destek sürecinde kullanılabilecek bir yapay zekâ tabanlı
botun tasarımı ve uygulaması üzerine odaklanılmıştır. İlk adım olarak, botun
temel yeteneklerini belirlemek için bir gereksinim analizi yapılmıştır. Bu analiz,
kullanıcıların en sık karşılaştığı sorunları, sorunların öncelik sıralamasını ve
çözümlerini içermektedir. Daha sonra, yapay zekâ tabanlı botun çalışması için
kullanılacak algoritma ve yöntemler seçilmiştir. Doğal dil işleme (DDİ) ve makine
öğrenmesi (MÖ) teknikleri, kullanıcı sorularını anlama, doğru cevapları bulma ve
gerektiğinde ilgili kaynaklara yönlendirme gibi görevlerde kullanılmıştır. Bunun
yanı sıra, botun sürekli olarak gelişmesini sağlamak için geri bildirim
mekanizması da tasarlanmıştır. Sunulan bu mekanizmada, geliştirilen hibrit
model tarafından üretilen cevap ile gerçek kullanıcı cevabı arasındaki Kosinüs
benzerliği hesaplanmış buna göre YPO modelinin üretilen cevaplardan
hangisinin iyi yada kötü cevap olduğunu öğrenmesi sağlanmıştır. Bu öğrenimin
tamamlanmasıyla aktif model YPO mekanizmasının edinmiş olduğu bilgiye göre
güncellenmiştir. Ardından, daha önceden geri bildirim mekanizmasının
eğitiminde kullanılmayan test veri setinde yer alan sorulara, modelin cevap
üretmesi sağlanmıştır. Üretilen cevap ile gerçek kullanıcıların verdiği cevap
arasındaki benzerlik oranı Kosinüs benzerliği ile ölçülmüştür. Buradaki ölçme
adımı, modelin ürettiği cevap, "iyi" model görevi seçildiğinde üretilen cevap ve
"kötü" model görevi seçildiğinde üretilen cevaplar olmak üzere herbir cevabın
gerçek cevap ile kıyaslanması şeklinde 3 kategoride yapılmıştır.
Bu tez çalışmada 1759 soru cevap çiftinden oluşan özgün veri kümesi
kullanılmıştır. SeqGAN modelinin üretken model kısmındaki ağırlıklarının, GPT-
2 dil modeli kullanılıp tekrar eğitilmesi ve optimize edilmesi ile hibrit bir soru
yanıtlama modeli geliştirilmiştir. Bu süreçte yakınsal politika optimizasyonu
(YKO) ve insan geri bildirimi ile pekiştirmeli öğrenme (İGBDPÖ) yöntemleri
kullanılmıştır.iii
Veri kümesi üzerinde yapılan işlemlerde; GPT-2 ile ince ayar yapılmış halinin
doğruluk değeri 0,79025 iken geliştirilen hibrit modelle birlikte doğruluk değeri
0,82173 çıkarak iyileştirme sağlanmıştır. Bu başarı oranı sacede 1759 soru cevap
çifti ile gerçekleşmiştir. Böylece literatüre orijinal bir veri kümesi ile başarı oranı
yüksek SEQGAN-RLHF dil modeli sunulmuştur.
Bu tez çalışmasının gerçekleştirilmesiyle içerisinde kullanıcıların sorunlarını
hızlı ve etkili bir şekilde çözmelerine yardımcı olan, ayrıca, şirketlere müşteri
hizmetlerini geliştirmeleri için yapay zekâ tabanlı çözümleri kullanmaları
konusunda rehberlik eden güçlü ve etkili bir araç geliştirilmiştir.

Abstract:
Today, many companies are looking for artificial intelligence-based solutions to
improve and effectively manage customer service. In the field of technical
support, the use of a bot that can solve users' problems quickly and accurately
provides a great advantage.
In this study, we focus on the design and implementation of an artificial
intelligence-based bot that can be used in the technical support process. As a first
step, a requirements analysis was conducted to determine the basic capabilities
of the bot. This analysis includes the most common problems encountered by
users, the priority ranking of the problems and their solutions. Then, the
algorithms and methods to be used for the operation of the AI-based bot were
selected. Natural language processing (NLP) and machine learning (ML)
techniques were used in tasks such as understanding user questions, finding the
correct answers and directing them to relevant resources when necessary. In
addition, a feedback mechanism has been designed to ensure continuous
improvement of the bot. In the presented mechanism, the training of the feedback
mechanism was achieved by labelling the answers produced by the hybrid model
according to the model tasks with "good/bad answer" labels. As a result of this
process, the feedback mechanism can be taught how good the answers are. Then,
the model was allowed to produce answers to the questions in the test data set,
which was not previously used in the training of the feedback mechanism. The
similarity ratio between the generated answer and the answer given by real users
was measured by Cosine similarity theory. The measurement step was
performed in 3 categories: the answer produced by the model, the answer
produced when the "good" model task was selected, and the answer produced
when the "bad" model task was selected.
In this thesis, the original dataset consisting of 1759 question-answer pairs was
used. A hybrid question answering model was developed by retraining and
optimising the weights in the generative model part of the SeqGAN model usingv
the GPT-2 language model. In this process, Proximal Policy Optimisation (PPO)
and Reinforcement Learning from Human Feedback (RLHF) methods were used.
In the operations performed on the dataset; while the success rate of the finetuned version with GPT-2 was 0.79025, the success rate was increased to 0.82173
with the hybrid model developed. This success rate was achieved with 1759
question-answer pairs. Thus, a SEQGAN-RLHF language model with a high
success rate with an original dataset has been presented to the literature.
With the realisation of this thesis, a powerful and effective tool has been
developed that helps users to solve their problems quickly and effectively, and
also guides companies to use artificial intelligence-based solutions to improve
customer service.