Pekiştirmeli öğrenme ve derin öğrenme ile diyalog botlarının geliştirilmesi
Development of chatbots with reinforcement learning and deep learning
Yazar: ÜSAME DURAK
Danışman: DR. ÖĞR. ÜYESİ SEMİH YUMUŞAK
KTO Karatay Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Elektrik ve Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Diyalog = Dialogue ; Doğal dil işleme = Natural language processing ; Öğrenme teknikleri = Learning techniques

Özet:
Diyalog botları insanlar ile etkileşime girerek onlara yardımcı olmak amaçlı kullanılan yapay zeka temelli yazılımlardır. Diyalog botları bankacılık, müşteri hizmetleri, kişisel asistanlık gibi amaçlarla kullanılsa dahi kullanım alanları günden güne artmaktadır. Bu çalışmada diyalog botlarının çalışma yönteminden bahsedilmiş olup diyalog botları için pekiştirmeli öğrenme yöntemi kullanılarak yeni bir yöntem önerisinde bulunulmuştur. Bu amaçla var olan bir diyalog botu ile pekiştirmeli öğrenme ajanı konuşarak karşısındaki diyalog botundan almak istediği bilgileri alabilmek için en uygun konuşma yöntemini döngü içerisinde öğrenebilmeyi başarmıştır. İki farklı sistem geliştirilmesi yapılmış olup ilk sistemde ajan karşısındaki diyalog botunun verebileceği cevaplar havuzuna sahiptir. İkinci sistemde diyalog botunun çıktılarının bir kısmı ajandan gizlenmiştir. Ajan daha önceden karşılaşmadığı çıktıları öğrenerek sistemine eklemeyi başarmıştır. Pekiştirmeli öğrenme diyalog botunda Q öğrenme ve SARSA yöntemleri denenmiş olup yaklaşık 1000 adet diyalog sonucunda ajan söylemesi gerekenleri öğrenmiştir. Ardından sıralamalar ile ilgili düzenlemeleri gerçekleştirmiştir. Özetle pekiştirmeli öğrenme ajanının bir görev için en uygun konuşma adımlarını bulabileceği kanısına varılmıştır.

Abstract:
Dialogue bots are artificial intelligence-based software used to interact with people and help them. Even if dialog bots are used for purposes such as banking, customer service, personal assistant, their usage areas are increasing day by day. In this study, the working method of dialog bots is mentioned and a new method is proposed for dialog bots by using reinforcement learning method.For this purpose, by speaking with an existing dialogue bot, the reinforcement learning agent was able to learn the most appropriate speaking method in iterations in order to get the information he wanted to get from the dialogue bot opposite him. Two different systems have been developed and although the first system has a pool of answers that the dialog bot can give against the agent, in the second system some of the outputs of the dialog bot are hidden from the agent. The agent succeeded in learning the outputs that he had not encountered before and adding them to his system. Q learning and SARSA methods were tried in the reinforcement learning dialogue bot, and as a result of approximately 1000 dialogues, the agent learned what he had to say and then made the arrangements about the sequences. In
summary, it was concluded that the reinforcement learning agent could find the most appropriate speech steps for a task.