Wizard of Oz tekniğiyle chatbot tasarımı
Chatbot design with the wizard of Oz technique
Yazar: OSMAN UTAR
Danışman: DOÇ. DR. MEHMET GÖKTÜRK
Gebze Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Sohbet robotları, şirketler ve kullanıcılar için değer katmak amacıyla çeşitli iş 
süreçlerini otomatikleştirmek için kullanılabilir. Sohbet Robotu geliştirme süreci 
boyunca, kullanıcı geri bildiriminin kullanıcı merkezli bir konuşma tasarımı süreci 
içinde bütünleştirilmesi esastır. Çalışmamızda bilgisayar mühendisliği öğrencilerinin 
yüksek oranda tekrarlayan ve standartlaştırılmış görevlerle karakterize edilen 
sorularında sohbet robotları araştırılmıştır. Bu çalışma, bir insan operatör tarafından 
sohbet robotu işlevselliğini simüle ederek, projenin çok erken bir aşamasında temel 
bir diyalog konseptinin test edildiği bir Oz Büyücüsü yaklaşımı uygulamaktadır. Bu 
şekilde, sohbet botu işlevlerini tamamen kodlamadan diyalog tasarımının genel 
uygunluğu hakkında değerli kullanıcı geri bildirimleri toplanabilmektedir.
Fikrimizi kavramsal olarak doğrulamak ve simüle edilmiş Sık Sorulan Sorular 
(SSS) sohbet robotunu test etmek için 15'er dakikalık iki denememize toplamda 62 
kullanıcı katılmış olup 914 dakika boyunca test etmişledir. Sonuç olarak, test edilen 
konseptin kullanıcılar için uygun ve değerli olduğu kanıtlanmıştır. Önceden 
tanımlanmış cevapların eksiksizliği ve simüle edilmiş sohbet robotunun yetkinlik 
kurulumu ile ilgili kullanıcı memnuniyetine ilişkin geri bildirim oldukça makul 
görülmüştür. Bununla birlikte, katılımcıların çoğu, test edilen senaryoyu alakalı 
olarak görmüş ve önerilen sohbet robotunun soruları cevaplama sürecinde 
uygulanması için yüksek bir kullanıcı değeri belirtmişlerdir.
Çalışmamızda Wizard Of Oz metodunun hem tasarlanırken hem de geliştirilirken 
kullanılabileceğini, bu şekilde bir yöntemle daha hızlı, etkin ve kullanıcı dostu 
chatbotlar tasarlanabileceği sonucuna elde edilen kullanıcı memnuniyet anketleri 
sonuçlarıyla varılmıştır.

Abstract:
Chatbots can be used to automate various business processes to add value for 
companies and users. Throughout the Chatbot development process, it is essential to 
integrate user feedback into a user-centered conversational design process. In our 
study, chatbots were investigated in computer engineering students' questions 
characterized by highly repetitive and standardized tasks. This work applies a Wizard 
of Oz approach where a basic dialog concept is tested at a very early stage of the 
project by simulating chatbot functionality by a human operator. In this way, 
valuable user feedback on the overall relevance of the dialog design can be gathered 
without completely coding the chatbot functions.
 To conceptually validate our idea and test the simulated FAQ chatbot, a total 
of 62 users participated in our two 15-minute trials and tested it for 914 minutes. As 
a result, the tested concept has proven to be convenient and valuable for users. The 
feedback regarding the completeness of the predefined answers and the user 
satisfaction regarding the competency setup of the simulated chatbot was considered 
quite reasonable. However, most of the respondents saw the tested scenario as 
relevant and noted a high user value for the proposed chatbot to be implemented in 
the process of answering questions.
In our study, it was concluded with the results of user satisfaction surveys that 
the Wizard of Oz method can be used both during design and development, and that 
faster, more effective and user-friendly chatbots can be designed with this method.