Eğitimde bir araç olarak chatbot sistemlerinin gerçek kullanımının tahminlenmesi: PLS-SEM ve makine öğrenmesi algoritmalarını kullanan karşılaştırmalı bir yaklaşım
Predicting the actual use of chatbot systems as a tool for education: A comparative approach using PLS-SEM and machine learning algorithms
Yazar: HATİCE YILDIZ DURAK
Danışman: DOÇ. DR. AYTUĞ ONAN
İzmir Katip Çelebi Üniversitesi / Fen Bilimleri Enstitüsü / Yazılım Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Bu çalışmada, UTAUT2 çerçevesi bağlamında, PLS-SEM ve makine öğrenmesi algoritmaları aracılığıyla, eğitim aracı olarak chatbot teknolojilerini kullanan öğrencilerin kullanım davranışlarını etkileyen faktörlerin tahmin edilmesi amaçlanmaktadır. Bu çalışma kapsamında ilk aşamada ölçek uyarlama süreçleri işletilmiştir. Chatbot kabul, kullanım, onay ve kaliteyle ilgili üç ölçek, ölçek yazarlarından izin alınarak Türkçe'ye uyarlanmıştır. Ölçek uyarlama sürecinde çalışmaya 729 öğrenci katılmıştır. Ölçek uyarlama için analizler Lisrel 8.0 ve IBM SPSS yazılımları ile yapılmıştır. İkinci aşamada, varsayılan araştırma modelini test etmek için PLS-SEM ve makine öğrenmesi algoritmaları kullanılmıştır. Çalışmaya 926 öğrenci katılmıştır. Bu aşamada SmartPLS 4 yazılımı ile, PLS-SEM ve Knime 4.7 ile de makine öğrenmesi algoritmaları kullanılarak analizler tamamlanmıştır. Bu bağlamda, veriler PLS-SEM, naive bayes, kNN, destek vektör makineleri, rastgele orman, lojistik regresyon sınıflandırıcıları ile karşılaştırmalı olarak incelenmiştir. Araştırma sonucuna göre, öğrencilerin performans beklentisi, çaba beklentisi, öğrenmeyi geliştirmeye yönelik tutum, öz yeterlik, endişe, chatbot onay ve kullanımın sürdürülebilirliği algıları, onların chatbot kullanmak ve öğrenmek için davranışsal niyetini pozitif etkilemektedir. Öte yandan, öğrencilerin davranışsal niyetleri ile sosyal etki, kolaylaştırıcı koşullar, chatbot sistem, bilgi ve servis kalitesi, chatbot kullanma memnuniyeti ve etkileşim tercihi arasında ilişki bulunamamıştır. Chatbot kullanım süresi üzerinde kolaylaştırıcı koşullar ve davranışsal niyetin etkisinin önemli olduğu bulunmuştur. Moderatör etkilere bakıldığında yaşın, cinsiyetin ve chatbot kullanım deneyiminin, performans beklentisi ile davranışsal niyet arasındaki yol katsayısı üzerinde düzenleyici etkisi bulunmuştur. Cinsiyetin ayrıca çaba beklentisi ile davranışsal niyet arasında pozitif moderatör etkiye sahip olduğu görülmüştür. Bu çalışmada davranışsal niyet değişkenine göre destek vektör makinelerinin, chatbot kullanım süresi değişkenine göre ise lojistik regresyonun en yüksek tahmin doğruluğuna sahip olduğu bulunmuştur. Bu çalışmanın sonuçları, chatbotların öğretmeye yönelik kullanımında kullanıcı gereksinimlerini belirlemek üzere chatbot tasarımcıları için yol gösterici olabilir.

Abstract:
The current study aims to estimate the factors affecting the use behaviors of students using chatbot technologies as a training tool through PLS-SEM and Machine Learning Algorithms in the context of the UTAUT2 framework. Within the scope of this study, scale adaptation processes were held in the first stage. Chatbot is adapted to Turkish by obtaining permission from the authors of three scale about the use, approval, and quality. 729 students participated in the study in the scale adaptation process. Analyzes for scale adaptation were conducted with Lisrel 8.0 and IBM SPSS software. In the second stage, PLS-SEM and machine learning algorithms were used to test the research model. 926 students participated in the study. At this stage, the analyzes were completed by using SmartPLS 4 software, using PLS-SEM and Knime 4.7 machine learning algorithms. In this regard, the data were comparatively analyzed with PLS-SEM, naive bayes, kNN, support vector machines, random forests, logistics regression classifiers. According to the results of the study, students' performance expectation, effort expectation, attitude towards improving learning, self-competence, anxiety, chatbot approval and sustainability perceptions of use positively affect their behavioral intentions to use and learn. On the other hand, there was no relationship between the behavioral intentions of the students and the social impact, facilitating conditions, chatbot system, information and service quality, satisfaction of using chatbot and interaction. Facilitative conditions and behavioral intention were found to be important on the time of use of chatbot. When the moderator effects were examined, the regulatory effect of age, gender and chatbot use on the path coefficient between performance expectation and behavioral intent was found. Gender has a positive moderator effect between the expectation of effort and behavioral intent. In this study, support vector machines according to the behavioral intent variable were found to have the highest estimation accuracy of logistics regression according to chatbot usage time variable. The results of this study can be guiding for chatbot designers to determine user requirements in the use of chatbots to teach.