Uzaktan eğitimde öğrencilerin duygularını yapay zekâ ile tespit ederek dönüt sağlayan ortamın tasarımı ve değerlendirilmesi
Design and evaluation of an environment that provides feedback by detecting students emotions with artificial intelligence in distance education
Yazar: AHMET DOĞUKAN SARIYALÇINKAYA
Danışman: PROF. DR. HASAN KARAL
Trabzon Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar destekli tasarım = Computer aided design ; Bilgisayar destekli öğrenme = Computer assisted learning ; Bilgisayar ve Öğretim Teknolojileri Eğitimi Bölümü = Department of Computer Education and Instructional Technology ; Derin öğrenme = Deep learning ; Duygusal öğrenme = Emotional learning ; Etkili öğrenme = Effective learning ; Eş zamanlı çevrimiçi eğitim = Synchronous online education ; Makine öğrenmesi = Machine learning ; Yapay zeka = Artificial intelligence

Özet:
Uzaktan eğitim Covid-19 pandemisinin de etkisiyle oldukça hızlı bir ivme kazanmış ve yaygınlaşmıştır. Canlı ders yazılımlarının sunmuş olduğu birçok özellik ortak olmakla birlikte öncelikle bilişsel olarak dersin yapılması amaçlandığından duyuşsal öğelerin yeterince kazandırılamadığı görülmektedir. Bu durum uzaktan eğitimle ilgili etkileşim eksikliği, anlık bireysel dönüt verilememesi ve yalnızlık gibi farklı sorunları beraberinde getirmektedir. Yapılan araştırmalar uzaktan eğitimde öğrenim gören öğrencilerin örgün eğitimde öğrenim gören öğrencilere göre eğitim-öğretim süreçlerine daha az katıldıklarını, öğrenci-öğretmen etkileşiminin daha düşük olduğunu ve sunulan içeriklerin  monoton bir şekilde algılanarak motivasyonlarının düştüğünü ve buna bağlı olarak sistem içerisinde derslerden faydalanan öğrenci sayısının azaldığını göstermektedir. Etkili bir uzaktan eğitim tasarımı tasarımı için olumlu duyguların harekete geçirilmesi ayrı bir önem taşımaktadır. Yapay zekâ alanında meydana gelen hızlı değişimler her alanda olduğu gibi uzaktan eğitim alanında da kendini hissettirmektedir. Günümüzde kullanılan yapay zekâ teknikleri yardımıyla makinelerin insan benzeri duygu tanıma, değerlendirme, karar verme ve çıkarımda bulunma işlemlerini gerçekleştirebilmektedir. Yapay zekâ alanında yeni bir çalışma alanı olan duygu tanıma ve buna bağlı olarak geliştirilen duyuşsal hesaplama son yıllarda dijital ortamlarda farklı alanlarda duyguların sürece katılabilmesini sağlayabilmektedir.
Bu tez çalışmasının amacı; uzaktan eğitimde öğrencilerin duygusal durumlarını gerçek zamanlı tespit ederek, dönüt ve yönlendirme sağlayan ortamın tasarlanması, uygulanması ve değerlendirilmesidir. Bu amaç çerçevesinde; uzaktan eğitimde öğrencilerin duygusal durumlarını öğrencilerin yüzlerinden duygu analizi yoluyla tanınması ve duyuşsal ortamın tasarım kriterlerinin oluşturulmasının yanı sıra sistemin etkililiğinin belirlenmesi hedeflenmiştir. Bu amaçla çalışma iki aşamalı olarak planlanmıştır. Çalışmanın ilk aşamasında öğrencilerin yüz hatlarından duygu durumlarını belirleyen ve bu duygu durumuna bağlı olarak öğrenciye uygun dönütleri vermeyi amaçlayan yapay zekâ destekli ortamın tasarımı tasarım tabanlı araştırma yöntemiyle geliştirilmiştir. Bu amaçla öncelikle ders sürecinde karşılaşılan duygu durumları ve bu duygu durumlarına göre öğrenciye anlık olarak verilebilecek en uygun dönütün belirlenmesine yönelik yapay zekâ destekli dönüt ve öneri havuzu oluşturulmuştur. Aynı zamanda duygu durumu tespit modülünün geliştirilmesi süreci izlenerek veri girişi sağlanmıştır. İkinci aşamada ise sistemin etkililiğinin belirlenmesi için karma araştırma yönteminin kullanıldığı asıl uygulama süreci yürütülmüştür. Bu süreçte öğrencilerin sahip oldukları duygu durumlarının belirlenmesi ve bu duygu durumlarına bağlı olarak desteğe ihtiyaç duyulan duygu durumlarından dönüt havuzundan uygun dönütlerin verilmesiyle öğrencinin duygusal durumunun olumluya dönüştürülmesi sağlanmıştır. Araştırma, 2021-2022 öğretim yılı ve 2022-2023 öğretim yılı güz yarıyılında bir yükseköğretim kurumunda uzaktan eğitim ile yürütülen "Web Tasarımı" dersi kapsamında öğrenim gören ve derse devam eden 10 ön lisans öğrencisi ve üç öğretim elamanıyla yürütülmüştür. Veri toplama araçları olarak, gözlem formlar, yarı yapılandırılmış odak grup görüşmeleri, mülakat, dereceli puanlama anahtarı, log kayıtları ve Başarı duyguları anketi kullanılmıştır. Araştırmanın sonunda uzaktan eğitimde duyuşsal tabanlı öğrenme ortamlarının etkili bir şekilde tasarlanabilmesi için bir çerçeve plan önerilmiştir. Duyuşsal tabanlı öğrenme ortamının tasarım değişkenleri , "görsel tasarım", "öğrenci –sistem etkileşimi" ve "kullanışlılık" olarak belirlenmiştir. Çalışmanın sonunda duyuşsal tabanlı sistem ile işlenen ders sonunda öğrencilerin uzaktan eğitimde duyuşsal tabanlı ortama karşı olumlu duygularının arttığı, olumsuz duygularının ise azaldığı görülmüştür. Sistemde öğrencilere verilen dönüt sayısı ile öğrencilerin derste kalma süreleri arasında pozitif korelasyon bulunmuştur. Ayrıca duyuşsal tabanlı sistemin kullanımının öğrencilerin derse bağlılığını artırdığı görülmüştür.

Abstract:
Distance education has gained significant momentum and prevalence with the impact of the Covid-19 pandemic. While many features offered by live class software are common, it is observed that cognitive elements are not adequately addressed, primarily aiming for the cognitive completion of the lesson. However, this situation brings along different problems related to distance education, such as lack of interaction, inability to provide instant individual feedback, and feelings of loneliness. Research indicates that students in distance education are less engaged in the educational processes compared to students in face-to-face education. The student-teacher interaction is lower, and the presented content is perceived monotonously, leading to a decrease in motivation and a subsequent decrease in the number of students benefiting from the courses within the system.Rapid changes in the field of artificial intelligence are evident in various areas, including distance education. Artificial intelligence techniques currently used can perform tasks such as human-like emotion recognition, evaluation, decision-making, and inference. The relatively new field of emotion recognition and the consequent development of affective computing have enabled the integration of emotions into different processes in digital environments in recent years.
The purpose of this study is to design, implement, and evaluate an environment that detects students' emotional states in real-time during distance education, providing feedback and guidance. Within this framework, the study aims to determine the emotional states of students in distance education through facial analysis and to create design criteria for the emotional environment. Additionally, the effectiveness of the system is targeted to be assessed. To achieve these goals, the study is planned in two stages.In the first stage, an environment designed to identify students' emotional states from their facial expressions and provide appropriate feedback based on these emotional states is developed using a design-based research method. Initially, artificial intelligence-supported feedback and recommendation pool are created to determine emotional states encountered during the lesson process and the most suitable feedback that can be given to the student instantly. Simultaneously, the development process of the emotion detection module is monitored to ensure data input.
In the second stage, the main application process is conducted using a mixed research method to determine the effectiveness of the system. During this process, the emotional states of students are identified, and the emotional environment provides appropriate feedback from the feedback pool for emotional states requiring support, aiming to transform the student's emotional state into a positive one. The research is conducted with 10 associate degree students and three instructors attending the "Web Design" course conducted through distance education at a higher education institution during the 2021-2022 academic year and the 2022-2023 semester. Data collection tools include observation forms, semi-structured focus group interviews, interviews, graded scoring key, log records, and the Achievement Emotions Questionnare. At the end of the research, a design framework is proposed for how affective-based online learning environments in distance education should be designed. The design variables of the affective-based online learning environment are determined as "visual design," "interaction," and "usability." It is observed that students' positive feelings towards the affective-based environment in distance education increased, and negative emotions decreased after lessons processed with the affective-based system. There is a positive correlation between the number of feedback given to students in the system and the duration of students staying in the course. Additionally, it is seen that the use of the affective-based system increases students' commitment to the course.