Eğitsel videolarda makine öğrenmesi temelli duygu durum analizinin duygu ölçümlenmesi ve başarı açısından incelenmesi
An investigation of machine learning based mood analyses in educational videos in terms of emotion measurement and achievement
Yazar: ALİ BATUHAN YILDIZ
Danışman: PROF. DR. SERKAN ŞENDAĞ ; DOÇ. DR. SACİP TOKER
Mersin Üniversitesi / Eğitim Bilimleri Enstitüsü / Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı / Bilgisayar ve Öğretim Teknolojileri Eğitimi Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu çalışmada, lisans düzeyindeki öğrenciler için geliştirilen eğitsel videoların, farklı anlatım dilleri (günlük, akademik, robotik) kullanılarak öğrencilere izletilmesi ve bu süreçte öğrencilerin yüz ifadelerinin makine öğrenmesi tekniklerine dayanan yüz duygusu tanıma yöntemi ile analiz edilmesi amaçlanmıştır. Katılımcılara videoları izledikten sonra PANAS ölçeği ve başarı testi çevrimiçi olarak uygulanmıştır. Çalışmanın temel amacı, makine öğrenmesine dayalı yüz tanıma sistemi bulguları ile PANAS ölçeği bulgularını karşılaştırarak bu iki ölçümün sonuçlarının tutarlılığını değerlendirmektir. Ayrıca, bu çalışmanın ikinci amacı, makine öğrenmesi temelli duygu durum süreç ölçümlerinin (mutlu, nötr, üzgün) akademik başarı üzerindeki anlamlı etkisini değerlendirmektir. Çalışmada ön test-son test, tam deneysel model kullanılmıştır ve katılımcılar rastgele olarak deney ve kontrol gruplarına atanmıştır. Mersin Üniversitesi İletişim Fakültesi Gazetecilik Bölümünden 42, Radyo ve Televizyon Bölümünden 40 ve Eğitim Fakültesi Pedagojik Formasyon Programından 298 öğrenci çalışmaya katılmıştır. Çalışmada verilerin analizinde üç yöntem kullanılmıştır: (a)CNN makine öğrenmesi algoritması ile yüz ifadelerinin sınıflandırılması, (b)Munzel-Bruner analizi ve (c)Disco süreç madenciliği analizi. Araştırma bulguları, çoklu ortam materyallerindeki farklı anlatım dillerinin öğrencilerde farklı duygulara neden olduğu ve bu durumun psikometrik testler ile makine öğrenmesi temelli yüz duygu durum ölçümlemeleri arasında tutarlı sonuçlar ürettiği belirlenmiştir. Ancak, yüz duygusu tanıma ölçümlerinin etiketlediği duygu durumlarının (mutlu, nötr ve üzgün) akademik başarıyı artırmada anlamlı bir etkisinin olmadığı sonucuna varılmıştır ki bu sonuç mevcut alanyazın psikometrik ölçümlere dayanarak raporlanan araştırma sonuçlarının bazıları ile çelişirken bazıları ile benzerlik göstermektedir. Bu bağlamda, bu durumun olası nedenleri tartışılmış, çalışmanın farklı koşullarda tekrarlanmanın öneminin altı çizilmiştir. Bu çalışma, makine öğrenmesi tabanlı yüz duygusu tanıma yoluyla anlık duygu durumunu ölçümlemede makine öğrenimi tabanlı ölçüm tekniklerinin geçerliliğine ilişkin bir kanıt sağlamaktadır. Duygusal öğretim tasarımı ve çokluortam içerik/mesaj tasarımında süreç odaklı ölçümlerin uygulanabilirliğine katkıda bulunmaktadır.

Abstract:
This study aimed to demonstrate the use of educational videos developed for undergraduate students, presented in different narrative styles (diary, academic, robotics), and to analyze students' facial expressions using facial emotion recognition based on machine learning techniques. After watching the videos, the participants completed the PANAS scale and an achievement test online. The study's main objective is to determine the consistency of the results obtained using the machine learning-based facial recognition system by comparing them with the results of the PANAS scale. Additionally, the study seeks to assess the significant impact of machine learning-based emotional state processes (happy, neutral, sad) on academic achievement. The study used a pretest-posttest, true-experimental research design, and participants were randomly assigned to experimental and control groups. Forty-two students from the Department of Journalism, 40 from the Department of Radio and Television, and 298 from the Pedagogical Training Programme of the Faculty of Education participated in the study. Three different methods were used to analyze the data in the study: Classification of facial expressions using machine learning CNN method, MANOVA (non-parametric) Munzel-Bruner analysis, and Disco process mining. The findings demonstrate that distinct narrative languages in multimedia materials evoke disparate emotions in students. This phenomenon produces consistent results between psychometric testing and machine learning-based facial emotion recognition measures. However, it was concluded that the emotional states identified through facial emotion recognition measures (happy, neutral, and sad) did not significantly influence academic performance, both supporting and challenging the findings of reported in the extant literature based on psychometric measures. In light of these findings, the reasons for this discrepancy were discussed, and the importance of repeating the study under different conditions was emphasized. This study provides evidence for the validity of machine learningbased measurement techniques in recognizing the instant emotional state through machine learning-based facial emotion recognition. It contributes to the applicability of process-oriented measures in emotional instructional design and multimedia content/message design.