Canlı ders etkileşim düzeyi belirleme ölçeğinin geliştirilmesi ve otomatik kestirim sisteminin tasarlanması
Development of an online course interaction level determination scale and design of automated estimation system
Yazar: GÜLER ERKAL KARAMAN
Danışman: PROF. DR. ASLAN GÜLCÜ
Atatürk Üniversitesi / Eğitim Bilimleri Enstitüsü / Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı / Bilgisayar ve Öğretim Teknolojileri Eğitimi Bilim Dalı
Derece: Doktora, 2015
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar destekli eğitim = Computer assisted education ; Bilgisayar destekli öğretim = Computer assisted instruction ; Etkileşim = Interaction ; Etkileşimli bilgisayar = Interaction computer ; Etkileşimli öğretim teknikleri = Interactive teaching techniques ; Eğitim = Education ; Eğitim yöntemleri = Education methods ; Görüntü işleme yöntemleri = Image processing methods ; Uzaktan eğitim = Distance education ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışmanın amacı, canlı derslerin etkileşim düzeyini belirleyen ölçeğin geliştirilmesi ve canlı ders etkileşim düzeyi belirleme sisteminin tasarlanmasıdır. Karma araştırma yönteminin kullanıldığı birinci bölümde, ölçek geliştirme aşamalarını gerçekleştirmek için öncelikle alan yazından elde edilen önermelere bağlı olarak Uzaktan Eğitim alanında uygulama ve araştırma faaliyetleri yürüten 23 uzmanla yarı yapılandırılmış görüşmeler yürütülmüş ve madde havuzu oluşturulmuştur. Madde havuzundaki sorular, öğretmenin öğrenci ile kurduğu sözlü etkileşim, öğretmenin sözlü etkileşimi, öğretmenin ders sunum şekli aracılığıyla sağladığı etkileşim ve öğretmenin içerik aracılığıyla sağladığı sözsüz etkileşiminden oluşmaktadır. Elde edilen toplam 20 madde aracılığıyla farklı seviye ve konulara ait, süreleri 35-65 dk arasında değişen 80 canlı dersin video kaydı incelenerek değerlendirilmiştir.  Elde edilen veriler üzerinde açımlayıcı faktör analizi uygulanmış, düşük korelasyona sahip maddeler çıkarılmıştır. Ardından faktör sayısı ve yükleri hesaplanarak 14 Likert tipi maddeden oluşan güvenilirlik hesaplaması yapılarak ölçek sonuçlandırılmıştır.
Çalışmanın ikinci bölümünde tasarım bilimi araştırma yöntemi kullanılarak canlı ders etkileşim düzeyi belirleme sistemi geliştirilmiştir. Bir probleme yönelik çeşitli kaynaklar temel alınarak çözüm arayışını hedefleyen bu yöntem, ana hatları ile problemin fark edilmesi, öneri, geliştirme, değerlendirme ve sonuçlandırma adımlarından oluşmaktadır. Geliştirme sürecinde 60 canlı ders video kaydı kullanılmıştır. Sistemin geliştirilmesinde kullanılacak metrikler, çalışmanın birinci bölümünde elde edilen ölçek temel alınarak sinyal işleme alanında uzman 3 kişinin görüşleri doğrultusunda belirlenmiştir. Öğretmen, yazışma ve video alanlarındaki değişimler arkaplan çıkarımı algoritmaları kullanılarak hesaplanmıştır. Ses ile ilgili analizler ise ses değişimindeki sapma ve enerji hesaplamaları ile yapılmıştır. Görüşmeler sonucunda öğretim elemanı görüntüsü, materyal alanı, yazışma alanı, ses analizi ile ses ve yazı analizini içeren 5 ana metrikten türetilmiş toplam 26 metrik kullanılmıştır. 30 ders, geliştirilen algoritmalar aracılığı ile analiz edilerek doğrusal regresyon yoluyla her bir faktör ve genel olarak etkileşim düzeyi için modeller kurulmuştur. Modellerin geçerlenmesi için algoritmalar farklı 30 ders üzerinde koşturulmuş ve sonuçlar, çalışmanın birinci bölümünde oluşturulan ölçek değerlendirme verileri ile bu derslerden elde edilen veriler ilişkisel olarak analiz edilmiştir. Etkileşim düzeyi belirleme sistemi sonuçlarının uzman değerlendirme sonuçları ile 0,84 oranında ilişkili olduğu ve bu sonuçların %70,9'unu açıkladığı görülmüştür.
Sonuç olarak uzaktan eğitim yolu ile yapılan canlı derslerin etkileşimini belirlemek amacı ile alan yazın güvenirlik ve geçerlilik çalışmaları yapılmış bir ölçek kazandırılmıştır. Ayrıca, yaygınlaşan uzaktan eğitim uygulamalarında öğretmen açısından öz değerlendirme ve yöneticiler açısından performans ölçümü ve kaynak dağıtım politikaları gibi amaçlarla kullanılmak üzere gerçek zamanlı ve kişiden bağımsız canlı ders etkileşimini otomatik olarak değerlendiren bir sistem geliştirilmiştir.

Abstract:
The aim of this study is to develop a scale determining the online course interaction level and to develop an automated online course interaction level detection system. In the first part of the study, where the mixed research method was applied,  semi-structured interviews in line with the findings from literature were conducted with 23 experts, who conducted their research and application activities in distance education field,  and item pool has been created in accordance with the qualitative data analysis as the scale development steps. Questions in the items pool consist of instructor's verbal interaction with students, students' verbal interaction, instructor interactions through course presentation type, and non-verbal interaction of instructor via course material. After 20 items were extracted, 80 pre-conducted online course records, with 35-65 minutes length, having different topics and levels were evaluated via those items. Explanatory factor analysis has been conducted on the gathered data and items having lower correlations were excluded from the scale.  Then, the scale consisting of 14 Likert type items was finalized by reliability computation with the factor numbers and factor loads computations.
In the second part of the study, intelligent online course interaction level detection system was developed by employing design science research methods. This method, which aims to find a solution to a problem by utilizing different type of sources, consists of problem detection, suggestions, development, evaluation and finalization steps in general. In the development process 60 online courses were used. Metrics used in this process were determined   basing on the scale developed in the first part of the thesis in accordance with the opinions of three experts in signal processing field. The differences in instructor, messaging and material frames were computed by using background subtraction algorithms. Audio analysis was made by variation and energy computation. According to the interviews, 26 metrics derived from 5 main metrics which focused on instructors frame, material frame, messaging frame, audio analysis and audio – text analysis were used. Models for each factor and a general model for interaction level were established via linear regressions by analysis of 30 courses by developed algorithms. For validation of the models, the algorithms were run on different 30 online courses and the data from this process and the data gathered with the same courses through the scale developed in the first part were analyzed relationally. The analysis showed that the results from automatic evaluation system and from expert evaluations are related in 0,84 rate and explains the 70.9% of the results.
As a result, this thesis contributes the literature with the online course interaction determination scale finalized by reliability and validity tests. Moreover, an automatic real-time online course interaction level detection system that can be used both by instructors for self-evaluation and by managers for some aims like assessing performance and identifying resource allocations politics was developed.