Öğrenme analitik gösterge panelinin tasarlanması,  geliştirilesi, uygulanması ve değerlendirilmesi
Designing, developing and evaluating learning analytics dashboard
Yazar: MUHAMMED GÜLER
Danışman: DR. ÖĞR. ÜYESİ ÖMER ARPACIK
Atatürk Üniversitesi / Eğitim Bilimleri Enstitüsü / Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı / Bilgisayar ve Öğretim Teknolojileri Eğitimi Bilim Dalı
Derece: Doktora, 2024
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Amaç: Araştırmanın amacı, Öğrenme Analitikleri Gösterge Paneli'nin (LED) tasarım ilkelerini (etik, pedagojik ve arayüz) belirlemek ve öğreticiler tarafından kullanım durumlarını incelemektir.
Yöntem: Bu araştırmada gelişimsel araştırma yöntemi kullanılmış ve beş ayrı çalışma grubundan yararlanılmıştır. Alan uzmanları, öğrenenler, öğreticiler ve teknik personelin yer aldığı gruplarla yarı yapılandırılmış görüşme formları ve kullanılabilirlik gözlem formları kullanılarak veri toplanmıştır. Öğreticilerin kullanım düzeyleri ve etkileyen faktörler, sistem kayıtları ve görüşme formları ile incelenmiştir. Gösterge paneli, öğrenenler ve öğreticiler tarafından 14 hafta boyunca aktif olarak kullanılmıştır.
Bulgular: Gösterge paneli tasarımında dikkate alınması gereken etik, pedagojik ve arayüz boyutlarını içeren 12 tasarım ilkesi belirlenmiştir. Öğreticilerin öğrenme analitikleri gösterge panellerini kullanım düzeyleri incelendiğinde, derslerinde daha fazla içerik sunan ve daha fazla sayıda öğrenene sahip olan öğreticilerin bu panelleri daha aktif bir şekilde kullandıkları tespit edilmiştir. Ayrıca, öğreticilerin gösterge panellerini kullanma durumlarının ders değerlendirme türüne göre değişiklik gösterdiği belirlenmiştir. Öğreticilerin kullanımını etkileyen faktörler analiz edildiğinde, bilgilendirme yapısı, analiz ve değerlendirme gereksinimleri, kullanım kolaylığı ve teknik destek gibi unsurların etkili olduğu görülmüştür. Bunun yanı sıra, öğreticilerin öğrenme anatilikleri gösterge panellerinin kullanım amaçları, izleme (etkinlikler, katılım ve devamsızlık, bireysel performans ve içeriklerin takibi), değerlendirme (bireysel performans, ders ve içeriklerin yanı sıra öğrenen katılımının değerlendirilmesi), öz değerlendirme (öğretim materyallerinin değerlendirilmesi), planlama (geleceği planlama ve öz düzenleme) ve motivasyon olmak üzere beş temel kategori ortaya çıkmıştır.
Sonuçlar: Gösterge panellerinin tasarımında etik, pedagojik ve arayüz boyutlarını bir arada ele alan 12 temel ilkenin belirlenmesi, panellerin kullanıcı gereksinimlerini karşılamada bütüncül bir yaklaşım sunduğunu göstermektedir. Derslerde daha fazla içerik sunan ve daha fazla öğrenene sahip öğreticilerin bu panelleri daha aktif şekilde kullandığı ortaya çıkmıştır. Bunun yanı sıra, ders değerlendirme türüne göre kullanım farklılıkları, panellerin özelleştirilebilir yapısının önemini ortaya koymaktadır. Kullanımı etkileyen faktörler arasında bilgilendirme yapısı, analiz ve değerlendirme gereksinimleri, kullanım kolaylığı ve teknik destek gibi unsurlar yer alırken, bu faktörlerin panellerin etkinliğini artırmak için uyarlanabilir bir yapı gerektirdiği sonucuna ulaşılmıştır. Öğreticilerin kullanım amaçları ise izleme, değerlendirme, öz değerlendirme, planlama ve motivasyon gibi işlevler etrafında şekillenmekte, bu da panellerin hem bireysel hem de pedagojik hedeflere uyum sağlayabilecek şekilde tasarlanması gerektiğini vurgulamaktadır.

Abstract:
Purpose: The aim of the study was to identify the design principles (ethical, pedagogical and interface) of the Learning Analytics Dashboard (LED) and to examine its use by tutorials.
Method: In this study, developmental research method was used and five different study groups were utilised. Data were collected by using semi-structured interview forms and usability observation forms with the groups including field experts, learners, instructors and technical staff. Tutors' usage levels and influencing factors were analysed through system logs and interview forms. The dashboard was actively used by learners and instructors for 14 weeks.
Findings: Twelve design principles including ethical, pedagogical and interface dimensions that should be considered in dashboard design were identified. When the level of instructors' use of learning analytics dashboards was analysed, it was found that instructors who presented more content in their courses and had more learners used these dashboards more actively. In addition, it was determined that instructors' use of dashboards varied according to the type of course evaluation. When the factors affecting the use of tutorials were analysed, it was seen that factors such as information structure, analysis and evaluation requirements, ease of use and technical support were effective. In addition, five main categories emerged as the purposes of the use of the dashboards of learning anatomy dashboards by the tutors: monitoring (monitoring activities, attendance and absenteeism, individual performance and content), evaluation (evaluation of individual performance, course and content as well as learner participation), self-evaluation (evaluation of teaching materials), planning (planning for the future and self-regulation) and motivation.
Conclusions: The identification of 12 basic principles that address ethical, pedagogical and interface dimensions together in the design of the dashboards shows that the panels offer a holistic approach to meeting user needs. It was revealed that instructors who offer more content in the courses and have more learners use these panels more actively. In addition, the differences in usage according to the type of course evaluation reveal the importance of the customisable structure of the panels. While the factors affecting the usage include information structure, analysis and evaluation requirements, ease of use and technical support, it was concluded that these factors require an adaptive structure to increase the effectiveness of the panels. Instructors' purposes of use are shaped around functions such as monitoring, evaluation, self-assessment, planning and motivation, which emphasises that the panels should be designed to adapt to both individual and pedagogical goals.