Performans değerlendirmede puanlayıcılar arası uyum ile göz izleme sonuçları arasındaki ilişkinin incelenmesi
Investigation of interrater agreement and eye tracking in performance evaluation
Yazar: MİNE DEMİRBAŞ
Danışman: PROF. DR. NURİ DOĞAN
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Genellenebilirlik = Generalizability ; Göz izleme = Eye tracking ; Güvenilirlik = Reliability ; Performans = Performance ; Performans değerlendirme = Performance evaluation ; Puanlayıcılar arası tutarlılık = Interrater reliability ; Çok Yüzeyli Rash Ölçme Modeli = Many-Facet Rasch Measurement Model

Özet:
Bu araştırmada performans değerlendirme sürecinde puanlayıcılar arası uyum, uyum katsayıları, genellenebilirlik ve çok yüzeyli Rasch ile araştırılmıştır. Bu amaç doğrultusunda öğrencilerin sunum yapma performansını değerlendirmek üzere aynı puanlayıcıların sınıf içi performans esnasında verdikleri puanlar ve göz izleme tekniği ile ekran üzerinden verdikleri puanlar arasındaki ilişkiler incelenmiştir.  Sınıf içi değerlendirme ve göz izleme tekniği ile ekran üzerinden yapılan değerlendirme sonucu elde edilen puanlar, klasik test kuramında yer alan puanlayıcılar arası uyum istatistikleri, genellenebilirlik kuramı ve çok yüzeyli Rasch modeline göre analiz edilmiştir. Araştırma sonucunda, idealizm ve realizm sunumları için puanlayıcılar arası uyumun iyi olduğu bulunmuştur. Genellenebilirlik analizi sonucuna göre en büyük varyans kaynağı sunum olarak belirtilmiştir. Çok yüzeyli Rasch analizi sonucu puanlamaların birbiriyle tutarlı olduğu, puanlamaların sunu ve maddelere göre anlamlı bir farklılık gösterdiği ancak uygulamaya göre anlamlı bir farklılık göstermediği sonucuna ulaşılmıştır. Göz izleme metriklerinden ortalama sabitlenme süreleri çok yüzeyli Rasch analiziyle incelenmiş ve puanlayıcıların ortalama sabitlenme sürelerine göre anlamlı bir farklılık göstermediği bulunmuştur Sonuç olarak, genellenebilirlik ve çok yüzeyli Rasch sonuçlarının birbiriyle uyumlu olduğu gözlemlenmiştir. Bu doğrultuda göz izleme metrislerinin,  puanlayıcılar arası uyumu araştırmak için alternatif bir yöntem olarak kullanılabileceği söylenebilir.
Anahtar sözcükler: göz izleme tekniği, puanlayıcılar arası uyum, genellenebilirlik kuramı, çok yüzeyli rasch modeli, puanlayıcılar arası güvenirlik, performans değerlendirme

Abstract:
In this study, the fit between raters, coefficients of fit, generalizability and many facet Rasch were investigated in the performance evaluation process. For this purpose, to evaluate the presentation performance of the students, the relationships between the scores given by the same raters in the classroom during the performance and the scores given on the screen by eye tracking technique were examined. The scores obtained as a result of the in-class evaluation and the evaluation on the screen with the eye tracking technique were analyzed according to the inter-rater fit statistics in the classical test theory, the generalizability theory and the many facet Rasch model. It was found that there was a good agreement between the raters in the presentations of idealism and realism. According to the results of the generalizability analysis, the biggest source of variance was the presentation. As a result of the many facet Rasch model, it was found that the scores were consistent with each other and the scores differed significantly according to the presentation and the items, but did not differ significantly according to the application. The mean fixation times of eye tracking metrics were examined by many facet Rasch model analysis and it was found that the raters did not show a significant difference according to the mean fixation times. As a result, it was found that generalizability and multi-surface Rasch model results were compatible with each other. The study indicated that it could be used as an alternative method to investigate the compatibility between eye tracking metrics and raters.

Keywords: eye tracking, inter-rater agreement, generalizability theory, many facet rasch model, inter-rater reliability, performance assessment