Objektif yapılandırılmış sınav aracının klasik test kuramı, genellenebilirlik kuramı ve madde tepki kuramı ile değerlendirilmesi
Evaluation of objective structured examination tool with classical testing, generalizability teory and item response theory
Yazar: MEVLÜDE YASEMİN AKŞEHİRLİ SEYFELİ
Danışman: PROF. DR. AHMET ÖZTÜRK
Erciyes Üniversitesi / Sağlık Bilimleri Enstitüsü / Biyoistatistik Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Biyoistatistik = Biostatistics
Dizin: Başarı = Success ; Başarı değerleme = Success evaluation ; Değerlendirme = Evaluation ; Ölçme-değerlendirme = Measurement and evaluation ; Ölçme-değerlendirme araçları = Measurement-evaluation tools ; İstatistiksel yöntemler = Statistical methods

Özet:
Bu çalışmanın amacı Tıp fakültesin de Objektif Yapılandırılmış Klinik Sınavda  (OYKS) kullanılan 24 maddeli bir değerlendirme rehberinin verilerini kullanarak geçerlik ve güvenirlik analizlerinden klasik test kuramı, genellenebilirlik kuramı ve madde tepki kuramının karşılaştırmasını yapmaktır.
 Tez çalışmasında birinci dönemde dokuz değerlendiricinin 340 öğrenciyi ikinci dönemde 11 değerlendiricinin 328 öğrenciyi toplamda 668 öğrenciyi 24 maddeli değerlendirme rehberini her maddeyi yaptı/yapmadı şeklinde doldurarak puanladıkları iki sınav verisi kullanılmıştır.
Değerlendirme rehberinin geçerlik ve güvenirliğini incelemek amacı ile yapılan klasik test kuramı analizlerinde rehber geçerli ve güvenilir bulunmuştur ( Cronbach alfa=0,885). Açıklayıcı faktör analizi sonuçlarına göre üç faktörlü yapı ile varyans kaynaklarının yüzde 50'si açıklanmaktadır. İkinci dönem verileriyle Doğrulayıcı faktör analizi ile bu üç faktör yapının model uyum iyilikleri kabul edilebilir aralıklarda bulunmuştur (X2/sd=2.006; RMSEA =0,055;CFI =0.942).
Genellenebilirlik analizleri ile yapı değerlendirildiğinde madde sayısının toplam varyansın yüzde 7.1'ini, birey değişkeninin ise yüzde 22.4'ünü açıkladığı bulunmuştur. Modelin G katsayısı 0,88 Phi katsayısı 0,87 olarak kestirilmiştir. Bu sonuçtan yola çıkılarak kurulan karar kuramında 32 maddelik rehber yapısının daha yüksek genellenebilirliği sahip olduğu bulunmuştur (G=0,91, Phi= 0,90).
Madde tepki kuramında rehberin tek boyutluluk varsayımını sağlamadığı üç boyutlu bir yapıda olduğu bulunmuştur. Bu üç boyutun her bir boyutunun maddeleri Rasch modeli ve 2PL model ile incelenmiştir. Birinci ve üçüncü faktörlerin maddeleri MTK analizlerine uyum göstermemiştir. İkinci faktörün 10 maddeli modeli 2PL modele uyum göstermiştir.Modellerin görgül güvenirlik  katsayıları ve uyum katsayıları klasik test kuramının katsayılarına göre daha düşüktür. 
Klasik test kuramı modellerinde maddelerin toplam korelasyonları ile değerlendirme yapılıyor olmasından dolayı geçerli ve güvenilir bulunan değerlendirme rehberi, genellenebilirlik ile incelendiğinde öğrenci puanlarının madde ve öğrenci yeteneği dışındaki faktörlerden etkilendiğini tespit edilmiştir. Madde tepki kuramı modelleri ile bakıldığında iki faktörün uyum göstermemesi bir faktörün ise sadece 2PL modele uyum göstermesi bize değerlendirme rehberinin geçerlik ve güvenilirliğinin iyileştirilmesi gerektiği sonucuna götürmektedir.

Abstract:
The aim of this study is to compare the validity and reliability analyzes of classical test theory, generalizability theory and item response theory by using the data of a 24-item assessment guide used in the osce exams at the Faculty of Medicine, and to discuss their advantages and disadvantages.
In the thesis study, an exam data in the first term which nine evaluators scored 340 students, and ,n the second term 11 evaluators bought 328 students in total by filling in the 24-item assessment guide as they did/did not complete each item was used.
According to the results of the explanatory factor analysis, 50 percent of the variance sources are explained with the 3-factor structure. With the confirmatory factor analysis, the model fit goodness of these three factor structures were found to be in acceptable ranges (X2/sd=2.006; RMSEA =0,055;CFI =0.942).
When the structure was evaluated with generalizability analysis, it was found that the number of items explained 7.1 percent of the total variance and 22.4 percent of the individual variable. The G coefficient of the model was estimated as 0.88 and the Phi coefficient as 0.87. In the decision theory based on this result, the best result was the 32-item model. (G=0.91, Phi= 0.90)
In item response theory, it was found that the guide was in a 3-dimensional structure, which did not provide the unidimensionality assumption. The items of each dimension of these three dimensions were examined with the Rasch model and the 2PL model. The items of the first and third factors did not fit the IRT analysis. The 10-item model of the second factor conformed to the 2PL model. The empirical reliability coefficients and fit coefficients of the models are lower than the coefficients of the classical test theory.
When the evaluation guide, which was found to be valid and reliable, was examined with generalizability, since the evaluation is made with the total correlations of the items in the classical test theory models, it has been determined that the student scores are affected by factors other than the item and student ability. When we look at the item response theory models, the incompatibility of two factors and the fact that one factor only complies with the 2PL model leads us to the conclusion that the validity and reliability of the assessment guide should be improved.