İşaretleme ve Angoff Standart Belirleme Yöntemlerinin karşılaştırılması

Bu araştırmada, önceden belirlenmiş bir yeterlik puanı bulunan, bir vakıf üniversitenin hazırlık sınıfı öğrencileri için hazırlanan 120 soruluk başlangıç düzeyi sınavının 55 soruluk dilbilgisi ve sözcük bilgisi bölümü kullanılmıştır. Çalışmada standart belirleme yöntemlerinden işaretleme yöntemi ve Angoff yöntemi ile bu sınavın kesme puanı tekrar hesaplanmış ve bulunan kesme puanları mevcut yeterlik puanı ile karşılaştırılmıştır. Angoff Yöntemine göre üniversite İngilizce hazırlık programı yeterlik sınavının kesme puanı 17 İngilizce dil uzmanı yardımıyla belirlenmiştir. Uzmanlardan her bir test maddesi için A2 düzeyi sınırındaki öğrencileri göz önüne alarak, bu öğrencilerden yüzde kaçının bu test maddesini doğru cevaplayabileceklerine ilişkin tahminleri sorulmuştur. Angoff Yöntemi uygulanarak 17 uzman ile belirlenen nihai kesme puanı 27,83 olarak belirlenmiştir. Üniversitenin belirlemiş olduğu mevcut kesme puanı olan 35 puan ile Angoff yöntemi kullanılarak belirlenmiş olan kesme puanı arasında yaklaşık 8 puanlık bir fark olduğu görülmüştür. İşaretleme Yöntemine göre üniversite İngilizce hazırlık programı yeterlik sınavının kesme puanı 17 İngilizce dil uzmanı yardımıyla belirlenmiştir. Yapılan hesaplamalar sonucunda 1PLM ve RP50 değeri için kesme puanı 19,242 olarak bulunurken, 1 PLM ve RP67 değeri için ise kesme puanı 25,247 puan; 2PLM ve RP50 değeri için kesme puanı 18,897 puan, 2 PLM ve RP67 değeri için kesme puanı ise 25,102 olarak bulunmuştur. Angoff yönteminde uzmanların belirlediği madde cevaplama olasılıkları ile gerçek veriden hesaplanan cevaplama olasılıkları arasındaki ilişki düzeyini görmek için uzmanların madde cevaplama olasılıkları ile gerçek madde güçlükleri arasındaki korelasyon katsayıları incelenmiş, uzmanların madde cevaplama olasılıkları ortalamaları ile gerçek madde güçlükleri arasındaki korelasyon katsayısı 0,60 olarak bulunmuştur. Üniversitenin belirlediği kesme puanı olan 35 üzerinde puan alan öğrenci yüzdesi ise işaretleme yöntemine göre belirlenen iki kesme puanından RP50'ye göre 19 puan, RP67'ye göre 25 puan ve Angoff yöntemine göre 27 puan üzerinde puan alan öğrenci yüzdeleri arasında 0,01 düzeyinde fark olduğu, ancak cevaplama olasılıkları RP50 ve RP67'ye göre ve işaretleme yöntemi ile Angoff yöntemine göre belirlenen kesme puanları üzerinde puan alan öğrenci yüzdeleri arasında ise önemli bir fark olmadığı saptanmıştır. Farklı MTK modelleri ve Cevaplama Olasılığı değerlerinin maddelerin sıralı madde kılavuzundaki yerlerini değiştirip değiştirmediği sıralı madde kılavuzları karşılaştırılarak incelenmiştir. 1 PLM'de madde sıralamalarında herhangi bir değişiklik olmadığı, 2 PLM'de ise RP değerlerine göre yapılan iki farklı sıralamada sadece 12 maddenin aynı sırada kaldığı, 33 maddenin ise sıralamasının değiştiği görülmüştür. 2 PLM'e göre ise RP50 ve RP67 dikkate alınarak yapılmış sıralamaların 1 PLM'e göre ve kendi aralarında oldukça düşük korelasyon katsayıları verdiği, yani sıralamalarının 1 PLM'e göre ve kendi aralarında büyük ölçüde farklılaştığı görülmüştür. Standart belirleme sürecinin çalışılan uzmanlarca yapılacak değerlendirmesi için geliştirilen standart belirleme sürecini değerlendirme anketi süreç boyunca çalışılan uzmanlara uygulanmış, sorulara verilen cevaplar genel olarak incelendiğinde uzmanların yöntemleri anlaşır ve kullanılabilir bulduğu görülmüştür.