İşaretleme ve Angoff Standart Belirleme Yöntemlerinin karşılaştırılması
Comparison of bookmark and Angoff Standard Setting Methods
Yazar: SEVDA ÇETİN
Danışman: PROF. DR. SELAHATTİN GELBAL
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2011
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Angoff Standart Belirleme Yöntemi = Angoff Standard Setting Method ; Madde Tepki Kuramı = Item Response Theory ; Standartlar = Standards ; Sınav = Examination ; Sınav yöntemleri = Examination methods ; Ölçme-değerlendirme = Measurement and evaluation ; Üniversite öğrencileri = University students ; İşaretleme testi = Cancellation Test ; İşaretleme yöntemi = Bookmark method

Özet:
Bu araştırmada, önceden belirlenmiş bir yeterlik puanı bulunan, bir vakıf üniversitenin hazırlık sınıfı öğrencileri için hazırlanan 120 soruluk başlangıç düzeyi sınavının 55 soruluk dilbilgisi ve sözcük bilgisi bölümü kullanılmıştır. Çalışmada standart belirleme yöntemlerinden işaretleme yöntemi ve Angoff yöntemi ile bu sınavın kesme puanı tekrar hesaplanmış ve bulunan kesme puanları mevcut yeterlik puanı ile karşılaştırılmıştır.Angoff Yöntemine göre üniversite İngilizce hazırlık programı yeterlik sınavının kesme puanı 17 İngilizce dil uzmanı yardımıyla belirlenmiştir. Uzmanlardan her bir test maddesi için A2 düzeyi sınırındaki öğrencileri göz önüne alarak, bu öğrencilerden yüzde kaçının bu test maddesini doğru cevaplayabileceklerine ilişkin tahminleri sorulmuştur. Angoff Yöntemi uygulanarak 17 uzman ile belirlenen nihai kesme puanı 27,83 olarak belirlenmiştir. Üniversitenin belirlemiş olduğu mevcut kesme puanı olan 35 puan ile Angoff yöntemi kullanılarak belirlenmiş olan kesme puanı arasında yaklaşık 8 puanlık bir fark olduğu görülmüştür.İşaretleme Yöntemine göre üniversite İngilizce hazırlık programı yeterlik sınavının kesme puanı 17 İngilizce dil uzmanı yardımıyla belirlenmiştir. Yapılan hesaplamalar sonucunda 1PLM ve RP50 değeri için kesme puanı 19,242 olarak bulunurken, 1 PLM ve RP67 değeri için ise kesme puanı 25,247 puan; 2PLM ve RP50 değeri için kesme puanı 18,897 puan, 2 PLM ve RP67 değeri için kesme puanı ise 25,102 olarak bulunmuştur.Angoff yönteminde uzmanların belirlediği madde cevaplama olasılıkları ile gerçek veriden hesaplanan cevaplama olasılıkları arasındaki ilişki düzeyini görmek için uzmanların madde cevaplama olasılıkları ile gerçek madde güçlükleri arasındaki korelasyon katsayıları incelenmiş, uzmanların madde cevaplama olasılıkları ortalamaları ile gerçek madde güçlükleri arasındaki korelasyon katsayısı 0,60 olarak bulunmuştur.Üniversitenin belirlediği kesme puanı olan 35 üzerinde puan alan öğrenci yüzdesi ise işaretleme yöntemine göre belirlenen iki kesme puanından RP50'ye göre 19 puan, RP67'ye göre 25 puan ve Angoff yöntemine göre 27 puan üzerinde puan alan öğrenci yüzdeleri arasında 0,01 düzeyinde fark olduğu, ancak cevaplama olasılıkları RP50 ve RP67'ye göre ve işaretleme yöntemi ile Angoff yöntemine göre belirlenen kesme puanları üzerinde puan alan öğrenci yüzdeleri arasında ise önemli bir fark olmadığı saptanmıştır.Farklı MTK modelleri ve Cevaplama Olasılığı (RP Response Probability) değerlerinin maddelerin sıralı madde kılavuzundaki yerlerini değiştirip değiştirmediği sıralı madde kılavuzları karşılaştırılarak incelenmiştir. 1PLM'de madde sıralamalarında herhangi bir değişiklik olmadığı, 2PLM'de ise RP değerlerine göre yapılan iki farklı sıralamada sadece 12 maddenin aynı sırada kaldığı, 33 maddenin ise sıralamasının değiştiği görülmüştür. 2PLM'e göre ise RP50 ve RP67 dikkate alınarak yapılmış sıralamaların 1PLM'e göre ve kendi aralarında oldukça düşük korelasyon katsayıları verdiği, yani sıralamalarının 1PLM'e göre ve kendi aralarında büyük ölçüde farklılaştığı görülmüştür.Standart belirleme sürecinin çalışılan uzmanlarca yapılacak değerlendirmesi için geliştirilen standart belirleme sürecini değerlendirme anketi süreç boyunca çalışılan uzmanlara uygulanmış, sorulara verilen cevaplar genel olarak incelendiğinde uzmanların yöntemleri anlaşır ve kullanılabilir bulduğu görülmüştür.Anahtar Sözcükler: Madde Tepki Kuramı, Angoff Yöntemi, İşaretleme Yöntemi, Cevaplama Olasılığı

Abstract:
In this study an entry level examination of a foundation university, includes 55 questions of grammar and vocabulary section, for english preparatory class students is used which has a predetermined qualifying score. Bookmark and Angoff standard setting methods are used to re-calculation of the cut score of this examination and the cut scores compared to current qualifying score.Cut score of English Preparatory Program using Angoff Method is determined by the help of 17 English language experts. The language experts are asked to estimate percent of the A2 border level students giving correct answer to each test item. The final cut score is determined as 27,83 using Angoff method with 17 experts. A difference of 8 points is determined between the cut score of university and this study.As a secondary method, cut score of English Preparatory Program using Bookmark Method is also determined by the help of 17 English Language Experts. As a result of calculations; 19.242 is determined as a cut score for 1PLM and RP50 values, 25.247 is determined for 1PLM and RP67, 18.897 for 2PLM and RP50, 25.102 for 2PLM and RP67.Correlation co-efficents are examined between probabilities of expert answers and real item difficulties to see relationship level between experts? determining probability of right answers and the real difficulty of the items. The correlation co-efficent between experts? determining probability of right answers and the real difficulty of the items is determined as 0.60.In this study it is find that there is a significant difference between the percent of students whose score is more than qualifing score determined by the foundation university which is 35 point and the percent of students whose score is more than cut scores determined by Bookmark Method for RP50 that is 19, and for RP67 that is 25 and Angoff Method that is 27 points; but it is also find out that there is no significant difference between the percent of students whose score is more than cut scores determined by the Bookmark Method with RP50 and RP67; and Angoff Method and Bookmark Method.In this study it is also analysed if the choice of different RP and IRT model result in different orderings of the items in the ordered item booklets. For 1PLM it is seen that item orderings does not change but for 2 PLM choice of two different RP change orderings of the items. Orderings of 33 items in 2PLM change according to choice of response probabilities. Correlations calculated between the ranks of 2PLM and 1PLM is is tended to be very weak.To evaluate the standard setting process an evaluation form is answered by the experts who involved in standard setting process. Answers to the questions in the form shows that most of the experts finds standard setting methods understandable and usefull.Key Words: Item Response Theory, Standard Setting, Cut Score, Angoff Method, Bookmark Method, Response Probability.