İşaretleme ve angoff standart belirleme yöntemlerininkarşılaştırılması
Comparison of bookmark and angoff standard setting methods
Yazar: SEVDA ÇETİN
Danışman: PROF. DR. SELAHATTİN GELBAL
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2011
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu araştırmada, önceden belirlenmiş bir yeterlik puanı bulunan, bir vakıf üniversitenin
hazırlık sınıfı öğrencileri için hazırlanan 120 soruluk başlangıç düzeyi sınavının 55
soruluk dilbilgisi ve sözcük bilgisi bölümü kullanılmıştır. Çalışmada standart belirleme
yöntemlerinden işaretleme yöntemi ve Angoff yöntemi ile bu sınavın kesme puanı
tekrar hesaplanmış ve bulunan kesme puanları mevcut yeterlik puanı ile
karşılaştırılmıştır.
Angoff Yöntemine göre üniversite İngilizce hazırlık programı yeterlik sınavının kesme
puanı 17 İngilizce dil uzmanı yardımıyla belirlenmiştir. Uzmanlardan her bir test
maddesi için A2 düzeyi sınırındaki öğrencileri göz önüne alarak, bu öğrencilerden
yüzde kaçının bu test maddesini doğru cevaplayabileceklerine ilişkin tahminleri
sorulmuştur. Angoff Yöntemi uygulanarak 17 uzman ile belirlenen nihai kesme puanı
27,83 olarak belirlenmiştir. Üniversitenin belirlemiş olduğu mevcut kesme puanı olan
35 puan ile Angoff yöntemi kullanılarak belirlenmiş olan kesme puanı arasında yaklaşık
8 puanlık bir fark olduğu görülmüştür.
İşaretleme Yöntemine göre üniversite İngilizce hazırlık programı yeterlik sınavının
kesme puanı 17 İngilizce dil uzmanı yardımıyla belirlenmiştir. Yapılan hesaplamalar
sonucunda 1PLM ve RP50 değeri için kesme puanı 19,242 olarak bulunurken, 1 PLM
ve RP67 değeri için ise kesme puanı 25,247 puan; 2PLM ve RP50 değeri için kesme
puanı 18,897 puan, 2 PLM ve RP67 değeri için kesme puanı ise 25,102 olarak
bulunmuştur.
Angoff yönteminde uzmanların belirlediği madde cevaplama olasılıkları ile gerçek
veriden hesaplanan cevaplama olasılıkları arasındaki ilişki düzeyini görmek için
uzmanların madde cevaplama olasılıkları ile gerçek madde güçlükleri arasındakiv
korelasyon katsayıları incelenmiş, uzmanların madde cevaplama olasılıkları ortalamaları
ile gerçek madde güçlükleri arasındaki korelasyon katsayısı 0,60 olarak bulunmuĢtur.
Üniversitenin belirlediği kesme puanı olan 35 üzerinde puan alan öğrenci yüzdesi ise
iĢaretleme yöntemine göre belirlenen iki kesme puanından RP50'ye göre 19 puan,
RP67'ye göre 25 puan ve Angoff yöntemine göre 27 puan üzerinde puan alan öğrenci
yüzdeleri arasında 0,01 düzeyinde fark olduğu, ancak cevaplama olasılıkları RP50 ve
RP67'ye göre ve iĢaretleme yöntemi ile Angoff yöntemine göre belirlenen kesme
puanları üzerinde puan alan öğrenci yüzdeleri arasında ise önemli bir fark olmadığı
saptanmıĢtır.
Farklı MTK modelleri ve Cevaplama Olasılığı (RP Response Probability) değerlerinin
maddelerin sıralı madde kılavuzundaki yerlerini değiştirip değiştirmediği sıralı madde
kılavuzları karşılaştırılarak incelenmiştir. 1PLM'de madde sıralamalarında herhangi bir
değişiklik olmadığı, 2PLM'de ise RP değerlerine göre yapılan iki farklı sıralamada
sadece 12 maddenin aynı sırada kaldığı, 33 maddenin ise sıralamasının değiştiği
görülmüştür. 2PLM'e göre ise RP50 ve RP67 dikkate alınarak yapılmış sıralamaların
1PLM'e göre ve kendi aralarında oldukça düşük korelasyon katsayıları verdiği, yani
sıralamalarının 1PLM'e göre ve kendi aralarında büyük ölçüde farklılaştığı
görülmüştür.
Standart belirleme sürecinin çalışılan uzmanlarca yapılacak değerlendirmesi için
geliştirilen standart belirleme sürecini değerlendirme anketi süreç boyunca çalışılan
uzmanlara uygulanmış, sorulara verilen cevaplar genel olarak incelendiğinde
uzmanların yöntemleri anlaşır ve kullanılabilir bulduğu görülmüştür.

Abstract:
In this study an entry level examination of a foundation university, includes 55
questions of grammar and vocabulary section, for english preparatory class students is
used which has a predetermined qualifying score. Bookmark and Angoff standard
setting methods are used to re-calculation of the cut score of this examination and the
cut scores compared to current qualifying score.
Cut score of English Preparatory Program using Angoff Method is determined by the
help of 17 English language experts. The language experts are asked to estimate percent
of the A2 border level students giving correct answer to each test item. The final cut
score is determined as 27,83 using Angoff method with 17 experts. A difference of 8
points is determined between the cut score of university and this study.
As a secondary method, cut score of English Preparatory Program using Bookmark
Method is also determined by the help of 17 English Language Experts. As a result of
calculations; 19.242 is determined as a cut score for 1PLM and RP50 values, 25.247 is
determined for 1PLM and RP67, 18.897 for 2PLM and RP50, 25.102 for 2PLM and
RP67.
Correlation co-efficents are examined between probabilities of expert answers and real
item difficulties to see relationship level between experts' determining probability of
right answers and the real difficulty of the items. The correlation co-efficent between
experts' determining probability of right answers and the real difficulty of the items is
determined as 0.60.
In this study it is find that there is a significant difference between the percent of
students whose score is more than qualifing score determined by the foundation
university which is 35 point and the percent of students whose score is more than cutvii
scores determined by Bookmark Method for RP50 that is 19, and for RP67 that is 25
and Angoff Method that is 27 points; but it is also find out that there is no significant
difference between the percent of students whose score is more than cut scores
determined by the Bookmark Method with RP50 and RP67; and Angoff Method and
Bookmark Method.
In this study it is also analysed if the choice of different RP and IRT model result in
different orderings of the items in the ordered item booklets. For 1PLM it is seen that
item orderings does not change but for 2 PLM choice of two different RP change
orderings of the items. Orderings of 33 items in 2PLM change according to choice of
response probabilities. Correlations calculated between the ranks of 2PLM and 1PLM is
is tended to be very weak.
To evaluate the standard setting process an evaluation form is answered by the experts
who involved in standard setting process. Answers to the questions in the form shows
that most of the experts finds standard setting methods understandable and usefull