Angoff ve doğrudan uzlaşma standart belirleme yöntemlerinin karşılaştırılması
A comparison of Angoff and direct consensus standard setting methods
Yazar: GAMZE ÖZSOY DEMİREL
Danışman: PROF. DR. ZEKERİYA NARTGÜN
Bolu Abant İzzet Baysal Üniversitesi / Lisansüstü Eğitim Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme Ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu araştırmada Angoff ve Doğrudan Uzlaşma standart belirleme yöntemleri
ürettikleri kesme puanları ve çalışılan uzmanların yöntemlere ilişkin görüşleri
açısından karşılaştırılmıştır.
Araştırmanın öğrenci verileri ortaokul 5. Sınıf matematik dersi "Sayılar ve
İşlemler" öğrenme alanına yönelik 24 maddelik bir başarı testinin 52 öğrenciye
uygulanmasıyla elde edilmiştir. Yöntemlerin uygulanması ve değerlendirilmesi için
10 uzmanla çalışılmıştır. Uzmanların kararları sonucunda Angoff yöntemine dair
kesme puanı 52,04, Doğrudan Uzlaşma yöntemine dair kesme puanı 49,17 olarak
hesaplanmıştır. Angoff yöntemine göre öğrencilerin %52'si, Doğrudan Uzlaşma
yöntemine göre öğrencilerin %58'i başarılı sayılmıştır. Yüzde değerleri arasındaki
farklılık z-testi ile sorgulanmış ve farklılığın anlamlı olmadığı tespit edilmiştir.
Yöntemlere göre öğrencilerin başarılı-başarısız olma durumları arasında, Cohen'in
Kappa katsayısı 0,88, Spearman Brown Sıra farkları korelasyon katsayısı 0,89
hesaplanarak mükemmel uyum ve yüksek ilişki tespit edilmiştir. Yöntemlere göre
minimum geçme puanları (MGP) arasındaki ilişki Pearson Momentler Çarpımı
Korelasyon Katsayısı ile araştırılmış ve değerin 0,80 olduğu görülerek MGP'lerin
pozitif yönde yüksek ilişkili olduğu sonucuna ulaşılmıştır. Uzmanların yöntemlere
dair görüşleri betimsel olarak incelendiğinde Doğrudan Uzlaşma yöntemine
yönelik daha yüksek olumlu görüş geliştirildiği sonucuna ulaşılmıştır.

ANAHTAR KELİMELER: Standart Belirleme, Kesme Puanı, Angoff Yöntemi, Doğrudan Uzlaşma Yöntemi

Abstract:
In this study, Angoff and Direct Consensus standard-setting methods were
compared in terms of the cut-off scores they produced and the opinions of the
experts on the methods.
The student data of the study were obtained by applying a 24-item
achievement test for the "Numbers and Operations" of 5th grade mathematics to 52
students. 10 experts were employed to implement and evaluate the methods. The
cut-off point for the Angoff method was calculated as 52.04, Direct Consensus
method was calculated as 49.17. According to the Angoff method 52%, according
to the Direct Consensus method 58% of the students were considered successful.
The difference between the percentage values was analized with the z-test and it
was not significant. According to the methods, a perfect compatibility and a high
correlation were determined by calculating Cohen's Kappa coefficient of 0.88 and
Spearman's coefficient of 0.89 between students' successful-unsuccessful states.
The relationship between the minimum passing scores (MPS) according to the
methods was investigated with the Pearson's r, and the value was 0.80, and it was
concluded that the MPSs were positively correlated. When the opinions of the
experts on the methods were analyzed descriptively, it was concluded that a higher
positive opinion was developed for the Direct Consensus method.

KEYWORDS: Standard setting, Cut-off Score, Angoff Method, Direct Consensus Method