Angoff, nedelsky ve ebel standart belirleme yöntemleri ile belirlenen kesme puanlarının karşılaştırılması
A comparison of cutting points determined by angoff, nedelsky and ebel standard setting methods
Yazar: OKAN DEMİR
Danışman: YRD. DOÇ. DR. İBRAHİM ALPER KÖSE
Abant İzzet Baysal Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2014
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Angoff Standart Belirleme Yöntemi = Angoff Standard Setting Method ; Ebel Standart Belirleme Yöntemi = Ebel Standard Setting Method ; Kesme puanlar = Cut points ; Matematik başarısı = Mathematics achievement ; Nedelsky Standart Belirleme Yöntemi = Nedelsky Standard Setting Method ; Standart puanlamalı kurallar = Standard scoring rules ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırma ile test merkezli standart belirleme yöntemlerinden olan Angoff, Nedelsky ve Ebel yöntemleri ile belirlenen kesme puanlarının karşılaştırılması amaçlanmıştır.
Araştırmada öğrenciler ve uzmanlar olmak üzere iki farklı gruptan veri toplanmıştır. Dokuzuncu sınıf matematik dersi kümeler ve denklemler-eşitsizlikler öğrenme alanına ait kazanımları ölçmek amacıyla araştırmacı tarafından hazırlanan 26 maddeden oluşan matematik başarı testi 245 öğrenciye uygulanmış, elde edilen başarı puanları araştırmanın öğrenci verileri olarak kullanılmıştır. Araştırmada kullanılan uzman verileri,  araştırmacı tarafından geliştirilen ve her bir uzmanın üç farklı standart belirleme yöntemi için vermiş oldukları kararları içeren "Uzman Görüşleri Formu" ile toplanmıştır. 
Her bir standart belirleme yönteminin belirlediği kesme puanına göre başarılı kabul edilen öğrenci yüzdeleri arasında anlamlı fark olup olmadığı bağımlı iki yüzde arasındaki farkın testi ile sınanmıştır. Yöntemler tarafından belirlenen kesme puanlarına göre öğrenciler başarılı-başarısız şeklinde kategorize edilip, yöntemler arasındaki uyuma Cohen's Kappa İstatistiği ile bakılmıştır. Her bir yöntem için uzmanlar tarafından belirlenen minimum geçme puanları arsındaki ilişkiye Pearson Momentler Çarpımı Korelasyon Katsayısı ile minimum geçme puanlarının ortalamaları arasındaki farka ise Bağımlı Gruplar t Testi ile bakılmıştır.
Araştırma sonucunda en yüksek kesme puanının Angoff yöntemi, en düşük kesme puanının Nedelsky yöntemi tarafından belirlendiği ve farklı standart belirleme yöntemlerine göre kesme puanının üzerinde puan alarak başarılı kabul edilen öğrenci yüzdelerinin anlamlı şekilde farklılaştığı görülmüştür. Hesaplanan kesme puanlarına göre öğrenciler başarılı ve başarısız olarak sınıflandırılıp yöntemler ikili olarak karşılaştırıldığında, Angoff ve Ebel yöntemleri ile Ebel ve Nedelsky yöntemleri arasında yüksek derecede pozitif yönde bir uyumun olduğu, Angoff ve Nedelsky yöntemleri arasında ise pozitif yönde makul bir uyumun olduğu görülmüştür. 
Angoff ve Nedelsky yöntemleri arasında, uzmanlardan elde edilen minimum geçme puanları bakımından düşük düzeyde bir ilişki olduğu görülürken, minimum geçme puanlarına ait ortalamalar arasındaki fark anlamlı bulunmuştur. Angoff ve Ebel yöntemleri arasında yüksek düzeyde anlamlı bir ilişki olduğu görülürken, bu iki yönteme ait minimum geçme puanlarının ortalamaları arasındaki fark anlamlı bulunmamıştır. Nedelsky ve Ebel yöntemleri arasında düşük düzeyde bir ilişki olduğu görülürken, bu iki yönteme ait minimum geçme puanlarının ortalamaları arasındaki fark anlamlı bulunmamıştır.

Abstract:
In this study, it was aimed to compare the cutting points determined by Angoff, Nedelsky and Ebel methods, one of test-based standard setting methods. 
In this study, data were collected from two different groups comprising of students and experts. The mathematics achievement test, comprising of 26 questions which are developed by the researcher with the aim of evaluating the objectives of 9th grade mathematics course related to the subjects of sets and equations-inequalities, is applied to 245 students and obtained achievement scores are used as student data of the study.  Expert data of the study are collected by the "Expert Opinion Form" developed by the researcher and containing the decisions given by experts about three different standard methods.
The differences between the percentages of students, considered as successful according to cut-off scores determined by each standard methods, have been tested with the test of difference between two percentages. The scores of students were categorized as successful and unsuccessful according to the cut-off scores determined by three methods. The compliance between three methods has been examined with Cohen's Kappa statistics. For each method, the relationship between the minimum passing scores defined by experts has been evaluated with Pearson-Product Moment Correlation Coefficient and the difference between the averages of the cut-off scores has been evaluated with paired samples t-test.
At the end of this research, it is seen that the highest cut-off score is determined by Angoff method while the lowest cut-off score is determined by the Nedelsky method and also the percentages of students, considered as successful by taking above the cut-off points, differ statistically significant. When the students are classified as successful and unsuccessful according to calculated cut-off scores and the methods are compared as binary, it is seen that there is a high positive compliance between Angoff and Ebel methods and Ebel and Nedelsky methods while there is a positive compliance between Angoff and Nedelsky methods. 
It is seen that there is a low relationship between Angoff and Nedelsky methods in terms of the minimum passing scores obtained from the experts whereas the difference between the averages of minimum passing scores is significant. There is a high level significant relationship between Angoff and Ebel methods while the difference between the averages of minimum passing scores of these two methods is not significant. It is found that there is a low level relationship between Nedelsky and Ebel methods, while there is no significant difference between the averages of minimum passing scores of these two methods.