İngilizce B1 seviye atlama sınavının kesme puanının farklı standart belirleme yöntemlerine göre incelenmesi
Examination of the cutting score of the English B1 leveling exam according to different standard determination methods
Yazar: RÜMEYSA KAYA
Danışman: PROF. DR. BAYRAM ÇETİN
Gaziantep Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Angoff Standart Belirleme Yöntemi = Angoff Standard Setting Method ; Ebel Standart Belirleme Yöntemi = Ebel Standard Setting Method ; Kesme puanlar = Cut points ; Nedelsky Standart Belirleme Yöntemi = Nedelsky Standard Setting Method ; Standartlar = Standards ; Sınav = Examination ; Yabancı dil eğitimi = Foreign language education ; Yabancı dil öğretimi = Foreign language teaching ; Üniversiteler = Universities ; İngilizce = English

Özet:
Bu araştırmada Angoff, Angoff Y/N, Nedelsky ve Ebel standart belirleme yöntemlerinden elde edilen kesme puanları kendi aralarında, sınavın mevcut kesme puanıyla ve norma dayalı bir değerlendirme olan 50 T puanı ile çeşitli yönlerden karşılaştırılmıştır. Çalışmada bir üniversitenin yabancı diller yüksekokulunun B1 kuru için hazırladığı 62 sorudan oluşan sınavı, 448 öğrenciye uygulanmıştır. Çalışmada en düşük kesme puanını Nedelsky yönteminin, en yüksek kesme puanını Angoff Y/N yönteminin verdiği görülmüştür. Yöntemlere göre başarılı sayılan öğrenci yüzdeleri arasındaki farka z testi ile bakılmış ve yöntemlerin ikili karşılaştırılmalarının tamamında aralarındaki fark anlamlı bulunmuştur. Öğrencilerin yöntemlere göre başarı durumlarının sınıflandırılmasına Cohen's Kappa testi ile bakılmış ve en yüksek uyumun Angoff ile Ebel yöntemleri arasında, en düşük uyumun Angoff Y/N ile Nedelsky yöntemleri arasında olduğu görülmüştür. Yöntemlere ait minimum geçme puanları arası ilişkiyi incelemek için Spearman Brown Sıra Farkları Korelasyon katsayısı hesaplanmış, en yüksek ilişkinin Angoff-Ebel yöntemleri arasında olduğu görülmüştür. Yöntemlere ait minimum geçme puanları ortalamaları arasındaki farkın anlamlılığına bakmak için Wilcoxon testi yapılmış ve test sonucunda Angoff-Nedelsky, Angoff-Ebel, Angoff Y/N-Nedelsky ve Nedelsky-Ebel yöntemleri arasında anlamlı farklılık olduğu görülmüştür. Uzmanlar arası uyumun Angoff yönteminde orta düzeyde, Ebel ve Nedelsky yönteminde yüksek düzeyde olduğu görülmüştür. Mevcut kesme puanına ve 50 T puanına göre başarılı sayılan öğrenci yüzdesi ile yöntemlere göre başarılı sayılan öğrenci yüzdelerinin karşılaştırılması sonucunda aralarında anlamlı farklılık bulunmuştur.  50 T puanına ve yöntemlere göre öğrencilerin başarı durumlarının sınıflandırılmasında 50 T puanı ile en iyi uyumu Nedelsky yönteminin verdiği görülmüştür.

Anahtar Sözcükler: Kesme Puanı, Angoff Yöntemi, Angoff Y/N Yöntemi, Nedelsky Yöntemi, Ebel Yöntemi

Abstract:
In this study, the cut-off scores obtained from the Angoff, Angoff Y/N, Nedelsky and Ebel standard-setting methods were compared among themselves with the current cut-off score of the exam and the T score of 50 in various aspects. The exam consisting of 62 questions prepared by a university school for B1 level was applied to 448 students. Nedelsky gave the lowest cut-off score, Angoff Y/N gave the highest cut-off score. The difference between the percentages of students who were considered successful according to the methods was examined by means of the z-test, the difference between them was found to be significant in all pairwise comparisons of the methods. The classification of the students' success according to the methods was examined with the Cohen's Kappa test, the highest agreement was found between Angoff-Ebel, the lowest agreement Angoff Y/N-Nedelsky. To examine the relationship between the minimum passing scores of the methods, the Spearman Brown Rank Differences Correlation coefficient was calculated, the highest correlation was between the Angoff-Ebel. Wilcoxon test was used to examine the significance of the difference between the minimum passing scores of the methods and a significant difference was observed between Angoff-Nedelsky, Angoff-Ebel, Angoff Y/N-Nedelsky and Nedelsky-Ebel. Inter-expert agreement is moderate in Angoff's and high in Ebel and Nedelsky's method. There was a significant difference between the current cut-off score of 50 T score, the percentage of students who were considered successful according to the methods. It was seen that Nedelsky method gave the best fit with 50 T score.

Keywords: Cutoff Score, Angoff Method, Angoff Y/N Method, Nedelsky Method, Ebel Method