Yükseköğretime geçiş sınavının sınıflama tutarlılığının farklı yöntemlerle elde edilen kesme puanlarına göre incelenmesi
The study of classification consistency of transition to higher education examination according to the cut-off scores obtained from different methods
Yazar: ERDEM BODUROĞLU
Danışman: DOÇ. DR. DEVRİM ALICI
Mersin Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2017
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Kesme puanlar = Cut points ; Puanlayıcılar arası tutarlılık = Interrater reliability ; Sınav = Examination ; Sınav yöntemleri = Examination methods ; Yükseköğretim = Higher education ; Ölçme-değerlendirme = Measurement and evaluation ; Üniversite giriş sınavları = University entrance examinations

Özet:
Bireyin ve toplumun geleceğine yön veren kritik sınavlarda (TEOG, YGS, KPSS vb.) standart belirleme süreçlerinin nasıl işlediği ve kesme puanlarının nasıl belirlendiği önemli bir yere sahiptir. Bu araştırmada, Yükseköğretime Geçiş Sınavında (YGS) kullanılan kesme puanıyla (180), Sınır Grup, Karşıt Grup, İşlem Karakteristik Eğrisi (ROC) yöntemlerinden elde edilen kesme puanlarının, sınıflama tutarlılıklarının karşılaştırılması amaçlanmıştır.
Araştırmanın verileri, Niğde merkez ortaöğretim kurumlarından bir okulda 12. sınıfta öğrenim görmekte olan ve 2015 YGS' ye katılan 167 öğrenci ile bu öğrencileri değerlendiren 7 kişilik uzman grup (öğretmen) aracılığıyla elde edilmiştir. Sınav öncesinde uzman gruptan, öğrencilerin 2015 YGS' de başarılı olarak ikinci aşama sınavına (LYS) geçip geçemeyeceği hakkında görüş alınmıştır ve öğrenciler başarılı-başarısız ve sınırda olmak üzere sınıflandırılmıştır. Sınav sonrasında, öğrencilerin 2015 YGS' de aldıkları farklı puan türlerinden en yüksek olanı belirlenerek, uzman görüşleriyle karşılaştırılmak üzere veri girişleri tamamlanmıştır.
Araştırmadan elde edilen verilerin analizi aşamasında, öncelikle uzman görüşleri arasındaki uyum düzeyleri incelenmiştir ve Sınır Grup, Karşıt Grup ve ROC eğrisi yöntemleri için ayrı ayrı kesme puanları elde edilmiştir. Bu kesme puanlarına göre başarılı kabul edilen öğrenci yüzdeleri arasındaki fark, bağımlı iki yüzde arasındaki fark testi ile sınanmıştır. Son olarak ise kesme puanlarının sınıflama tutarlılıkları belirlemek amacıyla Cohen Kappa katsayısı hesaplanmıştır. Araştırmadan elde edilen bulgular sonucunda, farklı yöntemlerle elde edilen kesme puanlarının birbirine yakın değerler olduğu görülmüştür. Kesme puanlarına göre başarılı kabul edilen öğrenci yüzdeleri ikili olarak karşılaştırıldığında manidar bir fark görülmemiştir. YGS kesme puanı ölçütüne göre tüm yöntemlerle elde edilen kesme puanlarının sınıflama tutarlılığı indekslerinin yüksek olduğu görülmüştür. Uzman görüşleri ölçüt olarak alındığı takdirde ise sınıflama tutarlılığı indeksleri daha düşük sonuçlar vermiştir.


Anahtar Kelimeler: Standart belirleme, kesme puanı, sınır grup, karşıt grup, roc curve, sınıflama tutarlılığı

Abstract:
How the cut-off scores are determined and how standard setting processes work in the exams those lead the future of the individuals and society (such as TEOG, YGS, KPSS etc.) have a critical point. In this study, it's aimed to compare the cut-off scores used in transition to higher education examination YGS (180) with the cut-off scores and classification consistency those are obtained with the medhods of borderline group, contrasting groups and receiving operating characteristic curve ( ROC).
Research data is obtained through a group of 167 12th grade students studying at a high school in Nigde those attended YGS 2015 and seven experts group (teachers). Before the YGS, the opinions of the experts group are taken whether students would pass to second stage exam (LYS) , and the students are classified as successful-unsuccessful and borderline. At the end of the YGS, data entries are completed by determining the highest points chosen from the different point options and comparing with the expert opinions.
In the course of analyzing the data obtained from the study, compliance levels between the expert opinions are primarily examined and different cut-off scores for the borderline group, contrasting groups and ROC curve. Difference between the percentage of successful students according to the cut-off scores are tested with a difference test between two dependent percentages. Finally, Cohen Kappa coefficient is calculated in order to determine the classification consistency of cut-off scores. As a result of the study findings, it was seen that the cut-off scores obtained from diffent methods were close values. When compared as binary according to the successful student percentages of cut-off scores, no significant different was seen. It was seen that all the classification consistency indexes of cut-off scores obtained according to the criteria of YGS cut-off scores were high. When experts opinions are as criteria , classification consistency indexes resulted in lower outcomes.


Key Words: Standard setting, cut-off scores, borderline group, contrasting groups, ROC curve, classification consistency