Çoktan seçmeli testlerde hesaplanan madde güçlüğü, ayırt ediciliği ve çeldirici işlevselliğinin uzman görüşleriyle karşılaştırılması
A comparison of item difficulty, discirimination and distractor functionality calculated in multiple-choice test with expert opinions
Yazar: SEMA ÖZDEMİRLER
Danışman: DOÇ. DR. UFUK AKBAŞ
Hasan Kalyoncu Üniversitesi / Lisansüstü Eğitim Enstitüsü / Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu araştırmada uzmanların madde güçlüğü, madde ayırt ediciliği ve çeldiricilerin elenme olasılıklarını ne derece isabetli tahmin ettiklerinin belirlenmesi amaçlanmaktadır. Korelasyonel bir çalışma olarak bu araştırmanın örneklemini dört yüksek eğitim kurumunun eğitim fakültelerinde öğrenim görmekte olan Eğitimde Ölçme ve Değerlendirme dersini tamamlamış 150 öğrenci ile yükseköğretim kurumlarında görev alan dört ölçme ve değerlendirme uzmanı oluşmaktadır. Araştırma kapsamında geliştirilen 20 soruluk çoktan seçmeli test ve uzman görüş formu kullanılmıştır. Uygulamadan elde edilen veriler ile uzman tahmin ortalamaları oran testi kullanılarak karşılaştırılmıştır. Uzmanların çeldiricilerin elenme olasılıklarına yönelik tahminleri ile uygulama sonucunda elde edilen veriler karşılaştırılmasında oran testi z değerine göre manidar bir fark bulunmamıştır. Uzmanların çeldiricilerin elenme durumlarını isabetli tahmin ettiği tespit edilmiştir. Uzmanları madde güçlüğüne ilişkin ortalama tahmin değerleri ile uygulamadan elde edilen veriler karşılaştırılmış ve manidar fark olmadığı sonucuna ulaşılmıştır. Elde edilen sonuç doğrultusunda uzmanların madde güçlüğünü isabetli tahmin ettikleri tespit edilmiştir. Madde ayırt ediciliğine yönelik yapılan oran testi sonuçlarında da uzmanların isabetli tahmin ettiğine yönelik bulgular elde edilmiştir.  

Anahtar Kelimeler: çoktan seçmeli testler, uzman görüşü, çeldirici işlevselliği, madde güçlüğü, madde ayırt ediciliği, yanıtlayıcı davranışı

Abstract:
In this study, it is aimed to determine how accurately the experts predict item difficulty, item discrimination and the elimination probability of distractors. As a correlational study, the sample of this research consists of 150 students who have completed the Measurement and Evaluation in Education course in the faculties of education of four higher education institutions and four measurement and evaluation experts working in higher education institutions. A 20-question multiple-choice test developed within the scope of the research and an expert opinion form were used. The data obtained from the application and the expert estimation averages were compared using the ratio test. No significant difference was found according to the ratio test z value in the comparison of the experts' predictions about the elimination probabilities of the distractors and the data obtained as a result of the application. It was determined that the experts accurately estimated the elimination probabilities of the distractors. The average prediction values of the experts regarding the item difficulty and the data obtained from the application were compared and it was concluded that there was no significant difference. In line with the result obtained, it was determined that the experts accurately estimated the item difficulty. In the results of the ratio test for item discrimination, it was also found that the experts estimated accurately.

Keywords: multiple-choice tests, expert prediction, distractor functionality, item difficulty, item discrimination, respondent behavior