PISA 2018 testinde birey-uyum indekslerine göre anormal yanıt desenlerinin belirlenmesi
Determining aberrant response patterns according to person-fit indexes in the PISA 2018 test
Yazar: ESRA KAMACI
Danışman: PROF. DR. DİLARA BAKAN KALAYCIOĞLU
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Birey uyum istatistikleri = Person fit statistics ; Cevaplar = Answers ; Puanlama = Scoring ; Uluslararası Öğrenci Değerlendirme Programı = Programme for International Student Assesment ; İndeks = Index

Özet:
Eğitimsel ve psikolojik testlerde amaç gerçek puanlara yakın toplam puanlar elde etmektir. Testten alınan toplam puanlar, testi alan bireyin yanıt verme süreçlerinin gerçek yönlerini doğru bir şekilde yansıtamazsa geçersiz puan çıkarımları yapılabilir. Toplam puanlarla ilgili geçersiz çıkarımlara yol açabilecek durumlardan bir tanesi testi alan bireyin zor maddeleri doğru yanıtlarken kolay maddeleri yanlış yanıtlamasıdır. Test maddelerini bu şekilde yanıtlayan bireyleri tespit etmek için birey uyum indeksleri hesaplanmalıdır. Bu araştırmaya konu olan birey uyum indeksleri bireyin yanıt deseninin örneklemdeki diğer yanıt desenleri ile uyumunu araştırmak için kullanılan ve daha önceki çalışmalarda performansı sınanmış parametrik olmayan Ht, U3 ve C*  indeksleridir. Çalışma için gerekli veri seti OECD tarafından 15 yaş grubundaki öğrencilerin belirli alanlarda kazandıkları bilgi ve becerileri değerlendirmek için yapılan ve uluslararası bir araştırma olan PISA'ya katılan ülkeler arasından Amerika Birleşik Devletleri, Çin, Güney Kore, Japonya, Rusya ve Türkiye'ye ait ikili puanlama yapılmış maddelerden elde edilmiştir. Veri seti R studio programına yüklenerek programda bulunan PerFit kütüphanesi yardımıyla indeksler hesaplanmış, her örneklem için kesme puanları belirlenmiş ve bu puanlar yardımıyla tüm ülkelerde anormal yanıt desenine sahip bireyler tespit edilmiştir. Öğrencilerin indeks puan ortalamalarının ülkeler ve formlar bazında karşılaştırmaları için ANOVA testi yapılmış ve ortalamalar arasındaki farklılaşmaların anlamlı olduğu tespit edilmiştir. Ortalamalar arasında meydana gelen farklılaşmaların hangi ülkeler ve formlardan kaynakladığını tespit etmek için Post-Hoc testi yapılmıştır. Anormal yanıt desenine sahip öğrencilerin madde yanıt grafikleri çizdirilmiştir ve öğrenci sayısının ülkelere ve formlara göre karşılaştırmak için ꭕ2 ilişki testi yapılmış ve öğrenci sayıları arasında anlamlı bir fark bulunmamıştır.

Abstract:
The aim of educational and psychological tests is to obtain total scores that are close to the real scores. If the total scores obtained from the test do not accurately reflect the true nature of the test taker's response process, invalid score inferences may be made. One of the situations that can lead to invalid inferences about total scores is when the test taker answers difficult items correctly but answers easy items incorrectly. To identify test takers who respond to the test items in this way, individual fit indices should be calculated. The non-parametric Ht, U3, and C* indices, which have been studied in previous research and are used to examine the conformity of the test taker's response pattern with other response patterns in the sample, are the subject of this research. The data set for this study was obtained from the binary scoring items of the United States, China, South Korea, Japan, Russia, and Turkey, which participated in the PISA, an international research conducted by the OECD to assess the knowledge and skills acquired by 15-year-old students. The data set was uploaded to the R studio program and the indexes were calculated with the help of the PerFit library in the program, cutting scores were determined for each sample and with the help of these scores, individuals with aberrant response patterns were identified in all countries. ANOVA test was performed for the comparison of the index score averages of the students on the basis of countries and forms and it was determined that the differences between the averages were significant. Item response graphs of students with aberrant response patterns were drawn, and ꭕ2 relationship test was performed to compare the number of students by country and form, and no significant difference was found between the number of students.