Dikey ölçeklemede klasik test ve madde tepki kuramına dayalı yöntemlerin karşılaştırılması
Comparison of the methods of classical test theory and item response theory in vertical scaling
Yazar: EMRE ÇETİN
Danışman: DOÇ. SELAHATTİN GELBAL
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Bölümü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2009
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Dikey ölçekleme = Vertical scaling ; Klasik Test Kuramı = Classical Test Theory ; Madde Tepki Kuramı = Item Response Theory ; Test eşitleme = Test equating ; Test sınavı = Test exam ; Test yöntemleri = Test methods ; Testler = Tests ; Ölçekleme = Scaling

Özet:
Dikey ölçekleme, öğrencilerin, ardışık sınıf ya da yaş seviyelerinde matematik ya da dilbilgisi gibi alanlarda, ne kadar gelişim ortaya koyduğunu belirlemeye yarayan bir bağlama türüdür. Bu araştırmanın amacı, dikey ölçekleme işlemi sonucunda, sınıf seviyesi arttıkça, bu seviyelerde meydana gelen büyümenin örüntüsünü çıkarmak ve bu örüntünün örneklem büyüklüğünden nasıl etkilendiğini belirlemektir.Araştırmanın verilerini, 2005 yılında Türkiye genelinde yapılan İlköğretim Öğrencilerinin Başarılarının Belirlenmesi Sınavı (ÖBBS)'na ait 6., 7. ve 8. sınıf öğrencileri oluşturmaktadır. Araştırma 6. sınıfta 13401, 7. sınıfta 5368 ve 8. sınıfta da 11200 öğrenci üzerinden yürütülmüştür.Dikey ölçekleme, Klasik Test Teorisi (KTT) ve Madde Yanıt Kuramı (MTK) temelinde uygulanmıştır. Klasik Test Teorisine dayalı olarak Thurstone (1938), Madde yanıt Kuramına dayalı olarak yapılan yetenek kestirimlerinde de Expected A Posteriori (EAP) puanlama yolu kullanılmıştır. MTK seçiminde model veri uyumu sonucunda 2 parametreli modelin madde yetenek kestirimi için daha uygun olduğu ortaya çıkmıştır.Dikey Ölçeklemenin değerlendirme ölçütü olarak; örneklem büyüklüğünde farklı örneklemlere ait ilgilenilen istatistiğin standart sapmaları, akademik gelişim için ise ortalama, standart sapma ve etki büyüklüğü değerleri kullanılmıştır.Örneklem büyüklüğünün etkisini belirlemek amacıyla, ilk olarak tüm örneklem üzerinden Thurstone Ölçekleme işlemi yürütülmüş, daha sonra da tüm örneklemden 250, 500 ve 1000'er kişilik 100'er örneklem yerine koyma (bootstrap) yöntemiyle seçilmiştir. Her örneklem büyüklüğü için ortalama ve standart sapma değerleri örnekleme hatası olarak değerlendirilmiştir.Araştırma sonunda, KTT'ya dayalı Thurstone ölçeklemede ortalama örüntüsünden bağımsız olarak matematik ve Türkçe testlerinde sınıf seviyesi ile birlikte standart sapmalar artış göstermektedir.MTK'ya dayalı ölçekleme sonunda, matematik dersinde, sınıf seviyesi ile ortalamalar tutarlı bir artma ya da azalma göstermez iken, standart sapmalar sınıf seviyelerine bağlı olarak artış göstermiştir. Fakat Türkçe testine ait, MTK ölçeklemesinde gerek ortalama gerekse standart sapmalarda düzenli bir örüntü meydana gelmemiştir.Örneklem büyüklükleri, Thurstone yöntemiyle incelendiğinde, 1000 kişilik örneklemin, hatayı minimize ettiği ve örneklem küçüldükçe (250), örnekleme hatasının arttığı görülmektedir.Bulgular ve yorumlar sonucunda, akademik gelişimin ölçeklenmesi için kullanılan ölçütler incelendiğinde, standart sapmaların tutarlı bir şekilde arttığı gözlenmektedir. Gerek KTK gerekse MTK uygulamalarında, ortalamaların seyrinden farklı olarak standart sapmaların arttığı söylenebilir. Thurstone ölçeklemede en az 1000 kişilik bir örneklem grubu kullanılması önerilmektedir.

Abstract:
Vertical Scaling is a kind of linking which is used to determine how much the students of adjacent grades or ages have improved in the subject areas such as Maths and Language. The purpose of this research is, as a result of vertical scaling, to establish the pattern of students? improvement in certain levels as class grade increases and to find out how this pattern is affected by the amount of the sample size.The data in this research were obtained from the Achievement Exam (OBBS) results for Turkish primary school students of the 6th, 7th and 8th grades in 2005. The research was conducted among 13401 students from the 6th grade, 5368 from the 7th and 11200 from the 8th.Vertical Scaling was conducted based on Classic Test Theory (CTT) and Item Response Theory (IRT). Thurstone (1938) scaling method was used based on CTT, and Expected A Posteriori (EAP) scaling method was used in IRT estimation. When IRT was chosen, as a result of model-data fit, the two-parameter model was found to fit the data better than other models.As evaluation criteria of vertical scaling, standard deviations of related statistics obtained from different samplings were used in sampling size ; and mean standard deviation and effect size figures in academic growth were used.To determine the effect of sampling size; firstly, Thurstone scaling method was conducted for the whole sampling, and later from this sampling 100 samplings of 250, 500 and 1000 persons were chosen by means of bootstrap method. For every sampling size, mean and standard deviations were considered as error of sampling.At the end of the research, free from its mean pattern in Thurstone Scaling based on CTT, standard deviations in Maths and Turkish Tests rise as class levels increase.At the end of the scaling based on IRT, whereas class levels and means in maths do not increase or decrease consistently, standard deviations increase related to certain levels. However, in IRT scaling of the Turkish Test, a consistent pattern is obtained neither in means nor in standard deviations.When sampling sizes are analyzed by means of Thurstone method, it is found that the sampling of 1000 persons minimizes the error, and that as sampling size gets smaller (250), sampling error increases.According to the results and conclusions, when criteria to observe growth are studied, it is found that as class levels increase, so do standard deviations consistently. In the conducts of CTT and IRT, it can be said that standard deviations increase free from the increase or decrease of means. It is suggested that in Thurstone Scaling a sampling of at least 1000 persons be used.