Madde parametre kaymasının bulunduğu durumlarda test eşitlemede farklı kalibrasyon yöntemleriyle elde edilen kestirimlerin karşılaştırılması
A comparison of estimates obtained with different calibration methods in test equating in the presence of item parameter drift
Yazar: AYŞE BİLİCİOĞLU GÜNEŞ
Danışman: DOÇ. DR. ERGÜL DEMİR
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Araştırmada, ortak maddeli eşdeğer olmayan gruplar deseninde, ortak maddelerde madde parametre kaymasının (MPK) varlığında, Madde Tepki Kuramı (MTK)'na dayalı test eşitlemede kullanılan farklı kalibrasyon yöntemleriyle elde edilen kestirimlerin karşılaştırılması amaçlanmıştır. Bu amaçla araştırmanın ilk bölümünde, MPK'nin kalibrasyon yöntemleriyle (Haebara (H), Stocking-Lord (SL), Ortalama-Ortalama (OO), Ortalama-Standart Sapma (OS)) kestirilen a-b parametresi ile A-B sabiti üzerine etkisi; MPK'li madde oranının (%0, %25, %50, %75), MPK türünün ("a", "b", "axb") ve yetenek dağılımının (N(0,1), N(.2,1), N(-.2,1)) değişimlendiği farklı koşullar altında incelenmiştir. Benzetim tabanlı araştırma modelindeki bu araştırmada kullanılan MTK modeli (2PL), örneklem büyüklüğü (1000), ortak madde sayısı (20) ve test uzunluğu (100) sabit tutulan koşullardır. Araştırmanın ikinci bölümünde, elde edilen bulguların gerçek veriyle desteklenmesi amacıyla TIMSS 2011'deki kitapçık 5 ve 6'nın verileri kullanılmıştır. Ardından, tüm veri setlerine ilişkin geçerlik çalışmalarıyla eşitlemenin varsayımları sınanmıştır. Varsayımların sınanmasından sonra farklı koşullar altında elde edilen A-B sabiti ile a-b parametresine ilişkin standart hata, yanlılık ve ortalama hata kareleri kökü (OHKK) değerleri bulguların değerlendirilmesinde ölçüt olarak kullanılmıştır. Hata değerlerinin elde edilmesinin ardından, değişkenlerin etkilerinin ortaya konulması amacıyla faktöriyel ANOVA; varyans kaynaklarının detaylı incelenebilmesi amacıyla Tukey- LSD testi kullanılmıştır.  Araştırmanın sonucunda, farklı MPK oranları, MPK türü-büyüklükleri ve yetenek dağılımlarının hata değerlerinin üzerinde manidar etkisi olduğuna; yöntemlerden elde edilen hataların ise manidar olarak farklılaştığına ulaşılmıştır. MPK oranının yüksek olduğu koşullarda, SL ve OS yöntemleri daha tutarlı bulunurken; H ve OS yöntemlerinin daha hassas olduğuna ve bazı koşullarda en düşük hataları verirken bazı koşullarda en yüksek hataları üreterek, farklılaşan bulgular ürettiklerine ulaşılmıştır. Değişimlenen MPK türlerinde ise en tutarlı bulgular, OO yöntemiyle elde edilmiştir. Farklılaşan yetenek dağılımları dikkate alındığında ise benzer yetenek dağılımına sahip bireylere uygulanan formların yanlılık değerlerinin daha düşük olduğuna ulaşılmıştır.

Abstract:
Within the scope of the current research, it was aimed to examine the effect of item parameter drift (IPD) in common items on the estimates obtained by different calibration methods in test equating based on Item Response Theory (IRT) in a Non-Equivalent groups with Anchor Test. Within the scope of this purpose, in the first part of the study, the effect of IPD on a-b parameters estimated by four different equating methods (Haebara (H), Stocking-Lord (SL), Mean-Mean (MM) and Mean-Sigma (MS)) and the effect of equating on A-B constants; The effect of the proportion of item with IPD (0%, 25%, 25%, 50%, 75%), the type of IPD ("a", "b", "axb") and the ability distribution (N(0,1), N(.2,1), N(-.2,1)) under different conditions. The IRT model (2PL), sample size (1000), number of common items (20) and test length (100) are the conditions fixed in this simulation-based research model. In the second part of the study, in order to support the findings obtained within the scope of the simulation design with real data, the data of booklet 5 and booklet 6 of TIMSS 2011 were included in the study. Then, the validity studies for the real and generated data sets and the assumptions of equating were tested. After testing the assumptions, the standard error, bias and Root Mean Square Error (RMSE) values of the constants A-B and the estimated parameters a-b obtained under different conditions were used as criteria for the evaluation of the findings. Following the obtaining of the error values, factorial analysis of variance (ANOVA) was utilized to reveal the effects of the variables and Tukey LSD test was used to examine in detail the variance sources. As a result of the findings, it was found that different IPD ratios, IPD types and sizes, and ability distributions had a significant effect on the error values in test equating, while the errors obtained from the methods differed significantly. While SL and MS were found to be the more consistent methods when the IPD ratio was high, H and OO methods were found to be more sensitive and produced quite different findings by producing the lowest errors in some conditions and the highest errors in some conditions. Considering the differentiated ability distributions, it was found that the bias values of the forms applied to individuals with similar ability distributions were lower.