2018 yılı PISA formlarının eş zamanlı eşitleme yöntemi ile eşitlenmesi: Türkiye, İngiltere ve İtalya örneklemi
Equating of the 2018 PISA forms with the concurrent equating: Türkiye, UK and İtaly sample
Yazar: ZEYNEP UZUN
Danışman: PROF. DR. TUNCAY ÖĞRETMEN
Ege Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Eş zamanlılık = Concurrency ; Matematik = Mathematics ; Matematik eğitimi = Mathematics education ; Rasch modeli = Rasch model ; Türkiye = Türkiye ; Uluslararası Öğrenci Değerlendirme Programı = Programme for International Student Assesment ; Yetenek kestirimi = Ability estimates ; Ölçme-değerlendirme = Measurement and evaluation ; İngiltere = England ; İtalya = Italy

Özet:
Bu araştırmada Türkiye, İngiltere ve İtalya örneklemlerinde, ortak soru yerleşimi aynı olan PİSA 2018 matematik alt testine ait formların eş zamanlı ortak madde eşitlemesi ile eşitlenerek madde model uyumlarının değerlendirilmesi amaçlanmıştır. Araştırma verileri OECD resmi web sitesinden elde edilmiştir. Bu kapsamda Türkiye, İngiltere ve İtalya örneklemerinden matematik alt testinde form 2, 8 ve 12'ye yanıt veren toplam 3392 kişinin yanıtları kullanılmıştır. Formların seçiminde; kısmi puanlanan madde miktarının en düşük düzeyde tutulması ve ortak madde konumlarının aynı olması dikkate alınmıştır. Araştırma kapsamında tüm analizler Rasch ölçme kuramı perspektifi ile WİNSTEPS programında dikatom (dichotomous) Rasch model kullanılarak gerçekleştirilmiştir. Eşitleme işlemi için eş zamanlı ortak madde eşitlemesi kullanılmıştır. 
Öncelikle her üç ülkenin üç test formu, ayrı analizlerle (toplam 9 analiz) değerlendirilerek dikatom (dichotomous) rasch modele uyumları incelenmiş ve DMF gösteren maddeler tespit edilmiştir. Ardından bu analizlerden elde edilen ortak madde ölçümleri, her ülke özelinde formlar arasında çapraz grafikle ikili olarak karşılaştırılmıştır. Karşılaştırmalar, DMF gösteren maddeler tutularak ve çıkartılarak olmak üzere iki şekilde gerçekleştirilmiştir. Karşılaştırmalarda; ortak maddelerin ölçümleri ile çizdirilen ampirik doğrunun eğimi, ortak maddeler arasındaki korelasyon ve maddelerin güven aralıkları içinde yer alma durumu değerlendirilerek formların eş zamanlı ortak madde eşitlemesi ile eşitlenebilirliği araştırılmıştır. Eşitlenebilir olduğu görülen formlardan, güven aralıkları içinde yer almayan maddeler çıkarılarak formlar eş zamanlı ortak madde eşitlemesi ile eşitlenmiştir. Eşitleme işlemi DMF gösteren maddeler tutularak ve çıkartılarak her ülke özelinde iki türlü gerçekleştirilmiştir. Son olarak, Eş zamanlı eşitleme analizleri sonucu elde edilen madde model uyumları, eşitlenen form çiftleri arasında ve seçili ülkeler arasında karşılaştırılmıştır.
Araştırma sonuçlarına bakıldığında, her üç ülke örnekleminde de 2, 8 ve 12'nci form uygulamalarının Rasch ölçme kuramı varsayımlarını karşıladığı tespit edilmiştir. Maddelerin DMF gösterme durumları incelendiğinde ortak maddelerin DMF gösterme durumlarının formlar arasında değiştiği gözlenmiştir. DMF'li maddelerin karşılaştırmalarda tutulması ve çıkarılmasının ortak maddelerin güven aralıklarının içinde ya da dışında konumlanmasını etkilediği tespit edilmiştir. Çapraz tablolarla yapılan değerlendirme sonucunda hem DMF gösteren maddeler tutularak hem de DMF gösteren maddeler çıkarılarak formların eş zamanlı eşitlenebileceği değerlendirilmiştir.
 DMF'li ve DMF'siz maddelerle uygulanan eş zamanlı ortak madde eşitlemelerinde; güven aralığı dışında kaldığı için analize dahil edilmeyen maddelerin farklılaşması, DMF gösteren maddelerin varlığı ya da bu maddelerin çıkarılmaları ile ortak madde sayısında meydana gelen azalmalar maddelerin model için indirgeyici ya da bozucu etki göstermesine yol açmamış ve maddeler her iki yöntemle yapılan analizde çoğunlukla benzer uyum göstermiştir. Eşitlenen form çiftleri karşılaştırıldığında 8 ve 12'inci formlar, hem DMF'li maddelerle hem de DMF gösteren maddeler çıkartılarak yapılan analizde diğer karşılaştırmalara kıyasla uyumun en az madde ile sağlandığı formlar olmuştur. 2 ve 12'nci formlardaki ortak maddeler ise her üç örneklem içinde de öğrenciler tarafından, diğer form çiftlerine kıyasla çok daha benzer bir şekilde algılanmıştır.
Tüm eş zamanlı kestirimlerde, maddelerin modele uyumu değerlendirildiğinde; 2'nci form için İtalya ve Türkiye'nin sonuçlarının daha benzer olduğu, İngiltere'nin, maddelerin modele en iyi uyduğu örneklem olduğu tespit edilmiştir. İngiltere'yi sırasıyla İtalya ve Türkiye izlemektedir. Form 8 için en iyi madde uyumu İtalya örnekleminde olup bunu İngiltere ve Türkiye takip etmektedir. Form 12 için ise İtalya ve İngiltere'de maddeler modele daha iyi uyum göstermiştir. Tüm formlar birlikte değerlendirildiğinde yine İngiltere ve İtalya'nın benzer ve Türkiye'den daha iyi madde uyumuna sahip olduğu tespit edilmiştir. Sonuç olarak, PISA uygulaması bireyleri karşılaştırmak üzere geliştirilmemesine rağmen, güven aralıkları dışında kalan maddeler hariç tutulduğunda, formlar arasında test ve madde model uyumunun sağlandığı değerlendirilmiştir.

Abstract:
In this study, it was aimed to evaluate the item model fit by equating the forms of the PISA 2018 mathematics subtest, which has the same common item placement, with the common item concurrent equating, in the samples of Turkey, England and Italy. Research data were obtained from the OECD official website. In this context, the responses of 3392 people from Turkey, England and Italy who responded to forms 2, 8 and 12 in the mathematics subtest were used. In the selection of forms; It was taken into account that the amount of partial credit items was kept at the lowest level and that the common item positions were the same. Within the scope of the research, all analyzes were carried out with the perspective of Rasch measurement theory and using the dichotomous Rasch model in the WINSTEPS program. Common item concurrent equating method was used for the equating process.
First of all, three test forms of each of the three countries were analyzed with separate calibration (a total of 9 analyzes) and their model fit with the dichotomous rasch model was examined and DIF items were determined. Then, the common item measures obtained from these analyzes were compared in pairs with a cross-table between the forms for each country. Comparisons were made in two ways, by keeping and subtracting the DIF items. In comparisons, the slope of the empirical line drawn with the measurements of the common items, the correlation between the common items and the evaluation of the items being included in the confidence intervals so he equivalence of the forms with common item concurrent equating were investigated. Items not included between the confidence intervals were removed from the forms, and the forms were equated with common item concurrent equating. Equating process was carried out in two ways for each country by keeping and removing the DIF items. Finally, item-model fit obtained as a result of concurrent calibration were compared between the pairs of equated forms and between selected countries.
Considering the results of the research, it was determined that the 2nd, 8th and 12th form applications in all three country samples met the assumptions of Rasch measurement theory. When the DIF status of the items was examined, it was observed that the DIF status of the common items varied between the forms. It has been determined that keeping and removing the items with DIF in comparisons affects the positioning of the common items within or outside the confidence intervals. As a result of the evaluation made with cross tables, it was evaluated that the forms could be analyzed by concurrent equating by keeping  or by removing the items with DIF. The differentiation of the items that were not between the confidence intervals and the reduction in the number of common items by removing the items with DIF did not cause the items to have a distorting or degrading effect on the model, and the items showed mostly similar compatibility in the analysis made with both methods. When the pairs of equated forms were compared, the 8th and 12th forms were the forms with the least number of items in the analysis compared to the other comparisons in the analysis made by removing both the items with DIF and without DIF The common items in the 2nd and 12th forms were perceived by the students in all three samples in a much more similar way compared to the other form pairs. 
In all concurrent calibrations, when the fit of the items to the model is evaluated; For the second form, it was determined that the results of Italy and Turkey were more similar, and England was the sample with the best fit of the items in the model. England is followed by Italy and Turkey, respectively. The best item agreement for Form 8 is in Italy, followed by UK and Turkey. For Form 12, the items in Italy and England fit the model better. When all forms were evaluated together, it was determined that England and Italy had similar and better item fit than Turkey. As a result, although the PISA application was not developed to compare individuals, it was evaluated that test and item model fit between the forms was achieved, in case of the items that were not in the confidence intervals remove from analyses.