Çok değişkenli çok düzeyli model yaklaşımıyla PISA fen okuryazarlığı başarı farklılıklarının madde yanıt formatına göre değerlendirilmesi
A multivariate multilevel model approach to evaluating PISA science achievement by item response format
Yazar: SERAP GÜLLE
Danışman: DOÇ. DR. BURAK AYDIN
Ege Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Eğitim ve Öğretim = Education and Training ; Psikoloji = Psychology ; İstatistik = Statistics
Dizin: Fen okuryazarlığı = Scientific literacy ; Uluslararası Öğrenci Değerlendirme Programı = Programme for International Student Assesment ; Çok değişkenli regresyon = Multivariate regression

Özet:
Uluslararası Öğrenci Değerlendirme Programı (PISA) fen okuryazarlığını konu alan çalışmalarda, öğrenci ve ülkeler ile ilgili faktörlerin belirlenmesinde çoğunlukla olası değerler kullanılmaktadır. Bununla birlikte madde yanıt formatları alt testlerine özgü geliştirilmiş bir puanlama mevcut değildir. Çalışmanın amacı, PISA 2015 fen okuryazarlığı alt testi madde yanıt formatı (çoktan seçmeli ve kısa yanıtlı) puanlarını birlikte anlamlı olarak yordayan öğrenci ve ülke değişkenlerinin belirlenmesidir. Çalışmanın örneklemini PISA 2015 bilgisayar tabanlı uygulama fen okuryazarlığı testinde iki fen okuryazarlığı kümesini almış olan 58 ülke içerisinde 10.658 öğrenci oluşturmaktadır. Çalışmanın yordanan değişkenleri çoktan seçmeli ve kısa yanıt maddelerden oluşturulan başarı puanlarından, yordayıcı değişkenleri 21 değişkenden oluşmuştur. Bu yordayıcılardan 12'si öğrenci düzeyindedir ve beş başlık altında gruplandırılmıştır; demografik özellik, fenle ilgili eğilim, fene ilgi, çevresel tutum ve okulda fen öğrenimi. Kalan 9 değişken ise ülke düzeyindedir ve beş başlıkta gruplandırılmıştır; ekonomik göstergeler, ulusal kalkınma, eşitsizlik, eğitim göstergeleri ve okul bağlamı. Klasik Test (KTK) ve Madde Tepki Kuramı'na (MTK) dayalı madde yanıt formatı puanlarının oluşturulması için 19'u çoktan seçmeli, 11'i kısa yanıtlı olmak üzere 30 fen maddesi incelenerek psikometrik özellikleri belirlenmiş ve yetenek kestirim modelleri karşılaştırılmıştır. KTK madde istatistikleri için ctt paketini içeren R yazılımı, MTK'ye bağlı madde parametreleri ve model veri uyum analizi için aynı yazılım içerisinde bulunan ltm paketi kullanılmıştır. Çoktan seçmeli ve kısa yanıtlı maddeler için KTK ile MTK (Rasch, 1PL, 2PL) ortalama madde güçlük değerleri incelenmiştir. Ayrıca çoktan seçmeli maddeler için MTK 3PL kullanılmıştır. İncelenen kitapçıklarda madde yanıt formatlarının tümünde madde güçlüğünün orta düzeyde olduğu bulunmakla birlikte çoktan seçmeli maddelerin kısa yanıtlı maddelere göre daha kolay olduğu saptanmıştır. KTK ve MTK (2PL ve 3PL) ile ortalama madde ayırıcılık değerleri incelendiğinde, incelenen kitapçıkta kısa yanıtlı maddelerin çoktan seçmeli maddelere göre daha ayırt edici olduğu saptanmıştır. Çoktan seçmeli maddelerin şans başarısı parametresi aralığı MTK 3PL modelde 0,36 bulunmuştur. Yapılan model veri uyumu analizi sonrası en uygun modelin 3 parametreli lojistik model olduğu saptanmıştır.
Araştırmada öğrenci ve ülke düzeyi değişkenlerin başarı puanları üzerindeki yordayıcılığının belirlenmesi için Çok Değişkenli-Çok Düzeyli Model (ÇD-ÇDM) kullanılmıştır. Çözümlemeler nlme paketini içeren R yazılımında yapılmıştır. Boş model analizi madde yanıt formatı ortalama puanları açısından ülkeler arasında farklılık olup olmadığını belirlemek için kullanılmıştır. Farklı puan ölçekleme modellerine göre, çoktan seçmeli maddelerle hesaplanan puanlara ait varyansının %12'sinin ülkeler arasında olduğu görülürken, kısa yanıtlı maddelerle hesaplanan puanlara ait varyansın ise %16'sının ülkeler arasında olduğu bulunmuştur. Ülkeler arası fen okuryazarlığı başarı farklılıklarının kısa yanıtlı maddelerde daha belirgin olduğu görülmüştür. ÇD-ÇDM analizi ile öğrenci ve ülke düzeyindeki değişkenlerin hangilerinin madde yanıt formatı puanlarındaki farklılıkları açıklayabileceği araştırılmıştır. KTK ve MTK ile oluşturulan çoktan seçmeli ve kısa yanıtlı madde puanlarını, diğer değişkenler kontrol edildiğinde, istatistiksel açıdan manidar olarak yordayan öğrenci düzeyi değişkenlerin fen konularından keyif alma indeksi ve sosyoekonomik seviye indeksi olduğu bulunmuştur. Modelde yer alan değişkenler kontrol edildiğinde puanları istatistiksel açıdan manidar olarak yordayan ülke düzeyi değişkenler ise insani gelişmişlik indeksi, eğitime yapılan harcama ve okul öncesine kayıt yüzdesidir.

Abstract:
In most of the studies on science literacy in the Programme for International Student Assessment (PISA), plausible variables are used to identify factors related to students and countries. However, there are no scores that have been developed specifically for sub-tests with item response formats. This study aims to identify the student and country variables that together have a significant effect on the item response formats based on achievement scores (multiple-choice and short-answer) of the PISA 2015 science literacy subtest. The sample of the study consisted of 10,658 students from 58 countries who took the two science literacy clusters of the PISA 2015 computer-based assessment of scientific literacy. The dependent variables of the study were scores on multiple-choice and short-answer items, and the independent variables consisted of 21 variables. Twelve of these predictors were measured at the student level and clustered under five headings; demographic characteristics, science-related disposition, interest in science, environmental attitudes, and science learning at school. The remaining variables were measured at the country level and grouped under five headings; economic indicators, national development, inequality, educational indicators, and school context. To compute scores based on classical test theory (CTT) and item response theory (IRT), 30 science items (19 multiple-choice and 11 short-answer) were analyzed to determine their psychometric properties and compare their scaling models. R software ctt package was used for CTT item statistics, and the ltm package program within the same software was used for item parameters and model-data fit analyses based on MTK. Multiple-choice and short-answer items were analyzed using CTT and IRT (Rasch, 1PL, 2PL, and 3PL) and average item difficulty scores. Although item difficulty was found to be moderate for all item response formats, multiple-choice items were found to be easier than short-answer items for the selected booklet. When average item discrimination scores were analyzed using CTK and MTK (2PL and 3PL), short-answer items were found to be more discriminating than multiple-choice items. While the range of the guessing parameter of multiple-choice items in the 3PL model was 0.36, this value was found to be zero for short-answer items. In the model-data fit analysis, it was found that the most appropriate model for the data was the 3-parameter logistic model.
Multivariate multilevel models (MV-MLM) were utilized to determine the student and country-level predictors. Both models were run in R software using the nlme package. The null model analysis was utilized to determine whether there were differences between countries in terms of item response format mean scores. Based on different scoring models, it is seen that 12% of the variance of the scores calculated with multiple-choice items is between countries, while it is found that 16% of the variance of the scores calculated with short-answer items is between countries. It has been observed that the differences in science literacy achievement between countries are more pronounced in short-answer questions. The MV-MLM analysis was used to investigate which of the student and country-level variables could explain the differences in item response format scores. While controlling for other variables, it was found that the student-level variables that significantly predicted the scores on multiple-choice and short-answer items were the index of enjoyment of science subjects and the index of socio-economic level. At the country level, the Human Development Index, Education Expenditure, and Preschool Enrolment Percentage were the variables that significantly predicted both scores based on CTT and IRT.