Uluslararası Öğrenci Değerlendirme Programı (PISA - 2012) okuryazarlık testlerinin ölçme değişmezliğinin incelenmesi
Investigation of measurement invariance of literacy tests in the Programme for International Student Assessment (PISA - 2012)
Yazar: BETÜL KARAKOÇ ALATLI
Danışman: DOÇ. DR. ÖMAY ÇOKLUK
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Ölçme ve Değerlendirme Ana Bilim Dalı / Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2016
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Değişen madde fonksiyonu = Differential item function ; Fen okuryazarlığı = Scientific literacy ; Matematik okuryazarlığı = Mathematical literacy ; Okuma becerileri = Reading skills ; Uluslararası Öğrenci Değerlendirme Programı = Programme for International Student Assesment ; Ölçme değişmezliği = Measurement invariance

Özet:
Bu araştırmada, PISA-2012 matematik ve fen okuryazarlığı ile okuma becerileri alt testlerinin dil değişkenine göre ölçme değişmezliğinin incelenmesi amaçlanmıştır. Araştırma betimsel bir araştırma olup PISA 2012 uygulamasına katılan Avustralya, Fransa, Şangay-Çin ve Türkiye örneklemlerinde 3 no'lu kitapçığı (yayınlanan maddelerin en fazla sayıda ve üç alandan da maddelerin bulunduğu tek kitapçık) alan 2149 öğrenciden elde edilen veriler üzerinden yürütülmüştür. Testlerin farklı dil formlarına ilişkin, faktör yapılarının değişmezliği Çok Gruplu Doğrulayıcı Faktör Analizi (ÇGDFA) ile maddelerin değişen madde fonksiyonu  gösterme dıurumları ise Genelleştirilmiş Aşamalı Doğrusal Modelleme (GADM), Simultaneous Item Bias Test (SIBTEST) ve Madde Tepki Kuramı'na dayalı Olabilirlik Oran (MTK-OO) teknikleri ile incelenmiştir. Bununla birlikte olası yanlılık kaynaklarını belirlemek üzere uzman görüşlerine başvurulmuştur. ÇGDFA sonuçlarına göre PISA-2012 matematik ve fen okuryazarlığı ile okuma becerileri alt testleri dil değişkenine göre yapısal değişmezlik gösterirken metrik değişmezlik göstermemektedir. Her üç DMF belirleme tekniğine göre ve en az B düzeyinde DMF gösteren maddeler DMF'li kabul edilmiştir. Buna göre DMF analizleri sonucunda matematik ve fen okuryazarlığı ile okuma becerileri testlerinde dil değişkenine göre, yapılan ikili karşılaştırmalar sonucu DMF'li olarak kabul edilen maddeler sırasıyla testlerin ortalama %35'i, %34'ü ve %22'sini oluştururken, ölçme değişmezliği gösteren maddeler ise sırasıyla testlerin %24'ü, %7'si ve %36'sını oluşturmaktadır. Dil gruplarına göre her üç alanda da en fazla DMF'li madde İngilizce ve Çince formu alan gruplar arasında belirlenmiştir. Yanlılık çalışması sonucu, maddede yer alan sözcük ya da ifadelerin farklı anlamda kullanımı, madde içeriğine bir dil grubunun aşina olması ve çeviriye bağlı olarak maddelerin farklılaşması olası yanlılık kaynağı olarak belirlenmiştir.

Abstract:
In this study, it was aimed at examining the measurement invariance of mathematical and scientific literacy tests and subtests of reading skills of PISA – 2012 in terms of the language variable. The research was designed as a descriptive study. The study was conducted on the data obtained from the test booklet 3 of PISA 2012 (it is the only booklet that had the highest number of items published and also had items from all of the three parts) which was responded by 2149 students from Australia, France, Shanghai – China and Turkey. The invariance of factor structures was examined by Multi-Group Confirmatory Factor Analysis (MGCFA) while the differential item functioning was examined by Hierarchical Generalized Linear Modeling (HGLM), Simultaneous Item Bias Test (SIBTEST) and Likelihood Ratio (LR) based on Item Response Theory (IRT) in relation to language forms of the tests. In addition to this, experts' opinions were asked in order to determine the possible bias sources. According to MGCFA results, PISA – 2012 mathematical and scientific literacy and subtests of reading skills demonstrated structural invariance while there was no metric invariance. The items which demonstrated at least B level DIF according to all three DIF technique results were accepted as showing DIF. According to DIF analyses, the DIF items comprised of 35%, 34% and 22% of mathematical and scientific literacy tests and subtests of reading skills respectively while the items showing measurement invariance comprised of 24%, 7% and 36% of the tests in terms of language variable. The highest number of DIF items in all three parts was determined between the groups that took English and Chinese forms. As a result of bias analysis, some possible bias sources were as follows; using the words or phrases in different meanings in the items, being familiar to the item content in favor of a language group and the differentiation of the items depending on the translation.