PISA 2006 fen başarı testinin madde yanlılığının kültür ve dil açısından incelenmesi
An investigation of item bias in PISA 2006 Science Test in terms of the language and culture
Yazar: N. BİLGE BAŞUSTA
Danışman: PROF. DR. SELAHATTİN GELBAL
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2013
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Başarı = Success ; Başarı değerleme = Success evaluation ; Değişen madde fonksiyonu = Differential item function ; Fen bilgisi = Science ; Lojistik regresyon analizi = Logistic regression analysis ; Madde yanlılığı = Item bias ; Sorular = Questions ; Test performansı = Test performance ; Uluslararası Öğrenci Değerlendirme Programı = Programme for International Student Assesment ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Karşılaştırmalı araştırmalarında değişen madde fonksiyonunun (DMF) varlığı olası yanlılık sebebi olarak düşünülür. Bu çalışmada, PISA 2006 testi maddelerinin farklı alt gruplarda kültür ve dile göre DMF analizleri yürütülmüştür. DMF analizleri Mantel Haenszel (MH), lojistik regresyon (LR), Alan indeksleri yöntemleriyle gerçekleştirilmiştir.Çalışma grubunu beşinci kitapçığı alan 1744 öğrenciden oluşan Kanada örneklemi, 1124 öğrenciden oluşan Avustralya örneklemi, 1008 öğrenciden oluşan İngiltere örneklemi ve 377 öğrenciden oluşan Türkiye örneklemi ile birinci kitapçığı alan 1430 İngiltere örneklemi ile 380 Türkiye örneklemi oluşturmaktadır. Bu ülkeler DMF'nin temel nedeni olarak görülen kültürel ve dilsel farklılıklar nedeni ile seçilmiştir. DMF'nin olası nedenlerini belirlemek için alan uzmanlarının görüşlerine başvurulmuştur.Çalışmada Kanada örnekleminde fransızca formu ve ingilizce formu alan gruplar için; MH tekniğine göre üç maddede B düzeyinde, üç maddede A düzeyinde; LR yöntemine göre üç maddede ihmal edilebilir düzeyde; alan indeksleri yöntemine göre beşer maddede DMF bulunmuştur. Avustralya?İngiltere örnekleminde MH tekniğine göre; dört maddede ihmal edilebilir düzeyde, bir maddede B düzeyinde ve bir maddede C düzeyinde; LR yöntemine göre dört maddede ihmal edilebilir düzeyde; alan indeksleri yöntemine göre ikişer maddede DMF bulunmuştur. Birinci kitapçık için Türkiye?İngiltere örnekleminde MH tekniğine göre beşi A düzeyinde, ikisi B düzeyinde ve üçü C düzeyinde olan on madde DMF içermektedir, bu maddelerin sekizi İngiltere ikisi ise Türkiye lehinedir. Lojistik regresyon yöntemine göre; beş maddede ihmal edilebilir düzeyde ve bir maddede B düzeyinde; alan indeksleri yöntemine göre altışar maddede DMF bulunmuştur.Dilsel ve kültürel farklılıklar arttıkça DMF'li madde sayısının da arttığı gözlenmiştir. Kullanılan tekniğe göre DMF'li madde sayısı değişmektedir. LR ve MH arasındaki korelasyon ve alan indeksleri yöntemleri arasındaki korelasyon aynı kültür farklı dil gruplaması için 0,01 düzeyinde anlamlıdır. Farklı kültür aynı dil için 0,05 düzeyinde ve farklı kültür farklı dil beşinci kitapçık için gruplaması için MH ve LR arasındaki korelasyon 0,01 düzeyinde; farklı kültür farklı dil alan indekleri tekniğiyle elde edilen korelasyon 0,05 düzeyinde anlamlı bulunmuştur.Genel olarak; yanlılık araştırmaları DMF'nin olası temel nedenini kültür ve dile bağlı farklılıklar ve program farklılıkları olarak belirlemiştir.

Abstract:
In comparability investigations, the presence of differential item functioning (DIF) is considered to be an indication of possible bias. In this study, differential item functioning (DIF) analyses of Science items of PISA 2006 tests were carried out between different samplings in respect to language and culture.. Mantel Haenszel (MH), logistic regression(LR) and signed - unsigned area indexes methods were used for DIF detection analyses.The research group of this study consists of the Australia sample comprising 1124 students, the Canada sample comprising 1744 students; the England sample comprising 1008 students, the Turkey sample comprising 377 students; took the fifth booklets and the England sample comprising 1430 students, the Turkey sample comprising 380 students; took the first booklets. These countries were selected due to the differences in cultural relevance and linguistic are the possible main reasons for differential item functioning (DIF). In order to investigate the sources of DIF field specialist opinions were consulted.In the study, ın Canadien sampling, DIF was found in three items at B level and three items at negligible level according to the MH technique and in three item at negligible level according to LR technique, in five items according to each fo signed - unsigned area indexes methods. In Australia- England sampling DIF was found in one item at B level and C level, four items at negligible level according to the MH technique and in four items at negligible level according to LR technique, in two items according to each fo signed - unsigned area indexes methods. In England- Turkey sampling for the first booklet; ten items included DIF according to MH results; five of them were at A level, two of them were at B level and three of them were at C level according to the MH technique those of the items eight of them favored English form, where two of them favored Turkish form. DIF was found in five items at negligible level and one item at B level according to LR technique, in six items according to each for signed-unsigned area indexes methods. In England-Turkey sampling for the fifth booklet; in two items at A level and in four items at B level and in five items at C level according to the MH technique and infour item at negligible level and two items at B level according to LR technique, in six items according to each fo signed-unsigned area indexes methods had DIF.It is observed that as the linguistic and cultural differences increased between countries, the number of DIF items increased. The number of DIF items varied significantly according to the procedure used. The correlation coefficients for the same culture-different language between LR and MH were significant, Non?signed area indexes and Signed area indexes were significant at ? =0,01. The correlation coefficients for the different culture-same language between LR and MH were significant at ? =0,05, For the different culture and language LR and MH were significant at ? =0,01for the first booklet and Non?signed area indexes and Signed area indexes were significant at ? =0,01for the fifth booklet.Generally; results of bias researchs indicated that the main possible reasons for DIF is due to differences in cultural relevance, linguistic differences and differences in curriculum.