PISA 2003 ve PISA 2012 matematik okuryazarlığı testlerinin madde yanlılığı bakımından Türkiye ve Kore uygulamalarında karşılaştırılması
A comparison of item bias in PISA 2003 and PISA 2012 mathematics literacy items in Turkey and Korea administration
Yazar: ESRA EMİNOĞLU ÖZMERCAN
Danışman: PROF. DR. RAHİME NÜKHET DEMİRTAŞLI
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Ölçme ve Değerlendirme Ana Bilim Dalı / Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2015
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Karşılaştırmalı eğitim = Comparative  education ; Kore = Korea ; Madde Tepki Kuramı = Item Response Theory ; Madde yanlılığı = Item bias ; Matematik okuryazarlığı = Mathematical literacy ; Matematik öğretimi = Mathematics teaching ; Test yanlılığı = Test bias ; Türkiye = Turkey ; Uluslararası Öğrenci Değerlendirme Programı = Programme for International Student Assesment ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmanın amacı, PISA 2003 ve PISA 2012 matematik okuryazarlığı testindeki maddelerin cinsiyet, madde formatı ve madde konu alanına göre Türkiye ve Kore örneklemlerinde madde işlev farklılığı (MİF) olup olmadığını belirlemek ve buna yol açan olası yanlılık nedenlerini ortaya koymaktır. Araştırma, PISA 2003, bir ve iki; PISA 2012, dört ve altı numaralı kitapçıkları yanıtlayan 1515 Türk ve 1609 Koreli öğrencilerin verileri üzerinden gerçekleştirilmiştir. Araştırmada, MİF belirleme yöntemleri olarak Mantel-Haenszel (MH), SIBTEST, b parametre farkı ve Madde Tepki Kuramı - Olabilirlik Oran Analizi (MTK-OOA) yöntemleri kullanılmıştır. En az iki yönteme göre C düzeyinde MİF gösteren ve Türkçe açıklanan maddelerin olası yanlılık kaynakları konusunda uzman görüşlerine başvurulmuştur.
Analizler sonucunda elde edilen bulgulara göre, PISA 2003 kitapçıkları için Türkiye örnekleminde, kız ve erkek öğrenciler arasında, üç madde kız öğrenciler, iki madde erkek öğrenciler lehine MİF göstermektedir. Kore örnekleminde ise, iki madde erkeklerin lehine MİF göstermektedir. PISA 2012 uygulamasındaki kitapçıklarda cinsiyete göre; Türkiye örnekleminde MİF gösteren madde sayısı, kızlar lehine iki, erkek öğrenciler lehine iki'dir. Kore örnekleminde ise, beş madde erkekler lehine MİF göstermiş, kızlar lehine MİF gösteren madde bulunmamıştır. Genel olarak iki ülke örneklemi MİF gösteren madde sayısı bakımından karşılaştırıldığında; PISA 2003 ve PISA 2012'deki ilgili kitapçıklarda; PISA 2003 için, toplam 72 maddeden 26'sı Kore örneklemi lehine, dört madde Türkiye örneklemi lehine MİF göstermiştir. PISA 2012 için ise, 73 maddeden 15 madde Koreli, üç madde Türk öğrencilerin lehine MİF göstermiştir.  
Madde formatı bakımından incelendiğinde, PISA 2003 Türkiye örnekleminde iki kısa yanıtlı ve bir çoktan seçmeli madde kız öğrencilerin lehine, bir kısa yanıtlı ve bir çoktan seçmeli madde erkek öğrenciler lehine MİF göstermiştir. Bu uygulama dönemi için, PISA 2003 Kore örnekleminde sadece uzun yanıtlı iki madde erkek öğrencilerin lehine çalışmış görünmektedir. PISA 2012 Türkiye örnekleminde bir kısa yanıtlı, bir çoktan seçmeli madde erkek öğrencilerin, iki uzun yanıtlı madde kız öğrencilerin lehine MİF göstermiştir. PISA 2012 Kore örnekleminde, bir uzun yanıtlı, dört çoktan seçmeli madde, erkek öğrencilerin lehine MİF barındırmaktadır. Genel olarak iki ülke örnekleminin yanıtları madde formatı bakımından incelendiğinde, PISA 2003 ve PISA 2012 için kısa yanıtlı bir madde Türk, 15 madde Koreli öğrencilerin lehine, uzun yanıtlı iki madde Türk, 10 madde Koreli öğrenciler lehine; çoktan seçmeli dört madde Türk, 16 madde Koreli öğrencilerin lehine MİF göstermiştir. 
Madde konu alanına göre kız ve erkek öğrencilerin; PISA 2003 ve PISA 2012 Türkiye uygulamasındaki yanıtları karşılaştırıldığında; uzay ve şekil konu alanında iki madde kız, bir madde erkek öğrencilerin lehine çalışmıştır. Değişim ve ilişkiler konusunda, iki madde kız öğrencilerin lehinedir. Belirsizlik ve veri konusunda, bir madde erkek öğrencilerin, nicelik konu alanında, bir madde kızlara, iki madde erkeklerin lehine çalışmıştır. Kore örnekleminde ise, tüm konularda toplamda yedi madde erkekler lehine MİF taşımaktadır. Genel olarak iki ülke örneklemi bu değişken bakımından karşılaştırıldığında, uzay ve şekil konusunda iki madde, belirsizlik ve veri konusunda beş madde Türk öğrenciler lehine, toplamda 41 madde ise Kore örneklemi lehine MİF taşımaktadır.
MİF gösteren maddeler bir grup uzman (beş uzman) görüşüne sunulduğunda, uzmanlar MİF'in kaynağı olarak; madde formatına aşina olma, içeriğe aşina olma, kültürel farklılıklar, sosyo-ekonomik farklılıklar ve çeviri hatalarından kaynaklandığı yönünde görüş bildirmişlerdir. 
Anahtar Sözcükler: Madde İşlev Farklılığı, Madde Yanlılığı, Matematik Okuryazarlığı, PISA 2003, PISA 2012.

Abstract:
The aim of this research is to determine the items indicating differential item functioning (DIF) according to gender, item format and item content area and its possible sources of bias among Turkey and Korea. The study was performed on Turkey (n=1515) and Korea (n=1609) data who took the booklet one and two of PISA 2003 and booklet four and six of PISA. Mantel-Haenszel (MH), SIBTEST, b parameter differences and Item Response Theory Likelihood Ratio (IRTLR) methods were used for DIF detection analyses. It was assumed that, items which were signed as large DIF (Level C) by minimum two methods and expert opinions were taken to identify possible sources of bias.
	The results indicate that in PISA 2003 and Turkey sample, according to gender of the items including DIF, three items favoured of girls, two items favoured of boys. In Korean sample two items favoured of boys. In PISA 2012 according to gender of the items including DIF, two items favoured of girls, two items favoured of boys. In Korean sample five items favoured of boys. Generally, two countries samples compared in terms of the number of DIF items, in the corresponding booklets for PISA 2003 and PISA 2012, 26 out of 72 items included DIF and favoured of Korean students; four out of 72 favoured Turkish students in PISA 2003. For PISA 2012, 15 out of 73 items included DIF and favoured of Korean students; three out of 72 favoured of Turkish students.
	According to item format in PISA 2003 and Turkey sample,  two short answers and one multiple choice items showed DIF in favour of girls; one short answer and one multiple choice items showed DIF in favour of boys. In Korean sample, only two of extended response items showed DIF in favour of boys. For PISA 2012, one short answer and one multiple choice items showed DIF in favour of boys and two extended response items showed DIF in favour of girls in Turkey sample. One extended response and four multiple choice items showed DIF in favour of boys. In general, two countries samples compared in terms item format, for PISA 2003 and PISA 2012, one of short answer item format that including DIF favoured of Turkish students, 15 of favoured of Korean students. Two of extended response items favoured of Turkish students, 10 of extended response items favoured of Korean students; four multiple choice item favoured of Turkish students, 16 of them favoured of Korean students.
	According to item content area for gender in PISA 2003 and PISA 2012 in Turkey sample,  space and shape items that showed DIF, two of them favoured of girls, one of them favoured of boys, change and relationships items that showed DIF favoured of girls. One of uncertainty and data item favoured of girls, two of them favoured boys. In all item content area, seven items were shown DIF favoured of boys in Korean sample. Two space and shape, five uncertainty and data item favoured of Turkish students, total 41 items favoured of Korean students in all item content area.
The sources of bias have been identified as being familiar with item format, familiar with content, cultural differences, socio-economic differences and translation errros by the experts (five expert) opinions.
Key Words: Differential Item Functioning, Item Bias, Mathematics Literacy, PISA 2003, PISA 2012.