2010 seviye belirleme sınavı matematik alt testi için değişen madde fonksiyonlarının ve madde yanlılığının incelenmesi
An investigetion of differential item functioning and item bias for the mathematics subtest of level determination test in 2010
Yazar: SİNEM ŞENFERAH
Danışman: PROF. DR. ŞENER BÜYÜKÖZTÜRK
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
Derece: Yüksek Lisans, 2015
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Delphi tekniği = Delphi technique ; Madde yanlılığı = Item bias ; Matematik = Mathematics ; Matematik dersi = Mathematics lesson ; Seviye Belirleme Sınavı = Level Determination Exam ; Sınav = Examination ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışmada, 2010 yılı 8. Sınıf Seviye Belirleme Sınavı (SBS) Matematik alt test maddelerinin cinsiyet ve okul türü değişkenlerine göre değişen madde fonksiyonu (DMF) gösterip göstermediği Mantel-Haenszel (MH) ve lojistik regresyon (LR) yöntemleri ile tespit edilmiş, DMF gösterdiği belirlenen maddelerin DMF gösterme nedenleri Delphi tekniğiyle incelenmiş, Delphi tekniğiyle üzerinde güçlü uzlaşma sağlanan DMF gösterme nedenlerinin madde yanlılığına yol açıp açmadığı maddenin amacı ve kapsamı bağlamında Madde Yanlılığı Uzman Paneli ile değerlendirilmiştir. Çalışma, 2010 yılı 8. Sınıf Seviye Belirleme Sınavı'na katılan 999 383 öğrenci arasından yansız olarak seçilmiş 12 000 kişi üzerinden yürütülmüştür. Örnekleme yöntemi olarak basit seçkisiz örnekleme yöntemi kullanılmıştır. Çalışmanın veri seti, 12 000 öğrencinin matematik alt test maddelerine verdikleri cevaplardan oluşmuştur. DMF analizi öncesinde Matematik alt testinin tek boyutluluğu analiz edilmiş, teste ilişkin betimsel istatistikler, puan dağılımları ve madde istatistikleri elde edilmiştir. Çalışmanın ilk aşamasında cinsiyet ve okul türüne göre DMF analizleri gerçekleştirilmiş, cinsiyet değişkenine göre 12 ve 8 numaralı maddelerin; okul türüne göre 3, 11 ve 16 numaralı maddelerin orta düzeyde DMF gösterdiği tespit edilmiştir. Cinsiyete göre MH ve LR yöntemleri karşılaştırıldığında maddelerdeki DMF büyüklükleri sıralaması bakımından yöntemler arasında yüksek; madde sayıları bakımından orta düzeyde uyum gözlenmiştir. DMF düzeyleri incelendiğinde ise yöntemlerin A düzeyinde DMF gösteren maddeleri belirleme konusunda uyumlu olduğu söylenebilir. Madde sayısı ve DMF düzeyleri dikkate alındığında MH ve LR yöntemlerinin okul türüne göre DMF belirlemede uyum göstermediği belirlenmiştir. DMF analizlerinin ardından DMF gösterdiği belirlenen 5 matematik maddesi madde yanlılığı açısından incelenmiştir. Madde yanlılığı incelemesi için ilk olarak üç Delphi paneli ardışık olarak gerçekleştirilmiş böylece DMF gösterdiği belirlenen 5 matematik maddesinin her birine ilişkin DMF gösterme nedenleri, Delphi panelistlerinin görüşleri doğrultusunda belirlenmiştir. İlk Delphi turunun sonuçlanmasıyla 5 matematik maddesine ilişkin toplam 47 DMF gösterme nedeni tespit edilmiş, ikinci Delphi turunda belirlenen DMF gösterme nedenlerine ilişkin önem sıralaması ve betimsel istatistikler (katılma yüzdesi, ortanca ve çeyrekler arası genişlik) elde edilmiş, üçüncü Delphi turunun sonuçlanmasıyla da 47 DMF gösterme nedeninin 17'si üzerinde belirlenen uzlaşma kriterlerine göre güçlü uzlaşma sağlanmıştır. DMF gösterme nedenlerine ilişkin katılma yüzdesi, ortanca ve çeyrekler arası genişlik istatistikleri hesaplanarak uzlaşma yönündeki hareketlilik izlenmiştir. Delphi panellerinin tamamlanmasının ardından üzerinde güçlü uzlaşma sağlanan DMF gösterme nedenlerinin madde yanlılığına yol açıp açmadığı Madde Yanlılığı Uzman Paneli ile değerlendirilmiştir. Madde Yanlılığı Uzman Paneli'nde uzmanlar DMF gösterme nedenlerinin yanlılık kaynağı olarak alınıp alınamayacağını maddenin amacı ve kapsamı bağlamında ele almışlardır. Buna göre uzmanlar 8 numaralı maddenin erkek öğrenciler lehine; 3 numaralı maddenin ise özel okul öğrencileri lehine yanlı olduğu konusunda görüş birliğine varmışlardır. 8. maddeye ilişkin "Maddede kullanılan "fabrika", "iş kazası" ve "risk" ifadelerinin erkek öğrenciler lehine bir fark oluşturması" şeklinde belirtilen DMF gösterme nedeninin erkek öğrenciler lehine madde yanlılığına yol açtığı belirlenmiştir. 3. maddeye ilişkin ise "Özel okullardaki öğrencilerin "geometri tahtası" materyalini derslerinde kullanmış olmaları, devlet okullarındaki öğrencilerin ise bu materyali tanımamaları/bilmemeleri" şeklinde belirtilen DMF gösterme nedeninin özel okul öğrencileri lehine madde yanlılığına yol açtığı belirlenmiştir.




Anahtar Kelimeler : Seviye Belirleme Sınavı, Değişen Madde Fonksiyonu, Madde Yanlılığı, Delphi Tekniği, Madde Yanlılığı Uzman Paneli

Abstract:
This study determined whether or not mathematics subtest items in the Eight Grade Level Determination Test (SBS) conducted in Turkey in 2010 had differential item functioning (DIF) by gender and school type through Mantel-Haenszel (MH) and logistic regression (LR), examined the causes of the items with DIF for having it by Delphi technique, and evaluated whether or not the causes for having DIF on which there was a strong agreement led to item bias within the context of item purpose and content via Item Bias Expert Panel. The study was conducted on 12 000 people who were chosen randomly from among 999 383 students taking the Eight Grade Level Determination Test in 2010. Simple random sampling was used to determine the participants. The dataset of the study consisted of the answers of 12 000 students to mathematics subtest items. The unidimensionality of the mathematics subtest was analyzed before DIF analyses were made. Then descriptive statistics, score distribution, and item statistics related to the test were obtained. Firstly, DIF analyses were carried out by gender and school type. The items 12 and 8 had moderate DIF by gender, and the items 3, 11, and 16 had moderate DIF by school type. The comparison of MH and LR methods by gender indicated that there was high agreement between the methods in terms of DIF size order of the items, and there was moderate agreement between the methods in terms of the number of items. The examination of DIF levels showed that the methods were consistent in determining the items having DIF at A level. The examination of the number of items and DIF levels demonstrated that MH and LR methods were not consistent in determining DIF by school type. After DIF analyses were made, 5 mathematics items found to have DIF were examined in terms of item bias. In examining item bias, three Delphi panels were developed successively in the first place. In this way, causes for having DIF were determined for each one of 5 mathematics items found to have DIF based on the views of Delphi panelists. In the first Delphi tour, 47 causes were determined for having DIF in regard to 5 mathematics items.  In the second Delphi tour, order of importance and descriptive statistics (agreement percentage, median, and interquartile range) concerning the determined causes for having DIF were obtained. In the third Delphi tour, there was a strong agreement on 17 of 47 causes for having DIF according to the predetermined agreement criteria. Mobility of the agreement was investigated by calculating agreement percentage, median, and interquartile range statistics regarding the causes for having DIF. After the Delphi panels were completed, whether or not the causes for having DIF on which there was a strong agreement led to item bias was evaluated via Item Bias Expert Panel. The experts in the Item Bias Expert Panel focused on whether or not the causes for having DIF could be taken as sources of bias within the context of item purpose and content. The experts agreed that the item 8 and the item 3 were biased in favor of male students and private school students respectively. It was determined that the cause for the item 8 to have DIF (i.e. "The expressions 'factory', 'occupational accident', and 'risk' used in the item make a significant difference in favor of male students") led to item bias in favor of male students. In addition, it was seen that the cause for the item 3 to have DIF (i.e. "Private school students use 'geometry board' in their lessons, but public school students do know this material") led to item bias in favor of private school students.




Key Words : Level Determination Test, Differential Item Functioning, Item Bias, Delphi
Technique, Item Bias Expert Panel.