Cross-group Equivalence of Interest and Motivation Items in PISA 2012 Turkey Sample

Problem Durumu : Grup karsilastirmalarin gecerligi, ilgili olcumlerin kabul edilebilir duzeyde psikometrik niteliklere sahip olmasina baglidir. Ancak klasik test kuraminda, gecerlik ve guvenirlik calismalari kapsaminda hesaplanan test ve madde istatistikleri, arastirma grubunun ozelliklerini yansitmaktadir. Buyuk olcekli sinavlarin kullaniminin yayginlasmasi ise ayni duzeydeki bireylere farkli test formlarinin uygulanmasina ve ayni test formlarinin farkli ozelliklere sahip gruplarda uygulanmasina yol acmistir. Bu baglamda ulusal ve uluslararasi test uygulamalarinda dikkat edilmesi gereken bir durum, farkli demografik gruplara ait olmanin olcme sonuclari uzerindeki etkisidir. Bireylerin demografik ozelliklerinin etkisinin arindirilmadigi olcme araclarinin kullanilmasi ve bunlardan elde edilen sonuclarin karsilastirilmali olarak yorumlanmasi ise olcme aracinin gecerligini dusurerek, bireyler hakkinda yanlis kararlar alinmasina neden olacaktir. Bu nedenle olcme sonuclarina dayali olarak verilecek kararlarin isabetliligi acisindan olcme degismezliginin saglanmasi ve maddelerin olasi yanlilik suphesine karsi sinanmasi gerekmektedir. Bu kosullar saglanmadan yapilan karsilastirmalarda gorulen farkliligin gercek durumdan mi yoksa olculen yapinin gruplarda farklilik gostermesinden mi kaynaklandigi bilinemeyecektir. Dolayisiyla yapilan karsilastirma sonuclari tartismali olabilecektir. Arastirmanin Amaci: Bu calismanin amaci; PISA 2012 ogrenci anketinde yer alan ilgi ve motivasyonla ilgili maddelerin cinsiyet, okul turu ve istatistiki bolgelere gore olcme degismezligini incelemek ve gruplar arasi DMF gosteren maddeleri tespit etmektir. Arastirmanin Yontemi: PISA 2012 uygulamasinda Turkiye, 15 yas grubu yaklasik sayisi 1.266. 638 ogrenciyi temsilen 4848 ogrenci ile yer almistir. Veri setinin kayip ve aykiri degerler acisindan incelenmesi sonrasinda bu arastirma, Turkiye orneklemindeki 3124 ogrenci (1553 kiz ve 1571 erkek) ile yurutulmustur. PISA ogrenci anketi matematik ogretimi alt boyutunda yer alan ST29Q01-ST29Q08 maddelerinin ilgi ve motivasyon modelini olusturup olusturmadigina iliskin kanitlar elde etmek uzere, dogrulayici faktor analizi uygulanmistir. Olcegin 8 maddelik Turkce formunun faktor yapisina iliskin tanimlanan temel modelin faktor yapisinin her bir grup icinde gecerli olup olmadigini incelemek icin model uyumu birlestirilmis veri ve her bir grup verisi icin ayri ayri degerlendirilmistir. Model test etme surecinde, hangi parametre kestirim yonteminin kullanilacagini belirlemek icin ilgili veri setinin dagilim ozellikleri incelenmistir. Veri seti cok degiskenli normal dagilim sergilemedigi ve orneklem sayisi buyuk oldugu icin parametre kestiriminde agirliklandirilmis en kucuk kareler yontemi kullanilmistir. Olcme degismezligini incelemek uzere coklu grup dogrulayici faktor analizi uygulanmistir. Degismezlik testleri dort asamada yurutulmustur. Daha fazla sinirlama konulan bir model ile daha az sinirlama konulan bir modelin arastirma verisine uyum duzeylerini karsilastirmak uzere χ2’ler icin olceklendirilmis fark testi uygulanmistir. Cinsiyete gore olcme degismezliginin incelenmesi surecinde, model uyumunun degerlendirilmesinde kullanilan olcutler karsilanmadigi icin olasi madde yanliliklari incelenmistir. DMF gosteren maddelerin belirlenmesi amaciyla Mantel-Haenszel, poly-SIBTEST ve MTK-OO teknikleri kullanilmistir. Arastirmanin Bulgulari: Olcegin 8 maddelik Turkce formunun faktor yapisina iliskin tanimlanan temel modelin kiz ogrenci, ilkogretim ve Bati Marmara gruplari disindaki tum alt grup verilerine yeterli duzeyde uyum sergiledigini gostermistir. Modele uyumunu saglamayan gruplar, analiz disinda birakilmistir. Okul turu ve istatistiki bolgelere dayali olarak yapilan degismezlik testi sonuclari, modellerin tum degismezlik kosullarini yerine getirdigini gostermistir. Cinsiyete gore olcme degismezliginin saglanmamasi, olcekte yer alan maddelerden en az bir tanesinin cinsiyete gore DMF sergiledigine isaret etmektedir. Bu baglamda, cinsiyete gore DMF sonuclari incelendiginde MH teknigine gore 6 maddede A duzeyinde; poly-SIBTEST teknigine gore 1 maddede A, 2 maddede B ve 3 maddede C duzeyinde; MTK-OO teknigine gore 2 maddede C duzeyinde DMF’ye rastlanmistir. Arastirmanin Sonuc ve Onerileri: Yapilan analizler tanimlanan modelin, okul turu ve istatistiki bolgelere gore karsilastirilmasinin anlamli oldugunu ortaya koymustur. Bu durum, ilgi ve motivasyonla ilgili tum maddelerden elde edilen olcumlerin okul gruplari ve istatistiki bolgeler arasinda genellenebilecegine, ogrencilerin ilgi ve motivasyonlarini belirlemede gecerli ve guvenilir olcumler saglayabilecegine isaret etmektedir. Bu dogrultuda okul ve bolge gruplari arasinda yapilan karsilastirmalarda gorulen farkliligin gercek durumdan kaynaklandigi soylenebilir. Yapilan ulusal duzeydeki test uygulamalari, DMF’nin nedenleri arasinda cinsiyet ve okul turu gibi degiskenleri gostermektedir. Nitekim bu calismanin sonuclari da cinsiyet farkliliklarinin maddelerin DMF gostermesinde etkili oldugunu gostermistir. DMF belirleme teknikleri genel olarak belli olcude benzer sonuclar verse de, farkli esitleme kriterleri ile farkli algoritmalar ve kategorilendirmelerde farkli kesme noktalari kullandiklari icin tam bir uyum icinde degildir Calismadan elde edilen sonuclar incelendiginde, kullanilan tekniklere gore DMF gosteren madde sayilari ve DMF miktarlari arasindaki benzerligin dusuk duzeyde oldugunu gozlenmistir. Bu calisma kapsaminda PISA 2012 uygulamasi matematik ogretimi bolumunde yer alan ilgi ve motivasyonla ilgili maddeler incelenmistir. Gelecek calismalar, farkli dil ve kultur gruplari uzerinde olcme degismezligi calismalari yapabilir. DMF belirlemede gercek veri ile birlikte simulasyon calismalari yaparak, hangi teknigin hangi durumlar icin daha uygun oldugunu belirleyebilir ve DMF gosteren maddelerin olasi nedenlerini arastirabilir.