An Investigation of the Factors Affecting the Vertical Scaling of Multidimensional Mixed-Format Tests

Giris Testlerden elde edilen puanlar bircok baslik altinda alinan onemli kararlar icin temel bilgi kaynaklari arasindadir. Alinacak onemli kararlardan bagimsiz olarak, test puanlarinin mumkun olan en kesin bilgiyi sunmasi gerekmektedir. Daha kesin bilgi daha iyi kararlarin alinabilmesi icin onemlidir. Bununla birlikte uygulamada test guvenligi ve ogrenci gelisiminin takip edilebilmesi gibi birtakim gerekceler yuzunden ayni testin farkli formlari kullanilmakta veya farkli zamanlarda uygulanan testlerde ortak maddeler kullanilarak testler olceklenmektedir. Farkli formlardan elde edilen puanlar daha sonrasinda esitlenmekte ya da olceklenmektedir. Bu islemin hatasiz olmasi gerceklestirilen sinavlarin daha adil olmasi ve ogrencilerin gelecegi ile ilgili dogru kararlar verebilmek icin onemlidir. Buna gore, puanlari onemli kararlar icin kullanilan testlere uygulanan dikey olcekleme yontemlerinin psikometrik olarak savunulabilir olmasi onemlidir. Bu sebepten dolayi olcekleme gerceklestirilirken uygulayicilarin kararlarini dayandiracaklari kuramsal calismalar buyuk onem tasimaktadir. Bu sebepten dolayi farkli yontemlerin karsilastirilmasi ve farkli durumlar icin en az hata veren yontemlerin belirlenmesi gerekmektedir. Iki kategorili ve cok kategorili olarak puanlanan maddelerin birlikte yer aldigi karma format testlerin kullanimi gun gectikce artmaktadir. Benzer sekilde, buyuk olcekli ve ogrencilerle ilgili onemli kararlarn alindigi test uygulamalarinda birden fazla formunun kullanimi da benzer sekilde yayginlasma egilimindedir. Farkli test formlarindan elde edilen puanlarin karsilastirilabilir olabilmesi icin bu formlar arasinda fonksiyonel bir bag olusturulmasi gerekmektedir. Eger kurulan bu bag farkli sinif (ya da test guclugu farklilasan) formlar arasinda gerceklestirilirse, bu islem dikey olcekleme olarak adlandirilmaktadir. Dikey olceklemede farkli test formlari birbirlerine baglandigi icin esitleme ile benzerdir. Fakat test formlari icerik ve gucluk olarak farklidir cunku formlar siniflar arasi ya da yasa bagli olarak ilerlemeyi yansitmaktadirlar. Bundan dolayi, dikey olcekleme farkli test formlarinin karsilastirilmasi icin kullanilmakla birlikte her bir seviyedeki puanlar birbirlerinin yerine kullanilamazlar. Test olceklemesinde temel amac farkli seviyelerdeki puanlarin karsilastirilmasidir. Seviye farkliligi bir ogrencinin bulundugu sinif, egitim ogretim yilinin bulundugu asama ya da yastan kaynaklanabilir. Dikey olcekleme genellikle ayni bireylerin farkli seviyelerde elde ettikleri puanlarin farkli zamanlara gore karsilastirilabilmesi icin kullanilmaktadir. Bu tur desenler ise DOGOM (Denk Olmayan Gruplarda Ortak Madde) deseni olarak adlandirilmaktadir. Bu calisma kapsaminda karma format maddelerden olusan boyutlu testler DOGOM deseni kullanilarak olceklendiginde ortak madde setinin yapisi (yalnizca iki kategorili maddelerden olusan ortak madde seti - iki ve cok kategorili maddelerin yer aldigi ortak madde seti), yetenek daralmasi (ust yetenek grubunda yetenek varyansinin daralmasi - varyansin esit kalmasi) ve parametre kestirim yontemlerinin (EM - MHRM) olcekleme sonuclari uzerindeki etkisi incelenmistir. Ayrica bu kosullarin etkilesim icinde olup olmadigina bakilmistir. Yontem Calisma, turetilmis veriler kullanilarak gerceklestirilmistir. Olceklemenin niteliginin degerlendirilmesinde olcme hatasi ve yanlilik degerleri kullanilmistir. Veriler turetilirken yanit matrisleri, icerisinde IKM (iki kategorili madde) ve CKM(cok kategorili madde)’ler yer alacak sekilde olusturulmustur. IKM’ler icin parametre kestirimi 3 parametreli modele (3PLM) gore, CKM’ler icin ise asamali tepki modeline (ATM) gore gerceklestirilmistir. Veri turetme ve analizi surecinde gerceklestirilen islem 50 defa tekrarlanmistir. Ayrica, arastirmada gerceklestirilen veri turetme, testlerin kalibrasyonu ve olcekleme islemleri icin R programi kullanilmistir. Etkilesimleri incelemek icin kullanilan iki ve uc yonlu analizler SPSS ile gerceklestirilmistir. Bulgular ve Tartisma Arastirmada sonucunda ortak madde yapisinin olcekleme islemi sonucunda ortaya cikan hata ve yanlilik miktarini onemli olcude etkiledigi gorulmustur. Buna gore karma format testlerde ortak madde setinin sadece iki kategorili puanlanan maddelerden olusmasi olcekleme hatasini bazi istisnalar haricinde arttirmaktadir. Elde edilen bu bulgu, diger kosullardan bagimsiz olarak tutarli bir sekilde gozlenmistir. Varyans daralmasinin etkisi incelendiginde yetenek parametresi ve cok kategorili puanlanan maddelerie ait a parametreleri icin farklilasmalar oldugu gorulmustur. Gozlenen bu farklilasmalar yanlilik degerlerine aittir. Cok kategorili puanlanan maddelere ait a parametreleri icin ise hata degerlerinde farklilasmalar oldugu bulunmustur. Her iki parametre icin varyansin azaldigi durumda daha iyi sonuclar elde edildigi gorulmustur. Kullanilan kestirim yonteminin etkisi incelendiginde ise bazi boyutlar icin yanlilik degerlerinin Metropolis–Hastings Robbins-Monro kestirim yontemi icin daha az oldugu gorulmustur. Ayrica iki kategorili puanlanan maddelerin a ve b parametreleri ve cok kategorili puanlanan maddelerin esik parametreleri icin bazi durumlarda kestirim yonteminin hata ve yanlilik degerlerini etkiledigi gorulmustur. Cok kategorili puanlanan maddelerin a parametresinin ise kestirim yonteminden etkilenmedigi gorulmustur. Son olarak, etkilesimler incelenmistir. Buna gore, yetenek parametresi bazi kosullara gore yanlilik degerlerinin ikiserli ve ucerli etkilesimler gosterdigi bulunmustur. Iki kategorili maddelere ait a ve b parametreleri icin bakildiginda b parametresine ait hata ve yanlilik degerlerinde testin bazi boyutlarinda varyans daralmasi ve kestirim yonteminin etkilesim icinde olduklari gorulmustur. Iki kategorili puanlanan maddelere ait a parametrelerine ait hata degerleri icin birinci boyutunda uc kosulun etkilesim icinde oldugu bulunmustur. Ayrica, cok kategorili puanlanan maddelere ait a parametreleri ile esik parametreleri icin etkilesim gozlenmemistir. Uc boyutun tamami icin ortak madde yapisi ve kestirim yontemi kosullari arasinda etkilesim oldugu gorulmustur. Sonuc olarak, etkisi incelenen kosullar icinde olcekleme sonuclari uzerinde en fazla etkisi olan kosulun ortak madde yapisi oldugu sonucuna varilmistir.