A Comparison of Difficulty Indices Calculated for Open-Ended Items According to Classical Test Theory and Many Facet Rasch Model.

Problem Durumu: Klasik test kurami (KTK) ve cok yuzeyli Rasch modeli (CYRM) arasindaki kuramsal farkliliklar alanyazinda genis bir yer tutmasina ragmen bu iki kurami ampirik acidan karsilastiran arastirmalarin oldukca sinirli oldugu gorulmektedir. KTK ve CYRM’nin karsilastirilmasina yonelik calismalarda uzerinde en fazla durulan konu iki kurama gore hesaplanan guvenirlik degerlerinin ne derece tutarli oldugudur. Daha yakin zamanda yapilan arastirmalarda ise iki kuraminin yetenek kestirimleri ile madde gucluk parametreleri acisindan karsilastirildigi anlasilmaktadir. KTK ve CYRM’de rapor edilen guvenirlik degerlerinin 112 Mustafa Ilhan - Nese GULER Eurasian Journal of Educational Research 75 (2018) 99-114 karsilastirildigi arastirmalar incelendiginde, bu calismalarin kullanilan desen acisindan farklilik gosterdigi saptanmistir. Calismalarin bir kisminda acik uclu maddelere verilen ogrenci cevaplarinin tamaminin ayni puanlayici grubu tarafindan degerlendirildigi capraz bir desen kullanilmistir. Bazilarinda ise degerlendirme surecinde birbirinden farkli puanlayici gruplarinin gorev aldigi yuvalanmis bir desen tercih edilmistir. Dolayisiyla, konu ile ilgili alanyazindaki mevcut calismalar iki kurama gore hesaplanan guvenirlik degerlerinin ne derece tutarli olduguna iliskin kapsamli bir bilgi sunabilmektedir. Ancak ayni seyi KTK ile CYRM’de hesaplanan madde gucluk indekslerinin karsilastirilmasina yonelik arastirmalar icin soylemek guctur. Cunku alanyazinda KTK ve CYRM’de hesaplanan madde gucluklerinin karsilastirildigi yalnizca bir arastirmaya rastlanmis ve bu calismada yuvalanmis bir desenin kullanildigi belirlenmistir. Iki kurama gore hesaplanan madde gucluklerinin capraz bir deseninin kullanildigi olcme kosullari altinda karsilastirildigi bir calismaya ise alanyazinda rastlanmamistir. Ayrica alanyazindaki sozu edilen arastirmada, KTK’ya dayali madde guclukleri %25’lik alt ve ust gruba ait olcumler esas alinarak kestirilirken; CYRM’ye iliskin madde gucluk kestiriminde tum bireylere ait olcumler kullanilmistir. Boylesi bir farkin iki kurama gore hesaplanan madde gucluklerinin karsilastirildigi bir calisma icin onemli olabilecegi dusunulmektedir. Bu anlamda, olcme kosullari acisindan alanyazindaki bahsi gecen arastirmadan farklilik gosteren bir calisma ile KTK ve CYRM’de hesaplanan madde gucluklerinin karsilastirilmasi onemli gorulmektedir. Arastirmanin Amaci: Bu arastirmada, acik uclu maddelerde klasik test kurami (KTK) ile cok yuzeyli Rasch modeline (CYRM) gore hesaplanan gucluk indekslerinin karsilastirilmasi amaclanmistir. Arastirmanin Yontemi: Arastirmanin verileri, sekizinci sinifa devam eden 375 ogrencinin acik uclu 10 maddeye verdigi cevabin uc ogretmen tarafindan puanlanmasiyla elde edilmistir. Puanlamalarda dortlu derecelemeye sahip butuncul bir rubrik kullanilmistir. KTK’ya dayali madde gucluklerinin hesaplanmasindaki ilk adim, ogrencilerin her bir maddeye verdikleri cevaplar icin farkli puanlayicilar tarafindan atanan puanlarin ortalamasinin alinmasi olmustur. Ikinci adimda tum maddeler icin ayri ayri olmak uzere, ogrencilerin maddelerden aldiklarin puanlarin toplami calismadaki katilimci sayisina bolunmus ve bu sekilde maddelere iliskin puan ortalamalari hesaplanmistir. Daha sonra her bir madde icin, ilgili maddeden alinan puanlarin ortalamasi ile maddeden alinabilecek en dusuk puan arasindaki fark bulunmustur. Bulunan bu farkin madde puan ranjina bolunmesiyle KTK dayali madde gucluk parametrelerine ulasilmistir. Madde gucluklerinin KTK’ya gore hesaplanmasinda Microsoft Excel’den yararlanilmistir. KTK’ya iliskin analizlerin ardindan CYRM’ye yonelik analizlere gecilmistir. Bu kapsamda, FACETS paket programi kullanilarak puanlayici, madde ve ogrenci seklinde uc yuzeyli bir desen ile Rasch analizi gerceklestirilmistir. Analiz ciktilarinda, madde yuzeyine iliskin olcum raporlari incelenerek CYRM’ye dayali madde gucluk parametreleri elde edilmistir. Madde gucluk indekslerinin KTK ve CYRM’ye gore hesaplanmasini takiben, iki kurama gore kestirilen gucluk degerleri arasindaki tutarliliga bakilmistir. Arastirmanin Bulgulari: Arastirmadan elde edilen bulgular, iki kurama gore kestirilen gucluk indeksleri arasinda yuksek bir tutarlilik oldugunu gostermistir. Maddeler gucluk duzeyleri acisindan bir siralamaya tabi tutuldugunda KTK ile CYRM’de Mustafa Ilhan - Nese GULER Eurasian Journal of Educational Research 75 (2018) 99-114 113 ulasilan siralamalarin ozdes oldugu saptanmis ve iki kurama gore kestirilen gucluk indeksleri arasinda pozitif yonde, guclu ve anlamli bir korelasyonun (r=.999, p<.001) bulundugu belirlenmistir. Her iki kurama gore de basari testindeki 10 maddenin kolaydan zora dogru; M2, M3, M1, M4, M7, M6=M8, M10, M5 ve M9 seklinde siralandigi sonucuna ulasilmistir. Arastirmanin Sonuc ve Onerileri: Arastirma sonuclarindan hareketle, acik uclu maddeler iceren bir basari testi gelistirme surecinde, madde gucluklerinin KTK veya CYRM’ye gore kestirilmis olmasinin teste alinacak ya da test disinda tutulacak maddeler ile ilgili bir farklilik yaratmayacagi soylenebilir. Dolayisiyla acik uclu maddelerin bulundugu bir basari testi gelistirirken KTK ile CYRM’den hangisinin tercih edilmesi gerektigine dair verilecek kararlarda kullanim kolayligi ve rapor edilen sonuclarin ne derece ayrintili oldugu gibi kuramlara iliskin diger ozelliklerin on plana cikacagi dusunulmektedir. Ornegin, KTK’nin bircok kisinin daha asina oldugu bir kuram olmasi ve bu kurama iliskin madde analizlerinin Microsoft Excel’de kolaylikla gerceklestirilebilmesi arastirmacilarin/uygulayicilarin acik uclu test gelistirme surecinde KTK’yi daha pratik bir yol olarak gormesine sebep olabilir. KTK’yi CYRM’ye gore daha kullanisli hale getiren bu ozelliklerine karsin CYRM’nin de KTK’ya kiyasla daha avatanjli oldugu bazi yonleri bulunmaktadir. Olcumlerin gecerligi ile guvenirliginin, madde gucluklerinin, bireylerinin yetenek duzeylerinin ve puanlayicilarin katilik/comertliklerinin es zamanli olarak hesaplanmasi, analizde islem goren tum yuzeylerin ortak bir metrik (logit) uzerine yerlestirilerek birbiriyle karsilastirilabilmesi ve analiz ciktilari arasinda KTK’da karsiligi olmayan test bilgi fonksiyonunun, kategori istatistiklerinin ve beklenmedik yanitlarin yer almasi madde gucluk indeksleri acisindan benzer sonuclar uretmesine ragmen CYRM’yi KTK’ya gore daha tercih edilebilir bir model haline getirebilecek ozelliklerdir.