An Investigation of the construct validity of standardized multiple-choice reading tests - a case study

Bu tez çoktan seçmeli okuma sınavlarının geçerliliğini, bu testlerin temellerindeki teoriyi destekleyip desteklemediğim ve ölçmesi beklenen beceriyi ölçüp ölçmediğini araştırmayı amaçlamaktadır. Bu amaçla Gaziantep'teki iki Anadolu Lisesi'nden toplam 54 öğrenci seçilmiştir. Bu çalışmaya katılan öğrenciler 2000- 2001 öğretim yılında 10. sınıf (lise 2) dil ağırlıklı derslere devam etmekteydiler. Veriler bir çoktan seçmeli ve bir açık uçlu okuma sınavı ve her sınavdan sonra yapılan anket uygulaması yoluyla toplanmıştır. Her test, daha önce işlenmemiş 500 kelimelik anlatım tarzındaki bir okuma parçasına dayalı 8 sorudan oluşmaktayı ve öğrencilerin ders kitaplarının eki olan yardımcı bir kitaptan alındığı için bu çalışmaya katılan öğrencilerin seviyesine uygundur. Çoktan seçmeli ve açık uçlu sınavlar bir aylık arayla verilmiştir. Bu sürenin nedeni uzun dönemli hafızanın etkisini ortadan kaldırmaktı. Her test uygulamasından sonra verilen anketler, çoktan seçmeli test için 9 soru, açık uçlu sınav için 10 soru içermekteydi. Bu anketlerin amacı, öğrencilerin test ve testteki sorular hakkındaki ve sınavı nasıl yaptıkları konusundaki fikirlerini almaktı. İkinci anket denekler en iki test türünü kıyaslamalarını isteyen ek sorular içermekteydi. Öğrencilerin puanlan teste verdikleri cevaplardan elde edilmiştir. Başarısı yüksek olan ve düşük olan öğrencilerin puanlan değerlendirilmiş ve soru analizinde kullanılarak her bir testin zorluk seviyesi ve ayırıcılık gücü hesaplanmış ve istatistiki bir program kullanılarak eşleştirilmiş t-sınaması uygulanmıştır. Öğrencilerin anketlere verdikleri cevaplar niteliksel olarak değerlendirilmiştir. İki testin güvenilirliği de SPSS programındaki Alpha ölçeği kullanılarak hesaplanmıştır. Güvenilirlik analizi sonucunda, çoktan seçmeli sınavın (.89 Alpha değerine sahip olarak ) Alpha değeri. 39 olan açık uçlu sınavdan daha güvenilir olduğu görülmüştür. Çalışmanın bulgulan bu testte kullanılan iki test türü arasında zorluk bakımından istatistiksel olarak anlamlı bir fark olmadığını göstermiştir. Fakat öğrencilerin ortalamaları hesaba katıldığında, öğrencilerin çoktan seçmeli sınavda daha başarılı oldukları görülmüştür (toplam 8 soruda çoktan seçmeli sınavda 4.6; açık uçlu sınavda 3 .6). Aynı zamanda deneklerin bu iki test türünü cevaplama tarzlarında çok büyük farklılıklar olmadığı görülmüştür. Ancak, çoktan seçmeli sınavda öğrenciler çeldiricilerinden dolayı zor buldukları sorulan cevaplarken çoğunlukla 'eleme', 'seçenekteki kelimeleri parçayla eşleştirme' ve 'Halimin' gibi stratejiler kullanmışlardır. Bu çalışmanın bir başka bulgusu da çoktan seçmeli testteki seçeneklerin öğrencilerin doğru cevabı bulmasına hem yardımcı, hem de engel olduğunu göstermiştir. Aynı zamanda, öğrencilerin çoktan seçmeli sınavdaki bütün soruları cevaplamayaVI çalıştıkları, fakat açık uçlu sınavda emin olmadıkları sorulan cevaplamadıkları farkedilmiştir (Açık uçlu sınavda cevaplanmayan soru sayısı 37 iken, bu sayı çoktan seçmeli sınavda sadece 2 idi). Bu sonuç 'tahmin'in çoktan seçmeli sınavlarda faydalı bir strateji olduğu düşüncesini destekler gibi görünmektedir. Bu çalışmanın sonucunda, çoktan seçmeli okuma sınavlarının ölçmek istedikleri becerileri ölçtükleri söylenebilir. Ancak, zayıf çeldiriciler sorulan aşın kolaylaştırarak; dolayısıyla soruların ayırıcılık gücünü azaltarak ve başarısı düşük olan öğrencilere okuma parçasının tamamım anlamasalar bile sadece bazı stratejiler kullanarak doğru cevabı bulma şansım vererek bu testlerin geçerliliğini azaltabilirler. Zayıf çeldiricilerin yanı sıra, çok güçlü çeldiriciler de içerdikleri kelime ve cümle yapısındaki zorluklardan dolayı öğrencilerin soruyu anlamalarını engellemeleri ve öğrenciler okuma parçasını anlasalar bile bu tür dil zorluklarının doğru cevabı bulmalarına gereksiz bir engel teşkil edebilmeleri açısından, çoktan seçmeli sınavların geçerliliği üzerinde olumsuz bir etki yaratabilirler. Yani öğrenciler çoktan seçmeli sınavlarda okuduğunu anlamaktaki zorlukların yanı sıra, seçeneklerdeki zorluklarla da uğraşmak zorunda kalmaktadırlar ve bu da bu testlerin geçerliliğini azaltmaktadır. Bu nedenle çoktan seçmeli sınavları hazırlarken seçeneklerin oluşturulmasının soruların zorluğu üzerinde ve dolayısıyla testin geçerliliği üzerinde önemli bir etkisi olduğu unutulmamalıdır.