Cognitive diagnostic assessment of second language reading comprehension: Application of the log - linear cognitive diagnosis modeling to language testing

Bu çalışmada tanılayıcı sınıflandırma modelleme yaklaşımı çerçevesinde ikinci dilde okuduğunu anlama becerisine yönelik çok boyutlu bir bilişsel tanılayıcı test geliştirilmesi amaçlanmıştır. Tanılayıcı sınıflandırma modelleme yaklaşımı henüz gelişme aşamasında olsa da, istatistiki açıdan ileri ve karmaşık olan bu modelleme eğitimde ölçme ve değerlendirmede paydaşlara sunulacak tanılayıcı dönütün kalitesini artırmak için büyük umut vadetmektedir. Retrofitting adı verilen yeterlik sınav sonuçlarının tanılayıcı sınıflandırma modellemede kullanıldığı uygulamalarda ciddi sorunlarla karşılaşılmaktadır. İlgili literatürde de bu sıkıntılara sıklıkla değinildiğinden ötürü, bu çalışma tanılayıcı sınıflandırma modelleme kapsamında kullanılmak üzere ikinci dilde okuduğunu anlama becerisini ölçmeye yönelik bilişsel bir tanılayıcı test geliştirmeyi ve bu test sonuçlarını Log-lineer Bilişsel Tanılayıcı Modelleme adı verilen genel bir bilişsel sınıflandırma modeliyle analiz etmeyi amaçlamaktadır. Daha özele indirgemek gerekirse, bu çalışmada ikinci dilde okuduğunu anlama becerisine yönelik geliştirilecek bir bilişsel modelin ölçme değerlendirme faaliyetlerini ve bu faaliyetlerden elde edilecek çıkarımları ne derece etkilediği; geliştirilen bilişsel tanılayıcı testin amacına ne kadar hizmet ettiği, Log-lineer Bilişsel Tanılayıcı Modellemenin beceri profillerini ne kadar iyi belirleyebildiği ve ulaşılan beceri profili ve alt becerilerin hangi özellikleri taşıdığı gibi soruları cevaplamayı amaçlamıştır. Bunun yanı sıra, söz konusu çalışmada, simülasyon çalışmalarının aksine gerçek veriler üzerinde çalışma imkanı olmasından dolayı bu çalışma tanılayıcı sınıflandırma modelleme yaklaşımının gerçek uygulamalardaki uygunluğunu sergileyerek eğitimde ve yabancı dilde ölçme değerlendirme alanlarına katkıda bulunmayı amaçlamıştır. Log-lineer Bilişsel Tanılayıcı Modelleme yaklaşımından daha iyi yararlanabilmek ve retrofitting yaklaşımının sıkıntılarını bertaraf etmek için bu çalışmada öncelikli olarak ikinci dilde okuduğunu anlama becerisine yönelik bir bilişsel model geliştirilmiştir. Bu modelin geliştirilmesi için ana dil ve ikinci dilde okumaya yönelik teorik modeller ve literatürün sunduğu ampirik araştırma sonuçları incelenmiştir. Bunun yanı sıra dil kullanım alanı incelenmiş, İngiliz Dili Eğitimi bölümünde çalışan akademisyenlerle mülakatlar gerçekleştirilmiş, çalışmaya katılan 150 öğrencinin ileri okuma dersindeki vize ve final kağıtları incelenmiş ve katılımcılara okuma becerisine yönelik bir öz-değerlendirme anketi sunulmuştur. Bu aşamaların neticesinde bilişsel model geliştirilmiş ve bu modele bağlı olarak ortaya çıkan bilişsel tanılayıcı test Türkiye'de orta ve büyük ölçekli dokuz devlet üniversitesinin İngiliz Dili Eğitimi anabilim dalında eğitim gören 1058 katılımcıya uygulanmıştır. Analizler, model ve veri arasındaki uyumun ve testteki maddelerin kalitesinin oldukça iyi olduğunu ortaya koymuştur. İstatistiki kanıtlar test maddelerinin amaçlarına hizmet ettiklerini ve ölçmeyi amaçladıkları hedefleri ölçtüklerini sergilemiştir. Ayrıca Log-lineer Bilişsel Tanılayıcı Modellemenin uygulanması sonucu elde edilen beceri sınıflandırmalarının güvenirliklerinin son derece yüksek olduğu saptanmıştır. Bunlara ek olarak bu çalışmada sesli düşünme protokolleri katılımcıların okuma süresince yürüttükleri bilişsel süreçleri anlayabilmek ve bilişsel tanılayıcı testin uygulanması sonucunda edinilen çıkarımların geçerliğini sağlamak için kullanılmıştır. Testten alınan puanlara göre, en yüksek ve en düşük performans gösteren gruplardan rastgele seçilen 15 katılımcı bu protokollere katılmak için davet edilmişlerdir. Sesli düşünme protokollerinden elde edilen veriler hem testin hem de testten elde edilen çıkarımların geçerliğini saptamaya yardımcı olmuş ve ilaveten sıra okuduğunu anlama becerisi açısından iyi ve yetersiz katılımcılar arasındaki farkları saptamayı sağlamıştır. Özetlemek gerekirse, çalışmanın bulguları ölçülen beceriye dair güçlü bir teorik altyapı ile iyi bir test dizaynının bir araya gelmesi sonucunda, bilişsel tanılayıcı bir testin geliştirilmesinin ve Log-lineer Bilişsel Tanılayıcı Modelleme yaklaşımının katılımcılar hakkında pedagojik olarak yararlı ve güvenilir bilgi edinmek amacıyla kullanılmasının mümkün olduğunu göstermiştir.