Çoktan seçmeli, açık uçlu ve karma testlerin psikometrik özelliklerinin Madde Tepki Kuramı'na dayalı olarak değerlendirilmesi
The evaluation based on Item Response Theory of the psychometric characteristics in multiple choice, constructed response and mixed format tests
Yazar: SELDA GÜLTEKİN
Danışman: DOÇ. DR. R. NÜKHET ÇIKRIKÇI DEMİRTAŞLI
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
Derece: Doktora, 2011
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Açık uçlu öğrenme = Open-ended learning ; Başarı = Success ; Değerlendirme = Evaluation ; Karma yöntemler = Mixed methods ; Madde Tepki Kuramı = Item Response Theory ; Matematik = Mathematics ; Matematik başarısı = Mathematics achievement ; Psikometri = Psychometrics ; Psikometrik özellikler = Psychometric characteristics ; Sınav = Examination ; Sınav yöntemleri = Examination methods ; Testler = Tests ; Çoktan seçmeli testler = Multiple choice tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışmanın amacı, Matematik başarısına ilişkin olarak benzer yapıları ölçen iki madde tipinin (çoktan seçmeli ve yanıtı sınırlı açık uçlu) tek başına ve birlikte kullanıldıkları koşullar ile iki madde tipinin test içinde yer alma yüzdelerinin test formlarında farklı olduğu durumlarda MTK'ye göre kestirilen madde ve yetenek parametrelerinin psikometrik niteliklerinin, madde ve test bilgi fonksiyonlarının (item and test information function), göreli etkinlik (relative efficiency) düzeylerinin ve ölçüt dayanaklı geçerlik kanıtlarının farklı olup olmadığını araştırmaktır. Bu amaç doğrultusunda, TIMSS 2007 sekizinci sınıf matematik testi ikinci kitapçığındaki maddelerden test uzunluğu (madde sayısı: 15 ve 25) ve açık uçlu madde yüzdesi (%20 ve %40) farklı olarak oluşturulan karma testlerle, çoktan seçmeli ve açık uçlu testlere ilişkin, madde ve yetenek parametreleri, madde ve test bilgi fonksiyonları kestirilmiş, göreli etkinlik indeksleri hesaplanmıştır. Parametre kestirimleri, BILOG-MG programı kullanılarak yapılmıştır. Araştırma verileri, TIMSS 2007 matematik uygulamasına Türkiye'den katılan ve matematik testinin 2. kitapçığını alan 320 8.sınıf öğrencisinden elde edilmiştir.Araştırma sonucunda, uzun karma testlerin, sadece çoktan seçmeli ve sadece açık uçlu maddelerden oluşan testlere göre orta güçlükte ve daha ayırıcı testler olduğu belirlenmiştir. Ayrıca, orta yetenek düzeyinde uzun karma testlerin daha az standart hatayla yetenek kestirimi yaptığı ortaya konmuştur. Buna ek olarak, testlerde, yanıtı sınırlı açık uçlu maddelerin çoktan seçmeli maddelerden daha fazla bilgi verdiği sonucuna ulaşılmıştır. Göreli etkinlik değerleri, açık uçlu testin diğer testlerden etkili olduğunu ortaya koymuştur. Bu doğrultuda, geniş ölçekli test uygulamalarında, çoktan seçmeli maddelerin yanı sıra, yanıtı sınırlı açık uçlu maddelere de yer verilmesi, hem çoktan seçmeli maddelerden gelen şans başarısı kaynaklı hataların puanlara karışmamasını önleyebilecek, nitelikli sorular olmak koşuluyla ölçülen zihinsel becerilerin düzeyi, yükselebilecek ve bu testlerin sonuçlarına göre verilen seçme veya yeterlik kararlarının daha geçerli ve güvenilir olması sağlanabilecektir.

Abstract:
The aim of this study is to find out if there are differences in item and test parameters estimated in item response theory, test information function, reliability and proofs for criterion referenced validity in the conditions of two item types (multiple choice and constructed response) measuring common constructs used separately (alone) and together, and two item types take place in different proportions in tests. In line with this aim, the tests in which the length(15 and 25 items) and the proportion of open ended questions (20% and 40%) were different were combined from eighth grade Maths questions in the second testlet of TIMSS 2007. Through these tests, item and test parametres, item and test information functions, relative efficiency indices were estimated. BILOG-MG was used for estimating parametres. The data was collected from 320 eighth grade students who had taken the second Maths testlet in TIMSS 2007 in Turkey.At the end of the research it is concluded that long mixed format tests are more intermediate level in difficulty and more discriminating than multiple choice and constructed response tests. In addition, it can also be said that long mixed tests prove to make less standart errors in ability estimation. It can also be determined that constructed response items provide more information function than multiple choice items. Relative efficiency values revealed that constructed response test is effective in other tests. In this regard, large-scale test applications, as well as multiple-choice items, be included in a constructured response items, both multiple-choice scores to distinguish it from substances that can prevent the errors from the success of chance, provided that the qualified questions measured the level of mental skills, according to the results of these tests to rise and the select or qualification to be valid and reliable than the decisions will be provided.