Bireye uyarlanmış testlerde madde kullanım sıklığı kontrol yöntemlerinin farklı koşullarda ölçme duyarlılığına ve test güvenliğine etkisi
The effect of item exposure control methods on measurement precision and test security within different conditions in adaptive testing
Yazar: RECEP GÜR
Danışman: YRD. DOÇ. DR. HAMİDE DENİZ GÜLLEROĞLU
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Ölçme ve Değerlendirme Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2017
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar destekli değerlendirme = Computer aided evaluation ; Bilgisayar destekli ölçme = Computer aided measurement ; Güvenilirlik = Reliability ; Madde istatistikleri = Item statistics ; Madde kullanım sıklığı kontrol yöntemleri = Item exposure control methods ; Madde parametreleri = Item parameters ; Test güvenilirliği = Test reliability ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışmada, bilgisayar ortamında bireye uyarlanmış test (BOBUT) uygulamalarında iki kategorili (1-0) puanlanan maddelerde madde kullanım sıklığı kontrol yöntemlerinin farklı ölçme koşullarında (farklı yetenek dağılımlarında, test uzunluklarında ve örneklem büyüklüklerinde) ölçme duyarlılığına ve test güvenliğine etkisinin incelenmesi amaçlanmıştır. Monte Carlo simülasyon çalışması olan bu araştırma, kuramsal bir araştırma olup çalışma kapsamında kısa test 25 madde, uzun test 50 madde; küçük örneklem 250 birey, geniş örneklem 1000 birey olarak belirlenmiştir. Testi alan bireylerin yetenek parametreleri, her bir örneklem büyüklüğü koşulu için (θ) değeri -3 ve +3 aralığında sırasıyla sağa çarpık, normal, tek biçimli ve sola çarpık dağılım gösterecek şekilde BOBUT örneklemleri oluşturulmuştur. Araştırmada kullanım sıklığının kontrol edilmediği durum referans olarak alınmış ve madde kullanım sıklığı kontrol yöntemlerinden Sympson Hetter stratejisi ve Aşamalı Düşürme yöntemi tercih edilmiştir. Araştırma kapsamında yer alan değişkenler ve koşullar çaprazlandığında 48 simülasyon koşulu belirlenmiş ve her bir koşulda 100 tekrar yapılarak 4800 veri dosyası oluşturulmuştur. Her bir koşul için ölçme duyarlılığı ve test güvenliği indeksleri hesaplanıp birbirleriyle karşılaştırılmıştır. Yapılan analizler sonucunda, farklı madde kullanım sıklığı kontrolü koşullarında ölçme duyarlılıkları arasında genel olarak büyük farklılık bulunmamıştır. İlgili koşullarda madde kullanım sıklığı kontrol yöntemlerinden Aşamalı Düşürme yöntemi seçildiğinde, test güvenliği daha iyi sağlanarak madde kullanım sıklığı dengeli dağılım gösterdiğinden madde havuzu kullanımının daha verimli hale geldiği ve madde havuzu ifşâ olmadan birçok uygulama için süreklilik sağlayabildiği saptanmıştır. Bu doğrultuda, BOBUT uygulamalarında farklı ölçme koşullarında, madde kullanım sıklığı kontrol yöntemlerinden BOBUT uygulamasından önce,  tekrarlı simülasyonlarla kullanım sıklığı kontrol parametrelerinin belirlendiği, BOBUT uygulamalarında en yaygın kullanılan Sympson Hetter stratejisi yerine, BOBUT uygulanma sürecinde kullanım sıklığı kontrol parametrelerinin eş zamanlı olarak belirlendiği Aşamalı Düşürme yöntemi seçildiğinde, ölçme duyarlılığını düşürmeden madde havuzunu daha dengeli kullanarak test güvenliğinin daha iyi sağlandığı sonucuna ulaşılmıştır.

Anahtar Kelimeler: Bilgisayar Ortamında Bireye Uyarlanmış Test, Madde Kullanım Sıklığı Kontrol Yöntemi, Sympson Hetter yöntemi, Aşamalı Düşürme Stratejisi

Abstract:
In this research, it was aimed to investigate the effect of item exposure control methods on measurement precision and test security for dichotomous items within different conditions (different ability distributions, test lengths, sample sizes) in computerized adaptive testing applications. Current research which is designed as a Monte Carlo simulation research is a theoretical research. Within the scope of the research, short test was designed to have 25 items while long test was designed to have 50 items. In addition to this, small sample was simulated to have 250 observations whereas large sample was simulated to have 1000 observations. Regarding the test-takers' ability parameters, computerized adaptive testing samples which have normal, right-skewed, left-skewed and uniform distribution for each sample size condition in which ability parameters were within -3 and +3 range were generated. The condition in which item exposure wasn't controlled for was taken as the reference condition and Sympson Hetter and Fade Away methods were compared with the reference condition. When the variables and conditions within the research were crossed, 48 simulation conditions were established and 4800 data files were generated by doing 100 replications for each condition. Measurement precision and test security indices computed for each condition were compared to one another. The analyses conducted indicate that measurement precision indices corresponding to different item exposure control conditions didn't create substantial differences. It was found out that when Fade Away method was used, item exposure was distributed in a balanced way and higher test security was obtained. As a consequence of this, it was concluded that item pool got more effective and sustainable without revelation (disclosure) of the items. Accordingly, it was discovered that in computerized adaptive testing applications in different conditions, instead of Sympson Hetter method which is frequently used before computerized adaptive testing applications and in which item exposure control parameters are estimated by iterative simulations, the use of Fade Away method which ensures the item exposure control parameters to be estimated simultaneously resulted in higher test security without reducing the measurement precision.
 
 Keywords: Computerized Adaptive Test, Item Exposure Control Method, Sympson Hetter Method, Fade Away Method