Bireyselleştirilmiş bilgisayarlı test uygulamalarında madde kullanım sıklığı kontrol yöntemlerinin incelenmesi
Investigation of item exposure control methods in computerized adaptive testing
Yazar: NAGİHAN BOZTUNÇ ÖZTÜRK
Danışman: DOÇ. DR. NURİ DOĞAN
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2014
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar destekli ölçme = Computer aided measurement ; Bireyselleştirilmiş testler = Individual tests ; Madde Tepki Kuramı = Item Response Theory ; Madde kullanım sıklığı kontrol yöntemleri = Item exposure control methods ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bireyselleştirilmiş bilgisayarlı test (BBT) uygulamalarının gün geçtikçe daha fazla
tercih edilmesiyle birlikte testlerin geçerliğini tehlikeye düşürebilecek bazı sorunların
da beraberinde geldiği görülmektedir. Uygulamalarda madde havuzunun çarpık
kullanılması, sık kullanılan maddelerin kişiler tarafından hatırlanabilmesi, madde
havuzu kullanımı sürekliliğinin sağlanamaması gibi durumların meydana gelmesi BBT
sürecine yeni bir bileşenin eklenmesine sebep olmuştur. Bu nedenle test güvenliğini
sağlayabilmek ve madde havuzunun kullanımını daha verimli hale getirebilmek için
madde kullanım sıklığı kontrol yöntemleri geliştirilmiştir. Bu araştırmada da, çeşitli
madde kullanım sıklığı kontrol yöntemlerinin, madde seçme yöntemi ve madde
havuzu özelliklerine göre ölçme kesinliğine ve test güvenliğine olan etkisinin
incelenmesi amaçlanmaktadır.
Araştırmada madde kullanım sıklığı kontrol yöntemleri olarak Bilgi Koşullu Tesadüfi (5
ve 10 madde), Sympson-Hetter ve Azalarak Kaybolma yöntemleri kullanılmıştır.
Ayrıca madde kullanım sıklığı kontrolünün yapılmadığı koşul da referans oluşturması
için araştırmaya dahil edilmiştir. Madde seçme yöntemlerinden ise Fisher'in En Çok
Bilgi, a-Tabakalama ve Aşamalı En Çok Bilgi Oranı yöntemleri kullanılmıştır.
Simülasyon çalışması olarak yürütülen bu araştırmada 1000 bireye ait yetenek
parametreleri ortalaması 0, standart sapması 1 olan normal dağılımdan elde
edilmiştir. Madde havuzları oluşturulurken; her iki madde havuzunda da a parametresi
[0.50;2.00], c parametresi [0.05;0.20] aralığında tek biçimli dağılıma sahip olacak
şekilde türetilmiştir. b parametresi ise orta güçlükteki madde havuzunda [-3.00;+3.00]
aralığında tek biçimli dağılımdan, yüksek güçlükteki madde havuzunda ise ortalaması
2, standart sapması 1.5 olan normal dağılımdan türetilmiştir. İlk madde seçiminde
bireylerin yetenek düzeyleri sıfır olarak tanımlanmış, yetenek kestiriminde ise
Beklenen Sonsal Dağılım kestirim yöntemi kullanılmıştır. Sonlandırma kuralı olarak sabit test uzunluğu seçilmiş ve bu uzunluk 25 olarak belirlenmiştir. BBT uygulaması
bir günde 1000 kişinin uygulamaya katılması şeklinde simüle edilmiştir.
Ölçme kesinliği için uyum katsayısı, RMSE, yanlılık ve ortalama mutlak fark değerleri
hesaplanırken; test güvenliği için madde kullanım sıklığı oranlarının dağılımı ve
oranların ortalaması, standart sapması, en yüksek madde kullanım sıklığı oranı,
ölçeklenmiş ki-kare istatistiği, F oranı ve test çakışması hesaplanmıştır.
Fisher'in En Çok Bilgi ve Aşamalı En Çok Bilgi Oranı madde seçme yöntemlerinin
kullanıldığı koşullarda madde havuzu kullanımı açısından iki yöntem yakın sonuçlar
vermiştir. a-Tabakalama yöntemi ise, madde kullanım sıklığının kontrol edilmediği
durumda bile madde havuzu kullanımını dengelemiş ve en çok madde kullanım sıklığı
oranını, 𝜒2 ve test çakışma oranını azaltmıştır. a-Tabakalama madde seçme yöntemi
ve Azalarak Kaybolma madde kullanım sıklığı kontrol yöntemlerinin beraber
kullanıldığı durumlarda madde havuzunun kullanımındaki çarpıklık ve test çakışması
diğer koşullara göre daha düşük olmuştur.
Araştırmanın sonuçlarına göre, madde kullanım sıklığı kontrol yöntemleri
kullanıldığında ölçme kesinliğini belirlemede kullanılan göstergelere ait değerlerde
büyük farkların bulunmadığı tespit edilmiştir. Test güvenliğine bakıldığında ise genel
olarak Azalarak Kaybolma madde kullanım sıklığı kontrol yönteminin, madde
havuzunun kullanımındaki çarpıklığın ve test çakışmasının azaltılması açısından diğer
yöntemlere göre daha iyi sonuçlar verdiği görülmüştür.



Anahtar sözcükler: Bireyselleştirilmiş bilgisayarlı test, madde kullanım sıklığı kontrol 
yöntemleri, bilgi koşullu tesadüfi yöntem, Sympson-Hetter yöntemi, azalarak 
kaybolma yöntemi, ölçme kesinliği, test güvenliği

Abstract:
It has been seen that some issues that could imperil the validity of the tests are arisen
after the Computerized Adaptive Testing (CAT) administrations have been preferred
recently. These issues such as skewness of the item pool utilization, the possibility of
remembering the over-exposed items by examinees, not being able to progress the
sustainability of item pool are caused to add new a component to CAT. Therefore
item exposure control methods have been developed in order to ensure test security
and to make the use of item pool more efficient. This study aims at investigating the
various item exposure control methods in CAT under dichotomously IRT model by
using different item pool characteristics and item selection methods in terms of
measurement presicion and test security.
The exposure control methods used in this study were the randomesque method (
with 5 and 10 items), the Sympson-Hetter method and the Fade Away method. Each
of these methods were compared with no-exposure control condition. Maximum
Fisher Information, a-Stratification and Gradual Maximum Information Ratio methods
were used as item selection methods.
This study was a simulation study. 1.000 simulees were generated from a standard
normal N(0,1) distribution. a parameters were generated from a uniform distiribution
with the range of [0.50;2.00] and c parameters were generated from a uniform
distiribution with the range of [0.05;0.20] both medium and hard item pools. b
parameters were generated from a uniform distiribution with the range of [-3.00;+3.00]
for medium item pool, and from a standard normal N(2,1.5) distiribution for hard item
pool. The initial theta estimate was assigned zero for each simulee and Expected A
Posteriori was used for ability estimation. The fixed test length rule was adopted to
terminate the CAT and the length of the test was fixed at 25 items. The simulation
was designed as 1000 simulees attended CAT in one day.
Fidelity, RMSE, bias and average absolute difference statistics were calculating for
precision of measurement; moreover item exposure rates and these rates' means and
standart deviations, maximum exposure rates, scaled chi-square statistic, F ratio and
test overlap were also calculated for test security.
When Maximum Fisher Information and Gradual Maximum Information Ratio item
selection methods were used, the results of these two methods was close with regard
to item pool utilization under all conditions. On the other hand, a-stratification method
balanced utilization of items and also reduced maximum item exposure rate, 𝜒2 and
test overlap statistics in case no item exposure methods were used. In case of using
a-stratification as item selection method and fade away method as item exposure
method together, this combined method had the lowest skewness of item pools
utilization and test overlap compared to all other conditions.
According to the results of this study, it has been verified that there was no difference
in the value of indicators used to identify the precision of measurement when
exposure control methods were utilized. Fade Away method as item exposure control
method gave better results in regard to reducing the skewness of the item pool
utilization and test overlap compared to others.



Keywords: Computerized adaptive testing, item exposure control methods, 
randomesque method, Sympson-Hetter method, fade away method, precision of 
measurement, test security