Bireyselleştirilmiş bilgisayarlı test uygulamalarında kullanılan madde seçme yöntemlerinin karşılaştırılması
Comparision of item selection methods in computerized adaptive testing
Yazar: SEMA SULAK
Danışman: DOÇ. DR. HÜLYA KELECİOĞLU
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı
Derece: Doktora, 2013
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar destekli = Computer aided ; Bireyselleştirilmiş testler = Individual tests ; Madde Tepki Kuramı = Item Response Theory ; Madde Tepki Kuramı = Item Response Theory ; Madde yanlılığı = Item bias ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bireyselleştirilmiş bilgisayarlı test uygulamalarının en önemli avantajı, cevaplayıcıların yetenek düzeyine uygun maddelerle karşılaşmasıdır. Bu avantajın sağlanması için testi alan kişilerin yeteneği hakkında en çok bilgi taşıyan maddelerin seçilmesi oldukça kritik bir öneme sahiptir.  Bireyselleştirilmiş bilgisayarlı testte madde seçme yöntemi, testin nasıl başlayacağı, devam edeceği ve sonlanacağına hakim olan merkezi bir bileşendir. 
Bu araştırmada BBT uygulamalarında kullanılan madde seçme yöntemleri, yetenek kestirim yöntemleri ve test durdurma kurallarına göre karşılaştırmalı olarak incelenmiştir. Bu amaçla 250 maddelik bir madde havuzu, ortalaması 0 ve standart sapması 1 olacak şekilde 2000 kişi simülatif olarak oluşturulmuştur. BBT koşulları,  madde seçme yöntemleri (Maksimum Fisher Bilgisi, a-tabakalama, Olabilirlik Ağırlıklı Bilgi Ölçütü, Aşamalı Maksimum Bilgi Oranı, Kullbak-Leibler Bilgisi), yetenek kestirim yöntemleri (En Çok Olabilirlik Tahmini, Beklenen Sonsal Dağılım), test durdurma kuralları (40 madde, SH0.2 ve SH0.4)  olmak üzere toplam otuz koşuldan oluşturulmuştur.  Elde edilen bulguların analizinde; sabit test uzunluğuna dayalı durdurma kuralında tahminin standart hatası, sabit standart hataya dayalı durdurma kuralında ise ortalama madde sayısı kullanılmıştır. Madde seçme yöntemlerinin madde kullanım sıklıkları da incelenmiştir. 
Sabit test uzunluğuna dayalı durdurma kuralına (40 madde) göre yapılan karşılaştırmalarda, En Çok Olabilirlik Tahmini yetenek kestirimi kullanıldığında elde edilen SH değerleri, Beklenen Sonsal Dağılım yetenek kestirimi kullanıldığında elde edilen SH değerlerinden daha yüksek bulunmuştur. En Çok Olabilirlik Tahmini yetenek kestirimi koşullarında, test uzunluğu n30 iken, a-tabakalama; n30 iken Kullbak-Leibler madde seçme yöntemi en yüksek SH değerini göstermiştir. Beklenen Sonsal Dağılım yetenek kestirimi koşullarında ise bütün test uzunluklarında en yüksek SH değeri a-tabakalama madde seçme yönteminden elde edilmiştir. Madde havuzu kullanımında ise en iyi sonuç a-tabakalama madde seçme yönteminden elde edilmiştir. 
 Durdurma kuralının SH0.2 olduğu koşullarda, En Çok Olabilirlik Tahmini yetenek kestirimi kullanıldığında en düşük ve en yüksek madde sayısı ortalaması sırasıyla Aşamalı Maksimum Bilgi Oranı  ve Maksimum Fisher Bilgisi madde seçme yönteminden;  Beklenen Sonsal Dağılım yetenek kestirimi kullanıldığında ise, Kullbak-Leibler  ve Olabilirlik Ağırlıklı Bilgi Ölçütü madde seçme yönteminden elde edilmiştir. Durdurma kuralının SH0.4 olduğu koşullarda, En Çok Olabilirlik Tahmini yetenek kestirimi kullanıldığında en düşük ve en yüksek madde sayısı ortalaması sırasıyla Maksimum Fisher Bilgisi ve  Kullbak-Leibler madde seçme yönteminden; Beklenen Sonsal Dağılım yetenek kestirimi kullanıldığında ise Maksimum Fisher Bilgisi ve a-tabakalama madde seçme yönteminden elde edilmiştir. Durdurma kuralının SH0.2  ve SH0.4 olduğu koşullarda, bütün madde seçme yöntemlerinde, En Çok Olabilirlik Tahmini yetenek kestirimi kullanıldığında elde edilen ortalama madde sayısı, Beklenen Sonsal Dağılım yetenek kestirimi kullanıldığında elde edilen ortalama madde sayısından daha yüksek bulunmuştur. BBT uygulamalarında Beklenen Sonsal Dağılım yetenek kestiriminin test uzunluğunu kısalttığı sonucuna varılmıştır. Araştırmaya alınan bütün madde seçme yöntemlerinin; madde havuzu kullanımına ilişkin iyi bir denge göstermediği,  yüksek a-parametresine sahip maddeleri daha çok kullandığı sonucuna varılmıştır.

Abstract:
The advantage of computer adaptive tests (CAT) is that the test takers encounter items matched to an examinees? ability level selecting the most informative items based on test takers? abilities is so critical in order to provide this advantage. Item selection can be seen as a core component of CAT, because it dominates how the CAT starts, continues, and stops for an examinee.
In this research, item selection methods were investigated in terms of test termination rule and ability estimation. For this aim, 250 items and 2000 people, who has mean of zero and standard deviation of 1, were created simulatively. Simulated CAT conditions were created based on item selection methods (Maksimum Fisher Information, a-stratification, Likelihood Weight Information Criterion, Gradual Maksimum Information Ratio, Kullbak-Leibler), abilitiy estimation methods (Maksimum Likelihood Estimation, Expected a Posteriori) and  test termination rule (40 items, SE<0.2 and SE<0.4). 
According to the results that compare fixed-length termination rule (40 items); SE value when used Maksimum Likelihood Estimation ability estimation method was bigger than SE value when used Expected a Posteriori ability estimation method. In Maksimum Likelihood Estimation ability estimation conditions, when test length is n<30 a-stratification and is n>30, Kullbak-Leibler item selection method had the highest SE value. On the other hand, during Expected a Posteriori ability estimation conditions for all test lengths the highest SE value was obtained by a-tabakalama item selection method. According to the results that compare item pool utilization; the most accurate results were gathered by a-stratification item selection method. 
It is found that when termination rule was SE< 0.2 and Maksimum Likelihood Estimation was utilized as ability estimation method, the lowest and the highest item averages were for Gradual Maksimum Information Ratio and Maksimum Fisher Information item selection methods; on the other hand, when Expected a Posteriori was utilzied, they were Kullbak-Leibler and Likelihood Weight Information Criterion item selection methods. Under the conditions where termination rule was SE< 0.4 and Maksimum Likelihood Estimation was used as ability estiomation method, Maksimum Fisher Information had the highest and Kullbak-Leibler had the lowest item number mean; when Expected a Posteriori was utilized Maksimum Fisher Information and a-tabakalama methods had the highest and the lowest means. Overall, it was found that when termination rule was SE< 0.2 and SE < 0.4 and by all item selection methods, item number average is higher for Maksimum Likelihood Estimation in comparision to Expected a Posteriori ability estimation. It was found that Expected a Posteriori ability estimation had an impact on shortining the test length. According to the results items that had higher a-parameters were used more during simulation process that means the item selection methods were not balanced for item pool.