Çok boyutlu testlerde değişen madde öbeği fonksiyonunun SIBTEST yöntemiyle incelenmesi
The examining of differential bundle functioning using SIBTEST in the multidimensional tests
Yazar: DİDEM ÖZDOĞAN
Danışman: PROF. DR. HÜLYA KELECİOĞLU
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2017
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Değişen madde fonksiyonu = Differential item function ; Madde Tepki Kuramı = Item Response Theory ; SIBTEST yöntemi = SIBTEST method ; Testler = Tests ; Çok boyutlu madde tepki kuramı = Multidimensional item response theory ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmanın amacı, çok boyutlu testlerde değişen madde öbeği fonksiyonunun incelenmesidir. Bu amaç doğrultusunda, DMF'li maddenin testteki yeri (madde öbeğindeki ve madde öbeği dışında maddelerin tümünün, bir kısmının ya da hiç birinin DMF'li olup olmamasına göre oluşturulan altı koşul), boyutlar arası korelasyon (0.10-0.45-0.80), örneklem büyüklüğü (2000-5000) ve referans ve odak grupların oranı (1/3-1/1-3/1) farklılaştırılarak bu etki belirlenmeye çalışılmıştır. 
Çalışmada 30 maddelik testin ilk 10 maddesi madde öbeği olarak kabul edilmiştir. Test uzunluğu, madde öbeğinin içerdiği madde sayısı ve odak ve referans gruplar arasındaki yetenek farkı her koşulda sabit tutulmuştur. Madde parametreleri ITEMGEN (Ackerman, 1994b) programında üretilmiştir. Üretilen parametrelere göre veriler, araştırmada ele alınan koşulları sağlayacak şekilde genişletilmiş iki parametreli lojistik modele göre iki kategorili (1-0) ve çok boyutlu olarak SAS programı ile üretilmiştir. Verilerin analizi SAS programında tamamlanmış, değişen madde öbeği fonksiyonu SIBTEST yöntemi kullanılarak belirlenmiştir. Araştırma sonuçları DMF belirleme ölçütleri olan 1. tip hata ve güç oranı kriterlerine göre yorumlanmıştır. 
Çalışmadan elde edilen sonuçlar incelendiğinde, madde öbeği düzeyinde yapılan analizler sonucunda iki boyut arasındaki korelasyon arttıkça güç oranlarının nispeten azaldığı gözlenmiştir. Güç oranı bütün koşullarda en yüksek olarak iki boyut arasındaki korelasyonun en düşük olduğu durumlarda elde edilmiştir. Çalışmada incelenen iki farklı örneklem büyüklüğüne göre (N=2000,5000) elde edilen güç oranlarının, örneklem büyüklüğü arttıkça artış gösterdiği gözlenmiştir. Çalışmada incelenen diğer bir değişken odak ve referans grupların oranıdır (R/O=1/3, 1/1 ve 3/1). SIBTEST'in madde öbeği düzeyinde DMF belirleme gücü en yüksek olarak odak ve referans grupların eşit olduğu oranda elde edilmiştir. 
Çalışmada diğer bir ölçüt olan 1. tip hata oranı sonuçlarına göre, hata oranlarının boyutlar arasındaki korelasyon arttıkça nispeten düştüğü ve örneklem büyüklüğü arttıkça arttığı gözlenmiştir. Odak ve referans grupların oranına göre ise, en büyük hata oranları örneklem oranının eşit olduğu koşullarda elde edilmiştir. 
SIBTEST'in DMF belirleme gücünün en yüksek olduğu durumlar madde öbeğini oluşturan tüm maddelerin DMF gösterdiği koşullara aittir. Madde öbeğindeki tüm maddeler DMF gösterdiğinde, madde öbeği dışında DMF'li maddelerin bulunduğu ve bulunmadığı durumlarda SIBTEST madde öbeği düzeyinde DMF'yi %100 oranında doğru olarak belirlemiştir. Madde öbeğinde DMF göstermeyen maddelerin bulunmasının, madde öbeği düzeyinde elde edilen güç oranlarını nispeten düşürücü bir etkisi olmuştur. 
Madde öbeğindeki maddeler DMF göstermediğinde ve madde öbeği dışında kalan bazı maddelerde DMF bulunduğunda ve madde öbeğinde ve testte DMF'li madde bulunmadığı durumlarda, madde öbeğine ait 1. tip hata oranlarının nominal alfa düzeyini (0,05) oldukça aştığı gözlenmektedir. Bu durumun, maddeler tek tek ele alındığında DMF göstermezken, öbek olarak ele alındığında DMF düzeyini arttırabileceğinden kaynaklandığı düşünülmektedir. 
Çalışmadan elde edilen diğer bir sonuç, madde öbeğinde DMF gösteren madde bulunmadığında, madde öbeği dışında DMF gösteren maddelerin bulunduğu ve bulunmadığı durumda incelenen iki farklı koşulda, madde öbeğine ait hata oranlarının yakın değerlerde olduğu gözlenmektedir. Bir başka deyişle, madde öbeğinde DMF gösteren madde bulunmuyorsa, madde öbeği dışında DMF gösteren maddelerin bulunması ya da bulunmamasının madde öbeği düzeyinde elde edilen hata oranları üzerinde belirgin bir etkisi olmamıştır. 
Ayrıca madde öbeklerine ait 1. tip hata ve güç oranlarının, çalışmada ele alınan değişkenlere göre nasıl değiştiğine ilişkin varyans analizi yapılmıştır. Elde edilen sonuçlara göre, madde öbeğinde DMF gösteren ve göstermeyen maddeler birlikte bulunduğunda ve madde öbeği dışında DMF'li madde bulunmadığı durumda madde öbeğine ait güç oranları, yalnızca örneklem büyüklüğü ana etkisi için manidar bulunmuştur. Madde öbeğinde DMF gösteren ve göstermeyen maddeler birlikte bulunduğunda ve madde öbeği dışında da DMF'li maddeler bulunduğu durumda madde öbeğine ait güç oranları, ana etkilerden boyutlar arası korelasyon, örneklem büyüklüğü ve örneklem oranı, etkileşim etkilerinden ise sadece örneklem büyüklüğü ve örneklem oranı etkileşimi manidardır. 
Hata oranlarının ANOVA sonuçları incelendiğinde, madde öbeğinde DMF gösteren madde bulunmadığında ve madde öbeği dışında DMF'li maddeler bulunduğunda, madde öbeğine ait hata oranları, boyutlar arası korelasyon, örneklem büyüklüğü ve örneklem oranı ana etkileri için manidar bulunmuştur. Madde öbeğinde ve madde öbeği dışında DMF'li madde bulunmadığı durumda madde öbeğine ait hata oranları, örneklem büyüklüğü ve örneklem oranı ana etkileri için manidardır.

Abstract:
This research aims to analyze the differential bundle functioning in the multi-dimensional tests. In accordance with this aim, the effect is identified through differentiating the location of item with DIF in the test (six conditions designated whether the bundle; all, a part of or none of the item excluding the bundle include DIF or not), the correlation between the dimensions (0.10-0.45-0.80), the sample size (2000-5000) and the ratio of the reference and the focus group (1/3; 1/1; 3/1). 
The first 10 item of the test that is comprised of 30 item is acknowledged as the bundle. The length of the test, the number of the item that the bundle includes and the ability difference between the reference and the focus groups are constant in all condition. The item parameters are generated via ITEMGAN (Ackerman, 1994b) program. The data in align with the parameters is generated via SAS program through an extended 2PL model which establishes the conditions in the research and is multidimensional. The analysis of the data is completed in SAS program, Differential Bundle Functioning is identified through SIBTEST method. The result of the research is interpreted according to the criteria of the power rate and the type I error which are the standards for determining DIF.
When the results is viewed, the analysis of the bundle reveals that the correlation increased between the two dimensions, relatively the less the power rates become. The power rate at its highest in all condition is obtained when the correlation between the two dimensions is the lowest.  It is observed that the power rates, which are obtained according to two different sample sizes (N=2000, 5000) in the research, increase as the sample size increases. Another variable examined in the research is the ratio of the focus and the reference groups (R/O=1/3, 1/1 and 3/1). SIBTEST, at the level of the bundle, is capable of determining DIF at its highest when the focus and the reference groups are equal. According to the result of the type I error rate, which is another criterion in the research, the error rate is identified to be relatively decreasing as the correlation between the dimensions increase and it is identified to be increasing as the sample size increases. Also according to the ratio of the focus and the reference groups, largest error rate is obtained when the sample sizes are equal. The conditions when SIBSTEST is at its best to determine DIF belong to the conditions that all item which compose the bundle indicate DIF. When all items in the bundle indicate DIF, in the conditions which include or lack the items with DIF excluding the bundle, SIBTEST at the level of the bundle determines DIF 100% precisely. That the bundle includes items which do not indicate DIF has a relatively decreasing effect on the power rates obtained at the bundle level.
When the items in the bundle do not indicate DIF and when DIF is found in some items excluding the bundle and in the conditions when the items with DIF is found neither in the bundle nor in the test, it is observed that the type I error rates which belong to the bundle rather exceeds the nominal alfa level (0.05). This condition is thought to derive from the fact that the items do not indicate DIF when examined one by one, yet they increase the level of DIF when they are examined as groups.
Another result of the research is that when no items are found which indicate DIF, in two different conditions when there are and are not items excluding the bundle indicate DIF, it is observed that  the error rates belonging to the bundle are at closer levels. In other words, if there are no items which indicate DIF in the bundle, whether there are or are not items with DIF excluding the bundle does not have an obvious effect on the error rates obtained at the bundle level. In addition to that, a variance analysis is conducted in order to find the alteration of the type I error and the power rates accordingly to the research factors. The results show that when DIF indicating and not indicating items are found together in the bundle and when there are no items with DIF excluding the bundle, the power rates of the bundle are significant only for the main effect of the sample size. When the items with DIF and without DIF are found together and when the items with DIF exist outside of the bundle; the power rates of the bundle, the correlation between the dimensions, the size and the sample size ratio as the main effects; and only the interaction between the sample size and sample size ratio as the interaction effects are significant.
When the ANOVA results of the error rates are viewed, when the items with DIF is not found in the bundle and the items with DIF are found outside of the bundle, the error rates of the bundle, the correlation between the dimensions, the sample size and the sample size ratio are found significant for the main effects. When the items with DIF is found neither in the bundle nor outside of the bundle, the error rates of the bundle, the sample size and the sample size ratio are significant for the main effects.