Madde takımlarının güvenirlik ve değişen madde fonksiyonu üzerine etkisi
The effect of testlets on reliability and differential item functioning
Yazar: GÜLŞEN TAŞDELEN TEKER
Danışman: DOÇ. DR. NURİ DOĞAN
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2014
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Değişen madde fonksiyonu = Differential item function ; Madde Tepki Kuramı = Item Response Theory ; Madde takımı = Testlet ; Testler = Tests ; Çok boyutlu madde tepki kuramı = Multidimensional item response theory ; Ölçme-değerlendirme = Measurement and evaluation ; Üniversiteler = Universities

Özet:
Bu çalışmada, yerel madde bağımlılığı gösteren madde takımları üzerinde
güvenirlik ve değişen madde fonksiyonu (DMF) analizleri yürütülmüştür. Her bir
madde takımında yer alan madde sayıları birbirinden farklılık gösterdiğinden
güvenirlik analizleri dengelenmemiş desenlerde genellenebilirlik (G) kuramı
yürütülerek gerçekleştirilmiştir. Değişen madde fonksiyonu analizleri ise madde
takımı etkisini ele alan ve almayan yöntemler ile cinsiyet ve bölüm değişkenleri
üzerinden yürütülmüştür.
Çalışmada kullanılan veri seti, bir devlet üniversitesinin Yabancı Diller Yüksek
Okulu tarafından yürütülen İngilizce Yeterlik Sınavındaki altı madde takımında yer
alan 20 maddeye 1500 öğrencinin verdikleri cevaplardan elde edilmiştir. Testin
hem bütününe yönelik hem de cinsiyet ve bölüme göre ayrı ayrı olmak üzere
betimsel istatistikler ve madde istatistikleri hesaplanmıştır.
Çalışmanın amaçlarından biri, madde takımlarından oluşan testlerin güvenirliğe
etkisini belirlenmek olduğu için, madde takımı etkisinin ele alınıp alınmadığı
durumlar için elde edilen güvenirlik katsayıları karşılaştırılmıştır. Bu bağlamda
yürütülen G kuramı analizleri sonucu madde takımı etkisi ele alınmadığında
kestirilen G ve Phi katsayılarının madde takımı etkisi ele alındığında kestirilen G
ve Phi katsayılarından daha yüksek olduğu görülmüştür. Diğer bir ifadeyle madde
takımı etkisi ele alınmadığında güvenirliğin görece yüksek kestirildiği sonucuna
ulaşılmıştır.
Araştırmada elde edilen sonuçlar doğrultusunda güvenirliği artırmak adına madde
takımı sayısındaki artışın, madde takımlarını oluşturan madde sayısındaki artıştan
daha etkili olduğu sonucuna ulaşılmıştır. Ayrıca testte yer alan madde takımlarını
oluşturan madde sayıları bir madde takımından diğerine fazlasıyla değiştiğinde, bu
durumun güvenirliği olumsuz etkilediği görülmüştür.
Çalışmada ayrıca, madde takımlarının değişen madde fonksiyonuna (DMF)
etkisini belirlemek adına, madde takımı etkisini ele alan ve almayan iki yöntem
kullanılmış ve sonuçlar karşılaştırılmıştır. Madde takımı etkisini ele alan DMF
belirleme yöntemi ile hem anlamlı düzeyde DMF gösteren madde sayısı hem de
kestirilen DMF düzeyi madde takımı etkisini ele almayan yönteme oranla daha
fazla çıkmıştır.
DMF gösteren maddelerin eşit yetenek düzeyindeki gruplar için farklı işlemelerinin
nedenleri uzman görüşleri yardımıyla araştırılmıştır.



Anahtar sözcükler: Madde takımı, güvenirlik, değişen madde fonksiyonu, 
genellenebilirlik kuramı, çok boyutlu madde tepki kuramı, madde takımı tepki 
kuramı, yerel madde bağımsızlığı

Abstract:
In this study, reliability and differential item functioning (DIF) analysis were carried
out on testlets which shows local item dependency. Since the items numbers per
testlets are different from one testlet to another, the reliability analysis were carried
out by using unbalanced design Generalizability (G) theory. The differential item
functioning analysis were carried out by using the methods taking and not taking
into account the testlet effect by means of sex and department variables.
The data set for the study has been obtained from the answers of 1500 students to
six testlets composed of 20 items in English Proficiency Exam of a public
university's Foreign Language School. Descriptive and item statistics were
calculated separately for both the whole test and subtests which were established
according to sex and department.
Since one of the aims of the study was to determine the effects of testlets on
reliability, the cases in which the testlet effect was and was not taken into
consideration were compared. It was seen that the estimated G and Phi
coefficients were higher when the effect of testlets were not taken into account
than the estimated G and Phi coefficients when the effect of testlets were taken
into account as a result of the G theory analysis conducted. In other words, it was
concluded that the reliability was overestimated when the testlet effect was not
taken in to consideration.
According to the results of the study, it was concluded that it is more effective to
increase the number of testlets rather than the items within testlets to increase the
reliability. Moreover, it was seen that the differentiation of items within testlets from
one to another negatively affect the reliability.
In the study also, to determine the effects of testlets on differential item functioning
(DIF), two methods, one considering the testlet effect and one not, were used and
the results were compared. There were more items which shows statistically
significant DIF and also higher level of DIF were obtained with the DIF method considering the testlet effect compare to the method not considering the testlet
effect.
By the help of experts' opinions, the reasons of differential functioning of items for
the groups of same ability level were investigated.


Keywords: Testlet, reliability, differential item functioning, generalizability theory, 
multidimensional item response theory, testlet response theory, local item 
independence