Değişen madde fonksiyonunun lojistik regresyon yöntemiyle belirlenmesinde gözlenen ve örtük puan kullanımının performanslarının karşılaştırılması
According to the manifest and latent points the determined differential item functioning comparison of their performance by logistic regression method
Yazar: SİNAN YAPICI
Danışman: DOÇ. DR. ÖNDER SÜNBÜL
Mersin Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu araştırmada, gözlenen ve örtük puanlarda değişen madde fonksiyonunu(DMF) belirlemede kullanılan Sıralı Lojistik Regresyon (SLR) tekniğinin DMF belirleme I. Tip hata oranları ve istatistiksel güç değerlerinin odak ve referans grubun yetenek dağılımı, örneklem büyüklüğü ve örneklem büyüklüğü oranlarının değiştiği çeşitli koşullar altında performanslarının karşılaştırılması amaçlanmıştır.
Araştırmada, yetenek kestirimleri ve cevaplayıcı tepkileri R yazılımında simülasyon yöntemiyle elde edilmiştir. DMF içeren ve DMF içermeyen madde parametreleri iki parametreli lojistik modele uygun olarak üretilmiştir. Referans ve odak grup için aynı madde parametreleri kullanılmıştır. Tek biçimli DMF, odak ve referans grupların b parametresi değiştirilerek sağlanmıştır. Bu çalışmada örneklem büyüklüğü ve örneklem büyüklüğü oranı, DMF içeren madde oranı, test madde uzunluğu, manipüle edilen değişkenler olarak belirlenmiş; grup sayısı (referans ve odak grup), DMF koşulu (tek biçimli) ve eşleştirme değişkeni bütün koşullar altında sabit tutulmuştur. DMF analizleri için dört farklı örneklem büyüklüğü, iki farklı örneklem büyüklüğü oranı, iki farklı test uzunluğu ve iki farklı DMF içeren madde oranına göre üretilen (4x2x2x2) toplam 32 veri seti için 33 tekrarlama yapılmıştır.
Bu araştırma sonucunda, 1.Tip hata oranlarının belirlenmesi için yapılan çalışmada elde edilen bulgulara göre; Gözlenen ve örtük puanlardan SLR tekniği DMF belirleme 1. Tip hata oranlarının örneklem büyüklüğü arttıkça azaldığı, örneklem oranın odak ve referans grupta eşit veya farklı dağıtılmasının, Test madde uzunluğunun 20 ve 40 olarak değişimlenmesinin SLR tekniği ile DMF belirlemede 1. Tip hatayı önemli ölçüde etkilemediği; 1.Tip hata oranlarının ortalamasının a<0.055 aralığında olduğu; bununla birlikte, test uzunluğunun 40 ve örneklem büyüklüğü oranın farklılaştığı koşulda, SLR tekniğinin DMF belirlemede I. Tip hatasının daha düşük; istatistiksel güç oranın ise daha yüksek olduğuna ulaşılmıştır. Araştırmada ilgili tekniğin gözlenen ve örtük puanlardan elde edilen DMF belirleme istatistiksel güç oranlarının incelendiği bölümünde; gözlenen ve örtük puanlarda SLR tekniğiyle DMF belirlemede istatistiksel güç oranlarının örneklem büyüklüğü ile doğru orantılı olduğu; örneklem büyüklüğü arttıkça elde edilen ortalama güç oranlarının da arttığı; Örneklem büyüklüğünün 1000 ve 2000; örneklem büyüklüğü oranının odak ve referans grupta eşit veya farklı dağıtıldığı koşullarda ise SLR tekniği DMF belirleme güç oranının 0.80 üzerinde olduğu; ilgili tekniğinin DMF belirlemede yeterli istatistiksel güce sahip olduğu; gözlenen ve örtük puanlarda SLR tekniği ile DMF belirleme gücünü dağılımdaki DMF'li madde miktarının etkilediği bulgularına ulaşılmıştır. I. Tip hata ve istatistiksel güç oranlarına ait bulgular birlikte incelendiğinde, hem gözlenen puanlarda hem de örtük puanlarda SLR tekniği ile DMF belirlemede 1000 ve 2000 örneklem büyüklüklerinde tüm koşullarda daha iyi performans gösterdiği bulunmuştur.

Abstract:
In this study, the DİF determination Type I error rates and statistical power values of the Ordered Logistic Regression (OLR) technique, which is used to determine the item function (DİF) that changes in observed and implicit scores, were evaluated under various conditions where the distribution of ability, sample size and sample size ratios of the focus and reference group changed. intended to be compared.
In this research, ability estimations and responder responses were obtained by simulation method in R software. The item parameters with and without DİF were produced in accordance with the two-parameter logistic model. The same item parameters were used for the reference and focus group. Uniform DİF is achieved by changing the b parameter of the reference and focus groups. In this study, sample size and sample size ratio, DİF-containing item ratio, test item length, were determined as manipulated variables; The number of groups (reference and focus group), DİF condition (uniform) and matching variable were kept constant under all conditions. For DİF analysis, 33 replications were made for a total of 32 data sets (4x2x2x2) produced according to four different sample sizes, two different sample size ratios, two different test lengths and two different DMF containing item ratios.
As a result of this research, according to the findings obtained in the study conducted to determine the Type 1 error rates; Determination of DİF with OLR technique from observed and implicit scores, Type 1 error rates decrease as the sample size increases, the sample rate is equally or differently distributed in the focus and reference groups, the change in the test item length as 20 and 40, can significantly reduce the Type 1 error alone in determining DİF with the SLR technique. does not affect; The mean of Type 1 error rates was in the range of a<0.055; However, in conditions where test length 40 and sample size ratio differ, SLR technique had a lower Type I error in DMF determination; statistical power ratio was found to be higher. In the section of the research related to the statistical power ratios of DİF determination obtained from the observed and implicit scores of the related technique; Statistical power ratios in determining DİF with the SLR technique in observed and implicit scores are directly proportional to the sample size; As the sample size increases, the average power ratios also increase; The sample size is 1000 and 2000; In the conditions where the sample size ratio is distributed equally or differently in the focus and reference groups, the DİF detection power ratio of the SLR technique is above 0.80; its related technique has sufficient statistical power in determining DİF; It was found that the amount of DİF item in the distribution affected the DİF determination power with the OLR technique in the observed and implicit scores. When the findings of Type I error and statistical power ratios were examined together, it was found that OLR technique performed better in all conditions in 1000 and 2000 sample sizes in determining DİF in both observed scores and implicit scores.