Çok kategorili puanlanan maddelerin psikometrik özelliklerinin farklı test koşullarında parametrik olmayan Madde Tepki Kuramı modellerine göre incelenmesi
Examination of polytomous items' psychometric properties according to nonparametric Item Response Theory models in different test conditions
Yazar: ASİYE ŞENGÜL AVŞAR
Danışman: PROF. DR. EZEL TAVŞANCIL
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Ölçme ve Değerlendirme Ana Bilim Dalı / Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2015
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Madde Tepki Kuramı = Item Response Theory ; Psikometrik özellikler = Psychometric characteristics ; Puan eşitleme = Points equalization ; Puanlama = Scoring ; Sınav = Examination ; Test maddeleri = Test items ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmada çok kategorili puanlanan maddelerin psikometrik özelliklerinin, farklı test koşullarında parametrik olmayan madde tepki kuramı (POMTK) modellerine göre incelenmesi amaçlanmıştır. Belirlenen amaç doğrultusunda; üç farklı test uzunluğu (10, 20 ve 30 maddeden oluşan), üç farklı dağılım özelliğine (normal, sağa ve sola çarpık dağılan) ve üç farklı büyüklüğe sahip (100, 250, 500 kişilik) örneklemler olmak üzere, 27 test koşulunda 20 tekrar yapılarak simülatif veriler üretilmiştir. Üretilen veriler aracılığıyla çok kategorili puanlanan maddelerin psikometrik özellikleri, POMTK modellerinden Mokken Homojenlik Modeli (MHM) ve Kernel Düzgünleştirme Yaklaşımı Modeli (KDYM) ile incelenmiştir.
Araştırma çok kategorili puanlanan maddelerin psikometrik özelliklerinin, farklı test koşullarında POMTK modellerine göre simülatif veriler aracılığıyla incelendiği temel bir araştırma olarak tasarlanmıştır. Simülatif verilerin üretilmesinde WinGen3 programı, MHM'ye göre yapılan analizler için R 3.1.3 programı ve KDYM'ye göre yapılan analizler için TestGraf programı kullanılmıştır.
MHM'ye göre yapılan incelemeler sonucunda; madde sayısı, örneklemin dağılım şekli ve örneklem büyüklüğü faktörlerinin maddelerin ve testlerin MHM'ye olan uyum düzeylerini etkilediği görülmüştür. Genel olarak örneklem büyüklüğü arttıkça maddelerin ve testlerin MHM'ye olan uyum düzeyleri artmıştır. MHM kapsamında yapılan güvenirlik analizlerinde edilen güvenirlik katsayılarının yüksek olduğu, bununla birlikte örneklem büyüklüğü ve madde sayısındaki artışla LCRC, α ve λ güvenirlik katsayılarının birbirlerine yakın değerler aldığı belirlenmiştir. Araştırmada belirlenen test koşullarında, verilerin MHM'ye göre ölçeklenmesi sonucunda, genel olarak MHM'ye zayıf ve orta düzeyde uyumlu, yüksek güvenirliğe sahip testlere ulaşılmıştır. 
KDYM'ye göre yapılan incelemeler sonucunda; madde sayısı, örneklemin dağılım şekli ve örneklem büyüklüğü faktörlerinin maddelerin ve testlerin ayırt edicilikleri üzerinde etkili olduğu belirlenmiştir. Genel olarak örneklem büyüklüğü arttıkça maddelerin ayırt ediciliklerinin yükseldiği gözlenmiştir. Testlerin ayırt ediciliğinin belirlenmesinde KDYM'ye göre yapılan çözümlemelerden elde edilen test bilgi fonksiyonlarında (TBF), örneklem büyüklüğünün ve madde sayısının artmasına paralel olarak artış gözlenmemiştir. TBF'lerin yüksek değerlere ulaştığı noktalarda, standart hata fonksiyonlarının küçük değerler aldığı belirlenmiştir. Ayrıca KDYM'ye göre yapılan çözümlemelerde güvenirlik fonksiyonlarının yüksek değerler aldığı ve bu değerlerin örneklem büyüklüğü ve madde sayısındaki artışla birlikte yükseldiği görülmüştür. Araştırmada belirlenen test koşullarında, verilerin KDYM'ye göre çözümlenmesi sonucunda, genel olarak ayırt edicilikleri kabul edilebilir düzeyde maddelerden oluşan, yüksek güvenirliğe sahip testlere ulaşılmıştır.
Araştırma sonucunda çok kategorili puanlanan maddelerin psikometrik özelliklerinin incelenmesinde MHM'nin ve KDYM'nin kullanışlı olduğu belirlenmiştir. MHM yorumlanması kolay H katsayıları, KDYM ise detaylı bilgiler sunan grafikler üreterek çok kategorili puanlanan maddelerin psikometrik özelliklerinin incelenmesinde kolaylık sağlamıştır. Her iki modelin, birbirini tamamlayan modeller oldukları düşünülebilir. Ayrıca araştırma kapsamında belirlenen kısa testlerden, dağılım şekilleri farklılaşan küçük örneklemlerden oluşan test koşullarında, simülatif olarak üretilen verilerin MHM'ye ve KDYM'ye göre yapılan çözümlemelerinden ayırt edicilikleri ve güvenirlikleri yüksek olan testlere ulaşıldığı belirlenmiştir.

Abstract:
This research aims to determine polytomous items' psychometric properties according to nonparametric item response models (NIRT) in different test conditions. In accordance with what is aimed with this research, simulated data sets which are three different test length (10, 20, 30 items), three different sample distributions (normal, right and left skewed) and three different sample sizes (100, 250, 500) generated by 20 replication in 27 test conditions. Psychometric properties of polytomous items are investigated by NIRT models which are Mokken Homogeneity Model (MHM) and Kernel Smoothing Approach Model (KSAM) via simulated data sets. 
The research is designed as an examination of polytomous items' psychometric properties according to nonparametric item response models in different test conditions via simulated data sets designed by basic research. In order to generate data WinGen3 program; for MHM based analysis R 3.1.1 program, and for KSAM based analysis, TestGraf program were used.
As a result of analyses based on MHM; it is seen that number of items, the distribution of samples and the size of the sample impact items and tests conform with MHM. In general as the sample size increases, the level of adjustments items and tests have with MHM are increased. It is seen that the reliability coefficients gathered from reliability analysis within the scope of MHM have high values, and that with the increase of sample size and number of items,  LCRC, α and λ  reliability coefficients have closer values. Under the test conditions identified in the research, with data being scaled according to MHM, it is concluded that tests have medium adjustments to MHM and have high level of reliability.
As a result of examinations based on KSAM; it is seen that number of items, the distribution of samples and the size of the sample impact items and tests conform with KSAM. In general it is seen that as sample size is increased, items' discrimination is increased. When determining the discrimination of the tests, with test information functions gathered from analysis based on KSAM, as the sample size and number of items increase, a parallel increase isn't observed. Points at which test information functions reach high value, it is determined that standard error functions have low values. Also analysis to KSAM, it is seen that reliability functions get high values and these values increase with sample size and number of items increase. Test conditions which are determined in research, as a result of data analyzing according to KSAM, it is seen that generally tests include highly discriminated items and have high reliability. 
The results indicated that MHM and KSAM are useful to determine psychometric properties of polytomous items. MHM generated H coefficients which are easily interpreted and KSAM generated graphics which are presented with detailed information. Both models can be considered as complementary models for each other. So MHM and KSAM provided convenience to determine psychometric properties of polytomous items. Also, data which obtained from the test conditions determined in the context of research, analyzed according to MHM and KSAM, it can be concluded that tests have high reliability and high discrimination.