Testlerin boyutluluğunun belirlenmesinde kullanılan yöntemlerde 1. tip hata ve güç oranlarının karşılaştırılması
A comparison of type i error and power rates in procedures used determining test dimensionality
Yazar: GÜL GÜLER
Danışman: PROF. DR. RAHİME NÜKHET DEMİRTAŞLI
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Ölçme ve Değerlendirme Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2017
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Boyut ölçme = Size measurement ; Boyutsallık = Dimensionality ; Doğrusal olmayan modeller = Nonlinear models ; Faktör analizi = Factor analysis ; Geçerlik = Validity ; Hata oranı = Error rate ; Testler = Tests ; Yapısal geçerlik = Construct validty ; Ölçme-değerlendirme = Measurement and evaluation ; İstatistiksel güç = Statistical power

Özet:
Bu çalışmanın amacı tekboyutlu ve iki boyutlu yapılarda boyutluluk belirlenmesinde kullanılan yöntemlerin 1. tip hata ve güç oranlarının çeşitli koşullar için araştırılması ve her bir koşulun temel etkisinin yanı sıra koşulların ortak etkisini (koşulların etkileşiminin etkisi) karşılaştırmaktır. Bu çalışma kapsamında araştırma sorularına cevap vermek için simülasyon verisinden yararlanılmıştır. Araştırmanın verileri SAS programı kullanılarak üretilmiştir. Veriler, güç çalışması için 2 parametreli lojistik ve telafisel modelde, iki kategorili (1-0) ve 2 boyutlu yapıya uygun olacak şekilde üretilmiştir. 1. tip hata çalışması için ise 1 parametreli lojistik modelde, tekboyutlu iki kategorili (1-0) veri üretilmiştir. 
Bu araştırmada 1. tip hata çalışması için dağılımın özellikleri (standart normal dağılım ve çarpık dağılım), örneklem büyüklüğü (200, 300, 500, 1000, 2000 ve 3000) ve madde sayısı (10, 20 ve 30) olmak üzere 3 değişken, güç çalışması için ise bu 3 değişkenin yanı sıra boyutlararası korelasyon (0.25, 0.50, 0.75, 0.90)  da dahil olmak üzere 4 değişken manipüle edilmiştir.
Tekboyutluluğun değerlendirilmesinde farklı yöntemlerin performanslarını karşılaştırmak amacıyla hem parametrik hem de parametrik olmayan yöntemlerden yararlanılmıştır. Bu araştırma kapsamında parametrik olmayan yöntemlerden DIMTEST T istatistiği ile Boyutluluk DETECT IDN indeksi kullanılmıştır. Parametrik yöntemlerden ise Doğrusal Olmayan Faktör Analizi (NOHARM) yönteminden yararlanılmıştır.
Araştırma sonucu, standart normal dağılım gösteren verilerde, çeşitli örneklem büyüklüğü ve farklı madde sayılarına göre DIMTEST T istatistiği, Boyutluluk DETECT IDN indeksi ve Doğrusal Olmayan Faktör Analizi için 1. tip hata oranları incelendiğinde, tekboyutluluk kararını vermede en tutarlı sonuçların Doğrusal Olmayan Faktör Analizi yöntemine ait olduğu görülmektedir. Bunun yanı sıra DIMTEST T istatistiği sonuçlarının nispeten daha tutarlı olduğu görülse de kısa testlerde DIMTEST T istatistiğinin boyutluluk belirlemede kullanımının uygun olmayacağı görülmüştür. DETECT IDN indeksinin ise büyük örneklemlerde ve geniş madde havuzlarında kullanımının daha uygun olacağı belirlenmiştir. 
Standart normal dağılım gösteren verilere oranla çarpık dağılım gösteren verilerde DETECT IDN indeksi sonuçlarının daha tutarlı olduğu görülse de DIMTEST T istatistiği ve Doğrusal Olmayan Faktör Analizi sonuçlarının ise tekboyutluluk kararını vermede daha isabetli olduğu belirlenmiştir. Güç çalışması sonuçları incelendiğinde ise, standart normal dağılım gösteren verilerde, DIMTEST T istatistiğinin büyük örneklemli koşullarda daha doğru sonuçlar verdiği görülmüştür.  Özellikle örneklem büyüklüğünün 300'den daha az olduğu durumlar için DIMTEST T istatistiğinin yanılma oranı belirgin bir şekilde artmaktadır. Aynı zamanda DIMTEST T istatistiğinin çokboyutluluk kararı için, boyutlararası korelasyondan etkilendiği görülmüştür. Boyutluluk DETECT IDN indeksi ve doğrusal olmayan faktör analizi (NOHARM) sonuçlarının tüm koşullarda DIMTEST T istatistiğine göre daha doğru kararlar verdiği görülmektedir. Çarpık dağılım gösteren verilerde ise, testin uzunluğunun 10 maddeden az olduğu koşullarda boyutluluk belirleme yöntemlerinin daha az tutarlı sonuçlar verdiği söylenebilir. Bununla birlikte DETECT IDN indeksi ve Doğrusal olmayan faktör analizi sonuçlarının kendi içinde daha tutarlı olduğu görülmekle birlikte örneklem büyüklüğünün 1000 ve üzeri olduğu koşullarda DIMTEST T istatistiğinin de boyutluluk belirlemede doğru kararlar verdiği görülmüştür.

Abstract:
The aim of this study is to examine type 1 error and power rates of the methods used to determine dimensionality in one-dimensional and two-dimensional structures under various conditions and to compare the common effect of the conditions (the effect of interaction of the conditions) in addition to the main effect of each condition. In this study, simulation data were used to answer research questions. The data of the study were generated using the SAS. The data were generated in a 2-parameter logistic and compensatory model for power study in a way to be suitable for two-categorical (1-0) 2-dimensional structures. For type 1 error analysis, unidimensional two-categorical (1-0) data were generated in a 1-parameter logistic model. 
In this study, three variables were manipulated for type 1 error analysis as properties of distribution (standard normal distribution and skewed distribution), sample size (200, 300, 500, 1000, 2000 and 3000), and test length (10, 20 and 30), and four variables for power study including correlations between dimensions (0.25, 0.50, 0.75, 0.90) in addition to these three variables. 

Both parametric and nonparametric methods were used to compare the performance of different methods in evaluating unidimensionality. In this research, the nonparametric methods included DIMTEST T statistics and Dimensionality DETECT IDN index. As for the parametric methods, Non-Linear Factor Analysis (NOHARM) was used.
Analysis of type 1 error for DIMTEST T statistics, Dimensionality DETECT IDN index and Nonlinear Factor Analysis in data with standard normal distribution showed that the most consistent results were yielded by Nonlinear Factor Analysis method in determining unidimensionality for different sample sizes and different item numbers. Besides, though the results of DIMTEST T statistics were relatively more consistent, it is considered that DIMTEST T statistics would not be useful to determine dimensionality in short tests. Apart from that, the use of DETECT IDN index would be more appropriate in large samples and large item pools. 
Although the results of the DETECT IDN index were consistent in the case of the data with skewed distribution compared to the standard normal distribution, it can be said that the results of DIMTEST T statistics and Nonlinear Factor Analysis were more accurate in determining unidimensionality. Power study results implied that the DIMTEST T statistics provided more accurate results for large samples in the case of data with standard normal distribution. Particularly, for the sample size less than 300, the error rate of DIMTEST T statistics increased visibly. At the same time, it can be said that the DIMTEST T statistics were affected by the correlation between dimensions for the decision of multidimensionality. It seems that Dimensionality DETECT IDN index and nonlinear factor analysis (NOHARM) results are apt to make more accurate decisions than the DIMTEST T statistics in all conditions. On the other hand, in the case of the skewed data, it can be said that dimensionality determination methods yield less consistent results when the length of the test was less than 10 items. Also DETECT IDN index and nonlinear factor analysis results were found to have higher self-consistence; however, DIMTEST T statistics were found to make the right decision in determining dimensionality when the sample size is 1000 and above.