Genellenebilirlik kuramı tek ve çok değişkenli analizlerinde dengelenmemiş desen karşılaştırması
The comparison of unbalanced design in univariate and multivariate analysis of the generalizability theory
Yazar: HATİCE ACAR
Danışman: PROF. DR. HAKAN ATILGAN
Ege Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Desen haritalama = Pattern mapping ; Genellenebilirlik = Generalizability ; Çok değişkenli analiz teknikleri = Multivariate analysis techniques ; Çok değişkenli veriler = Multivariate data ; Çok değişkenli ölçümler = Multivariate measurements ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışmanın amacı, genellenebilirlik kuramının tek değişkenli ve çok 
değişkenli analizlerini, dengelenmemiş desen üzerinde karşılaştırmaktır.
Araştırmada; müzik öğretmenliği özel yetenek seçme sınavı verilerinden simüle 
edilen 100 veri seti kullanılmıştır. Gerçek veri setinin ses ile ilgili alt testleri analize 
dahil edilmiştir. Veri setleri 500 birey, üç alt test ve dört puanlayıcıdan oluşmaktadır. 
Çift ses alt testinde altı, üç ses alt testinde dört ve dört ses alt testinde iki madde 
bulunmaktadır. Her bir alt testteki madde sayısı farklı olduğu için dengelenmemiş 
desen ile analizler yapılmıştır. Birey (b), madde (m), alt test (a) ve puanlayıcı (p) 
olmak üzere; tek değişkenli analizler için b x (M:A) x P deseni, çok değişkenli 
analizler için b● x Mο x P● deseni kullanılmıştır. Yapılan genellenebilirlik çalışmaları 
ile varyans değerleri, karar çalışmaları ile G ve Phi katsayıları elde edilmiştir.
Genellenebilirlik çalışmalarında, en yüksek varyans değerinin birey 
varyansına ait olması beklenir. Çift ses alt testinin, üç ses alt testinin ve birleşik testin
en yüksek varyans değeri birey varyansıdır. Ancak iki maddeden oluşan dört ses alt 
testinin en yüksek varyans değeri, artık varyansa aittir. Bu alt testteki madde 
sayısının yeterli olmadığı görülmüştür. Genellenebilirlik kuramı dengelenmemiş
desen karar çalışmalarında, genellenebilirlik (G) katsayısı ve güvenirlik (Phi) 
katsayısının çok değişkenli analizde daha yüksek bulunduğu görülmüştür. Tek 
değişkenli analizde birleşik test için G katsayısı 0.904, Phi katsayısı 0.887 
bulunmuştur. Çok değişkenli analizde G katsayısı 0.915 ve Phi katsayısı 0.909 olarak 
hesaplanmıştır. Birleşik test için yeterince genellenebilir ve güvenilir sonuçlara 
ulaşılmıştır. Alt testlerden oluşan ölçme aracı kullanıldığında, çok değişkenli 
analizler, tek değişkenli analizlere göre daha avantajlı görülmektedir. Her iki analiz 
için; farklı senaryo durumlarında yapılan karar çalışmalarından elde edilen sonuçlara
bakıldığında, G ve Phi katsayılarının artması için madde sayısını arttırmanın yeterli 
olmadığı, en uygun puanlayıcı sayısına da karar vermenin önemli olduğu görülmüştür.

Abstract:
This study aims to compare univariate and multivariate analyzes of 
generalizability theory by using an unbalanced design. In the present study; 100 data 
sets, which were simulated from music teaching special talent selection exam data, 
were used. The different voice of subtests of the real data set were included in the 
analysis.. Each dataset consisted of 500 individuals, three subsets, and four raters. 
The double voice test consisted of six items, the three voice subtests consisted of four 
items and four voice subtests consisted of two items. An unbalanced design was used 
to analyze the number of items in each subset was different. For univariate analyses 
individual (b), item (m), subtest (a) and rater (p); b x (M:A) x P pattern was used 
while b● x Mο x P● pattern was used for multivariate analyses. The variance values 
were obtained based on previous generalizability studies. 
The G and Phi coefficients were obtained by decision studies. In
generalizability studies, the highest variance value is expected to be derived from the 
individual variance. However, the highest variance value of the four voice subtests 
consisting of two items derived from residual variance. It was observed that the 
number of items in this subtest was not sufficient. In decision studies with
unbalanced designs of generalizability theory, it was observed that the 
generalizability (G) coefficient and reliability (Phi) coefficient were higher in the
multivariate analysis compared to univariate analysis. In univariate analysis, the G 
coefficient for the combined test was 0.904 and the Phi coefficient was 0.887. In 
multivariate analysis, the G coefficient was calculated as 0.915 and the Phi 
coefficient as 0.909. Based on these results, it was concluded that generalizable and 
reliable results were obtained for the combined test. Multivariate analyzes were more 
advantageous compared to univariate analyzes when a measurement tool with 
subtests was used. Overall, based on the results of decision studies it can be 
concluded that increasing the number of items would not be sufficient to increase the 
G and Phi coefficients in both analyses. Thus, it is also important to decide the 
appropriate number of raters for more reliable and generalizable results.