Grup değişmezliği özelliğinin farklı eşitleme yöntemlerinde eşitleme fonksiyonları üzerindeki etkisi
The effect of group invariance property on equating functions obtained through various equating methods
Yazar: HANDE TANBERKAN SUNA
Danışman: PROF. DR. ŞEREF TAN
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı
Derece: Doktora, 2018
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Eğitim psikolojisi = Education psychology ; Grup değişmezliği = Group invariance ; Test eşitleme = Test equating ; Testler = Tests

Özet:
Eğitim ve psikoloji alanlarındaki testlerin uygulanmasında güvenliğin sağlanabilmesi amacıyla çoklu formlar kullanılması sık karşılaşılan bir uygulamadır. Bununla birlikte, uygulanan çoklu formlar arasında içerik ve güçlük farkını en aza indirmek, adayların yanıtladıkları test formunun bir farklılık yaratmaması amacıyla test eşitleme süreçleri kullanılır. Test eşitleme, uygulamalarda adaleti sağlama amacıyla sık kullanılan bir süreç olmakla beraber eşitleme yöntemlerinin kullanılabilmesi için bazı özelliklerin sağlanması gerekir. Bu özelliklerden biri olan grup değişmezliği, diğer özelliklere de temel olması dolayısıyla önemli olmakla beraber birçok çalışmada bu konuda herhangi bir sınama yapılmaksızın test eşitleme yöntemlerinin kullanıldığı görülmektedir. Bu araştırmada, grup değişmezliği özelliğinin çeşitli düzeylerde ihlal edilmesinin farklı eşitleme yöntemleri ile elde edilen eşitleme fonksiyonları ve eşitleme hataları üstündeki etkisi incelenmiştir. Araştırmada, insan kaynakları yönetimi alanında işe alım ve terfi süreçlerinde kullanılan bir genel yetenek testi olan FVAT'ın v4 ve v13 olmak üzere ortak maddelere sahip olan iki formunu yanıtlayan katılımcılardan elde edilen veriler kullanılmıştır. Eşitlenen iki formda ortak maddelerin bulunması ve her iki formu farklı katılımcıların yanıtlaması dolayısıyla ortak maddeli eşit olmayan gruplar deseninin kullanılması uygun görülmüştür. Araştırma kapsamında kullanılan eşitleme yöntemleri ise KTK'ya dayalı lineer eşitleme yöntemleri olan Tucker, Levine, Braun-Holland; eşit yüzdelikli eşitleme yöntemleri olan düzgünleştirilmemiş eşit yüzdelikli eşitleme ve s=0,10 düzgünleştirme derecesi kullanılarak kübik eğri son düzgünleştirme; MTK'ya dayalı yöntemlerden ise ortalama-ortalama, ortalama-sigma, Stocking-Lord ve Haebera yöntemleridir. Grup değişmezliğinin hangi düzeyde ihlal edildiğini belirlemek için RMSD ve REMSD değerleri incelenmiştir. Grup değişmezliğinin kısmen ihlal edildiği durum olarak değerlendirilen cinsiyet alt grupları arasında KTK'ya dayalı Tucker ve Braun-Holland yöntemleri ile MTK'ya dayalı ortalama-ortalama yöntemleri kabul edilebilir hata sınırının altında hata değerleri ile eşitleme yapabilmiştir. Buna karşın, grup değişmezliğinin büyük oranda ihlal edildiği yaş alt gruplarında yapılan eşitlemelerde KTK ve MTK'ya dayalı yöntemlerden tümü kabul edilebilir hata sınırının üstünde değerlerle eşitleme yapmıştır. Sonuçta, özellikle bireyler ya da gruplar bazında karşılaştırma amacıyla yapılan çalışmalarda grup değişmezliği özelliğinin mutlaka sınanması gerektiği, yapılan eşitlemelerin hangi ölçüde karşılaştırılabilir olduğunu belirlemek için grup değişmezliği özelliğinin ihlaline karşı daha dirençli olan Tucker, Braun-Holland ve ortalama-ortalama yöntemlerinin kullanılması önerilmiştir.

Abstract:
It is a frequently selected application to use multiple test forms in educational and psychological domain because of security sensitivity. Besides, test equating procedures are applied to minimise the content- and difficulty-related differences between forms and minimise the effect of form which is responded. Test equating is a procedure to ensure the equity in testing processes, however, there are properties that should be acquired. One of these properties is group invariance and it is quite important for equating because it is considered as a basis for other properties, too. Nonetheless, there are many test equating studies and procedures which do not have any proof or interest about this property and apply the test equating methods. Purpose of present study is to investigate the effect of group invariance violations on equating functions which were obtained from diverse equating methods. Accordingly, a general aptitude test (named as FVAT), which had two forms for recruiting and promotional purposes in human resources management, was used. There were common items in both forms of FVAT and examinees of these two forms were different, so, non-equivalent groups common items design was selected for equating. The methods that was used were CTT-based linear equating methods of Tucker, Levine and Braun-Holland; equipercentile equating methods as nonsmoothed equipercentile equating and equipercentile equating by using cubic spline postsmoothing with s=0,10 smoothing degree; and lastly, IRT-based true- and observed-scores equating methods of mean-mean, mean-sigma, Stocking-Lord and Haebera methods. To quantify the violations of group invariance, RMSD and REMSD error values were considered. Between gender subgroups, the case of partial violation of group invariance, CTT-based Tucker and Braun-Holland and IRT-based mean-mean methods yielded equating functions with ignorable amount of errors. However, between age subgroups, the case of major violation of group invariance, none of the equating methods could compose ignorable amount of errors in terms of RMSD and REMSD. Consequently, especially for the studies that including comparisons between examinees and examinee groups, it is suggested to test the level of group invariance and use the Tucker, Braun-Holland or mean-mean methods because of their robustness against partial violations of group invariance property.