Düzgünleştirilmiş puanların eşitleme hatasına etkisi
The impact of smoothed scores on equating error
Yazar: HASİBE KAHRAMAN
Danışman: PROF. DR. SELAHATTİN GELBAL
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2012
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Düzgünleştirme = Smoothing ; Puan eşitleme = Points equalization ; Puanlama = Scoring ; Test sınavı = Test exam ; Testler = Tests ; Yeterlilik sınavı = Proficiency exam ; Üniversiteler = Universities ; İngilizce = English

Özet:
Eşitleme çalışmalarında literatür, düzgünleştirme yöntemlerinin random gruplara ait puanların eşitleme sonuçlarını düzeltmesi nedeniyle uygulanması gerektiğini belirtmektedir. Bu yöntemler ön ve son düzgünleştirme yöntemleri olarak iki grupta toplanmaktadır. Ön-düzgünleştirme yöntemi, iki test formunun eşit yüzdelikli yöntem ile eşitlenmeden önce puan dağılımını düzgünleştirmeyi içerirken, son düzgünleştirme yöntemi eşit yüzdelikli eşitleme yapıldıktan sonra yapılan düzgünleştirmeyi içermektedir. Bu araştırmada ise, 2010 ve 2011 yılı Haziran ayı İngilizce Yeterlik Sınavı puanları eşit yüzdelikli eşitleme ile eşitlenmiş ve iki ayrı düzgünleştirme yöntemi uygulanmış ve bu yöntemlerden en uygun olanı önerilmiştir. Bu nedenle bu araştırma kuramsal ve betimsel araştırma niteliğindedir.Bu araştırmada bir evren tanımlanmasına gidilmemiştir. Araştırma sonuçları bir gruba genellenmeyeceğinden yalnızca çalışma grubu üzerinde yürütülmüştür. Bu nedenle araştırma grubunu 2010 ve 2011 öğretim yılı Bahar Dönemi İngilizce Yeterlik Sınavına giren 810 öğrenci oluşturmuştur.Verilerin analizi altı aşamada uygulanmıştır. Birinci aşamada 2010 Haziran ve 2011 Haziran ayı İYS alt testlerinin betimsel istatistikleri hesaplanmış; ikinci aşamada testlerin eşitleme koşullarını sağlayıp sağlamadığı test edilmiş; üçüncü aşamada eşit yüzdelikli eşitleme yöntemleri kullanılarak puanlar eşitlenmiş; dördüncü aşamada eşitlenmiş olan verilere Kübik-Spline son-düzgünleştirme yöntemi uygulanmış ve beşinci aşamada ise Log-linear ön-düzgünleştirme yapıldıktan sonra eşitleme yapılmıştır. Son aşamada ise her bir alt teste ait eşitlemenin standart hata istatistikleri (WSE) hesaplanmıştır.Elde edilen sonuçlara göre, içerdiği madde sayısının azlığından dolayı her iki döneme ait Dinleme becerisi alt testlerine yönelik güvenirliklerinin birbirinden az miktarda farklılaştığı bulunmuştur. Bunun dışında hem Temel Bileşenler hem de Okuma Becerisi alt testleri güvenirlikleri eşit olduğu görülmüştür.Her iki yıla ait alt testlerden yalnızca temel bileşenler alt testleri ortalamalarının ve varyanslarının birbirine eşit olduğu bulunmuştur. Her iki yıla ait bütün alt testlerin tek boyutluluk koşulunu orta düzeyde sağladığı bulunmuştur. Araştırmanın sonucunda; log-linear ön düzgünleştirme yönteminin Hacettepe Üniversitesi 2010 ve 2011 yılları Bahar dönemi İngilizce Yeterlik Sınavı alt testlerine ait WSE katsayısı daha küçük olduğu bulunmuştur.Anahtar Sözcükler: Test eşitleme, düzgünleştirme, kübik-Spline son-düzgünleştirme, log-linear ön-düzgünleştirme

Abstract:
In literature, smoothing methods have been suggested as proven to improve the equipercentile equating results in the random groups equating design. These methods can be put into two categories: pre-smoothing and post-smoothing methods. While presmoothing methods apply smoothing to the core distributions for the two test forms to be equated before equipercentile equating is applied, postsmoothing methods apply smoothing to the equipercentile equating function produced from unsmoothed score distributions. In this study, 2010 and 2011 Spring Term English Proficiency Exams scores are equated with equipercentile equating design and two different smoothing methods are applied and lastly the most appropriate one is suggested. Hence, this research uses descriptive and theoretical methods.Not any population description is made in this research. As research results will not be generalized about any group, the study has been conducted only on the study group. Hence, the study group is comprised of 810 students taking 2010 and 2011 University year Spring Term English Language Proficiency Exams.The data analysis is carried out in six steps. In the first step, the descriptive statistics of 2010 and 2011 June English Proficiency Exams are calculated; in the second step, whether the tests fulfill the equating conditions; in the third step, the scores are equated using equipercentile design; in the fourth step, Cubic-spline postsmoothing method was applied to equated scores and in the fifth step, Log-linear presmoothing method was applied to the scores and equated. Lastly, weighted standard error for each sub-test is calculated.According to the results, it was found that both Listening Section sub-tests differ slightly from each other as there is lower number of items in the tests. Other than that, both the basic components and reading skills sub-tests are equal in terms of reliability.Only the mean and variances of basic components sub-tests are found to be equal. Similarly, all of the sub-tests are found out to fulfill the unidimentionality requirement to some extent. At the end of the study, log-linear pre-smoothing method has been found to contain less WSE in terms of 2010 and 2011 Spring Term English Language Proficiency Exams.Key Words: Test equating, smoothing, cubic-spline postsmoothing, log-linear presmoothing