Özel yetenekli öğrencilerin Fen Bilimleri dersindeki laboratuvar etkinliklerinde puanlayıcı güvenirliğinin Çok Yüzeyli Rasch Modeli ile incelenmesi
Examining the rater reliability of specially gifted students in laboratory activities in Science courses with the Many FACET Rasch Model
Yazar: BAŞAK AKAR
Danışman: PROF. DR. BAYRAM ÇETİN
Gaziantep Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu çalışmada aynı performans görevlerinin yedi puanlayıcı tarafından poster puanlama anahtarı, fen-kimya laboratuvar uygulamaları performans puanlama anahtarı, açık uçlu başarı testine ait puanlama anahtarı ile puanlanarak puanlayıcılar arası güvenirliklerinin Çok Yüzeyli Rasch Modeli çerçevesinde incelenmesi amaçlanmıştır. Çalışmanın katılımcılarını amaçlı örneklem çeşitlerinden ölçüt örnekleme ile seçilen BİLSEM'e devam eden 27 altıncı sınıf özel yetenekli öğrenci ve yedi puanlayıcı grubu oluşturmaktadır. Çalışma verilerinin toplanmasında; Yoğunluk Açık Uçlu Başarı Testi, Poster Puanlama Anahtarı ve Fen/Kimya Laboratuvar Uygulamaları Süreci Performansı Analitik Dereceli Puanlama Anahtarı kullanılmıştır. Çalışmada Çok Yüzeyli rasch analizi için FACETS, uyum analizleri, varsayım testleri için JASP 0.17.2.1. kullanılmıştır. Sonuç olarak grup düzeyinde bireylerin yetenek düzeyleri bakımından ayırt edilebildiği, maddelerin güçlük düzeyleri bakımından farklılık gösterdiği ve puanlayıcılar arasında açık uçlu başarı testi haricinde katılık/cömertlik yönüyle bir fark bulunduğu görülmüştür. Üç puanlama aracına bağlı puanlamalar da bireylerin yetenek düzeyleri bakımından ayırt edildiği, maddelerin güçlük düzeyleri bakımından farklılık gösterdiği görülmüştür. Poster ve deney performansı değerlendirme puanlama aracına ait puanlamalarda altı ve yedi numaralı puanlayıcı puanlayıcı katılığı–cömertliği hatası bulundururken, açık uçlu ve deney puanlamasında Halo etkisi, tüm puanlamalarda merkeze yönelme,  yanlılık gibi puanlama hatasına rastlanmamıştır. Açık uçlu başarı testine, poster değerlendirmesine ve deney performanslarından düzensiz şekilli katıların yoğunlukları ait puanlama anahtarına göre yapılan puanlamalarda puanlama yapan puanlayıcılarda tutarsız puanlamalara rastlanmamıştır.

Anahtar sözcükler: Çok Yüzeyli Rasch Modeli, Özel Yetenekli Öğrenciler, Puanlayıcılar Arası Güvenirlik, Fen Bilimleri, Deney Performansı

Abstract:
In this study, it was aimed to examine the inter-rater reliability of the same performance tasks scored by seven raters with poster scoring key, science-chemistry laboratory applications performance scoring key, and open-ended achievement test scoring key within the framework of the many facet Rasch model. The participants were 27 sixth grade gifted students attending BİLSEM selected by criterion sampling from purposeful sampling types and seven teachers serving as raters. Density Open-Ended Achievement Test, Poster Scoring Key and Science/Chemistry Laboratory Applications Process Performance Analytical Rubric were used to collect the study data. In the study, FACETS was used for the many facet Rasch analysis, JASP 0.17.2.1 was used for fit analyses and assumption tests. As a result, it was seen that individuals could be distinguished at the group level in terms of ability levels, the items differed in terms of difficulty levels and there was a difference between the raters in terms of strictness/generosity. As a result, it was seen that individuals could be distinguished in terms of ability levels at the group level, the items differed in terms of difficulty levels and there was a difference between the raters in terms of strictness/generosity except for the open-ended achievement test. It was seen that the scoring based on the three scoring tools distinguished the individuals in terms of ability levels and the items differed in terms of difficulty levels. In the scoring of the poster and experimental performance evaluation scoring tool, scorers numbered six and seven had scoring rigidity-generosity errors, while no scoring errors such as Halo effect in open-ended and experimental scoring, orientation to the centre and bias were found in all scoring. There were no inconsistent scoring errors in the scoring of the open-ended achievement test, poster evaluation and experimental performances according to the scoring key of the density of irregularly shaped solids.

Keywords: Many facet Rasch model, Gifted Students, Rater effects, Science, Experimental Performance