Buz pateninde hakem değerlendirmelerinin genellenebilirlik kuramı ve Rasch Modeli ile incelenmesi
Investigation of the raters' assessment in ice skating with generalizability theory and Rasch Measurement
Yazar: NİHAN ARSAN
Danışman: DOÇ. DR. NURİ DOĞAN
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2012
Konu: Eğitim ve Öğretim = Education and Training ; Spor = Sports
Dizin: Buz pateni = Ice skating ; Genellenebilirlik = Generalizability ; Hakem kararları = Arbitral awards ; Hakemler-spor = Referees ; Rasch modeli = Rasch model

Özet:
Bu araştırmada, Genellenebilirlik Kuramı ve Çok Değişkenlik Kaynaklı Rasch Modeli (ÇDKRM) ile buz pateni dünya şampiyonalarından elde edilen hakem değerlendirmelerine ilişkin gerçek veriler kullanılarak kestirilen parametrelerinkarşılaştırılması amaçlanmıştır. Gerçek verilerde hangi yaklaşımın avantajlı olduğu, daha çok bilgi sağladığı ve iyi işleyip işlemediği ile bu yaklaşımların ürettiği bilgilerin birbirleriyle tutarlılıkları araştırılmıştır. Genellenebilirlik kuramına göre performans puanlamada çaprazlanmış desenler (sporcuxhakemxgörev) ve bu desenlerle yapılan karar çalışmalarının sonuçlarının karşılaştırılması ve karar çalışmalarının geçerliğinin test edilmesi amaçlanmıştır. Ayrıca, Rasch modeli kullanılarak, her bir değişkenlik kaynağı ayrıntılı olarak incelenmiştir. Bu araştırmanın çalışma grubunu, 2006-2011 yılları arasında yapılan Dünya Buz Pateni Şampiyonalarında tekler ve çiftler kategorilerinde serbest programda yarışan toplam 397 sporcu ve bu yarışmalarda görev alan 189 hakem oluşturmaktadır. Araştırmada, 2006?2011 yılları arasındaki Dünya Buz Pateni Şampiyonalarında tekler ve çiftler kategorilerinde serbest programda, beş program bileşenine ilişkin hakem değerlendirmeleri kullanılmıştır.Veriler genellenebilirlik kuramı ve ÇDKRM için kullanılan desenlere uygun olarak analiz edilmiştir. Genellenebilirlik kuramı hesaplamalarında EduG (Swiss Society for Research in Education Working Group, 2010) bilgisayar programı, ÇDKRM analizleri için FACETS (Linacre, 2007) programı kullanılmıştır. Genellenebilirlik çalışması sonucunda, tüm yıllarda ve tüm gruplarda sporcu (s) ana etkisi için kestirilen varyans bileşeninin toplam varyansın büyük bir oranını (%76.6-%94.4) açıkladığı ve toplam varyans içerisinde ilk sırada yer aldığı görülmüştür. Çok değişkenlik kaynaklı Rasch ölçme modeline göre sporcu değişkenlik kaynağına ilişkin viayırma indeksi güvenirliğinin .99-1.0 değerler arasında değiştiği bulunmuştur. Bu dabuz pateni performansının ölçülmesinde yer alan 5 görevde, bireyler arası farklılıklarınortaya çıkarılabildiği sonucuna varılmıştır.Genellenebilirlik çalışmalarında hakemxsporcu etkileşimlerinin toplam varyansıaçıklama oranını tüm yıllar ve tüm gruplar için %2.8-%14.4?ünü açıkladığı bulunurken, Rasch modeli ile yapılan yanlılık analizi sonucu bu oranlar %2.8-%13.7 bulunmuştur. Buz pateni performansının ölçülmesinde hakem sayısının 12 olduğu yarışmalarda (2006-2008) G-katsayısı (.98 ve 1.00) ve Phi katsayısı (.98 ve 1.00) oldukça yüksektir. Karar çalışmasında hakem sayısının 9?a indirilmesi sonucunda G (.98 ve 1.00) ve Phi (.98 ve .99) katsayılarında düşüş meydana gelmemiş, bağıl ve hata varyanslarında da çok az bir artış meydana gelmiştir. 2009?2011 yıllarında elde edilen G (.98 ve .99 ) ve phi katsayılarının (.98 ve .99) yüksek olduğu görülmektedir. Karar çalışmaları açısından incelendiğinde ise 2009?2011 verilerinde hakem sayısının 12?ye çıkarılması artışa neden olmamaktadır. Bunun yanında, 2009?2011 yıllarında Dünya Buz Pateni Şampiyonalarında hakem sayısında azaltmaya gidilmesinin, genellenebilirlik ve güvenirlik (?) katsayılarını olumsuz etkilemediği sonucuna varılmıştır. Ayrıca, elde edilen bulgulara göre, karar çalışmaları geçerli sonuçlar vermektedir. Genellenebilirlik kuramı ve ÇDKRM sundukları avantajlar bakımından, birbirini tamamlayıcı niteliktedir. Bu nedenle, değerlendirmelerin daha geniş kapsamlı (bireysel ve grup düzeyinde, etkileşimleri dikkate alarak) yapılması için her iki tekniğin kullanılması yarar sağlayabilir.Anahtar SözcüklerBuz pateni, Genellenebilirlik Kuramı, Rasch Modeli, karar çalışması, yanlılık

Abstract:
The purpose of this study is to compare Generalizability Theory and Many Facet Rasch Measurement Model based on estimated parameters from raters? assessment scores that obtained from Ice Skating World Championships. More advantageous, more informative and more operative theory has aimed to investigated in real (authentic) data. Also, consistency of information which generated from those two theories were investigated. In generalizability theory; crossed designs (skaterxjudgextask), decision studies in these designs were compared in this study. In this process, validity of decision studies has been examined. In addition to this, detailed information have acquired for each facet by using many facet Rasch measurement model. 397 ice skaters who performed in Ice Skating World Championships between 2006 and 2011 and 189 raters who judged them in these competitions were consisted research group. Raters? assessments which obtained from singles (men and women) and pairs competition in five program component were used as a research data. Data were analyzed based on designs that are appropriate for generalizability theory and many facet rasch measurement models. For generalizability theory analyses EduG (Swiss Society for Research in Education Working Group, 2010) and for many facet Rasch measurement model analyses FACETS programs were used. As a result of generalizability analyses, variances due to skaters were too high. Skaters? variances were found between 76.6%-94.4% of the total variances for all years and groups. According to Rasch analysis, the reliability of skater ranges between .99 and 1.0. So, in the measurement of the ice skating performances, differences between skaters in five program components were identified. Variances due to interactions between skatersxraters in all years and groups were found between 2.8%-14.4% of the total variances. In Rasch model, bias analyses were provided similar results (2.8%-13.7%).viiiAccording to generalizability analyses, the generalizability and reliability coefficients were between .98-1.00 in the 2006-2008 competitions. Decision studies were conductedfor changing raters? number from 12 to 9. Decision studies? results showed that generalizability (.98-1.00) and reliability coefficients (.98-.99) were not decreasing. In addition to this, absolute and relative error variances were not increasing so much. Generalizability and reliability coefficients (.98-.99) were high for competitions between 2009 and 2011 in all groups. In these years, raters number were 9 and decision studies were conducted for 12 raters. As a result, increasing the number of raters were not change the generalizability and reliability coefficients. These results were indicatingthe validity of D-studies.Both methods provide the information in different levels (group level statistics and individual level statistics). They had different advantageous and they complement each other. So, it is beneficial to use both methods in multi-faceted conditions. Key WordsIce skating, Generalizability Theory, Rach Model, decision study, bias