Nedelsky ve Angoff standart belirleme yöntemlerinin genellenebilirlik kuramı ile karşılaştırılmasına ilişkin bir araştırma
A comparison of Angoff and Nedelsky cutting score procedures using generalizability theory
Yazar: GÜLŞEN TAŞDELEN
Danışman: DOÇ. DR. HÜLYA KELECİOĞLU
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Bölümü / Eğitim Bilimleri Ana Bilim Dalı / Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2009
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Amerikan Muhasebe Standartları = American Accounting Standarts ; Angoff Standart Belirleme Yöntemi = Angoff Standard Setting Method ; Genellenebilirlik = Generalizability ; Nedelsky Standart Belirleme Yöntemi = Nedelsky Standard Setting Method ; Standart puanlamalı kurallar = Standard scoring rules ; Standartlaşma = Standardization

Özet:
Bu araştırmada Nedelsky ve Angoff standart belirleme yöntemleri ile elde edilen kesme puanları Genellenebilirlik Kuramı kullanılarak karşılaştırılmıştır.Araştırmada kullanılan veriler 2008 yılı ilköğretim 6.sınıf SBS (Seviye Belirleme Sınavı)'de yer alan ve 16 maddeden oluşan fen ve teknoloji sorularının Ankara ilinde görev yapan 40 fen ve teknoloji uzmanı tarafından adı geçen standart belirleme yöntemlerine uygun şekilde puanlanması sonucu elde edilmiştir.Araştırmanın birinci aşamasında her bir yöntem için farklı hesaplanan ve farklı uzman görüşlerine dayanan kesme puanları kullanılarak yöntemler karşılaştırılmıştır. Araştırmanın ikinci aşamasında ise aynı veriler ile genellenebilirlik çalışması yürütülmüş ve genellenebilirlik katsayıları ve varyans bileşenleri elde edilmiştir. Ayrıca bu yöntemlerin uygulanması için gereken en uygun puanlayıcı sayısı da belirlenmeye çalışılmıştır.Verilerin analizinde Nedelsky ve Angoff standart belirleme yöntemlerine göre geçme puanları hesaplanmıştır. Elde edilen geçme puanlarının dağılımına bakılmış ve puanlar arasındaki farklılıkları ortaya koymak amacıyla bağımlı iki oran arasındaki farkın testi yapılmış ve anlamlılığı z testi ile sınanmıştır. Yöntemlerin karşılaştırılmaları sonucu 0,05 düzeyinde farklılaşma görülmüştür.Ayrıca Ankara ilinde okuyan ve 2008 SBS'ye girmiş 415 ilköğretim 6.sınıf öğrencisinin uzmanlar tarafından iki farklı standart belirleme yöntemine göre belirledikleri geçme puanlarına göre geçme/kalma yüzdeleri belirlenmiştir. Bu noktada ise Nedelsky yöntemine göre geçen öğrenci yüzdesinin Angoff yöntemine göre geçen öğrenci yüzdesine oranla daha büyük olduğu sonucuna ulaşılmıştır.Her iki standart belirleme yönteminin birlikte ele alındığı ve tümüyle çaprazlanmış mxpxy modeli uygulanarak yapılan G çalışmasında her iki yöntemde de, maddeler arası farklılıkların ortaya çıkarılabildiği ve puanlayıcılar arasında bir tutarlılığın olduğu görülmüştür. Standart belirleme yöntemlerinin ayrı ayrı ele alındığı ve mxp modeli uygulanarak yapılan G çalışmasında ise; Nedelsky yöntemi ile yapılan puanlamada maddeler arası farklılığın ortaya çıkarılabildiği, ancak puanlayıcılar arasında kesme puanı belirlemede uyum olmadığı görülmüştür. Angoff yöntemi ile yapılan puanlamada maddeler arası farklılığın ortaya çıkarılabildiği ve puanlayıcılar arasında bir tutarlılığın olduğu görülmüştür.Çalışmadan elde edilen G ve ? katsayılarına bakıldığında ise Angoff ve Nedelsky yöntemleri ile standart belirleme çalışılırken 10 puanlayıcının yeterli olacağı sonucuna varılmıştır.Anahtar SözcüklerStandart Belirleme Yöntemleri, Kesme Puanı, Nedelsky Yöntemi, Angoff Yöntemi, Genellenebilirlik Kuramı, Puanlayıcı Sayısı

Abstract:
In this thesis, the cutting scores which are acquired from Nedelsky and Angoff cutting score procedures are compared.The data of this research are collected by using the 16 science and technology questions which are asked on elementary 6th grades ?Seviye Belirleme Sınavı (SBS)?. Those questions were graded by 40 science and technology experts (raters) working in Ankara according to these two cutting score procedures.In the first phase of this research; procedures are compared by using the cutting scores, which are based on different expert opinions and calculated according to each standard setting procedure. In the second phase of the research; with the same data the generalizability study is applied and generalizability coefficients and variance components are calculated. Moreover, the most appropriate number of experts necessary for applying the cutting score procedures are tried to be determined.While analyzing the data, the cutting scores are calculated by using Nedelsky and Angoff standard setting methods. Then the distribution of the cutting scores is looked and to exhibit the differences between them, the scores are tested by using dependent ratio test, also significance level is tested by z-test. As a result, a significant difference is seen about a level of 0.05 by the comparison between procedures.Furthermore, passing/failing proportions of 415 students, who took the 6th grade SBS in 2008 in Ankara, is determined according to the cutting scores getting by two different standard setting methods by raters. At this point, it is concluded that the ratio of students who pass the exam is more in Nedelsky than in Angoff.In generalizability theory, by using mxpxy (all facets cross with each other) design, when two standard setting methods are covered together in each method, the differences between items are found out and there is a consistency between raters. When the methods are thought separately using mxp model; the differences between items are found out by Nedelsky procedure; however there is no consistency between raters while determining cutting scores by using Nedelsky. By Angoff procedure, the differences between items are found out and also there is a consistency between raters.By looking at the G and ? coefficients derived from research, it is found that while applying Angoff and Nedelsky Standard setting methods only 10 raters are enough.KeywordsStandards Setting Methodologies, Cut Point, Nedelsky Methods, Angoff Methods, Generalizability Theory, Rater Number