Açık uçlu testlerde standart belirleme sürecinde genişletilmiş Angoff ve karşıt gruplar yöntemlerinin karşılaştırılması
Comparison of extended Angoff and contrasting groups methods in standard setting process for tests including constructed response items
Yazar: HATUN BETÜL OZARKAN
Danışman: DR. ÖĞR. ÜYESİ CELAL DEHA DOĞAN
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Ölçme ve Değerlendirme Ana Bilim Dalı / Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Angoff Standart Belirleme Yöntemi = Angoff Standard Setting Method ; Açık uçlu sorular = Open ended questions ; Karşıt gruplar standart belirleme yöntemleri = Contrasting groups standarsd setting methods ; Testler = Tests

Özet:
Bu çalışmada açık uçlu maddelerden oluşan bir başarı testi için Genişletilmiş Angoff ve Karşıt Gruplar standart belirleme yöntemlerinden elde edilen kesme puanlarının karşılaştırılması ve bu yöntemlerin uygulama süreçlerine, okul ortamında uygulanabilirliğine ilişkin görüşlerin belirlenmesi amaçlanmaktadır. Nicel verilerin toplanmasında araştırmanın çalışma grubunu Genişletilmiş Angoff yöntemi için 8 matematik öğretmeni, Karşıt gruplar yöntemi için 75 8.sınıf öğrencisi ve 1 matematik öğretmeni oluşturmaktadır. Nicel veriler açık uçlu maddelerden oluşan matematik başarı testi, dereceli puanlama anahtarları, Genişletilmiş Angoff Yöntemi İçin Uzman Görüşü Formu ve Karşıt Gruplar Yöntemi İçin Öğrenci Sınıflandırma Formu aracılığıyla toplanmıştır. Genişletilmiş Angoff yönteminin uygulanması sonucu kesme puanı 13,38, Karşıt gruplar yönteminin uygulanması sonucu ise kesme puanı 12,50 olarak belirlenmiştir. İki standart belirleme yönteminin yeterli kabul edilen öğrenci oranları arasında manidar fark göstermediği belirlenmiştir. Öğrencilerin yeterli ve yetersiz olarak sınıflandırılması bakımından yöntemler arasındaki uyumun yüksek düzeyde olduğu bulgusuna ulaşılmıştır. Nitel verilerin toplanmasında çalışma grubunu, kaşıt gruplar yöntemini deneyimleyen 1 ve Genişletilmiş Angoff yöntemini deneyimleyen 8 matematik öğretmeni (uzman) oluşturmaktadır. Uzmanlardan yarı yapılandırılmış görüşme formu aracılığıyla toplanan veriler içerik analizi yöntemiyle çözümlenmiştir. Görüşme yapılan uzmanlar her iki yöntemin de okul ortamında uygulanabilirliğine ilişkin olumlu görüş bildirmişlerdir. Ek olarak yöntemlerin okul ortamında uygulanmasının öğrencilerin öğrenme eksikliklerini tespit edebilmeye ve öğretim sürecini ona göre planlamaya katkı sağlayacağını belirtmişlerdir. Standart belirleme yöntemlerinin uygulama süreçlerine ve okul ortamında uygulanabilirliğine ilişkin görüşlerin uygulama sürecinde karşılaşılan güçlüklere çözüm önerileri getirmelerine yardımcı olacağı ve uygulama sürecinin daha verimli yürütülmesine katkı sağlayacağı düşünülmektedir.

Abstract:
In this study, it is aimed to compare the cut points obtained from Extended Angoff and Contrasting Groups standard setting methods for an achievement test consisting of constructed response items and to determine opinions about the implementation process of these methods and their applicability in the school environment. In the collection of quantitative data, the study group of research consists of 8 mathematics teachers for the Extended Angoff method, 75 8th grade students and 1 mathematics teacher for the Contrasting Groups method. The quantitative data were collected through math achievement test consisting of open constructed response items, scoring rubrics, judge opinion form for Extended Angoff method and student classification form for Contrasting Groups method. Cut point was determined to be 13,38 by the Extended Angoff method and 12,50 by the Contrasting Groups method. It has been determined that the two standard setting methods do not make significant difference between the master accepted student ratios. It has been found that there is a high level of harmony between the methods in terms of classifying the students as master and non master. In the collection of qualitative data the study group of research consists of 8 mathematics teachers (judges) who experience Extended Angoff method and 1 teacher who experience Contrasting Groups method. The data collected by the judges through the semi-structured interview form was analyzed by content analysis method. Interviewed judges expressed a positive opinion on the applicability of both methods at school. In addition, they pointed out that the implementation of the methods at school will help students to identify the lack of learning and contribute to the planning of the teaching process accordingly. It is believed that the views on the implementation processes of the standard setting methods and their applicability in the school environment will help to bring the solution proposals to the difficulties encountered during the implementation process and contribute to the more effective implementation of the implementation process.