Test geliştirme sürecinde madde seçimi için hiyerarşik puanlayıcı model: Sinyal algılama puanlayıcı modelinin uyarlaması
The hierarchical rater model in item selection of test development process: Adaption of si̇gnal detection rater model
Yazar: ELÇİN MANAP
Danışman: DOÇ. DR. TAHSİN OĞUZ BAŞOKÇU
Ege Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2017
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Hiyerarşik yöntemler = Hierarchical methods ; Madde Tepki Kuramı = Item Response Theory ; Madde seçme yöntemi = Item selection method ; Puanlama = Scoring ; Sinyal denetleme teorisi = Signal detection theory ; Sınav = Examination ; Sınav yöntemleri = Examination methods ; Test maddeleri = Test items ; Test yöntemleri = Test methods ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırma kısa cevaplı, açık uçlu ve boşluk doldurma gibi hakem puanlamalarına
dayanan soruların hakem yanlılığından arındırılarak puanlanmasına yönelik geliştirilmiş
olan HPM-SAK modelinin, test geliştirme sürecinin madde seçimin aşamasında soru
kalitesinin belirlenmesi amacıyla kullanılmasına dayanmaktadır. Üç düzey olarak tasarlanan
bu hiyerarşik modelde hakem niteliği ve hakem katılığı iki ayrı faktör olarak ele
alınmaktadır. Bu iki faktör belirlenirken ilk aşamada Madde Tepki Kuramı ve ikinci
aşamada Sinyal Algılama Teorisi parametreleri kullanılmaktadır. Model bütün olarak
gözlenen hakem puanlarından yola çıkarak bir sorunun öğrenci yeteneğini kestirmedeki
düzeyini hakem niteliği ve hakem katılığı etkilerini kontrol ederek tekrar hesaplamaktadır.
Araştırmada bu yaklaşım test geliştirme aşamasında hakem kararlarına dayalı olarak soru
niteliğini belirleme sürecinde hakem etkisinin kontrol edilebilmesi amacıyla kullanılmıştır.
Araştırma 115K531 No'lu TÜBİTAK projesinin akademik çıktılarının bir boyutunu
oluşturmaktadır. Proje kapsamında geliştirilen 280 soru 28 hakem tarafından 15 maddeden
oluşan puanlama ölçeği ile değerlendirilmiştir. Bu süreçte geliştirilen her soru üç hakem
tarafından incelenmiştir. Araştırmada hakem incelemeleri sonucunda sorular için verilen
puanlar HPM-SAK model ile analiz edilmiştir. HPM-SAK model üç düzeyli hiyerarşik bir
yapı taşımaktadır. Bu nedenle bu düzeylere göre önerilen üç model ayrı ayrı analiz edilmiş
ve hangi modelin data ile daha uyumlu olduğu belirlenmeye çalışılmıştır.
Analiz sonuçlarına göre HPM-SAK için ikinci modelin diğer modellere göre daha iyi uyum
gösterdiği görülmüştür. En düşük uyum düzeyi birinci düzey modelde gözlenmiştir.
Puanlama güvenirlikleri incelendiğinde ikinci model indeksinin diğer modellerinden daha
yüksek olduğu belirlenmiştir. Bu durum HPM-SAK modelin soru niteliğini belirleme
sürecinde alternatif bir güvenirlik yaklaşımı olarak kullanılabileceğinin bir göstergesidir.

Abstract:
This research is based on the use of the HRM-SDT model developed for the scoring of
questions based on referee scoring, such as short answer, open ended and gap filling, in
order to determine the quality of the item during the item selection phase. In this
hierarchical model, which is designed as three levels, the referee is modeled as two factors
of quality and referee participation. When these two factors are determined, the first stage
uses the Matter Response Theory and the second uses the Signal Detection Theory
parameters. The model recalculates the level of a student's ability to judge the student's
ability by controlling the referee's qualifications and referee involvement effects, based on
the overall referee points. This approach has been used in the research in order to control
the referee effect in the process of determining the substance quality based on the referee's
decisions during the test development stage.
This research constitutes a dimension of the academic outputs of 115K531 TUBITAK
project. 280 questions developed within the scope of the project were evaluated by 28
referees with a scoring scale consisting of 15 items. Each question developed in this process
was examined by three referees. As a result of the referee examinations in the research, the
scores given for the questions were analyzed with the HRM-SDT model. The HRM-SDT
model has a three-level hierarchical structure. For this reason, the three models proposed
according to these levels were analyzed separately and it was tried to determine which
model is more compatible with the data.
According to the analysis results, the second model for HRM-SDT is seen to be better than
the other models. The lowest level of compliance was observed in the first level model.
When the reliability of rating was examined, it was determined that the second model index
was higher than the others. This is an indication that the HRM-SDT model can be used as
an alternative reliability approach in the process of determining the substance quality.