Dikey ölçeklemede madde tepki kuramına dayalı farklı kalibrasyon ve yetenek kestirim yöntemlerinin karşılaştırılması
A comparison of different calibration methods and proficiency estimators based on item response theory in vertical scaling
Yazar: AYŞEGÜL ALTUN
Danışman: DOÇ. DR. HÜLYA KELECİOĞLU
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Bölümü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2013
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu araştırma kapsamında; ortak madde deseninde madde tepki kuramına dayalı ayrı ve eş zamanlı kalibrasyon ve Expected A Posteriori (EAP), Maximum A Posteriori (MAP) ve Maksimum Olabilirlik (MO) yetenek kestirim yöntemleri kombinasyonuyla elde edilen dikey ölçekleme sonuçlarının karşılaştırılması yapılmıştır.  Bu karşılaştırmayı yapabilmek için öncelikle 2008-2010 yılları arasında yapılan SBS sınavında sorulan sorulardan 6., 7. ve 8. sınıf matematik testleri oluşturulmuştur. Daha sonra 6. sınıftaki 503, 7. sınıftaki 502 ve 8. sınıftaki 500 öğrencinin zorluk düzeyleri farklı olan matematik testlerine verdikleri cevaplardan elde edilen puanlar kullanılarak dikey ölçekler geliştirilmiştir. Dikey ölçekleme süreciyle aynı ölçeğe yerleştirilen bu puanlardan elde edilen ölçek puanları kullanılarak ortalamalar, ortalamalar arasındaki fark, etki büyüklükleri ve yatay uzaklıklar hesaplanmış ve böylece ölçekleme sürecinde yapılan seçimlerin dikey ölçeklemeyi nasıl etkilediği belirlenmeye çalışılmıştır. 
Kalibrasyon yöntemleri karşılaştırıldığında her iki kalibrasyon yönteminde de 6. sınıftan 7. sınıfa başarıda azalma, 7. sınıftan 8. sınıfa ise artma olduğu görülmektedir. Standart sapmalar incelendiği zaman her iki kalibrasyon yöntemi içinde 7. sınıf daha homojen iken her üç sınıf düzeyi için eş zamanlı kalibrasyon ayrı kalibrasyona kıyasla daha büyük standart sapma değerleri vermektedir. Etki büyüklükleri incelendiği zaman ise her iki kalibrasyon yönteminde de 6 ve 7. sınıflar arasında negatif, 7 ve 8. sınıflar arasında ise pozitif değerler aldığı görülmektedir. Ancak ayrı kalibrasyondaki etki büyüklükleri eş zamanlı kalibrasyona göre daha düşüktür. Ortalama yatay uzaklıklar etki büyüklüğü ile benzer sonuçlar vermektedir. Yatay uzaklıklar incelendiği zaman ayrı kalibrasyonda 6 ve 7. sınıflar arsında başarı düzeyi arttıkça yetenek düzeyleri arasındaki fark 6. sınıf lehine artmaktadır. 7 ve 8. sınıflarda ise başarı düzeyi arttıkça fark da artmaktadır. Eş zamanlı kalibrasyonda yatay uzaklıkların 6 ve 7. sınıflar arasında negatif ve mutlak değerce azalan değerler alması 6 ve 7. sınıflar arasındaki farkın yedinci sınıf lehine yavaş yavaş arttığı 7 ve 8. sınıflar arasında pozitif azalan değerler alması da yetenek düzeyleri arasındaki farkın 7 ve 8. sınıflar arasında azaldığı anlamına gelmektedir.
Yetenek kestirim yöntemleri incelendiği zaman, ortalamalar açısından MAP çoğunlukla  EAP ve MO?ya kıyasla daha düşük değerler üretirken  EAP ile MO karşılaştırıldığında EAP ile hesaplanan değerlerin daha düşük olduğu görülmektedir. Standart sapma değerleri incelendiği zaman ayrı kalibrasyonda MO, EAP ve MAP?a göre daha büyük değerler verirken eş zamanlı kalibrasyonda yetenek kestirimleri için böyle bir örüntü söz konusu değildir. Etki büyüklükleri ise ayrı kalibrasyonda EAP  MAP  MO şeklinde iken eş zamanlı kalibrasyonda EAP MO?ya kıyasla daha büyük değerler almaktadır. Ortalama yatay uzaklık değerleri ise ayrı kalibrasyonda EAP  MO  MAP şeklinde iken eş zamanlı kalibrasyonda MAP EAP MO şeklinde değerler almaktadır. Yatay uzaklıklarda ise genellikle ayrı kalibrasyonda EAP MO MAP şeklinde bir örüntü varken eş zamanlı kalibrasyonda MAP EAP MO şeklinde bir örüntü söz konusudur
Anahtar Sözcükler 
Dikey Ölçekleme, Madde Tepki Kuramı (MTK), Seviye Belirleme Sınavı  (SBS)

Abstract:
In this study the comparison of the vertical scales, which are obtained through the combination of separate and concurrent calibration based on item response theory and EAP, MAP and MO proficiency estimation methods, take place. For this comparison firstly, math tests for the 6th, 7th and 8th grades were composed from the questions asked in SBS (high school entrance exam) between 2008-2010 years. Then, the vertical scales were developed by using the scores obtained from the answers of 503 6th grade, 502 7th grade and 500 8th grade students to the math tests in different difficulty levels. By using the scale scores which were obtained from these scores placed in the same scale with the vertical scaling process, means and the difference between the means, effect sizes and horizontal distances were calculated so it was tried to be determined how the choices in scaling process affected the vertical scaling.
When calibration methods are compared it is noticed that there is a decrease in the achievements from the 6th to the 7th grade however there is an increase from the 7th to the 8th grade in both calibration methods. Examining the standard deviations while the 7th grade is more homogenous in both calibration methods, concurrent calibration gives larger standard deviation values than separate calibration for all three grades. When the effect sizes are examined it is noticed that it takes negative values between the 6th and 7th grades however  it takes positive values between the 7th and 8th grades. On the other hand effect sizes in the separate calibration are lower than those in the concurrent calibration. Mean horizontal distances give the same results with the effect size. When the horizontal distances are examined, as the achievement level between the 6th and 7th grades increases the difference between the proficiency levels also increases in favor of the 6th grades in separate calibration. Besides, in the 7th and 8th grades the difference also increases with the increase in the achievement level. In concurrent calibration the horizontal distances between the 6th and 7th grades taking negative and decreasing values (according to absolute value) which means that the difference between the 6th and the 7th grades increases slowly in favor of the 7th grades besides taking positively decreasing values between the 7th and the 8th grades which means that the difference between the proficiency levels decreases between the 7th and the 8th grades. 
When proficiency estimation methods are examined, in terms of means while MAP usually creates lower values comparing with EAP and MO it is noticed that values calculated with EAP are lower. According to the examination of the standard deviation values while MO gives larger values than EAP and MAP such a pattern is not there for the proficiency estimations in the concurrent calibration. Although in the separate calibration the effect sizes are in the form of EAP  MAP  MO, in concurrent calibration EAP takes larger values comparing to MO. While mean horizontal distance values are in the form of EAP  MO  MAP in the separate calibration, they take values in the form of MAP EAP MO in the concurrent calibration. In horizontal distances there is a pattern in the form of EAP MO MAP in separate calibration while the pattern is in the form of MAP EAP MO in concurrent calibration.
Key Words: Vertical scaling, Item and Response Theory (IRT), SBS(high school entrance exam)