Psikolojik ölçeklerde ROC analizi yöntemiyle standart belirleme
Standard determination in psychological scales using ROC analysis
Yazar: MAHMUT SAMİ KOYUNCU
Danışman: DOÇ. DR. ŞEREF TAN
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2015
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Aday öğretmenler = Candidate teachers ; Kamu Personeli Seçme Sınavı = Civil Servant Selection Examination ; Psikolojik ölçekler = Psychological scales ; ROC analizi = ROC analysis ; Sürekli Kaygı Envanteri = Trait Anxiety Inventory ; Sürekli kaygı = Trait anxiety ; Ölçme-değerlendirme = Measurement and evaluation ; Öğretmenler = Teachers

Özet:
Araştırmada Sürekli Kaygı Ölçeği ölçüt kabul edilerek öğretmen adayları için KPSS Sürekli Kaygı Ölçeği (ÖAKSKÖ) için ROC analizi yöntemiyle standart belirleme çalışması yapılmıştır. Çalışmanın amacı, ROC analiziyle geliştirilmiş veya uyarlanmış olan ölçeklerde kesme puanının nasıl belirleneceğini göstermektir. Bu çalışmadaki bulgular, 2013-2014 Bahar Dönemi Gazi Üniversitesi Gazi Eğitim Fakültesi'nde öğrenim görmekte olan 554 kız ve 170 erkek öğrenci olmak üzere toplam 724 öğrenciden elde edilmiştir. Çalışmada Sürekli Kaygı Ölçeği ölçüt alındığında öğretmen adayları için KPSS sürekli kaygı ölçeğinin ROC analizi standart belirleme yöntemiyle belirlenen en uygun kesme puanının kaç olduğu ve kesme puanının cinsiyete ve örneklem büyüklüğüne göre farklılaşıp farklılaşmadığı incelenmiştir. Bu çalışmanın sonucunda, genel olarak ÖAKSKÖ'nin yorumlanmasında kullanılacak olan kesme puanı 28,5 olarak belirlenmiştir. ÖAKSKÖ için belirlenen kesme puanının sadece kız öğrenciler için 28,5; sadece erkek öğrenciler için ise 26,5 olduğu tespit edilmiştir. ÖAKSKÖ'nin 0,54 olasılıkla gerçek durumda sürekli kaygısı olan kişileri ve 0,82 olasılıkla gerçek durumda sürekli kaygısı olmayan kişileri doğru tespit edebildiği sonucuna ulaşılmıştır. ÖAKSKÖ'nin 0,75 olasılıkla sürekli KPSS kaygısının olduğu durumu doğru tespit ettiği; 0,64 olasılıkla sürekli KPSS kaygısının olmadığı durumu doğru tespit ettiği belirlenmiştir. ÖAKSKÖ'nin "kabul edilebilir" düzeyde ayrım yeteneğine sahip olduğu ve seçilen kesim noktası ile gerçek durumun genel olarak %72 uyumlu olduğu görülmüştür. Cinsiyete göre seçilen kesim noktası ile gerçek durumun kız öğrenciler için %71; erkek öğrenciler için %74 uyumlu olduğu belirlenmiştir. ÖAKSKÖ için rasgele seçilen farklı örneklem büyüklüklerine göre elde edilen kesme puanları ve eğri altında kalan alan (AUC) değerlerinin değişkenlik gösterdiği, belirlenen kesme puanının uygulandığı guruba göre değişebileceği belirlenmiştir. Elde edilen kesme puanlarının aynı olmasına rağmen duyarlılık, özgüllük ve AUC değerlerinin farklı olabileceği ortaya konmuştur. Standart belirlemenin bireylerin başarı ya da performans düzeylerindeki farklılaşmayı belirleme açısından önemli olması nedeniyle bu tür standart belirleme çalışmalarının yapılması önerilmektedir.



Anahtar Kelimeler: ROC analizi, ROC eğrisi, Standart Belirleme, AUC

Abstract:
Trait Anxiety Scale has been regarded as criterion in this research and standard determination using ROC analysis was applied to Public Personnel Selection Examination (KPSS) Trait Anxiety Scale for Preservice Teachers. The purpose of the study is to show how to determine cut-off scores in the scales that has been developed or adapted using ROC analysis. The results in this research have been obtained from 554 female and 170 male students (724 students in total) who studied at Gazi University Gazi Faculty of Education in 2013-2014 spring terms. It was tried to scrutinize which score that was determined by standard determination method using ROC analysis was the most accurate for KPSS Trait Anxiety Scale and whether cut-off score was differentiated by gender and sample size when Trait Anxiety Scale was considered as criterion. As a result of the research, the cut-off score to be used in interpretation of Trait Anxiety Scale for Preservice Teachers (TASPT) was determined as 28,5. The cut-off score determined for TASPT was 28,5 and 26,5 for female and male students, respectively. It was concluded that TASPT could determine the people who possess trait anxiety with the probability of 0,54 and the people who do not possess trait anxiety with the probability of 0,82. It was ascertained TASPT could determine when KPSS trait anxiety is existent with the probability of 0,75 and when KPSS trait anxiety is nonexistent with the probability of 0,64 properly. It was seen that TASPT could differentiate in an "acceptable" level and the selected cut-off point and the fact was consistent in proportion of 72%. It was established that the cut-off point chosen in terms of gender and fact is consistent in proportion of 71% and 74% for female students and male students respectively. It was determined that the cut-off scores and AUC values that were obtained from random different sample sizes for TASPT varied and the cut-off scores could be change according to the group they were applied. Although the cut-off scores were similar, it was put forward that sensitivity, originality and AUC values could be different. It is suggested that such kind of standard determination studies can be done because standard determination is essential in terms of determining differentiation within individual's achievement or performance levels.




Key Words : ROC Analysis, ROC Curve, Standart Setting, AUC