Kesme puanının belirlenmesinde lojistik regresyon analizi, diskriminant analizi ve ROC eğrisi yöntemlerinin karşılaştırılması
Comparing methods of logistic regression analysis, discriminant analysis and ROC curve method while determining cut point
Yazar: ÇİĞDEM REYHANLIOĞLU KEÇEOĞLU
Danışman: PROF. DR. SELAHATTİN GELBAL
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2012
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Diskriminant analizi = Discriminant analysis ; Kesme puanlar = Cut points ; Lojistik regresyon analizi = Logistic regression analysis ; ROC eğrisi = ROC curves ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışmanın amacı, karmaşık, pahalı ve uygulaması zor olan geleneksel standart belirleme yöntemlerine, kesme puanını belirlemek amacıyla ihtiyaç duyulan bu yöntemlerin alternatiflerini sunmaktır. Bu alternatif yöntemlerin bilgisayar ortamında uygulanmasıyla, objektif sonuçlara ulaşmak ve bu sayede bireylerin başarılı/başarısız ya da geçti/kaldı kararlarının verilmesinde geçerli ve güvenilir sonuçlar elde edebilmek bu çalışmada amaçlanmıştır.Bu çalışmadaki bulgular, Türkiye'de bulunan bir yüksek öğretim kurumundaki yabancı diller yüksek okulu bünyesinde, 2011-2012 güz döneminde, İngilizce hazırlık sınıfı muafiyet sınavına giren 1708 öğrenciye uygulanan İngilizce muafiyet sınav sonuçlarından elde edilmiştir. Öğrencilerin İngilizce hazırlık sınıfından muaf olabilmeleri için, bu sınavdan en az 65 puan almaları veya ulusal düzeyde yapılan sınavlardan (ÜDS veya KPDS) en az 75 puan almaları gerekir. Ayrıca uluslararası sınavlardan kabul edilebilir puanlar muafiyet için yeterli bulunmaktadır. Buradaki 65 değeri kurumun iç ölçütünü, 75 değeri ise dış ölçütünü temsil etmektedir. Lojistik Regresyon analizi, Diskriminant analizi ve ROC eğrisi yöntemleri ile elde edilen kesme puanlarının karşılaştırılmasının sebebi, belirlenen kesme puanının seçilen yönteme göre değişkenlik göstereceğinin düşünülmesidir.Her üç yöntem ile elde edilen kesme puanlarının farklılaşıp farklılaşmadığına bakılmıştır. Kesme puanlarının farklılaşıp farklılaşmamasında Diskrminant analizi, Lojistik Regresyon analizi ve ROC eğrisi yöntemleri kullanılmıştır.Bu çalışmanın sonucunda, Lojistik Regresyon analizi ve Diskriminant analizi ile belirlenen kesme puanları arasında manidar bir farklılığın olup olmadığını ortaya koymayı amaçlayan birinci alt problemin bulgularına göre, her iki yöntem ile iç ölçüte göre belirlenen kesme puanları arasında manidar bir farklılığın olmadığı, dış ölçüte göre belirlenen kesme puanları arasında ise Lojistik Regresyon analizinin lehine bir farklılık olduğu tespit edilmiştir.Lojistik Regresyon analizi ve ROC eğrisi yöntemi ile belirlenen kesme puanları arasında manidar bir farklılığın olup olmadığını ortaya koymayı amaçlayan ikinci alt problemin bulgularına göre, her iki yöntemle iç ölçüte göre belirlenen kesme puanları arasındaki farklılık ROC eğrisi yönteminin lehine iken, dış ölçüte göre belirlenen kesme puanları arasındaki farklılık ise Lojistik Regresyon analizinin lehine olduğu ortaya çıkmıştır.Diskriminant analizi ve ROC eğrisi yöntemi ile belirlenen kesme puanları arasında manidar bir farklılığın olup olmadığını ortaya koymayı amaçlayan üçüncü alt problemin bulgularına göre, her iki yöntem ile her iki ölçüt türüne göre belirlenen kesme puanları arasındaki farklılığın ROC eğrisi yönteminin lehine olduğu ortaya konmuştur.Öğrenci başarısı hakkında bir değer yargısı oluşturmaya yönelik olarak yapılan başarılı/başarısız şeklindeki sınıflama kararları sonucunda, öğrencilerin geleceklerine yönelik önemli kararlar alınmaktadır. Kullanılan ölçüt türüne göre alınan kararların oldukça önemli olması nedeniyle, ölçüt türleri arasında düzenli olarak bu tür karşılaştırmaların yapılması önerilmektedir.Anahtar Sözcükler: Kesme puanı, Diskriminant Analizi, Lojistik Regresyon Analizi, ROC Eğrisi Yöntemi

Abstract:
The purpose of this study is showing alternative methods, needed in order to determine cut point, instead of conventional standard setting methods which are complex, expensive and difficult to implement. Reaching objective results and so that giving valid and reliable decisions about individuals like successful/unsuccessful or pass/fail are aimed in this study by using these alternative methods in computer.Data used in this study are obtained from 1708 students? English exemption exams scores who are student at a university in Turkey at school of foreign language in 2011-2012 fall terms. Students should take minimum 65 points from that exam or should take minimum 75 points from national exams (ÜDS or KPDS) to be exempt from English preparatory class. In addition, taking acceptable scores from international exams could be enough for exemption to preparatory class. The score of 65 represents inner criterion and 75 represents outer criterion of the institution. The reason of comparing cut points getting from Logistic regression analysis, discriminant analysis and ROC curve method is that cut points could change according to chosen method.Cut points getting from these three methods are studying if they are differentiating or not. To investigate that differentiation, discriminant analysis, logistic regression analysis and ROC curve method are used.At the end of this study, according to findings of first sub-problem which is aimed to prove if there is a meaningful difference between cut points getting from logistic regression analysis and discriminant analysis or not, there is not a meaningful difference between cut points getting from inner criterion, however, there is a meaningful difference between cut points getting from outer criterion in favor of logistic regression analysis.According to results of second sub-problem which is aimed to show meaningful difference between cut points obtained from logistic regression analysis and ROC curve method, there is a significant difference between cut points in support of ROC curve methods using inner criterion, while there is a significant difference between cut points for benefit of logistic regression analysis using outer criterion.The third sub-problem is aimed to indicate significant difference between discriminant analysis and ROC curve method. By using its findings, significant difference between cut points is in favor of ROC curve method by using of two methods and two kinds of criteria.As a result of classifying students like successful/unsuccessful which are aimed to make value judgment about student?s success, important decisions are made for students? future. Because of the importance of decisions which are taken according to usage of type of criteria, it is suggested that this kind of comparisons should done between types of criteria regularly.Key Words: Cut point, Discriminant Analysis, Logistic Regression Analysis, ROC Curve Method