ABİDE 2016 fen başarısının yordanmasında MARS ve BRT veri madenciliği yöntemlerinin karşılaştırılması
Predicting the ABIDE 2016 science achievement: The comparison of MARS and BRT data mining methods
Yazar: HİKMET ŞEVGİN
Danışman: DOÇ. DR. EMİNE ÖNEN
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2020
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Akademik Becerilerin İzlenmesi ve Değerlendirilmesi Çalışması = Evaluating Academic Skills Study ; Akademik başarı = Academic achievement ; Analiz yöntemleri = Analysis methods ; Fen başarısı = Science achievement ; MARS modelleri = MARS models ; Ortaokul öğrencileri = Secondary school students ; Regresyon ağaçları = Regression trees ; Veri madenciliği = Data mining ; Çok değişkenli regresyon = Multivariate regression

Özet:
Bu araştırmanın amacı, 8. sınıf öğrencilerinin akademik başarıları ile ilişkili olduğu düşünülen çeşitli faktörlerin başarı ile olası ilişkilerini, veri madenciliği yöntemlerinden MARS ve BRT analiz yöntemlerini kullanarak incelemek, bu yöntemlerin eğitim araştırmalarında kullanılmasının yararını ortaya çıkarmak ve bu yöntemleri sınıflama performansları açısından karşılaştırmaktır. Bu araştırmanın verileri Milli Eğitim Bakanlığının 2016 yılında ülke genelinde gerçekleştirdiği ABİDE uygulaması ile okul türüne bakılmaksızın 8. sınıf öğrencileri arasından tabakalı seçkisiz örnekleme yöntemi ile seçilen 33590 öğrenci, 1420 öğretmen ve 1280 okul yöneticisinden elde edilmiştir. Kayıp veri silme ve atama işlemleri sonrasında, öğrenciler temelinde öğretmenler ve öğretmenler temelinde yöneticiler olmak üzere tüm veri seti aynı grupta yer alacak şekilde 10407 öğrenci veri setini oluşturmaktadır. Araştırma kapsamında öğrenci, öğretmen, okul ve öğretimsel nitelikler arasındaki ilişkileri açıklamaya yönelik Creemers ve Kyriakides (2007) tarafından önerilen "Eğitimsel Etkililiğin Dinamiksel Modeli" kavramsal çerçevesi temel alınmıştır. Ölçümlerin geçerliğine ilişkin kanıt elde etmek için faktör analizi yöntemleri kullanılmıştır. Ölçümlere ilişkin güvenirlik katsayısının hesaplanmasında ise McDonald's ω güvenirlik katsayısı kullanılmıştır. Verilerin analizi aşamasında 8. sınıf öğrencilerinin öğrenci, aile ve okula ilişkin çeşitli faktörlerin fen başarısı ile olası ilişkilerini veri madenciliği yöntemlerinden MARS ve BRT analiz yöntemleri SPM 8.2 programı ile incelenmiştir. Bu analiz yöntemleri "doğruluk, özgüllük, duyarlılık, kesinlik, F1-istatistiği" oranları ile "ROC eğrisi altında kalan alan (AUC)" olarak sınıflama performansları açısından karşılaştırılmıştır. Araştırma sonucunda doğru sınıflama oranı, özgüllük oranı, duyarlılık oranı, kesinlik oranı, F1 istatistik değeri ve ROC eğrisi altında kalan alan açısından BRT analiz yöntemi MARS analiz yöntemine göre daha başarılı bulunmuştur. Yordayıcı önem düzeyine göre fen başarısının en önemli yordayıcıları her iki analiz yönteminin çıktılarında da benzerlik göstermiştir. Fen başarısını etkileyen faktörler her iki analizde de eğitimsel etkililiğin dinamiksel modeli kapsamında, öğrenci, öğretmen ve okul düzeyinde ele alınmıştır. Öğrenci düzeyinde; öz yeterlik algısı, baba mesleği, aylık gelir, ebeveyn yaklaşımı, akran zorbalığı, anne mesleği, fen bilimleri dersine verilen değer, hoşlanma ve okula aitlik en önemli değişkenler olarak bulunmuştur. Öğretmen düzeyinde ise; öğretmenin öğretimsel etkinlikleri, öğretmenin meslekteki yılı ve öğretmenin derse hazırlığı en önemli değişkenler olarak bulunmuştur. Okul düzeyindeki en önemli değişken ise; yöneticilerin öğrenci odaklı okul iklim algısı olarak bulunmuştur. MARS analiz yöntemi, eğitim alanında psikolojik yapıların ölçülmesi için bağımlı değişkenle doğrusallık özelliği sağlamayan değişkenleri, parçalı doğrusallar olarak tanımlayıp analize dâhil edebilmesi yönüyle çok daha fazla değişkenin birbirleriyle ilişkisini ortaya koymakta güçlü bir kestirim sağlamaktadır. Yine BRT analiz yönteminin birden çok regresyon ağacının eklemeli birleşimi ile hatalardan öğrenme yoluna gitmesi, sınıflamada yapılacak hataları minimum seviyeye indirgeyerek daha güçlü bir sınıflama performansı sağlamaktadır. Dolayısıyla bu veri madenciliği yöntemlerinin eğitim, psikoloji ve ölçme-değerlendirme alanında yapılacak araştırmalara katkı sağlayacağı düşünülmektedir.

Anahtar Kelimeler: Fen Başarısı, ABİDE 2016, Veri Madenciliği, Çok Değişkenli Uyarlamalı Regresyon Uzanımları – MARS, Artırılmış Regresyon Ağaçları – BRT

Abstract:
The aim of this study is to examine the probable relationships of various factors which are considered to affect the academic achievements of eighth-grade students by using the MARS and BRT analysis methods among the data mining methods, to reveal the benefits of using these methods in educational studies, and to compare these methods in terms of classification performances. The data of the present study consists of the ABIDE application which was conducted countrywide by the Ministry of National Education in 2016 33590 students which were chosen with stratified random sampling among eighth-grade students regardless of school types, 1420 teachers, and 1280 principals. After the procedures of missing data deletion and imputation, the data merge process was performed by distributing teachers and principals on 10407 students in a way that all of the data set would be included in the same data set as teachers on the basis of students and principals on the basis of teachers. "Dynamic Model of Educational Effectiveness" conceptual framework which was suggested by Creemers and Kyriakides (2007) for explaining the relationships between students, teachers, schools, and educational qualifications was taken as a basis within the scope of the study. Factor analysis methods were used in order to obtain proof for the validity of the measurements that constitute the data set. McDonald's ω reliability coefficient was used in the calculation of the reliability coefficient for the measurements. In the analysis of the data, the probable relationships between the science achievement of eighth-grade students with various factors regarding student, family, and school were examined with MARS and BRT analysis methods among data mining methods and SPM 8.2 program. These analysis methods were compared in terms of classification performances as "accuracy, specificity, sensitivity, precision, F1-statistics" rates and "area under ROC curve (AUC)". As a result of the research, it was determined that the BRT analysis method was more successful than the MARS analysis method in terms of correct classification rate, specificity rate, sensitivity rate, precision rate, F1 statistics value, and area under the ROC curve. It was found that BRT is a more successful method than MARS. The factors affecting science achievement were discussed on the student, teacher, and school levels within the scope of the dynamic model of educational effectiveness in both analysis methods. Self-efficacy perception, father's occupation, monthly income, parent approach, peer victimization, mother's occupation, the value that is given to the science lesson, favoring the lesson, and belonging to the school were determined as the most significant variables on the student level. Educational effectiveness of teachers, service duration of the teachers, and the preparation of the teacher to the lesson were determined as the most significant variables on the teacher level. The most significant variable on the school level was determined as the student-focused school environment perception of principals. Since the MARS analysis method includes variables that are not linear with the dependent variable to the analysis by defining them as piecewise linear in order to measure the psychological structures in the field of education, a more precise estimation can be provided in determining the relationship of several variables. The fact that BRT analysis method learns from mistakes with the additive union of several regression trees provides a stronger classification performance by minimizing the mistakes that would occur in classification. Therefore, it is considered that these data mining methods would contribute to the studies that would be conducted in the fields of education, psychology, and measurement-assessment.

Key Words: Science Success, ABİDE 2016, Data Mining, Multivariate Adaptive Regression Splines - MARS, Boosted Regression Trees – BRT