Regresyon ağaçlarıyla süreç ve sonuç verilerinin karmaşık problem çözme becerisini yordama düzeylerinin incelenmesi
Investigation of the levels of process and result data to prediction complex problem solving with regression trees
Yazar: FATMA NUR AYDIN
Danışman: DOÇ. DR. KÜBRA ATALAY KABASAKAL ; DR. İSMAİL DİLEK
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme Ve Değerlendirme Bilim Dalı
Derece: Doktora, 2024
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu çalışmada süreç ve sonuç verilerinin farklı makine öğrenme algoritmalarıyla karmaşık problem çözme becerisini yordama performansları incelenmiştir. Bu amaçla Uluslararası Öğrenci Değerlendirme Programı (PISA) 2012'ye katılmış 915 kişinin verileri kullanılmıştır. Süreç verileri, PISA 2012'deki problem çözme değerlendirmesinde bulunan klima kontrolü ünitesinin birinci sorusuna ait günlük dosyasından elde edilmiştir. Sonuç verileri olarak aynı değerlendirmedeki çeşitli bilişsel ve duyuşsal özellikler kullanılmıştır. Analizler için tekli regresyon ağacı, torbalama, rastgele orman, gradyan artırma, koşullu çıkarım ağacı, koşullu çıkarım ağaçlarına dayalı torbalama, koşullu çıkarım ağaçlarına dayalı rastgele orman ve koşullu çıkarım ağaçlarına dayalı gradyan artırma algoritmaları kullanılmıştır. Elde edilen temel sonuçlara göre (1) süreç verisi orta, sonuç verisi orta-iyi, süreç+sonuç verisi iyi düzeyde tahmin performansı sergilemiştir. (2) Süreç verisinde koşullu çıkarım ağaçlarına dayalı gradyan artırma, sonuç verisinde hem gradyan artırma hem de koşullu çıkarım ağaçlarına dayalı gradyan artırma, süreç+sonuç verisinde gradyan artırma daha iyi performans göstermiştir. Bununla birlikte tüm yöntemlerin metrik değerleri arasında önemli farklılıklar bulunmamaktadır. (3) Tüm algoritmalar için genel olarak; süreç verisinde en önemli değişkenler VOTAT stratejisi puanı ve toplam süre, sonuç verisinde matematik puanı ve okuduğunu anlama puanı, süreç+sonuç verisinde matematik puanı ve VOTAT stratejisi puanı olmuştur. Matematik puanının oldukça baskın biçimde etkili olması dikkat çekmiştir.

Abstract:
The present study examines the predictive capacity of process and result data in complex problem-solving skills, employing different machine learning algorithms. The data set comprises 915 participants from the Programme for International Student Assessment (PISA) 2012. The process data was obtained from the log file of the first question of the Climate Control unit in the problem-solving assessment in PISA 2012. Various cognitive and affective characteristics were used as result data. The following machine learning algorithms were employed: single regression tree, bagging, random forest, gradient boosting, conditional inference tree, bagging based on conditional inference trees, random forest based on conditional inference trees, and boosting algorithms based on conditional inference trees. The main results indicated that process data exhibited moderate prediction performance, result data exhibited moderate-good prediction performance, and process+result data exhibited good prediction performance. (2) Gradient boosting based on conditional inference trees performed better on process data, both gradient boosting and gradient boosting based on conditional inference trees performed better on result data, and gradient boosting performed better on process+result data. However, there were no important differences between the metric values of all methods. (3) In general, the most important variables in the process data were the VOTAT strategy score and total time, in the outcome/result data the mathematics literacy score and reading literacy score, and in the process+result data the mathematics literacy score and VOTAT strategy score. It is notable that the mathematics literacy score was particularly effective.