Makine öğrenmesinde kategorik değişken seçimi
Categorical variable selection in machine learning
Yazar: ÇAĞRI GÖLEN
Danışman: PROF. DR. SERPİL AKTAŞ ALTUNAY
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı / İstatistik Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: İstatistik = Statistics

Özet:
Makine öğrenmesi modellerinde değişken seçimi adımı kritik önem taşımaktadır. Her model kurulurken ilk olarak değişken seçimi yapılması önerilmektedir. Değişken seçimi süreçleri, modelin karmaşıklığını azaltarak, yorumlanabilirliğini artırarak ve genelleme yeteneğini güçlendirerek model performansını önemli ölçüde etkilemektedir. Geçmişten günümüze gelen bu yaklaşım sebebiyle birçok farklı yöntem ortaya çıkmıştır. Farklı değişken seçimi yöntemlerinin birleştirilmesiyle oluşturulan oylama mekanizması, daha güvenilir ve kapsamlı bir değişken seçimi süreci sunabilmektedir. 
Bu çalışmada, makine öğrenmesi modellerinde değişken seçimi sürecinin önemi ve farklı yöntemlerin model performansına etkisi incelenmiştir. Sekiz farklı değişken seçimi yöntemi kullanılarak, veri kümesindeki en önemli değişkenler belirlenmiş ve bu yöntemlerin F1 skoru ile performansları değerlendirilmiştir. Kullanılan değişken seçimi yöntemleri şunlardır: Ki-Kare Testi, Fisher'ın Tam Testi, Bilgi Kazancı Yöntemi, Geriye Doğru Eleme, İleriye Doğru Seçim, Özyinelemeli Özellik Eliminasyonu, Lojistik Regresyon Lasso Düzeltmesi ve Özellik Önem Düzeyleri. Her bir yöntem, veri kümesinden en ilgili değişkenlerin belirlenmesi ve modelin tahmin doğruluğunu artırma amacıyla uygulanmıştır.
Çalışmada, bir oylama mekanizması ile farklı yöntemlerin belirlediği en önemli değişkenler birleştirilerek, daha güvenilir ve kapsamlı bir değişken seçimi modeli olabilecek bir yapı kurulmuştur. Elde edilen bulgular, bu oylama yöntemiyle seçilen değişkenlerin, tek bir yönteme göre daha iyi sonuçlar verdiğini göstermiştir. Çalışmanın kapsamı, sadece kategorik verileri içermektedir. Bunun yanı sıra bu yöntem, sürekli değişkenler ve karma veri setlerini de içerecek şekilde genişletilebilir bir yöntem olduğunu göstermektedir. Ayrıca, farklı makine öğrenmesi algoritmaları üzerinde yöntemlerin performansını değerlendirebilir bir yöntem kurgulanmıştır. Bu sayede farklı algoritmanın incelenmesinin önü açılmıştır. Geliştirilen oylama mekanizması, uçtan uca çalışabilecek bir tasarıma sahiptir. Bu sebeple bir Python paketi olarak kullanıma sunulabileceği de ortaya konmuştur.
Sonuç olarak, tez çalışması, makine öğrenmesi modellerinde değişken seçimi süreçlerinin önemini vurgulamış ve farklı yöntemlerin birleştirilmesiyle F1 skor metriği daha yüksek sonuçlar elde edilebileceğini göstermiştir. Bu yaklaşım, farklı uygulamalara özel gereksinimleri karşılayacak şekilde esnek ve etkili bir çerçeve sunmakta olup, gelecekteki araştırmalar için önemli bir temel oluşturmaktadır.

Abstract:
Feature selection is a critical step in machine learning model development. It is recommended to perform feature selection before building any model. Feature selection processes significantly impact model performance by reducing model complexity, improving interpretability, and enhancing generalization ability. Given the importance of this approach, numerous methods have been developed over time. A voting mechanism, created by combining different feature selection methods, can provide a more reliable and comprehensive feature selection process.
This study investigates the significance of feature selection in machine learning models and the impact of different methods on model performance. Eight different feature selection methods were employed to identify the most important features in the dataset, and their performance was evaluated using the F1-score. The feature selection methods used include Chi-squared test, Fisher's exact test, information gain, backward elimination, forward selection, recursive feature elimination, logistic regression Lasso regularization, and feature importance scores. Each method was applied to identify the most relevant features from the dataset and improve the model's prediction accuracy.
In this study, a voting mechanism was established by combining the most important features determined by different methods, aiming to create a more reliable and comprehensive feature selection model. The findings indicate that the features selected using this voting method yielded better results compared to a single method. The scope of the study is limited to categorical data. However, it demonstrates that this method can be extended to include continuous variables and mixed datasets. Additionally, a framework has been designed to evaluate the performance of these methods on different machine learning algorithms. This opens possibilities for the investigation of various algorithms. The developed voting mechanism has an end-to-end design, suggesting that it can be made available as a Python package.
In conclusion, this thesis highlights the significance of feature selection processes in machine learning models and demonstrates that combining different methods can yield higher F1-scores. This approach provides a flexible and effective framework that can cater to the specific requirements of different applications and serves as a solid foundation for future research.