Adaboost-bagging sınıflandırıcısını iyileştirmeye yönelik hibrit bir örnekleme algoritması: Sağlık alanında bir uygulama
A hybrid sampling algorithm to improve the adaboost-bagging classificer: An application in health
Yazar: BURCU DURMUŞ
Danışman: PROF. DR. ÖZNUR İŞÇİ GÜNERİ
Muğla Sıtkı Koçman Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı
Derece: Doktora, 2023
Konu: İstatistik = Statistics

Özet:
Sınıflandırma çalışmalarında sıklıkla dengesiz sınıf dağılımı probleminin varlığı göze çarpmaktadır. Dengesiz veri kümeleri ile çalışırken model kurma aşamasında çoğunluk sınıfı baskın gelmekte ve azınlık sınıfına ait gözlemler sınıflandırılırken sınıflandırıcıların performanslarında düşüş yaşanmakta ya da modeller yanlı olmaktadır. Literatürde bu problemi çözmek için önerilen pek çok yöntem vardır. En sık tercih edilen ise, yeniden örnekleme yöntemidir.
Bu tez çalışmasında iki farklı noktaya odaklanılmıştır. Birincisi yeniden örnekleme yöntemleri ile sınıf dengesizliği probleminin giderilmesidir. İkinci ise, AdaBoost-Bagging sınıflandırıcısını iyileştirmeye yönelik önerilen Ada.Bag yöntemi ile sınıflandırma analizinin yapılmasıdır. Sınıf dengesizliği problemini çözmek amacıyla yeni bir yeniden örnekleme algoritması önerilmiştir. Önerilen yöntem, SMOTE yönteminin mesafe uzaklıklarına dayalı olarak geliştirilmiş bir versiyonudur. Bu yöntem, mesafe ölçülerini kullanarak SMOTE yönteminde yer alan rastgele komşu seçiminin önüne geçmekte ve üretilecek sentetik verilerin daha az gürültü üretmesini sağlamaktadır. Çalışmada önerilen ikinci yöntem ise, AdaBoost ve Bagging yöntemlerini Bayes sınıflandırıcısını temel alarak kombine eden ve Ada.Bag olarak adlandırılan hibrit bir sınıflandırma algoritmasıdır. Bu yöntem ile sınıflandırma analizinde çoklu model tekniği kullanılarak model performansı yüksek sonuçlar elde etmek amaçlanmıştır.
Çalışmanın uygulama bölümünde on beş veri seti ele alınmıştır. Her bir veri setine SMOTE ve önerilen yöntem uygulanarak dengesizlik problemleri giderilmiştir. Uygulamanın ikinci bölümünde ise dengesizlik problemi giderilen veriler, Adaboost ve önerilen Ada.Bag yöntemi ile sınıflandırma analizine tabi tutulmuştur. Uygulanan yöntemlerin başarısını değerlendirmek amacıyla sonuçlar farklı performans kriterleri çerçevesinde karşılaştırılmıştır. Sonuç olarak, önerilen her iki yöntemin de mevcut yöntemlerden daha iyi olduğu gösterilmiştir.

Abstract:
In classification studies, the existence of unbalanced class distribution problem is often observed. When working with unbalanced datasets, the majority class dominates the model building phase and the performance of the classifiers decreases while classifying the observations belonging to the minority class or the models are biased. There are many proposed methods in the literature to solve this problem. The most preferred method is resampling.
This thesis has focused on two different points. The first is to eliminate the class imbalance problem with resampling methods. The second is to perform classification analysis with the Ada.Bag method proposed to improve the AdaBoost-Bagging classifier. A new resampling algorithm is proposed to solve the class imbalance problem. The proposed method is an improved version of the SMOTE method based on cartesian distances. This method avoids the random neighbor selection in the SMOTE method by using cartesian distances and ensures that the synthetic data to be produced produces less noise. The second method proposed in the study is a hybrid classification algorithm called Ada.Bag, which is created by combining AdaBoost and Bagging methods based on Bayesian classifier. With this method, it is aimed to obtain results with high model performance by using the multiple model technique in classification analysis.
Fifteen data sets were discussed in the application part of the study. Unbalance problems were eliminated by applying SMOTE and the proposed method to each data set. In the second part of the application, the data whose imbalance problem is resolved were subjected to classification analysis with Adaboost and the proposed Ada.Bag method. In order to evaluate the success of the applied methods, the results were compared within the framework of different performance criteria. As a result, it has been shown that both proposed methods are better than existing methods.