Bagging ve Boosting tabanlı sınıflandırma yöntemlerinde hiperparametre optimizasyonu
Hyperparameter optimization in Bagging and Boosting based classification methods
Yazar: BUĞRA AKOĞLU
Danışman: PROF. DR. FİKRİ GÖKPINAR
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: İstatistik = Statistics

Özet:
Makine öğrenmesi, istatistiksel yöntemler kullanarak verilerden anlamlı desenler çıkararak, bilgisayarların deneyim yoluyla kendini geliştirebildiği bir yapay zeka dalıdır. Makine öğrenimi, günümüzde birçok alanda önemli sonuçlar elde etmiş ve teknolojik ilerlemenin temel unsurlarından biri haline gelmiştir. Bu kapsamda, bagging ve boosting gibi topluluk algoritmaları, büyük veri kümelerinde model performansını artırmak için yaygın olarak kullanılmaktadır. Bu durum, mevcut hiper parametrelerin sayısının artmasına yol açmıştır. Hiper parametreler, modelin davranışını belirleyen kritik unsurları şekillendirir ve bu parametrelerin uygun bir biçimde ayarlanması, tahmin performansı ile hesaplama verimliliğini doğrudan etkiler. Bu tez çalışmasında, bagging ve boosting topluluk öğrenme algoritmalarında çeşitli makine öğrenme yöntemlerinin adaptasyonu ve bu modellerin hiper parametre optimizasyonu incelenmiştir. Bu amaçla, UCI Machine Learning Repository'den alınan kuru üzüm veri seti, sınıflandırma problemi için kullanılmıştır. Veri seti, bilgisayarlı görü sistemleri (CVS) ile elde edilen ve Türkiye'den Keçimen ve Besni kuru üzüm çeşitlerine ait metrik verileri içermektedir. Modelleme aşamasında, Python programlama dili kullanılarak bagging entegrasyonu ile Lojistik Regresyon, Destek Vektör Makineleri ve Karar Ağaçları (bagging kullanımıyla Rastgele Orman) modelleri; boosting için ise Adaboost, Xgboost ve Catboost modelleri uygulanmıştır. Hiper parametre optimizasyonu, Optuna çerçevesi ve Bayes optimizasyonu kullanılarak gerçekleştirilmiş, çapraz doğrulama ve objektif performans ölçütleriyle değerlendirilmiştir. Sonuçlar, optimize edilen modellerin dengeli ve etkili olduğunu göstermiştir. Performans metrikleri olarak değerlendirilen doğruluk, kesinlik, F1 skoru ve duyarlılık oranları %85 ile %91 arasında değişiklik göstermiştir.

Abstract:
Machine learning is a branch of artificial intelligence that enables computers to improve through experience by extracting meaningful patterns from data using statistical methods. Machine learning has achieved significant results in many fields today and has become one of the fundamental elements of technological advancement. In this context, ensemble algorithms such as bagging and boosting are widely used to enhance model performance in large datasets. This has led to an increase in the number of existing hyperparameters. Hyperparameters shape critical elements that determine the behavior of the model, and the proper tuning of these parameters directly impacts both prediction performance and computational efficiency. In this thesis, the adaptation of various machine learning methods in bagging and boosting ensemble learning algorithms and the hyperparameter optimization of these models were examined. For this purpose, the raisin dataset obtained from the UCI Machine Learning Repository was used for a classification problem. The dataset contains metric data of Keçimen and Besni raisin varieties from Türkiye, obtained through Computer Vision Systems (CVS). In the modeling phase, Logistic Regression, Support Vector Machines, and Decision Trees (Random Forest with bagging integration) were applied for bagging; and Adaboost, Xgboost, and Catboost models were applied for boosting. Hyperparameter optimization was performed using the Optuna framework and Bayesian optimization, evaluated through cross-validation and objective performance metrics. The results showed that the optimized models were balanced and effective. The performance metrics, evaluated as accuracy, precision, F1 score, and recall, ranged between 85% and 91%.