Destek vektör makineleri parametrelerinin meta sezgisel optimizasyon algoritmaları ile belirlenmesi
Determination of support vector machine parameters by meta heuristic optimization algorithms
Yazar: BURAK TEZCAN
Danışman: PROF. DR. ŞAKİR TAŞDEMİR
Selçuk Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Parametre optimizasyonu = Parameter optimization

Özet:
Destek Vektör Makineleri (DVM) sınıflandırma amacıyla 90'lı yıllarda ortaya çıkan popülerliği gittikçe artan bir algoritmadır. DVM'lerin birçok farklı alanda başarılı olduğu gözlemlenmiştir ve bu başarı sınıflandırma alanında en çok kullanılan yöntemlerden olmasını sağlamıştır. Son yıllarda, DVM eğitim aşamasının ağır hesaplama karmaşıklığı sebebiyle DVM parametre optimizasyonu araştırmaları hız kazanmıştır. DVM parametre seçimi çok önemlidir. Hatalı seçimler yöntemin sınıflandırma performansını etkileyebileceği gibi hesaplama karmaşıklığını da artırabilir. Bu yüzden parametre ayarlanması için uygun optimizasyon algoritmaları aranmaktadır. Bu tez çalışmasında yukarıdaki problemler meta-sezgisel tabanlı optimizasyon modeli olarak ele alındı. Kullanılan yöntemler Karga Arama Algoritması (KAA) ve Salp Sürüsü Algoritması (SSA) olarak bilinen yeni yöntemlerdir. Bu iki algoritma meta-sezgisel yöntemlerin özelliklerini başarılı bir şekilde taşımaktadır.
Bu tez çalışmasında KAA ve SSA algoritmaları kullanılarak DVM optimizasyon modelleri oluşturulmuştur. Bu modeller DVM sınıflandırma doğruluğu değerlerini uygunluk değerleri olarak ele alarak DVM parametrelerini KAA ve SSA üzerinden geliştirmektedir. İşlem sonunda elde edilen en iyi parametre değerleri 10 katlamalı çapraz doğrulama kullanılan DVM uygulaması ile değerlendirildi.
Çalışmadaki deneyler UCI (machine learning repository of University of California at Irvine) veri tabanında alınan farklı standart veri setleri üzerinde denendi. Elde edilen sonuçlar doğruluk, duyarlılık, seçicilik ve AUC kriterleri kullanılarak karşılaştırılmıştır. Ayrıca sonuçların ROC eğrileri ve kutu grafiklerine yer verilmiştir. Tüm deneyler lineer, polinom (d=1,2,3) ve RBF çekirdek fonksiyonları kullanılarak gerçekleştirilmiştir. Çalışmada kullanılan göğüs kanseri, diyabet, parkinson, sonar, şarap, cam ve ünlü harf veri setleri ile elde edilen en iyi doğruluk sonuçları yüzdesel olarak sırasıyla şöyledir: 97.22, 78.25, 95.38, 88.50, 97.78, 67.77 ve 99.62. KAA-DVM'nin SSA-DVM'ye göre daha başarılı olduğu görülmüştür. DVM çekirdek fonksiyonlarından RBF veri setlerinin çoğunluğunda en iyi sonuçları vermiştir. Literatür karşılaştırmaları elde edilen modellerin diğer çalışmalar ile rekabet edebilecek seviyede olduklarını göstermiştir. Sonuçlar göstermektedir ki önerilen modeller uygun DVM parametrelerinin belirlenmesi yeteneğine sahiptir.

Abstract:
Support Vector Machines (SVMs) are first appeared in 1990s and its popularity has been grown over the years. SVMs are shown very successful results in a wide range of areas and become a widely used method for classification purposes. In recent years, due to high computational burden of the SVM training phase, SVM parameter optimization is on the rise. SVM parameter tuning is important because wrong selection of parameters can decrease its classification performance and add computational burden. For this reason, new processes are required for the parameter optimization. We consider these problems as a meta-heuristic optimization approach. The meta-heuristic approaches used in this study are Crow Search Algorithm (CSA) and Salp Swarm Algorithm (SSA). These two algorithms carry the advantages of meta-heuristics.
In this thesis, two models using CSA and SSA are created for SVM parameter optimization. These models use SVM classification accuracy as fitness values and improves parameters using CSA and SSA. After the parameter optimization process, SVM evaluation is done using the best parameter values over 10-fold cross validation.
Different standard datasets from UCI (machine learning repository of University of California at Irvine) database were used in the study. The results are compared over accuracy, sensitivity, specificity and AUC. Also, ROC curves and boxplots of the evaluation phase were given in the study. All experiments are done using three different SVM kernels: linear, polynomial (d=1,2,3) and RBF. The results for the datasets breast cancer, diabetes, Parkinson, sonar, wine, glass and vowel are 97.22, 78.25, 95.38, 88.50, 97.78, 67.77 and 99.62 respectively. CSA model gave better results than SSA model. The RBF kernel has shown the best results for most of the datasets. Literature comparisons show that our models can compete with other studies. The experiments show that our models are successful to find suitable SVM parameters.