Sınıflandırma problemlerinde özellik seçimi için geliştirilen modifiye edilmiş parçacık sürü optimizasyonu algoritması
Modified particle swarm optimization algorithm developed for feature selection in classification problems
Yazar: EMRE KOÇAK
Danışman: PROF. DR. HACI HASAN ÖRKCÜ
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı
Derece: Doktora, 2024
Konu: İstatistik = Statistics

Özet:
Teknolojinin gelişmesi ile hemen hemen çalışma alanlarının tamamında büyük miktarda veri toplanmaya başlanmış ve bu durum büyük boyutlu veri kümelerinin hızla büyümesine neden olmuştur. Bu veri kümelerinde yer alan alakasız ve gereksiz birçok özellik, veri madenciliği çalışmalarında kullanılan öğrenme algoritmalarının performansında ciddi sorunlara yol açmıştır. Bu sorunların giderilmesi amacıyla çeşitli özellik seçimi yaklaşımları önerilmiştir. Özellik seçimi üzerine yapılan çalışmalar, maksimum doğrulukta bir öğrenme modeli oluşturmak için bir dizi optimal özellik alt kümesi belirlenmesinin karmaşık bir sorun olduğunu göstermiştir. Bu tür karmaşık ve zorlu optimizasyon problemlerinin üstesinden gelebilmek için çeşitli meta-sezgisel yöntemler önerilmiştir. Bu tez çalışmasında ele alınan ve meta-sezgisel yöntemlerden olan İkili Parçacık Sürü Optimizasyon (BPSO) algoritması, optimal özellik alt kümesinin belirlenmesinde önemli bir rol oynamaktadır. BPSO basit bir yapıya sahip olmasına rağmen araştırma özelliği zayıf olduğundan yerel optimuma sıkışabilir. Bu durum ise özellik seçme problemlerinde farklı özelliklerin seçimini engelleyerek sınıflandırma yönteminin performansını etkileyebilir. Literatürde bu sorunun giderilmesi amacıyla BPSO algoritmasının parametrelerini konu alan çalışmalar mevcut olmasına rağmen bu parametrelerin birlikte değerlendirildiği çalışmalar henüz yapılmamıştır. Bu nedenle bu tez çalışmasında önemli BPSO algoritma parametrelerinin özellik seçimindeki etkilerini ve birbirleriyle olan etkileşimlerini inceleyebilmek amacıyla faktöriyel tasarım modeli oluşturulmuştur. Elde edilen sonuçlar, BPSO algoritmasında farklı parametre değerlerinin kullanılması yerine BPSO algoritmasının çalışma mekanizmasının güncellenmesi gerektiğini göstermiştir. Bu doğrultuda, yerel optimuma takılmayı önlemek, yavaş yakınsamanın önüne geçmek ve BPSO algoritmasının performansını geliştirmek için bu tez çalışmasında yeni bir modifiye edilmiş BPSO (MBPSO) algoritması önerilmiştir. MBPSO algoritması ile farklı özelliklerin seçilebilme olasılığı artırılarak algoritmanın yerel optimuma takılması önlenmiş ve model performansında iyileşmeler meydana gelmiştir. Analizler sonucunda MBPSO algoritması, BPSO algoritmasına göre daha iyi bir yakınsama göstermiş ve daha az özellik ile daha yüksek doğru sınıflandırma oranı sağlanmıştır.

Abstract:
With the development of technology, large amounts of data have begun to be collected in almost all fields of study, resulting in the rapid growth of large-scale data sets. Many irrelevant and unnecessary features in these data sets have caused severe problems in the performance of learning algorithms used in data mining studies. Various feature selection approaches have been proposed to address these problems. Studies on feature selection have shown that determining a set of optimal feature subsets to create a learning model with maximum accuracy is a complex problem. Various meta-heuristic methods have been proposed to tackle such complex and challenging optimization problems. The Binary Particle Swarm Optimization (BPSO) algorithm, one of the meta-heuristic methods discussed in this thesis, is essential in determining the optimal feature subset. Although BPSO has a simple structure, its search feature is weak, so that it can get stuck in local optima. This situation can affect the performance of the classification method by preventing the selection of different features in feature selection problems. Although there are studies in the literature on BPSO parameters to solve this problem, studies have yet to be conducted in which these parameters are evaluated together. Therefore, a factorial design model was created in this thesis study to examine the effects and interactions of important BPSO parameters on feature selection. The results showed that the working mechanism of the BPSO algorithm should be updated rather than the parameters of the BPSO algorithm. In this regard, a new modified BPSO (MBPSO) algorithm is proposed in this thesis study to prevent getting stuck in local optimum, prevent slow convergence, and improve the performance of the BPSO algorithm. By increasing the possibility of selecting different features with the MBPSO algorithm, the algorithm was prevented from getting stuck in local optima, and improvements in model performance occurred. As a result of the analysis, the MBPSO algorithm showed better convergence than the BPSO algorithm and had a higher correct classification rate with fewer features.