Çok katmanlı yapay sinir ağı eğitimi için yeni bir hibrit meta sezgisel yaklaşım (salp sürü-jaya algoritması)
A new hybrid meta heuristic approach to multilayer artificial neural network training (salp swarm-jaya algorithm)
Yazar: ERKAN ERDEMİR
Danışman: PROF. DR. ADEM ALPASLAN ALTUN
Selçuk Üniversitesi / Fen Bilimleri Enstitüsü / Bilişim Teknolojileri Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Jaya algoritması = Jaya algorithm ; Metasezgiseller = Metaheuristics ; Yapay sinir ağları = Artificial neural networks ; Çok katmanlı algılayıcılar = Multilayer sensors

Özet:
Yapay sinir ağı (ANN), insan beyninin fizyolojik yapısında yer alan sinir hücrelerinin bağlantı yapısını taklit ederek öğrenebilen, öğrendiğini uygulayan, analiz edebilen ve analizin sonucunu sentezleyebilen akıllı cihaz sistemleridir. ANN'lerin kullanıldığı alanlarda etkili ve verimli olarak analizlerini gerçekleştirebilmeleri için birçok ANN mimari modeli oluşturulmuştur. Bu modellerden biri de çok katmanlı ANN'dir. Çok katmanlı ANN; girdi, bir adet/birden fazla gizli ve çıktı katmanından oluşmaktadır. Çok katmanlı ANN yapılarından biri olan ileri beslemeli sinir ağı (FNN) olarak çalışan çok katmanlı algılayıcılarda (MLP) veriler girdi katmanından bir veya birden fazla gizli katmandan geçerek çıktı katmanına doğru ilerler. Çıktı katmanında gerçek çıktıya en yakın sonuç beklenir. İstenilen sonucu elde edebilmek için katmanlar arası bağlantılara ait ağırlıkların başarılı bir şekilde hesaplanması gerekmektedir. Bunun için ise ağın iyi bir şekilde eğitilmesi gerekmektedir. Ağın eğitiminde kullanılan birçok yöntem olup bunlardan biri de optimizasyon problemlerinin çözümünde kullanılan doğadan esinlenen meta sezgisel algoritmalardır. Bu tez çalışmasında salp sürü algoritması (SSA) ve jaya algoritmasının (JAYA) hibritleştirilmesinden oluşan hibrit salp sürü jaya algoritması (HSSJAYA) kullanılarak çok katmanlı ANN eğitimi gerçekleştirilmiştir. Çalışmada çok katmanlı ANN modellerinden biri olan MLP kullanılmıştır. Hibrit algoritma ile eğitilen ANN; SSA, JAYA, guguk kuşu arama algoritması (CS) ve genetik algoritma (GA) ile eğitilen ANN'ler ile karşılaştırılmıştır. Bu analiz sürecinde çok bilinen 6 veri seti kullanılmıştır. Eğitimi tamamlanmış olan ANN'ler ile test işlemide gerçekleştirilmiştir.  Algoritmalar ile eğitilen ANN'ler; farklı arama ajanı (10 (Grup1)/30 (Grup2)/50 (Grup 3)) ve aynı iterasyon (100) sayısınca 30 kez çalıştırılmıştır. Ortalama kare hata (MSE) ve karışıklık matrisi ölçütleri ile performansları ölçülen ANN'ler, wilcoxon sıra toplam testi ile de istatistiksel analizleri gerçekleştirilmiştir. HSSJAYA tabanlı ANN, Grup 1'de eğitim aşamasında 4 veri setinde test aşamasında 4 veri setinde; Grup 2'de eğitim aşamasında 6 veri setinde, test aşamasında 3 veri setinde; Grup 3'de eğitim aşamasında 6 veri setinde, test aşamasında 5 veri setinde; karşılaştırıldığı algoritmalara göre minimum MSE'yi elde etmiş ve istatistiksel olarakta anlamlı fark oluşmuştur. Ayrıca HSSJAYA tabanlı ANN'nin eğitim ve test aşamasında diğer algoritmalar ile eğitilen ANN'lere göre karışıklık matrisi ölçütleri sonuçlarında da başarılı sonuçlar elde etmiştir. Sonuç olarak HSSJAYA ile eğitilmiş ANN'nin, diğer algoritmalar ile eğitilmiş ANN'lere göre başarı ve performans olarak üstün olduğu sonuçlarda görülmektedir.

Abstract:
Artificial neural networks (ANN) are smart device systems that can learn by imitating the connection structure of nerve cells in the physiological structure of the human brain, can apply what they have learned, analyze and synthesize the results of the analysis. Many ANN architectural models have been created so that they can analyze effectively and efficiently in the areas where ANNs are used. One of these models is multilayer ANN. Multilayer ANN consists of one input, one/multiple hidden and one output layers. In multilayer perceptrons (MLP), which works as a feed forward neural network (FNN), which is one of the multilayer ANN structures, data passes from the input layer through one or more hidden layers and proceeds to the output layer. In the output layer, the closest result to the actual output is expected. In order to obtain the desired result, the weights of the interlayer connections must be successfully calculated. For this, the network needs to be well trained. There are many methods used in training the network, one of which is metaheuristic algorithms inspired by nature used in solving optimization problems. In this thesis, multilayer ANN training was carried out by using hybrid salp swarm jaya algorithm (HSSJAYA), which consists of hybridization of salp swarm algorithm (SSA) and jaya algorithm (JAYA). MLP, one of the multilayer ANN models, was used in the study. ANN trained with hybrid algorithm were compared ANNs trained with SSA, JAYA, cuckoo search algorithm (CS) and genetic algorithm (GA). In this analysis process, 6 well-known data sets were used. Testing was also carried out with the ANNs whose training was completed. ANNs trained with algorithms, different search agents (10 (Group 1) /30 (Group 2)/50 (Group 3)) and the same number of iterations (100) were run 30 times. ANNs, whose performances were measured with the mean square error (MSE) and confusion matrix criteria, were also statistically analyzed with the wilcoxon rank sum test. HSSJAYA-based ANN, 4 datasets at training phase and 4 datasets at testing phase in Group 1,  6 datasets at training phase and 3 datasets at testing phase in Group 2,  6 datasets at training phase and 5 datasets at testing phase in Group 3, achieved the minimum MSE according to the algorithms with which it was compared and created a statistically significant difference. In addition, HSSJAYA-based ANN has achieved successful results in the results of confusion matrix criteria compared to ANNs trained with other algorithms during the training and testing phase. As a result, it is seen in the results that the ANN trained with HSSJAYA is superior to ANNs trained with other algorithms in terms of success and performance.