Yapay sinir ağı eğitimi için çoklu evren optimizasyonu ve tavlama benzetimi algoritması ile yeni bir melez meta-sezgisel model önerisi
A new hybrid meta-heuristic model proposal with multiverse optimization and simulated annealing algorithm for artificial neural network training
Yazar: ÖMER YILMAZ
Danışman: PROF. DR. ADEM ALPASLAN ALTUN
Selçuk Üniversitesi / Fen Bilimleri Enstitüsü / Bilişim Teknolojileri Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Yapay sinir ağları (YSA) eğitim, sağlık, kimya, gıda, bilişim, lojistik, ulaştırma gibi hemen hemen bütün endüstrilerde karşılaşılan gerçek dünya problemleri ve uygulamalarında kullanılan yapay zekâ tekniklerinden birisidir. YSA optimizasyon, modelleme, sınıflandırma ve tahmin gibi pek çok teknikte yaygın olarak kullanılmakla birlikte planlama, envanter yönetimi, bakım, kalite kontrolü, ekonometri, tedarik zinciri yönetimi ve lojistik gibi alanlarda üzerinde birçok ampirik çalışma yapılmıştır. YSA'nın en önemli ve bir o kadar da zorlu aşaması öğrenme sürecidir. Bu süreç farklı veri kümeleri için arama uzayındaki optimum değerlerin bulunması ile ilgilidir ve bir optimizasyon problemi olarak görülebilirler. Optimizasyon, bir problemin farklı çözümleri arasından en iyi sonucu verenin bulunmasıdır. Yapay sinir ağlarının öğrenme sürecinde eğitim algoritmaları tarafından elde edilen değerler ağ parametresi olarak kullanılırlar ve sinir ağının başarısında doğrudan etkilidirler. Geleneksel eğitim tekniklerinde yerel optimuma takılma ve yavaş yakınsama gibi problemlerle karşılaşılmaktadır. Bu olumsuz durum karşısında yapay sinir ağlarının eğitimi için alternatif olarak birçok yöntem önerilmiştir. Diğer taraftan optimizasyon problemlerinin çözümü içinde birçok algoritma kullanılmaktadır. Bu algoritmalardan birisi fizikteki çoklu evren teorisinden esinlenen Çoklu Evren Optimizasyonu'dur (MVO). MVO algoritmasının birçok avantajı olmasına rağmen, bu algoritmanın yavaş yakınsama, düşük doğruluk ve yerel minimumlara takılma gibi dezavantajları vardır. Tavlama benzetimi (SA) algoritması da optimizasyon problemlerinde kullanılan algoritmalar arasında önemli bir yere sahiptir ve birçok çalışmada kullanılmıştır. Hibrit algoritmalar mevcut algoritmaların performanslarını arttırmak için günümüzde yaygın olarak kullanılmaktadır.
Bu tez çalışmasında, hızlı arama yeteneğine sahip MVO ve yerel en iyiden kaçma yeteneğine sahip SA algoritmaları kullanılarak IMVOSA ve MVOSA olarak isimlendirilen iki yeni hibrit algoritma önerilmektedir. MVOSA algoritması IMVOSA algoritmasına dayalı yapay sinir ağlarının eğitimi için geliştirilmiş farklı bir modeldir. Her iki algoritmada farklı yapıdadır ve farklı teknikler kullanılmaktadır. Önerilen IMVOSA ve MVOSA algoritmaları 50 kıyaslama fonksiyonu üzerinde test edilmiştir. YSA eğitiminde ise MVOSA algoritması Kaliforniya Üniversitesi, Irvine (UCI) makine öğrenmesi veri seti deposundan elde edilen 16 popüler sınıflandırma veri kümesi üzerinde test edilmiştir. IMVOSA ve MVOSA'nın performansı, iyi bilinen ve güncel diğer popülasyon tabanlı 14 algoritma ve literatürde sıklıkla kullanılan gradyan tabanlı 2 algoritma ile karşılaştırılmıştır. Karşılaştırma sonucunda ise IMVOSA ve MVOSA algoritmalarının oldukça başarılı ve rekabetçi sonuçlar ürettikleri görülmüştür.

Abstract:
Artificial neural networks (ANN) are one of the artificial intelligence techniques used in real-world problems and applications encountered in almost all industries such as education, health, chemistry, food, informatics, logistics, transportation. ANN is widely used in many techniques such as optimization, modelling, classification and forecasting, and many empirical studies have been carried out in areas such as planning, inventory management, maintenance, quality control, econometrics, supply chain management and logistics related to ANN. The most important and just as hard stage of ANNs is the learning process. This process is concerned with finding the optimum values in the search space for different datasets and can be viewed as an optimization problem. Optimization is finding the best solution among different solutions to a problem. In this process, the values generated by training algorithms are used as network parameters and are directly effective in the success of the neural network. In classical training techniques, problems such as local optimum and slow convergence are encountered. In the face of this negative situation, many alternative methods have been proposed for the training of artificial neural networks. On the other hand, many algorithms are used in solving optimization problems. One of these algorithms is Multiverse Optimization (MVO), inspired by the multiverse theory in physics. Although the MVO algorithm has many advantages, it has disadvantages such as slow convergence, low accuracy, and being stuck on local minima. The simulated annealing (SA) algorithm also has an important place among the algorithms used in optimization problems and has been used in many studies. Hybrid algorithms are widely used today to increase the performance of existing algorithms.
In this thesis, two new hybrid algorithms called IMVOSA and MVOSA are proposed by using MVO algorithm with fast search capability and SA algorithm with local best escape capability. The MVOSA algorithm is a different model developed for training artificial neural networks based on the IMVOSA algorithm. Both algorithms have different structures and different techniques are used. The proposed IMVOSA and MVOSA algorithms were tested on 50 benchmark functions. In ANN training, the MVOSA algorithm was tested on 16 popular classification datasets obtained from the University of California, Irvine (UCI) machine learning dataset repository. The performance of IMVOSA and MVOSA was compared with 14 well-known and current population-based algorithms, as well as 2 gradient-based algorithms that are frequently used in the literature. As a result of the comparison, it was seen that the IMVOSA and MVOSA algorithms produced very successful and competitive results.