Genetik algoritma ve alternatif yöntemlerle derin öğrenme modellerinde gizli katman ve nöron sayılarının analizi
Analysis of hidden layer and number of neurons in deep learning models with genetic algorithm and alternative methods
Yazar: KUBİLAY ERİŞLİK
Danışman: PROF. DR. DİLEK ALTAŞ KARACA
Marmara Üniversitesi / Sosyal Bilimler Enstitüsü / Ekonometri Ana Bilim Dalı / İstatistik Bilim Dalı
Derece: Doktora, 2024
Konu: İstatistik = Statistics
Dizin: Parametre optimizasyonu = Parameter optimization ; Yapay sinir ağları = Artificial neural networks

Özet:
Bu çalışma, derin öğrenme modellerinde gizli katman ve nöron sayılarının belirlenmesi konusunu ele almaktadır. Çalışmanın odak noktası, bu gizli katman ve nöron sayılarının belirlenmesi için genetik algoritma ve alternatif yöntemlerin incelenmesidir. Çalışma, genetik algoritma tarafından önerilen yöntemle diğer alternatif yöntemler arasında bir karşılaştırma yaparak bu modeller arasındaki farklılıkları analiz etmeyi amaçlamaktadır. Tezin teorik temelini, derin öğrenme ve genetik algoritma oluşturmaktadır. Derin öğrenme model yapıları, gizli katmanlar ve nöron sayıları hakkındaki temel kavramlar, detaylı bir şekilde incelenmiştir. Diğer taraftan çalışmada, genetik algoritma ve alternatif yöntemlerin teorik çerçevesi, bu algoritmaların nasıl çalıştığı ve derin öğrenme modellerindeki parametre optimizasyonu için nasıl kullanılabileceği açıklanmaktadır.
50.000 gözlemli teorik verilerle yapılan çalışmada genetik algoritmanın en düşük MSE değeri ile öne çıktığı görülmektedir. Gerçek verilere göre ise, genetik algoritmanın yine en düşük MSE değerine sahip olduğu, Heaton tarafından önerilen kuralların ise ikinci sırada yer aldığı gözlemlenmektedir. 
Gerçek verilere göre elde edilen sonuçlar da benzer bir sıralamayı ortaya koymaktadır, ancak Huang tarafından önerilen tek katmanlı ağın teorik verilere göre daha iyi performans gösterdiği, çift katmanlı ağın ise daha düşük sonuçlar verdiği dikkat çekmektedir. Bu sonuçlar, teorik ve gerçek veriler arasında genetik algoritmanın istikrarlı performansını vurgulamaktadır.
Teorik ve gerçek verilere ait Kruskal-Wallis testleri, yöntemler arasında istatistiksel olarak anlamlı farklar olduğunu göstermektedir. Genetik algoritma, teorik ve gerçek verilere göre en düşük MSE değeri ile öne çıkmıştır. İstatistiksel anlamda benzer performans gösteren diğer yöntemler arasında ise Heaton kuralları, Faktör Analizi ve Huang'ın tek katmanlı ağ modeli yer almaktadır.
Sonuç olarak, bu çalışma derin öğrenme modellerinin uygulanmasında genetik algoritma, Heaton kuralları, Faktör Analizi ve Huang'un çift/tek katmanlı ağlarını karşılaştırmış ve genetik algoritmanın genelde en iyi performansı sergilediğini göstermiştir. Ancak, yöntemlerin performanslarının teorik ve gerçek veriler arasında bazı farklılıklar gösterdiği görülmektedir. Bu çalışma, gelecekteki araştırmalar için geniş bir perspektif sunacak ve derin öğrenme modellerinin hiper parametrelerinin belirlenmesinde kullanılan yöntemlerin etkisinin daha iyi anlaşılmasına katkı sağlayacaktır.

Abstract:
This paper addresses the issue of determining the number of hidden layers and neurons in deep learning models. The focus of the study is to examine the genetic algorithm and alternative methods to optimize these parameters. The study aims to provide a comparison between the method proposed by the genetic algorithm and other alternative methods, analyzing their impact on the architecture of deep learning models. The theoretical basis of the thesis focuses on deep learning, genetic algorithm. The basic concepts of deep learning model structures, hidden layers and neuron counts are analyzed in detail. The theoretical framework of the genetic algorithm and alternative methods explains how these algorithms work and how they can be used for parameter optimization in deep learning models.
With 50000 observations of theoretical data, the genetic algorithm stands out with the lowest MSE value. According to real data, it is observed that the genetic algorithm has the lowest MSE value again, while the rules proposed by Heaton are in second place.
The results based on real data show a similar ranking, but it is noteworthy that the single-layer network proposed by Huang outperforms the theoretical data, while the double-layer network gives inferior results. These results emphasize the consistent performance of the genetic algorithm between theoretical and real data.
Kruskal-Wallis tests for the theoretical and real data show that there are statistically significant differences between the methods. The genetic algorithm stands out with the lowest MSE value compared to the theoretical and real data. Other methods with statistically similar performance include Heaton rules, factor analysis and Huang single layer network.
In conclusion, this study compares genetic algorithm, Heaton's rules, factor analysis and Huang's double/single layer network in the application of deep learning models and shows that genetic algorithm generally performs the best. However, the performance of the methods showed some differences between theoretical and real data. This study provides a broad perspective for future research and contributes to our further understanding of the impact of methods in determining the hyperparameters of deep learning models.