Sinir ağlarında özelleştirilmiş değerler ile ağırlıkların başlatılması ve sınıflandırma sonuçlarına etkilerinin incelenmesi
Initialization of weights with customized values in neural networks and investigation of their effects on classification results
Yazar: HÜSEYİN KAMER KARA
Danışman: DR. ÖĞR. ÜYESİ ÖZKAN BİNGÖL
Gümüşhane Üniversitesi / Lisansüstü Eğitim Enstitüsü / Matematik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Matematik = Mathematics
Dizin: Evrişimli sinir ağları = Convolutional neural networks ; Sayısal görüntü işleme = Digital image processing

Özet:
Evrişimli sinir ağı modellerinin evrişim katmanlarının başlangıç değerlerinin belirlenmesi, ağın öğrenme sürecini ve nihai performansını doğrudan etkileyen kritik bir konudur. Yanlış belirlenmiş başlangıç değerleri, gradyan patlaması veya yok olması gibi sorunlara yol açabilir. Bu nedenle, doğru ağırlık başlatma stratejilerinin geliştirilmesi, derin öğrenme modellerinin etkinliğini ve verimliliğini artırmak için önemlidir. 
Bu tezde, ESA'lardaki evrişim katmanlarının başlangıç değerlerinin belirlenmesinde kullanılan yöntemlerin avantaj ve dezavantajları karşılaştırılmıştır. Xavier, He, sabit değer ve sıfır değer başlatma gibi yaygın yöntemlerin yanı sıra, Gabor filtreleri gibi yenilikçi yaklaşımlar da ele alınmıştır. Gabor filtrelerinin biyolojik görme sistemini taklit eden özellikleri sayesinde, ağırlık başlatma olarak kullanıldığında ağın öğrenme sürecini hızlandırma ve genelleme performansını artırma potansiyeli bulunmaktadır. Bu yöntemlerin performans üzerindeki etkileri, literatürde yaygın olarak kullanılan FashionMNIST veri seti ve IITD Temassız Avuçizi veritabanı ile test edilmiştir. 
Deneysel çalışmalarda, ağırlık başlatma yöntemlerinin doğrudan performans üzerindeki etkilerini gözlemlemek için basit ağ modelleri kullanılmıştır. Bu yaklaşım, farklı başlatma stratejilerinin teorik avantajlarını pratikte gözlemlemeyi ve karşılaştırmayı mümkün kılmaktadır. Ortak parametrelerin kullanılması, ağırlık başlatma yöntemlerinin karşılaştırılabilirliğini artırmakta ve hangi yöntemin hangi koşullar altında daha üstün performans sergilediğini anlamayı kolaylaştırmaktadır. Bu metodoloji, çalışmanın sonuçlarının güvenilirliğini ve geçerliliğini artırarak literatüre sağlam ve tekrarlanabilir bulgular sunmayı amaçlamaktadır.

Abstract:
Determining the initial values of convolutional layers in convolutional neural network (CNN) models is a critical issue that directly impacts the learning process and ultimate performance of the network. Incorrectly set initial values can lead to problems such as gradient explosion or vanishing, hindering the training process. Therefore, developing correct weight initialization strategies is essential for enhancing the effectiveness and efficiency of deep learning models. 
In this thesis, the advantages and disadvantages of the methods used to determine the initial values of convolutional layers in CNNs are compared. In addition to commonly used methods such as Xavier, He, fixed value, and zero initialization, innovative approaches like Gabor filters are also considered. Due to their ability to mimic the biological visual system, Gabor filters have the potential to accelerate the learning process and improve the generalization performance of the network when used as weight initialization. The effects of these methods on performance have been tested using the widely recognized FashionMNIST dataset and the IITD Touchless Palmprint database. 
In the experimental studies, simple network models were used to observe the direct effects of weight initialization methods on performance. This approach allows for practical observation and comparison of the theoretical advantages of different initialization strategies. The use of common parameters increases the comparability of weight initialization methods and facilitates understanding which method performs better under specific conditions. This methodology aims to enhance the reliability and validity of the study's results, providing robust and replicable findings to the literature.