Derin öğrenme algoritmalarında kullanılan optimizasyon yöntemlerinin kesirli analiz yaklaşımı ile ele alınması
Investigation of optimization methods in deep learning algorithms with fractional calculus approach
Yazar: EMRE CABI
Danışman: DOÇ. DR. HÜSEYİN ŞİRİN
Ege Üniversitesi / Fen Bilimleri Enstitüsü / Fizik Ana Bilim Dalı / Matematiksel Fizik Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Fizik ve Fizik Mühendisliği = Physics and Physics Engineering

Özet:
Yapay zekâ; yüksek enerji fiziği, görüntüleme bilimi ve genomik çalışmalar gibi çeşitli disiplinlerde büyük bir öneme sahiptir. Temel olarak yapay zekâ, birden çok işleme katmanından oluşan hesaplama modellerinin, birden çok soyutlama düzeyi ile verilerin temsillerini öğrenmesine olanak tanır. Yapay zekâ uygulamalarının çoğu, tam sayı mertebeden türevleri temel alan optimizasyon problemlerini çözerek modellerin eğitimini gerçekleştirir. Birçok fiziksel sistem, tam sayı mertebeden türevler yerine kesirli türev formülasyonu kullanılarak daha açık bir şekilde tanımlanabilmektedir. Buna göre, belli fonksiyonellerin minimize edilmesi ile bu formülasyonların elde edilebileceği düşünülebilir. Bu fonksiyoneller doğal olarak, kesirli türev terimlerini ve bu fonksiyonelleri minimize etmek için ihtiyaç duyulan matematiksel araçları içermektedir.
Bu çalışmada yapay zekâ alanındaki yapay sinir ağları çalışmalarında kullanılan tam sayı mertebeden türevlerin yerine kesirli mertebeden türevlerin kullanılarak tahminleme sonuçlarının nasıl değişebileceğinin gözlemlenmesi fikrinden yola çıkılarak, sinir ağlarında kullanılan 3 farklı gizli katman sayısına göre tahmin sonuçlarındaki hata oranları ve eğitim devir sayıları (epoch) kıyaslanmaya çalışılmıştır. Bu amaçla kullanılmak üzere Avrupa Nükleer Araştırma Merkezi (CERN) tarafından sunulan "Events with two electrons from 2010" veri kümesi tercih edilmiş ve elektron kütlelerinin tahminlenmesi ile sonuçlar elde edilmiştir.
Sinir ağının geri yayılım algoritmasındaki gradyan azaltma yönteminde, negatif işaretli olabilecek ağırlık değerlerinin hesaplanan kesirli mertebe türevlerinin sonucunda karmaşık sayı elde edilebilmektedir. Bu zorluğun önüne geçebilmek için iki farklı yöntem kullanılmıştır. Birisi oluşan sanal kısmın atılması ve diğeri ağırlık değerlerinin negatif işaretlerinin kaldırılmasıdır.

Abstract:
Artificial intelligence; It is of great importance in various disciplines such as high energy physics, imaging science and genomic studies. Basically, AI allows computational models consisting of multiple processing layers to learn representations of data with multiple levels of abstraction. Most AI applications train models by solving optimization problems based on integer order derivatives. Many physical systems can be described more clearly using fractional derivative formulations rather than integer derivatives. Accordingly, it is conceivable that these formulations can be obtained by minimizing certain functionals. These functionals naturally include fractional derivative terms and the mathematical tools needed to minimize these functionals.
In this study, starting from the idea of observing how the estimation results can change by using fractional derivatives instead of integer derivatives used in artificial neural networks studies in the field of artificial intelligence, the error rates and epochs in the estimation results according to the 3 different hidden layers used in neural networks were tried to be compared. For this purpose, "Events with two electrons from 2010" dataset presented by the European Organization for Nuclear Research (CERN) was preferred and the results were obtained by estimating the electron masses.
In the gradient reduction method in the back propagation algorithm of the neural network, complex numbers can be obtained as a result of the calculated fractional order derivatives of the weight values that can be negative. Two different methods were used to overcome this difficulty. One is to discard the formed imaginary part and the other is to remove the negative signs of the weight values.