Derin öğrenme modelleri için yeni ve özgün aktivasyon fonksiyonlarının geliştirilmesi
Development of new and novel activation functions for deep learning models
Yazar: ZEYNEP VİLDAN IŞIK
Danışman: DOÇ. DR. METE ÇELİK
Erciyes Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Derin öğrenme, insana ait davranışları büyük verileri kullanarak öğrenme algoritmalarıyla makinalara kazandırabilen sistemler bütünüdür. Derin öğrenmede kullanılan evrişimli sinir ağı modelleri verileri işleyerek analiz eder ve anlamlı çıktılar üretir. Derin öğrenme modelleri verileri sisteme tanıtmak ve analiz etmek için aktivasyon fonksiyonlarını kullanılırlar. Aktivasyon fonksiyonları ağ modellerinin ara katmanlarında görev alırlar ve üretilen çıktıların nasıl değişmesi gerektiğini belirlerler. Derin öğrenmede kullanılan aktivasyon fonksiyonlarında çeşitli problemler olabilmektedir. Fonksiyonlar kaybolan gradyan problemine sahip olabilmektedir, belirlenen aralıklar içerisinde değer üretemeyebilmektedir, türevlenebilir yapıda olmamaktadır veya doğrusal olmayan yapıda olmamaktadır. Bu problemlerin üstesinden gelmek için, literatürde, Sigmoid, Tanh, Swish, ReLU ve Mish gibi doğrusal ve monoton olmayan aktivasyon fonksiyonları geliştirilmiştir. Bu aktivasyon fonksiyonları derin öğrenme modellerinde iyi performans göstermesine rağmen bunlardan sadece birkaçı çoğunlukla tüm derin öğrenme uygulamalarda yaygın olarak kullanılabilmektedir. Bu sebeple derin öğrenme modellerinin performansınlarını arttırmak, kullanım alanlarını genişletmek ve bahsedilen problemlerin üstesinden gelebilmek için, bu çalışmada, hiperbolik tanjant (TanH) ve SoftSign aktivasyon fonksiyonları kullanılarak geliştirilen TanHardEx ve HTanH aktivasyon fonksiyonları önerilmiştir. Önerilen TanHardEx ve HTanH aktivasyon fonksiyonları doğrusal ve monoton değillerdir ve tek parametreli, sürekli ve türevlenebilir bir yapıya sahiptir. Önerilen aktivasyon fonksiyonlarının performansları literatürde var olan aktivasyon fonksiyonlarının performansları ile karşılaştırılmış ve başarılı sonuçlar alınmıştır.

Abstract:
Deep learning is a set of systems that can bring human behaviors to machines with learning algorithms using big data. Convolutional neural network models used in deep learning process analyze data and produce meaningful outputs. Deep learning models use activation functions to introduce and analyze data into the system. Activation functions take part in the middle layers of network models and determine how the outputs produced should change. There may be various problems with the activation functions used in deep learning. Functions may have a vanishing gradient problem, may not produce values within specified intervals, may not be differentiable or nonlinear. To overcome these problems, in the literature, linear and non-monotonic activation functions such as Sigmoid, Tanh, Swish, ReLU and Mish have been proposed. Although these activation functions perform well in deep learning models, only a few of them can be widely used in mostly all deep learning applications. For this reason, in this study, TanHardEx and HTanH activation functions, which are developed by using hyperbolic tangent (TanH) and SoftSign activation functions, are proposed in order to increase the performance of the deep learning models, expand their usage areas and overcome the mentioned problems. The proposed TanHardEx and HTanH activation functions are non-linear and non-monotonic and have a single parameter, continuous and differentiable structure. The performances of the proposed activation functions were compared with the performances of the activation functions available in the literature and successful results were obtained.