Yapay sinir ağlarındaki aktivasyon fonksiyonlarının doğrusal olmayan optimizasyon problemlerinin çözümüne etkileri
The effects of activation functions on artificial neural networks on the solution of nonlinear optimization problems
Yazar: DENİZ YALDIZ ÇAĞAÇ
Danışman: DR. ÖĞR. ÜYESİ ARİF GÜRSOY
Ege Üniversitesi / Fen Bilimleri Enstitüsü / Matematik Ana Bilim Dalı / Bilgisayar Bilimleri Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Matematik = Mathematics
Dizin: Doğrusal olmayan optimizasyon = Non-linear optimization ; Optimizasyon = Optimization ; Yapay sinir ağları = Artificial neural networks ; Yapay zeka = Artificial intelligence

Özet:
Optimizasyon, bir sistemde bulunan kaynakları en verimli şekilde kullanarak belirli amaçlara ulaşmamızı sağlayan bir işlemler bütünü olarak tanımlanır.

Bir gerçek hayat problemini çözmek için bu problemi matematiksel olarak modelleyip en iyi şekilde çözmeye çalışırız. Problemler matematiksel olarak modellendiklerinde ortaya doğrusal veya doğrusal olmayan yapılar çıkar. Doğrusal optimizasyon problemlerin çözümü matematiksel yapısı gereği daha kolaydır ve literatürde geliştirilmiş birçok yöntem bulunmaktadır. Problemler modellendiklerinde amaç fonksiyonu veya kısıtlarının en az bir tanesi doğrusal değilse ilgili problem doğrusal olmayan optimizasyon problemi olarak isimlendirilir. Doğrusal olmayan optimizasyon problemlerinin çözümü doğrusal optimizasyon problemlerine göre daha zordur. 

Bu çalışmada, doğrusal olmayan optimizasyon problemlerinde, problemi çözmek için sezgisel yapı olarak yapay sinir ağı kullanılmıştır ve kullanılan yapay sinir ağında seçilen aktivasyon fonksiyonunun optimizasyon problemlerinin sonucunu nasıl etkilediği araştırılmıştır. Bu işlemler yapılırken doğrusal olmayan optimizasyon problemi için değişkenlerin tanımlı olduğu alanda bir veri kümesi oluşturularak sinir ağı eğitilmiştir. 3 farklı doğrusal olmayan optimizasyon probleminde 4 farklı aktivasyon fonksiyonu için sonuçlar analiz edilmiştir.

Anahtar Kelimeler: Yapay Zeka, Yapay Sinir Ağı, Optimizasyon, Doğrusal Olmayan Optimizasyon, Aktivasyon Fonksiyonları

Abstract:
Optimization is defined as a set of processes that allow us to achieve certain goals by using the resources available in a system in the most efficient way.

In order to solve a real-life problem, we try to mathematically model this problem and solve it in the best way. When problems are modeled mathematically, linear or nonlinear structures arise. Linear optimization problems are easier to solve due to their mathematical structure, and there are many methods developed in the literature. When problems are modeled, if at least one of the objective function or constraints is not linear, the related problem is called a nonlinear optimization problem. Nonlinear optimization problems are more difficult to solve than linear optimization problems.

In this study, artificial neural network was used as heuristic structure to solve the problem in nonlinear optimization problems and it was investigated how the selected activation function in the used artificial neural network affected the results of the optimization problems. While performing these operations, the neural network is trained by creating a dataset in the area where the variables are defined for the nonlinear optimization problem. The results were analyzed for 4 different activation functions in 3 different nonlinear optimization problems. 

Keywords : Artificial Intelligence, Artificial Neural Network, Optimization, Nonlinear Optimization, Activation Functions