Gradyan ve özel bir hiper düzlem temelli yeni bir optimizasyon algoritması: Evriştirilmiş Gradyan yönü ile optimizasyon
A novel optimization algorithm based on gradient and specific hyperplane: Evolved Gradient direction optimizer
Yazar: İBRAHİM KARABAYIR
Danışman: DOÇ. DR. NİHAT TAŞ
İstanbul Üniversitesi / Sosyal Bilimler Enstitüsü / İşletme Ana Bilim Dalı / Sayısal Yöntemler Bilim Dalı
Derece: Doktora, 2018
Konu: İşletme = Business Administration
Dizin: Algoritmalar = Algorithms ; Gradyan temelli öğrenme = Gradient-based learning ; Makine öğrenmesi = Machine learning ; Optimizasyon = Optimization ; Parametre optimizasyonu = Parameter optimization ; Yapay sinir ağları = Artificial neural networks

Özet:
Bu çalışmada çok boyutlu problemleri çözmek için birinci dereceden gradyan ve özel bir hiper düzlem ailesine dayalı yeni ve etkili bir algoritma sunulmaktadır. Bu amaçla M hiper düzlem ailesi üretilmiştir. Yaklaşım keyfi olarak seçilen bireysel çözüm popülasyonunu, M hiper düzlem ailesine ait M_n hiper düzleminin gradyan vektörü ve birinci dereceden gradyan vektörü yardımıyla dinamik olarak evriştirerek çok boyutlu problemi optimize etmeyi amaçlamaktadır. Özellikle örüntü tanıma uygulamalarında hata fonksiyonunun hayli lineer olmayan yapıya sahip olduğu düşünüldüğünde keyfi olarak seçilen başlangıç çözümünün yerel minimum çözümüne yaklaşması bilinen bir problemdir. Kurulan algoritma yardımıyla, fonksiyon optimizasyonunda çözümün, gradyan iniş yönteminin en büyük handikabı olan lokal minimum tuzağına düşmesinden kaçınılması hedeflenmiştir. Ayrıca bu tezde, M_n hiper düzleminin ve önerilen optimizasyon algoritmasının geometrik anlamı sunulmuştur. Bunun yanı sıra, önerilen algoritmanın performansı bazı uygulamalar yapılarak incelenmiştir. Bu uygulamalar genel olarak bazı klasik matematiksel fonksiyon uygulamaları ve makine öğrenmesi uygulamaları olarak verilmiştir. Makine öğrenmesi uygulamalarında yapay olarak üretilen veri setlerinin yanı sıra literatürde sıklıkla kullanılan rakamların el yazısı olarak yazılmasıyla oluşturulan MNIST veri seti kullanılmıştır. Makine öğrenmesi uygulamaları için öğrenme algoritmaları olarak lojistik regresyon, softmax regresyon ve derin evrişimli sinir ağı (DESA) kullanılmıştır. Özellikle derin evrişimli sinir ağlarının örüntü tanıma uygulamalarındaki başarısı bilinmektedir. Bu amaçla üretilen optimizasyon algoritmasının performansı derin evrişimli sinir ağı ile de test edilmiştir. MNIST veri seti işlenirken tensör büyüklüğü düşünüldüğünde grafik işleme birimi (GPU) kullanılarak öğrenme hızlandırılmıştır. Önerilen yöntemle elde edilen sonuçlar, özellikle örüntü tanıma problemlerinde sıklıkla kullanılan gradyan iniş algoritmasıyla elde edilen sonuçlar ile birlikte verilmiştir. Böylelikle önerilen yöntem ile gradyan iniş yöntemi karşılaştırılmıştır ve önerilen yöntemin görece olarak daha iyi sonuçlar verdiği gözlemlenmiştir.

Abstract:
We introduce a novel algorithm for optimization of multidimensional objective functions based on their first-order gradient and specific hyperplane family. For this purpose, we produce M hyperplane family. The proposed approach is aimed at optimizing multidimensional functions by evolving the arbitrary initial individual solution with the help of both the gradient vector of M_n hyperplane belonging to the M hyperplane family and first-order gradient. Especially in the pattern recognition applications, it is well known that the arbitrary initial solution can approximate to the local minimum solution when considered rather nonlinear structure of the error function. The aim of the proposed algorithm is to strip away local minimum trap which is a handicap for the gradient descent algorithm. Moreover, we also analyse the geometrical meaning of both M hyperplane family and the proposed optimization algorithm. Besides, the computational performance of the proposed algorithm has been examined by some applications. These applications are generally presented as some classical mathematical function applications and machine learning applications. In machine learning applications, both artificially generated datasets and MNIST handwritten digit dataset which is commonly used in the literature have been processed. Logistic regression, softmax regression and deep convolutional neural network have been used as learning algorithms. Especially, it is well known that the deep convolutional neural networks are very successful in pattern recognition. For this purpose, the performance of the proposed optimization algorithm has also been tested with deep convolutional neural network. Taken into account of tensor size when processing MNIST dataset, the learning is accelerated using the graphics processing unit (GPU). The results of the proposed method have been given together with the results of the gradient descent algorithm which is commonly used in pattern recognition. Thus, the proposed method has compared with the gradient descent approach and it has been observed that the proposed method has achieved relatively better results.