Derin sinir ağının sınıflandırma başarımının artırılması için yeni bir eğitim stratejisi geliştirilmesi ve biyomedikal veri setleri üzerinde test edilmesi
Development of a new training strategy to improve the classification performance of the deep neural network and testing on biomedical data sets
Yazar: ABDULLAH ÇALIŞKAN
Danışman: PROF. DR. MEHMET EMİN YÜKSEL
Erciyes Üniversitesi / Fen Bilimleri Enstitüsü / Biyomedikal Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2017
Konu: Biyomühendislik = Bioengineering ; Biyoteknoloji = Biotechnology ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Derin sinir ağı (DSA) tabanlı sınıflandırıcıların başarımı DSA'nın nasıl eğitildiğiyle doğrudan ilgilidir. Eğitim, DSA'nın iç parametrelerinin güçlü bir optimizasyon algoritmasıyla optimize edilmesi esasına dayanır. Çoğu zaman, optimize edilecek parametre sayısının çokluğu, arama uzayının boyutunun çok yüksek olmasına sebep olmakta ve optimizasyon yönteminin işlerliğini bir hayli zorlaştırmaktadır. Bunun doğal sonucu olarak, çoğu optimizasyon algoritmasının çok fazla iç parametreye sahip olan DSA sınıflandırıcısının eğitimi için uygun olmadığı görülmüştür. Bu işlem için uygun olan algoritmalar ise ancak ortalama performansa sahip sınıflandırıcıların ortaya çıkmasını sağlayabilmektedir.  
Bu tezde DSA tabanlı sınıflandırıcının performansının yeni bir eğitim stratejisiyle arttırılması amaçlanmıştır. Önerilen strateji optimizasyon yönteminden bağımsız olup herhangi bir optimizasyon yöntemi ile birlikte kullanılabilir. Ancak tezde DSA eğitimindeki başarımından dolayı önerilen strateji L-BFGS algoritması kullanılmıştır. Önerilen stratejinin başarımı 10 adet biyomedikal veri seti ile istatistiksel olarak test edilmiştir. Sınıflandırma deneylerinde, DSA tabanlı sınıflandırıcının önerilen eğitim stratejisiyle eğitildiğinde sınıflandırma başarımında ciddi bir artış olduğu gösterilmiştir.  Önerilen sınıflandırıcının performansının geleneksel sınıflandırma yöntemlerinin performansından daha iyi olduğu gözlenmiştir. Tezin bir diğer katkısı ise önerilen strateji ile eğitilen DSA tabanlı sınıflandırıcının çok fazla örneğe ve özniteliğe sahip olan Manyetoensefalografi (MEG) veri setinin sınıflandırılmasıyla beyin okuma işleminin gerçekleştirilmesidir. Önerilen strateji ile eğitilmiş olan DSA sınıflandırıcısı kullanılarak iki farklı görsel uyaran gösterilen deneklerden alınan MEG sinyalleri görsel uyaranlara göre başarıyla sınıflandırılmıştır.

Abstract:
The success of deep neural network (DNN) classifiers critically depends on their training, which involves the tuning of the internal parameters of the DNN classifier by a powerful optimization algorithm. In most cases, this is usually a very challenging task for the optimization method employed for training since the number of parameters is very high, resulting in a search space with a high dimension. As a natural consequence, most optimization algorithms are not suitable for training DNN classifiers and the suitable ones are prone to generating sub-optimal or even non-optimal classifiers.
In this thesis, we propose a strategy for improving the training performance of DNN classifiers. We apply our proposed method with the popular L-BFGS algorithm though it can be applied with any optimization algorithm. We evaluate the performance improvement obtained by using our proposed method by testing it on 10 well-known biomedical data sets and performing statistical analysis procedures on classification results. Our classification experiments demonstrate that the proposed method significantly enhances the training process of the DNN classifier and yields considerable improvements in the accuracy of the classification results. The performance of the proposed classifier is compared with a number of representative classification methods. It is seen that the proposed classifier exhibits the best performance and can efficiently be used for the classification of biomedical data sets. Another contribution of the thesis is that the DNN based classifier trained with the strategy performs brain reading by classifying the MEG data set, which has many samples and features. DNN classifier trained with the proposed strategy is proposed to classify the MEG signals that were produced as the brain output for two different types of visual stimuli. Our experimental results demonstrate that the proposed classifier with strategy  exhibits superior classification performance over the other competing methods used in the thesis.