İstatistiksel ve makine öğrenme ile derin sinir ağlarında hiper-parametre seçimi için melez yaklaşım
Hybrid approach for hyper-parameter selection in deep neural networks with statistical and machine learning
Yazar: CANSU DOĞAN
Danışman: PROF. DR. ÇAĞDAŞ HAKAN ALADAĞ
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı / İstatistik Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: İstatistik = Statistics

Özet:
Literatürde, derin sinir ağlarında çok önemli bir problem hiper-parametre seçimidir. Veri 
analizinde kullanılacak hiper-parametrelerin seçimi için denenebilecek çok fazla kombinasyon 
vardır. Özellikle büyük veri söz konusu olduğunda, olası tüm kombinasyonların denenmesi 
mümkün değildir. Literatürde belirtilen seçimin yapılabilmesi için genel kurallar 
bulunmamasına rağmen, önerilen ve kullanılan bazı yaklaşımlar mevcuttur. Buna karşın, YSA
veri odaklı bir yöntem olduğu için belli bir veride kullanılan bir yaklaşımı başka bir veri için 
kullanmak çoğu zaman mümkün ve uygulanabilir olmamaktadır.
Aladağ 2019 yılındaki çalışmasında YSA'nın en önemli problemlerinden biri olan mimari 
seçim probleminin çözümü için istatistiksel ve makine öğrenmesine dayanan bir melez 
yaklaşım önermiştir. Belirtilen yaklaşımda, YSA'nın mimarileri ile öngörü performansı
arasındaki ilişkinin yapısı basit doğrusal regresyon modeli kullanılarak analiz edilebilmektedir. 
Bu sayede, mimari seçimi istatistiksel olarak gerçekleştirilmekte ve mimaride kullanılan nöron 
sayıları ve öngörü performansı arasındaki ilişki yapısı da ortaya konulabilmektedir. Aladağ 
tarafından önerilen yaklaşım, çok önemli iki avantaj sağlamaktadır. Öncelikle analiz edilen 
veriye özgü olarak mimari seçimi istatistiksel ve sistematik olarak yapılabilmektedir. İkinci 
olarak, mimari modeli ile performans arasındaki ilişki yapısı modeli elde edildiğinden, birçok 
mimarinin performansı çözümleme yapılmadan bile bilenebilmektedir. Gerçekleştirilen tez ii
çalışmasında da, Aladağ 2019 tarafından YSA mimari seçimi için önerilen yaklaşım, derin sinir 
ağlarında hiper-parametre seçimi için genişletilmiştir ve ayrıca hem doğrusal regresyon analizi 
hem de doğrusal olmayan regresyon analizi uygulanarak kullanılmıştır. Belirtilen melez
yaklaşım diyabet hastalığı verisine uygulanmıştır. Diyabet verisi uygulaması sonucunda elde 
edilen bulgulara göre genişletilen melez yaklaşımın oldukça iyi sonuçlar ürettiği 
gözlemlenmiştir.

Abstract:
In the literature, a very important problem in deep neural networks is the determination of 
hyper-parameters. There are many combinations that can be tried for the selection of hyperparameters to be used in data analysis. It is not possible to try all possible combinations, 
especially when it comes to big data. Although there are no general rules for making the 
selection specified in the literature, there are some suggested and used approaches. On the other 
hand, since ANN is a data-driven method, it is often not possible or applicable to use an 
approach, which is introduced for a specific data, for another data.
In 2019, Aladag proposed a hybrid approach based on statistical and machine learning for the 
solution of the architectural selection problem in ANN. This issue is one of the most important 
problems of ANN. In his hybrid approach, the structure of the relationship between ANN 
architectures and predictive performance can be analyzed using a simple linear regression 
model. In this way, the determination of architecture is performed statistically and the 
relationship structure between the number of neurons used in the architecture and the prediction
performance can be revealed. The approach proposed by Aladag provides two very important 
advantages. First of all, architecture selection can be done statistically and systematically
according to the analyzed data. Secondly, the performance of many architectures can be 
statistically predicted even without using these architectures since the relationship structure 
model between the architectures and the prediction performance is obtained. In the thesis study,iv
the hybrid approach proposed by Aladag 2019 for ANN architecture selection was used by 
applying both linear and nonlinear regression analysis to the hyper-parameter selection in deep 
neural networks. The hybrid approach was applied to the diabetes (diabetes.csv) data. As a 
result of the application, it has been observed that the hybrid approach gives very good results.