Evrişimli sinir ağları için regresyon temelli hiper parametre optimizasyonu
Regression based hyper parameter optimization for conversional neural networks
Yazar: GÖZDE AKBULUT ÖZ
Danışman: DOÇ. DR. EMRE ÇİMEN
Eskişehir Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Endüstri Mühendisliği Ana Bilim Dalı / Endüstri Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Endüstri ve Endüstri Mühendisliği = Industrial and Industrial Engineering

Özet:
Makine Öğrenmesi problemlerinde modelin performansını etkileyen, ayarlanabilir 
parametreler olan hiper parametrelerin kullanıcı tarafından tayin edilmesi beklenir. Fakat 
modelin performansını, eğitim ve test başarısını etkileyen bu hiper parametrelerin 
seçimini kullanıcıya bırakmak geniş seçim uzayının olduğu ortamlarda büyük bir risktir. 
Bu duruma karşı hiper parametre optimizasyonu için geliştirilen pek çok yöntem vardır. 
Kimisi zaman, kimisi de doğruluk ölçütlerinde avantajlı durumda iken her veri kümesine 
ya da probleme göre farklı yöntemler kullanmak gerekebilir. Ayrıca iyi sonuçlar verdiği 
bilinen yöntemler ücretli çözümler sunması sebebiyle de tercih edilemeyebilir.
Bu çalışmada zaman ve doğruluk açısından ön planda olabilecek, farklı veri 
kümelerinde de kabul görebilecek sonuçlar veren bir hiper parametre optimizasyon
yöntemi geliştirilmiştir. Yalnızca makine öğrenmesi problemleri ile çalışan araştırmacılar 
için değil optimize edilmesi gereken parametrelere sahip tüm problem çözücüler için 
kullanılabilir bir yöntem olması amaçlanmıştır. Geliştirilen bu yöntem, kabul görmüş
rastgele arama ve Bayesian optimizasyon adlı iki farklı yöntem ile karşılaştırılmış olup 
ayrıca CIFAR-10, FASHIONMNIST ve MNIST adlı 3 farklı veri kümesi kullanılarak test 
edilmiştir. Rastgele arama ve Bayesian optimizasyonu karşısında avantajlı durumda 
olduğu sonuçlar elde edilmiştir.

Abstract:
In Machine Learning problems, hyperparameters are adjustable parameters that 
affect the performance of the model. It is expected that users determine these 
hyperparameters. However, leaving the selection of these hyperparameters, which impact 
the performance of the model in terms of training and testing success, to the user poses a 
significant risk, especially in environments with a wide choice space. To address this 
issue, numerous methods have been developed for hyperparameter optimization. Some 
of these methods excel in terms of time, while others excel in accuracy criteria. Different 
methods may need to be employed for each dataset or problem.
Additionally, well-performing methods might not be preferred due to their paid 
solutions. In this study, a hyperparameter optimization method has been developed that 
can yield results emphasizing both time and accuracy and is applicable to different 
datasets. The aim is to provide a method not only for researchers working solely on 
machine learning problems but also for all problem solvers with parameters that need 
optimization. This developed method has been compared with two established methods: 
random search and Bayesian optimization. Furthermore, it has been tested on three 
different datasets CIFAR-10, FASHIONMNIST, and MNIST. The results indicate its 
superiority over random search and Bayesian optimization.