Makine öğrenmesi yöntemlerinde hiper-parametre seçimi
Hyper-parameter selection in machine learning methods
Yazar: HÜSEYİN FURKAN ZENGİN
Danışman: DR. ÖĞR. ÜYESİ SİNEM BOZKURT KESER
Eskişehir Osmangazi Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Hiper-parametreler, makine öğrenmesi modellerinin performansı üzerinde önemli bir
etkiye sahip olmaları nedeniyle makine öğrenimi algoritmaları için kritik bir öneme
sahiptirler. Uygun hiper-parametrelerin seçilmemesi, makine öğrenmesi modellerinin düşük
performans göstermesine sebep olabilir. Bu tez kapsamında, farklı hiper-parametre
optimizasyon (HPO, Hyper-parameter Optimization) yöntemlerinin, regresyon modellerinin
performansına etkisi karşılaştırmalı analizler ile verilmektedir. Tez kapsamında önerilen
yöntemlerin değerlendirilmesi için binalardaki enerji verimliliği problemi ele alınmıştır.
Çalışmada, bu alanda literatürde erişime açık olan 768 satır ve 8 özellik içeren bir veri
kümesi kullanıldı. Çalışma, regresyon modellerinin, varsayılan parametre değerleri
kullanılarak eğitilmesiyle başladı. Daha sonra, bu modellerin performansları arasından
ortalama hata karesi (MSE, Mean Squared Error) değerine göre en iyi sonuç veren modeller
belirlendi. Belirlenen modeller, daha fazla iyileştirme için hiper-parametre optimizasyonuna

tabi tutuldu. Bunun sonucunda, kategori artırma (CatBoost, Category Boosting) ve Bayes-
Rastgele Orman (BO-RF, Bayesian Optimization – Random Forest) algoritmalarının, hiper-
parametre değerlerinin optimizasyonu ile 0,997 R-Kare ve 0,23 MSE skorları, bu

çalışmadaki en yüksek başarı sonucu olarak elde edildi. Bu çalışma, hiper-parametre
optimizasyon yöntemlerinin, makine öğrenmesi modelleri üzerindeki etkisini göstermek için
binalardaki enerji verimliliği problemini ele almaktadır. Bu bağlamda, hiper-parametre
optimizasyonunun, makine öğrenmesi modellerinin başarısını artırmadaki kritik rolü
vurgulanmaktadır.

Abstract:
Hyper-parameters are critical for machine learning algorithms as they have a
significant impact on the performance of machine learning models. Failure to choose
appropriate hyper-parameters can cause machine learning models to underperform. Within

the scope of this thesis, the effects of different hyper-parameter optimization (HPO, Hyper-
parameter Optimization) methods on the performance of regression models are given

through comparative analysis. In order to evaluate the proposed methods within the scope of
the thesis, the energy efficiency problem in buildings is discussed. In the study, a dataset
containing 768 lines and 8 features, which is available in the literature in this field, was used.
The work began by training regression models using default parameter values. Then, among
the performances of these models, the models that gave the best results were determined
according to the mean squared error (MSE) value. The identified models were subjected to
hyper-parameter optimization for further improvement. As a result, category boosting
(CatBoost, Category Boosting) and Bayesian Optimization (Random Forest) algorithms
achieved 0.997 R-Square and 0.23 MSE scores, the highest in this study, with the
optimization of hyper-parameter values. was achieved as a result of success. This study

addresses the energy efficiency problem in buildings to demonstrate the impact of hyper-
parameter optimization methods on machine learning models. In this context, the critical

role of hyper-parameter optimization in increasing the success of machine learning models
is emphasized.