Hiper parametre ayarlarının saldırı tespit sistemlerin performansı üzerindeki etkilerinin incelenmesi
Studying the effects of hyperparameter tuning on the performance of intrusion detection systems
Yazar: FUAT SUNGUR
Danışman: DR. ÖĞR. ÜYESİ HALİT BAKIR
Sivas Bilim ve Teknoloji Üniversitesi / Lisansüstü Eğitim Enstitüsü / Savunma Teknolojileri Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Savunma ve Savunma Teknolojileri = Defense and Defense Technologies
Dizin: Makine öğrenmesi = Machine learning ; Siber güvenlik = Cyber security

Özet:
Teknolojinin gelişmesi ile birlikte teknolojik cihazlar, ağ ve internet hayatımızın vazgeçilmez bir parçası haline gelmiştir. Bu gelişmeyle birlikte cihaz ve bilgilerin güvenliğini sağlamakta önemli bir sorun olarak karşımıza çıkmaktadır. Bu sorun kişileri etkilediği gibi kurum, kuruluş, şirket ve devletleri de tehdit etmektedir. Bu tez çalışmasında siber saldırı tespit sistemleri detaylıca araştırılarak yapay zekâ teknikleri ile oluşturulan saldırı tespit sistemleri ele alınmıştır. Çalışmanın amacı siber saldırılara karşı güçlü bir saldırı tespit sistemi oluşturmak ve saldırı tespit sistemlerinin performansını doğrudan etkileyen hiper parametre optimizasyonunun saldırı tespit sistemleri üzerindeki etkisini ortaya koymaktır. Çalışmada CICIDS-2017 ve HIKARI-2021 veri setleri kullanılmıştır. Makine öğrenme yöntemleri MultiTrain modülü ile toplu eğitimden geçirilerek en yüksek puanlı Rasgele orman, LightGBM, XGBoost, Histogram Gradient Boosting algoritmaları ve derin öğrenme tekniklerinden ileri beslemeli sinir ağları, tekrarlayan sinir ağları, evrişimli sinir ağları ile ikili ve çoklu sınıflandırma modelleri oluşturulmuştur. Seçilen algoritmalara Ağaç Yapılı Parzen Tahmincisi ve Baskın Olmayan Sıralama Genetik Algoritması ile hiper parametre optimizasyonu yapılmıştır. Sonuçlar saldırı olduğu halde saldırı değil olarak etiketlenen yanlış negatif metriği üzerinden değerlendirilmiştir. Hiper parametre optimizasyonu ile saldırı tespit sistemlerinde yanlış negatif değerinde kayda değer iyileştirmeler elde edilmiştir. İkili sınıflandırmada LightGBM algoritması ile %99,97, çoklu sınıflandırmada %99,57 tespit başarısı elde edilmiştir. Hiper parametre optimizasyonu ile yanlış negatif değerinde LightGBM algoritmasında "Portscan" sınıfında %94,2 iyileştirme elde edilmiştir. Bu tez, saldırı tespit sistemi için hiper parametre optimizasyonunun etkilerini vurgulamakta ve başarılı modellerin oluşturulmasını göstermektedir.

Abstract:
With the advancement of technology, technological devices, networks, and the internet have become an indispensable part of our lives. Alongside this development, ensuring the security of devices and information poses a significant challenge. This challenge not only affects individuals but also threatens institutions, organizations, companies, and governments. In this thesis, cyber-attack detection systems are extensively researched, and attack detection systems created using artificial intelligence techniques are discussed. The aim of the study is to establish a robust attack detection system against cyber-attacks and to demonstrate the impact of hyperparameter optimization, which directly affects the performance of attack detection systems, on these systems. The CICIDS-2017 and HIKARI-2021 datasets are used in the study. Machine learning methods, including the MultiTrain module, were employed for training, and feedforward neural networks, recurrent neural networks, convolutional neural networks, as well as binary and multi-classification models were constructed using the highest-rated Random Forest, Light, XGBoost, and Histogram Gradient Boosting algorithms, along with deep learning techniques. All models underwent hyperparameter optimization, and the results were evaluated comparatively. The results were assessed based on the false negative metric, which represents cases where an attack was present but labeled as non-attack. Significant improvements in the False Negative values of attack detection systems were achieved through hyperparameter optimization. The LightGBM algorithm achieved a detection accuracy of 99.97% in binary classification and 99.57% in multi-class classification. With hyperparameter optimization, a significant improvement of 94.2% was attained in the "Portscan" class for the false negative value in the LightGBM algorithm. This thesis highlights the effects of hyperparameter optimization for the intrusion detection system and demonstrates the creation of successful models.