Öznitelik seçimi ve makine öğrenimi kullanılarak enerji iletim, kontrol ve yönetim sistemlerinde siber güvenlik analizi
Cyber security analysis in energy transmission, control and management systems by using feature selection and machine learning
Yazar: SEZGİN ERTUĞRUL
Danışman: DR. ÖĞR. ÜYESİ GÖKALP TULUM
İstanbul Arel Üniversitesi / Lisansüstü Eğitim Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering ; Enerji = Energy
Dizin: Elektrik enerji sistemleri = Electrical energy systems ; Elektrik enerjisi = Electrical energy ; Makine öğrenmesi = Machine learning ; Siber güvenlik = Cyber security ; Yapay sinir ağları = Artificial neural networks ; Öznitelik seçimi = Attribute selection

Özet:
Enerjinin iletimi, denetimi ve yönetiminin yapıldığı SCADA benzeri sistemlerin internet ağına bağlı olarak çalışmaları ve ağ üzerinden güvenli bir şekilde veri iletmeleri beklenmektedir. Enerji denetim ve yönetim sistemlerinde, sisteme yapılacak siber saldırılar sonucu verilerde oluşabilecek hataların sınıflandırılması ile sistemin korunmasını sağlayabilecek akıllı sistemlerin geliştirilmesi mümkündür. Fakat büyük çaplı sistemler için geliştirilecek akıllı sınıflandırma algoritmalarında en büyük problem öznitelik uzayının oldukça büyük olmasıdır. Böyle sistemler için doğru şekilde öznitelik azaltma önemlidir.
Bu çalışmada birbirine ardışık bağlı öznitelik seçim algoritmalarının hem zaman hem sınıflandırma başarısına etkilerinin incelenmesi amaçlanmıştır. Böylece her bir öznitelik seçimi sonrası elde edilen öznitelik matrisleri ile sistem performansının iyileşip iyileşmediği incelenecektir.
Geliştirilen algoritma için 128 farklı iletim hattı ölçüm parametresinin öznitelik uzayından oluşan açık kaynaklı bir veri seti kullanılmıştır. Çalışmada izlenen metodoloji temel olarak dört ana adımdan oluşmaktadır. Çalışmada her adımda sınıflandırıcı olarak 5'li komite yapısına sahip, oy çokluğu ile karar veren, sabit parametreli (katman sayısı, nöron sayısı, öğrenme oranı ve momentum katsayısı) çok katmanlı algılayıcı (MLP) tercih edilmiş ve 10 katlamalı çapraz doğrulama yöntemi uygulanmıştır. 
İlk adım olarak tüm veri seti doğrudan MLP ağları ile sınıflandırılmış, başarı ve sınıflandırma eğitim süreleri kaydedilmiştir. İkinci adımda ilk öznitelik seçim yöntemi olarak ANOVA analizi kullanılmış ve p-değeri 0,05'den büyük olan öznitelikler elenmiştir. İlk öznitelik seçimi sonrasında elde edilen öznitelik matrisi aynı özelliklere sahip MLP ağı ile sınıflandırılmış, başarı ve eğitim süresi kaydedilmiştir. Üçüncü adımda ise özniteliklerin arasındaki korelasyona bakılmıştır. En düşük p-değerine sahip öznitelikten başlayarak korelasyon katsayısı |r|<0,7 den küçük olan öznitelikler bu yöntemle seçilerek sınıflandırma algoritmasına sokulmuş ve başarı ile süre değerleri kaydedilmiştir. Son öznitelik seçim yöntemi olarak ise ReliefF algoritması kullanılarak öznitelikler kendi aralarındaki ilişkiye bağlı olarak ağırlıklandırılarak sıralanmıştır. Elde edilen sıralanmış özniteliklerden ise maksimum ve minimum değere sahip özniteliklerin ortalaması alınarak, bu değerden daha yüksek ağırlık değerine sahip öznitelikler sınıflandırma işlemine sokulmuştur.
Elde edilen sonuçlar incelendiğinde tüm veri seti için, MLP ağının aşırı öğrenme problemi ile karşılaştığı ve sınıflardan ikisini hiçbir şekilde sınıflandıramadığı görülmektedir. Sınıflandırma performansı %21 civarında olurken, yaklaşık eğitim süresinin 63,14 saniye civarında olduğu gözlemlenmiştir. İlk öznitelik seçim işlemi sonrası 128'den 82'ye inen öznitelik sayısı ile elde edilen sınıflandırma başarısı ise %89,11 civarında olurken, eğitim süresi 205,82 saniye civarında sürmektedir. Korelasyon katsayılarına bağlı olarak gerçekleştirilen ikinci öznitelik seçme işlemi sonrasında ise 24 öznitelik sınıflandırma işlemi için uygun değerlere sahip olmuştur ve bu öznitelikler ile %85,32'lik bir sınıflandırma başarısı elde edilirken işlem süreci 17,69 saniye sürmüştür. Son öznitelik seçme işlemi sonrasında ise 6'ya düşen öznitelik sayısı ile 7,4 saniye süren sınıflandırma işlemi sonrasında %84,49'luk bir sınıflandırma başarısı elde edilmiştir.

Abstract:
A recorded it is expected from systems which transmit, control and manage the energy like SCADA to operate by being connected to internet networkand transmit data from network securely. It is possible to develop smart systems that protect energy control and management systems by classifyingerrors on data as a result of cyber-attacks to the system. However, in the smart classifying algorithms which will be developed for large scalesystems, the biggest problem is that the feature space is so large. For these systems, it is important to reduce features correctly.
In this study, it is aimed to investigate the effects of sequentially connected feature selection algorithms to the consumed time and classification performance. Thus, the system performance will be investigated with the feature matrices that are acquired after each feature selection.
An open source dataset which consists of 128 different transmission line measurement parameters' feature space were used for the developed algorithm. The methodology of the study has 4 main steps. In each step, multi-layer perceptron (MLP) which has quintet committee structure, decides by majority of votes, has constant parameter (number of layer and neuron, learning rate and momentum coefficient) was preferred and ten-fold crossvalidation was applied.
For the first step, all dataset was classified directly with MLP network. Performance and classification times were recorded. For the second step, ANOVA analysis was used as the first feature selection method and the features which have p-value greater than 0.05 were eliminated. The feature matrix which was acquired after the first feature selection was classified with the same MLP network. Performance and training duration were recorded. In the third step, correlation was examined among features. By starting with the lowest p-valued feature, features that have correlation coefficients lesser than 0.7 were selected with this method and were inserted into the classification algorithm. Performance and consumed time wererecorded. For the last feature selection method, features were sorted by weighting according to the relation among them with ReliefF algorithm. From the acquired sorted features, the mean value of the features that have minimum and maximum value were calculated. The features that have greaterweight value than mean value were inserted into the classification process.
When the results are examined, MLP network faced with overlearning problem for the whole dataset and it couldn't classify any of two classes. The classification performance was 21% and training time was observed approximately as 63.14 seconds. After the first feature selection, number offeatures decreased from 128 to 82. The classification performance was 89.11% and training time was nearly 205.82 seconds. Twenty four featureswere suitable for classification after second feature selection which was carried our according to correlation coefficients. The classification performancewas obtained as 85.32% and process duration was 17.69 seconds with these features. After the last feature selection, the number of features dropped to 6 and classification duration was 7.4 seconds. The classification performance was 84.49%.