Makine öğrenmesi yöntemleri ile imha değerlendirme
Kill assessment using machine learning methods
Yazar: RAHİME SEVİNÇ GÖKDUMAN
Danışman: PROF. DR. CENK TOKER
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Derin öğrenme = Deep learning ; Karar ağacı = Decision tree ; Makine öğrenmesi yöntemleri = Machine learning methods ; Rastgele ormanlar = Random forests ; Sinir ağları = Nerve net ; Uzun kısa süreli bellek = Long- short term memory ; İmha = Destruction

Özet:
İmha değerlendirme başlatılan bir angajman sonucunda ilgili tehdidin vurulup -vurulmadığı kararının verilebilmesi, başlatılan angajmanın başarılı olup olmadığının değerlendirilmesidir. Tehdit için belirtilen imha edildi-edilmedi bilgisi hem kullanıcı dikkatinin hem maliyetlerin hem de angajmanın doğru yönetilmesi için kritik önem ifade etmektedir. Bu tespit artık insan gözüyle yapılabilecek menzillerden ve büyüklüklerden çok uzaktır. İmha değerlendirmesinde, makine öğrenmesi ve derin öğrenme tekniklerinin kullanılmasıyla karar alma sürecinde kararlarının insan müdahalesinden bağımsız olarak verilmesi ve böylece hataların ve kaynak israflarının azaltılması hedeflenmektedir.

İmha değerlendirmesinin makine öğrenmesi ve derin öğrenme algoritmaları ile yapılmasına dair gerçekleştirilen bu çalışmada, gerçek dünyaya ait radar verilerine sahip olunmaması nedeniyle radar sinyallerini sentetik veri olarak üreten ve imha-ıskalama gibi fiziksel olayları simüle eden bir simülatör geliştirilmiştir. Ham radar verilerinin gürültüye ve aşırı uyumlamaya açık olması, eğitim sürecinde donanımın yetersiz kalması ve eğitim süresinin uzun sürmesi gibi dezavantajlar nedeniyle sınıflandırma algoritmalarına girdi olarak kullanımı uygun bulunmamıştır. Bu nedenle sentetik ham radar sinyallerinden öznitelik çıkarım işlemleri yapılarak algoritmalara bu öznitelikler girdi olarak sağlanmıştır. Bu öznitelik tipleri noksansız öznitelik seti, noksan öznitelik seti ve belirsizlik analizi öznitelik seti olmak üzere üçe ayrılmaktadır. 

İmha değerlendirme işlemi Vurulma Öncesi, Iskalama ve İmha olmak üzere farklı durumları belirten bu üç sınıfa ayrılarak ifade edilmiştir. İmha durumu doğası gereği anlık ya da milisaniyeler mertebesinde gerçekleşen bir olaydır. Bu nedenle sınıflara ait veri setindeki denge gözetildiğinde vurulma öncesi anına ya da ıskalama anına ait veri yoğunluğu imha anına ait veri ile kıyaslandığında çok daha fazla olmaktadır. Bu sebeple sınıf dengesini sağlayan çeşitli yöntemler araştırılarak sınıf dengesinin sağlandığı öznitelik setleri ile eğitim işlemi gerçekleştirilmiştir. Sınıf dengesini sağlamak için SMOTE, ROS, RUS, Yakındakini Atma, SMOTE-ENN, SMOTE-TOMEK yöntemleri kullanılmıştır.

Dengesiz ve dengeli hale getirilen veri setleri sırası ile girdi olarak kullanılarak imha değerlendirme algoritmaları test edilmiştir. Makine öğrenmesi algoritmalarından ada artırım, gradyan artırım, karar ağacı, rastgele orman, destek vektör makineleri, çok katmanlı algılayıcı, derin öğrenme algoritmalarından ise sinir ağları ve LSTM kullanılarak doğru bir imha kararının verilmesinde performans ve doğruluk açısından hangi yöntemin daha doğru ve en iyi çalıştığı kıyaslanarak saptanmıştır.

Performans analizlerine bakıldığında üç ayrı öznitelik seti için de ROS uygulanmış öznitelik setinin girdi olduğu rastgele orman algoritmasının %99 üzerinde doğruluk oranı ile en iyi sınıflandırmayı gerçekleştirdiği sonucuna varılmıştır. Sınıf dengesinin sağlanıyor olmasının tüm sınıflandırma algoritmalarında performansı artıran bir unsur olduğu görülmüştür. Bu tez sonucunda yapay zekâ algoritmaları ile radar sinyalleri üzerinden çıkarılan öznitelikler kullanılarak başarılı bir şekilde imha değerlendirme yapılabileceği sonucuna ulaşılmıştır.

Abstract:
Kill assessment is the ability to decide whether the relevant threat has been hit or not as a result of an initiated engagement, and to evaluate whether the initiated engagement has been successful or not. The destroyed-not destroyed information specified for the threat is critical for the proper management of user attention, costs and engagement. This detection is so far from the ranges and magnitudes that can be observed by the human eye today. In the kill assessment, it is aimed to make decisions independently of the human figure in the decision-making process by using machine learning and deep learning techniques. Thus, the assessment reduces errors and waste of resources.

In this study, which was carried out on the assessment of kill using machine learning and deep learning algorithms, a simulator was developed that generates radar signals as synthetic data and simulates physical events such as kill - miss, due to the lack of real-world radar data. The use of raw radar data as an input to classification algorithms has not been found appropriate due to disadvantages such as being susceptible to noise and overfitting, insufficient equipment in the training process and long training time. For this reason, these features are provided as input to the algorithms by performing feature extraction processes. These feature types are divided into three as the perfect feature set, unperfect feature set and the ambiguity graphs feature set.

The kill assessment process is expressed by dividing these three classes, which indicate different situations: Pre Hit, Miss and Kill. Kill is an event that takes place in the order of instantaneous or milliseconds by its nature. For this reason, when the balance in the data set of the classes is supervised, the data density of the moment before the hit or the moment of the miss is much higher when compared to the data density of the moment of kill. For this reason, various methods that provide class balance were investigated and the training process was carried out with feature sets that provided class balance. SMOTE, ROS, RUS, Near-Miss, SMOTE-ENN, SMOTE-Tomek methods were used to provide class balance.

Kill assessment algorithms were tested by using unbalanced and balanced data sets as inputs, respectively. By comparing which method is more accurate and best in terms of performance and accuracy in making a correct kill decision by using adaboost, gradientboosting, decision tree, random forest, support vector machines, multi-layer perceptron from machine learning algorithms and neural networks and LSTM from deep learning algorithms detected.

When algorithm performances are analyzed, it was concluded that the Random Forest algorithm performed the most successful classification with a rate of 99 % in all three ROS applied data sets. It has been seen that ensuring class balance is a factor that increases performance in all classification algorithms. As a result of this thesis, it has been concluded that a successful kill assessment can be made by using the features extracted from the radar signals with artificial intelligence algorithms.