Bölgesel sel tahmininde kullanılan makine öğrenmesi algoritmalarının performansları ve doğruluk değerleri üzerine değerlendirme: Ordu ili örneği
Evaluation on the performance and accuracy values of machine learning algorithms used in regional flood prediction: A case study of Ordu province
Yazar: HAKAN TEKİN
Danışman: DR. ÖĞR. ÜYESİ FARUK BATURALP GÜNAY
Atatürk Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Amaç: Çalışmanın amacı her yıl dünyada milyonlarca insanı etkileyen ve milyarlarca dolarlık maddi zarara sebep olan sel felaketini, makine öğrenmesi algoritmaları ile önceden tahmin etmek, erken uyarı sistemlerinin etkinliğini arttırmak, afet yönetim stratejilerinin geliştirilmesine destek sağlayarak can ve mal kaybını en aza indirmektir. Aynı zamanda geçmiş verilerden eğitilen modeller arasında doğruluk oranı ile en yüksek skoru elde eden makine öğrenmesi yöntemini belirlemektir. 
Yöntem: Çalışmada kullanılan veriler Meteoroloji Genel Müdürlüğü'nden elde edilmiş olup, Ordu il ve ilçelerine (Ordu Merkez, Ünye, Fatsa, Perşembe) ait 2019-2023 yılları arasındaki 175.296 satırdan oluşan 24 saatlik meteorolojik değerlerden oluşmaktadır. Parametreler Yağış miktarı, Maksimum Sıcaklık, Minimum Sıcaklık, Nem, Rüzgâr Hızı ve Basınç olmak üzere altı tanedir. Dört farklı istasyondan ve altı farklı parametreden elde edilen veriler ön işleme tabi tutularak K-en Yakın Komşu, Logistic Regression, Naive Bayes, Karar Ağaçları, Rastgele Orman, Destek Vektör Makineleri ve Yapay Sinir Ağları gibi ikili sınıflandırma modelleri saatlik değerleri içeren veri seti ile değerlendirildi.
Bulgular: Eğitim ve test verisi olarak bölünen veri setinden eğitilen modellerin doğruluk oranları için kullanılan metrikler, çapraz doğrulama skorları, accuracy, precision, recall, ve f1-score' dur. Ayrıca modellerin ROC eğrisi de ele alınarak değerlendirmelerde bulunulmuştur.
Sonuç: Bu çalışma kapsamında mevcut veri setine dayalı olarak makine öğrenmesi modelleri tarafından ikili sınıflandırma ile yapılan sel tahminine ilişkin sınıflandırmada saatlik verilerin yer aldığı orijinal veri setinde, K-en Yakın Komşu %94,19, Logistic Regression %94,60, Naive Bayes %99,88, Karar Ağaçları %99,86, Rastgele Orman %99,92, Destek Vektör Makineleri %99,54 ve Yapay Sinir Ağları ile %99,39 doğruluk elde edilmiştir. Yine bu modellerin saatlik veri setine bağlı olarak çapraz doğrulama skorları K-en Yakın Komşu %93,72, Logistic Regression %93,85, Naive Bayes %99,85, Karar Ağaçları %99,86, Rastgele Orman %99,92, Destek Vektör Makineleri %99,58 ve Yapay Sinir Ağları ile %99,85 olarak elde edilmiştir. Çalışmadan alınan doğruluk skorları ve çapraz doğrulama puanlarının yüksekliğinden sonra veri kümesi üzerinde SMOTE tekniği uygulanmış ve özellik seçim yöntemi olarak ANOVA, Ki-Kare ve LASSO yöntemleri tercih edilmiştir. Dengeli hale gelen veri seti üzerinde değerlendirilen modellerin skorlarının güvenilebilir olduğu kanaatine varılmıştır. 3 ayrı özellik seçim yöntemi sonrası Destek Vektör Makinelerinin yaklaşık %97 doğruluk oranı ile en yüksek skoru elde ettiği görülmüştür. Sonuç olarak tez çalışması kapsamında incelenen modellerin doğruluk oranlarına bakıldığında, doğruluk oranı yüksek olan modeller, bölgeye gelecekte yapılması planlanan IoT destekli sel erken uyarı sisteminde yardımcı destek sistemi olarak kullanılabilir.

Abstract:
Purpose: The aim of the study is to predict flood disasters, which affect millions of people around the world and cause billions of dollars in financial damage every year, with machine learning algorithms, to increase the effectiveness of early warning systems, and to minimize the loss of life and property by supporting the development of disaster management strategies. It is also to determine the machine learning method that achieves the highest score with accuracy among models trained from historical data.
Method: The data used in the study was obtained from the General Directorate of Meteorology and consists of 24-hour meteorological values consisting of 175,296 lines for Ordu provinces and districts (Ordu Center, Ünye, Fatsa, Çarşamba) between the years 2019-2023. There are six parameters: Precipitation amount, Maximum Temperature, Minimum Temperature, Humidity, Wind Speed and Pressure. Data obtained from four different stations and six different parameters were pre-processed and binary classification models such as K-Nearest Neighbor, Logistic Regression, Naive Bayes, Decision Trees, Random Forest, Support Vector Machines and Artificial Neural Networks were evaluated with a data set containing hourly values.
Findings: The metrics used for the accuracy rates of the models trained from the data set divided into training and test data are cross-validation scores, accuracy, precision, recall, and f1-score. In addition, evaluations were made by considering the ROC curve of the models.
Result: Within the scope of this study, in the classification of flood prediction made by machine learning models with binary classification based on the existing data set, in the original data set including hourly data, 94.19% accuracy was obtained with K-Nearest Neighbor, 94.60% with Logistic Regression, 99.88% with Naive Bayes, 99.86% with Decision Trees, 99.92% with Random Forest, 99.54% with Support Vector Machines and 99.39% with Artificial Neural Networks. Again, the cross-validation scores of these models depending on the hourly data set were obtained as 93.72% with K-Nearest Neighbor, 93.85% with Logistic Regression, 99.85% with Naive Bayes, 99.86% with Random Forest, 99.92% with Support Vector Machines and 99.85% with Artificial Neural Networks. After the accuracy scores and cross-validation scores obtained from the study were high, SMOTE technique was applied on the dataset and ANOVA, Chi-Square and LASSO methods were preferred as feature selection methods. It was concluded that the scores of the models evaluated on the balanced dataset were reliable. After 3 different feature selection methods, it was observed that Support Vector Machines achieved the highest score with an accuracy rate of approximately 97%. As a result, when the accuracy rates of the models examined within the scope of the thesis study are examined, models with high accuracy rates can be used as auxiliary support systems in the IoT-supported flood early warning system planned to be built in the region in the future.