Yüksek çözünürlüklü uydu görüntü verileri kullanılarak bina ve yol sınıflarının derin öğrenme yöntemiyle belirlenmesi
Determination of building and road classes using high-resolution satellite image data with a deep learni̇ng method
Yazar: DUYGU ARIKAN
Danışman: PROF. DR. FERRUH YILDIZ
Konya Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Harita Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Jeodezi ve Fotogrametri = Geodesy and Photogrammetry

Özet:
Yeryüzü üzerine tesis edilmiş binalar ya da yol ağları birçok uygulamaya konu ya da altlık olan coğrafi nesnelerdir. Bu uygulamaların başarısı ise, binaların ve yol ağlarının güncel olmasına bağlı bir durumdur.  Araştırmacılar yapılan çalışmalarda veri kaynağı olarak çoğunlukla uydu veya hava fotoğraflarını kullanmakta olup bu coğrafi nesnelerin otomatik olarak belirlenmesi konusuna odaklanmışlardır. Hava fotoğrafı veya uydu görüntüleri üzerinden sınıflandırma işlemi için çeşitli yöntemler geliştirilmişlerdir. Son yüzyılın en önemli araştırma konularını oluşturan yapay zekâ, makine öğrenmesi ve derin öğrenme yöntemleri de bu gelişime dahil olmuştur. Yakın zamanlarda popüler olan ve yapay zekanın alt dalı olan derin öğrenme teknikleri, veriler arasındaki karmaşık ilişkileri daha iyi anlamak için kullanılmakta ve verilerin içerdiği bilinmeyen özellikleri daha doğru bir şekilde belirleyebilmektedir.
Bu tez çalışmasının amacı derin öğrenme tekniği içerisinde yer alan evrişimli sinir ağlarını kullanarak, bina ve yol ağlarının otomatik olarak çıkarılmasını sağlamaktır. Eğitim verisi olarak Inria hava görüntüsü kullanılmış ve model eğitilmiştir. Test verisi olarak Türkiye'ye ait Göktürk-1 uydu görüntüleri kullanılmıştır.  Evrişimsel sinir ağı modelinde U-Net mimarisi seçilmiştir. Bu mimari içerisinde çeşitli optimizasyonlar, batch boyutları ve öğrenme oranlarının tahmin görüntülerine etkisi incelenmiştir. SGD (Stokastik Gradyan İnişi), Adam (Uyarlanabilir Moment Tahmini), RMSprop (Karekök Ortalama Kare Yayılması), Nadam (Nesterov Hızlandırılmış Uyarlanabilir Moment Tahmini), Adagrad (Uyarlanabilir Gradyan Algoritması) ve Adadelta (Uyarlanabilir Delta) optimizasyonları kullanılmıştır. Batch boyutu ve öğrenme oranlarındaki değişimi izlemek amacıyla, Adam optimizasyonu sabit olacak şekilde diğer parametreler gözlemlenmiştir. Bu amaçla batch boyutu için 3 farklı durum boyutu (8,16,32) ele alınmıştır. Öğrenme oranında ise 1e-4 (10^(-4)) ve 1e-3 (10^(-3)) durumları incelenmiştir. Ayrıca, eğitim sayısının miktarındaki değişimlerin de sonuca etkileri değerlendirilmiştir.  Bu nedenle eğitim sayısı 1000,2500 ve 5000 görüntü olacak şekilde 3 gruptan oluşmaktadır. Tüm değişimleri 10 epok, 25 epok, 50 epok ve 100 epoktaki sonuçları şeklinde incelenmiştir. Doğruluk ölçütleri olarak hassasiyet, duyarlık, F1 skoru, doğruluk dice ve jaccard metrikleri kullanılmıştır.
Elde edilen bulgular doğrultusunda, batch boyutu 16 ve 1e-3 öğrenme oranının, model performansını optimize etmede etkili olduğu gözlemlenmiştir. Bu bilgi elde edildikten sonra eğitim sayısı 1000 için 6 farklı optimizasyon sonuçları değerlendirilmiştir. Bu optimizasyonlarda en iyi sonuç Adam, daha sonra ise RMSprop optimizasyonuna aittir.  100 epok sonucunda Adam optimizasyonunun doğruluğu %82.23, RMSprop optimizasyonun %78.76 iken diğer 4 optimizasyonun %40-50 civarında olduğu tespit edilmiştir. Adam optimizasyonunun Jaccard ve Dice metrikleri sırasıyla %81.89 ve %91.56'dir.  RMSprop'ta ise bu metrikler sırasıyla %70.84 ve %85.04'dir. Diğer optimizasyonların Jaccard ve Dice doğruluk ölçütleri ortalaması yaklaşık %30-40 seviyelerindedir. Eğitim sayısı 1000 iken tahmin edilen görüntülerin içerinde bazı yapılar tesis edilemediği belirlenmiştir. Eğitim sayısının arttırılmasıyla bu durumun ortadan kalktığı anlaşılmıştır. Çünkü eğitim sayısı 5000 görüntüden oluşan ve Adam ile optimize edilen görüntülerin tahmin sonuçları gayet başarılıdır. Bu başarılı sonucu 2018,2019,2020 ve 2021 yıllarında farklı zaman dilimlerinde (yaz mevsimi-kış mevsimi) alınan görüntülere uygulanmıştır. Ve kış mevsiminde alınan görüntülerin tahmin sonuçlarının kötü olduğu tespit edilmiştir.  U-Net mimarisi ile binaların tespit edilmesinin mümkün olduğu açıkça anlaşılmaktadır. Yol ağlarında ise, bina gibi başarılı sonuçlar üretememiştir. Bunun temel nedeni ise, görüntü üzerinde yol ağlarına yakın çok fazla bilgi içermesindendir. Çünkü yol ağlarının, yakınında araçların olması ya da ağaç gibi bitki örtüsünün yolu kapatmasından ötürü sonuçlara negatif olarak yansımıştır.

Abstract:
Buildings or road networks established on the earth's surface are geographic objects that are the subject or basis of many applications. The success of these applications depends on the currency of buildings and road networks. In their studies, researchers frequently use satellite or aerial photographs as data sources and focus on the automatic detection of these geographic objects. Various methods have been developed for the classification process from aerial photographs or satellite images. Artificial intelligence, machine learning, and deep learning methods, which have been among the most important research topics of the last century, have also been included in this development. Recently popular deep learning techniques, a subset of artificial intelligence, are used to better understand the complex relationships between data and to more accurately identify the unknown features contained within the data.
The aim of this thesis study is to extract buildings and road networks automatically using convolutional neural networks, a technique within deep learning. Inria aerial images were used as training data, and the model was trained. Göktürk-1 satellite images belonging to Turkey were used as test data. The U-Net architecture was selected for the convolutional neural network model. Within this architecture, various optimizations, batch sizes, and learning rates were investigated for their effects on predicted images. SGD (Stochastic Gradient Descent), Adam (Adaptive Moment Estimation), RMSprop (Root Mean Square Propagation), Nadam (Nesterov-Accelerated Adaptive Moment Estimation), Adagrad (Adaptive Gradient Algorithm) ve Adadelta (Adaptive Delta) optimizations were used. To monitor changes in batch size and learning rate, other parameters were observed while keeping the Adam optimization constant. For this purpose, three different batch sizes (8, 16, 32) were considered. Learning rates of 1e-4 and 1e-3 were investigated. Additionally, changes in the number of training iterations were evaluated. Therefore, the number of training iterations consists of three groups: 1000, 2500, and 5000 images. All changes were examined in the results at 10 epochs, 25 epochs, 50 epochs, and 100 epochs. Precision, recall, F1 score, accuracy, Dice, and Jaccard metrics were used as accuracy criteria.
Based on the obtained findings, a batch size of 16 and a learning rate of 1e-3 have been observed to be effective in optimizing model performance. After obtaining this information, the results of 6 different optimizations were evaluated for 1000 training iterations. In these optimizations, the best result belonged to Adam, followed by RMSprop optimization. At 100 epochs, the accuracy of Adam optimization was 82.23%, RMSprop optimization was 78.75%, while the other 4 optimizations were around 40-50%. The Jaccard and Dice metrics for Adam optimization were 81.89% and 88.25%, respectively. For RMSprop, these metrics were 70.84% and 85.08%, respectively. The average of Jaccard and Dice accuracy criteria for other optimizations is approximately 30-40%. It was observed that some structures could not be detected in the predicted images when the number of training iterations was 1000. This issue was resolved with an increase in the number of training iterations. Because the images consisting of 5000 training iterations and optimized with Adam yielded quite successful prediction results. This successful result was applied to images taken at different times (summer-winter) in 2018, 2019, 2020, and 2021. It was observed that the prediction results of images taken in winter were poor. It is clearly understood that buildings can be detected with the U-Net architecture. However, successful results have not been achieved for road networks. The main reason for this is that there is too much information near road networks in the image. This is because the presence of vehicles near road networks or vegetation such as trees blocking the road negatively affected the results.