Derin öğrenme ile görüntülerden bina çıkarımı
Building extraction from images with deep learning
Yazar: SERDAR EKİZ
Danışman: DR. ÖĞR. ÜYESİ UĞUR ACAR
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Harita Mühendisliği Ana Bilim Dalı / Uzaktan Algılama ve Coğrafi Bilgi Sistemleri Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilim ve Teknoloji = Science and Technology ; Jeodezi ve Fotogrametri = Geodesy and Photogrammetry ; Mühendislik Bilimleri = Engineering Sciences

Özet:
Görüntülerden binaların çıkarılması, özellikle afetler sonrası değişiklik tespitleri ve şehirsel yönetimin planlanması gibi çalışmalar için gereklidir. Literatürde çok sayıda başarılı çalışma bulunmasına rağmen, farklı çatı renkleri ve bina mimarileri, gölge etkileri ve kentsel yapının çok sık değişiklik göstermesi nedeniyle, başarılı sayılan yöntemler bile genelleştirilememektedir. Yıllardır farklı metodolojiler denenmiş olsa da, son zamanlarda derin öğrenme yönteminin kullanılması, bu tür çalışmaların sayısını ve başarısını arttırmıştır. Sonuçlar ise, çoğunlukla piksel tabanlı yöntemler ile değerlendirilmektedir. Bu çalışmada da bahsedilen 2 yöntem, 180 adet yüksek çözünürlüklü hava fotoğrafı içeren, Inria veri seti ile birlikte kullanılmıştır. Orijinalde 5000x5000 piksel boyutunda olan görüntüler, 512x512 piksel boyutuna indirgenerek, toplam görüntü sayısı 10900'e çıkarılmıştır. Bunların %70'i eğitim, %20'si doğrulama ve %10'u test adımları için ayrılmıştır. Görüntülerden bina çıkarımında başarılı sonuçlar sunan U-Net modeli temel alınmıştır. Modelin kodlayıcı kısmında, önceden ImageNet veri seti üzerinde eğitilmiş ResNet mimarisinin, ResNet-50, SE-ResNet-50, ResNeXt-50 ve SE-ResNeXt-50 gibi farklı versiyonları kullanılmıştır. Böylece, ResNet mimarisine eklenen yapıların performansını ve modellerin başarısını karşılaştırmak amaçlanmıştır. Modellerin eğitim ve doğrulama adımlarındaki başarıları birbirilerine çok yakın olmakla birlikte, en başarılı sonucu SE-ResNeXt kodlayıcılı model vermiş, bunu SE-ResNet, ResNeXt ve ResNet kodlayıcılı U-Net modelleri takip etmiştir. Test adımında da benzer şekilde, sırasıyla Doğruluk, IoU ve F1 Puanı parametrelerinde SE-ResNeXt-50 kodlayıcılı model, %97.36, %85.02 ve %90.94 sonuçlarını, SE-ResNet-50 kodlayıcılı model, %97.28, %84.82 ve %90.82 sonuçlarını, ResNeXt-50 kodlayıcılı model, %97.22, %84.77 ve %90.78 sonuçlarını ve son olarak ResNet-50 kodlayıcılı model, %97.00, %84.50 ve %90.60 sonuçlarını elde etmiştir. Çalışmanın bir diğer amacı, en başarılı modelin genel kullanılabilirliğini test etmek olduğundan, kentsel dönüşüm projesi öncesi ve proje sırasındaki görüntüler ile, deprem öncesi ve sonrası görüntüler kullanılarak, Türkiye'den elde edilen verilerle model değerlendirilmiştir. Buna göre, model kullanılarak çeşitli tespitler gerçekleştirildiğinde, yüzeysel yorumlama yapılarak hızlı aksiyon alınabileceğini söylemek mümkündür. Fakat, çeşitli denemeler ve geliştirmeler ile güçlü modeller elde edildikçe, daha hassas ve doğru çıkarımlar yapabilmek mümkün olacaktır.

Abstract:
Extraction from buildings is especially necessary for studies such as post-disasters change detections and urban management planning. Even though there are many successful studies in literature, even the methods considered successful can't be generalized due to different roof color and building architectures, shadow effects and very frequent changes in urban structure. Although different methodologies have been tried for years, the use of deep learning method has recently increased the number and success of such studies. The results are mostly evaluated with pixel-based methods. In this study, the two methods mentioned were used with the Inria dataset, which contains 180 high-resolution aerial photos. The images, which were originally 5000x5000 pixel sizes were reduced to 512x512 pixel sizes and the total number of images increased to 10900. 70% of these are reserved for training, 20% for validation and 10% for testing steps. The U-net model, which present successful results in building extraction from images was based on. In the encoder part of the model, different versions of the ResNet architecture, such as ResNet-50, SE-ResNet-50, ResNeXt-50 and SE-ResNeXt-50, were used, which were previously trained on the ImageNet dataset. Thus, it was aimed to compare the performance of the structures added to the ResNet architecture and success of the models. Even though, the success of the models in the training and validation steps were very close to each other, the model with the SE-ResNeXt encoder gave the most successful result, followed by the U-Net models with the SE-ResNet, ResNeXt and ResNet encoder. Similarly, also in the test step, the model with the SE-ResNeXt-50 encoder obtained the results of 97.36%, 85.02% and 90.94% in the Accuracy, IoU and F1 Score parameters, respectively, the model with the SE-ResNet-50 encoder obtained the results of 97.28%, 84.82% and 90.82%, the model with the ResNeXt-50 encoder obtained the results of 97.22%, 84.77% and 90.78%, and finally the model with the ResNet-50 encoder obtained the results of 97.00%, 84.50% and 90.60%. Since another aim of the study is to test the general usability of the most successful model, the model was evaluated the data obtained from Turkey, using with images before and during the urban transformation project, and images before and after the earthquake. According to this, it is possible to say that when various determinations are made using the model, quick action can be taken by making superficial interpretations. However, as stronger models are obtained with various trials and developments, it will be possible to make more sensitive and correct inferences.