Derin öğrenme tabanlı bölütleme yöntemleriyle deprem sonrası uydu görüntülerinden hasarlı bölgelerin tespiti: 6 Şubat 2023 Türkiye depremleri örneği
Detection of damaged regions from post-earthquake satellite images with deep learning based segmentation methods: The case of February 6, 2023 Türkiye earthquakes
Yazar: MEHMET CAN EKKAZAN
Danışman: PROF. DR. MİNE ELİF KARSLIGİL
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Anlamsal bölütleme = Semantic segmentation ; Bilgisayarla görme = Computer vision ; Bölütleme = Segmentation ; Derin öğrenme = Deep learning ; Görüntü bölütleme = Image segmentation ; Makine öğrenmesi = Machine learning ; Sayısal görüntü işleme = Digital image processing ; Örüntü tanıma = Pattern recognition

Özet:
Doğal afetlerden sonra, etkili müdahale ve iyileştirme stratejileri için hızlı ve doğru hasar tespiti  oldukça önemlidir. Bu tez çalışmasında, 6 Şubat 2023 tarihinde Türkiye'de gerçekleşen ve 10 şehri etkileyen depreme ait 481,72km2 alanı kapsayan uydu görüntüleri kullanılarak 1183 görüntüden ve 2080 hasarlı olarak etiketlenmiş poligondan oluşan TE23D (6 Şubat 2023 Türkiye Depremleri) Veri Kümesi geliştirilmiş ve bu veri kümesi kullanılarak hasarlı binaların tespitini yapan derin öğrenme tabanlı bir sistem tasarlanmış ve gerçeklenmiştir.
Bu tez çalışmasının hipotezi, binalarda depremlerden kaynaklanan hasarın bir anomali olarak kabul edilebileceği ve bu hasarın anomali tespiti yaklaşımı ile tespitinin gerçekleştirilebileceğidir. Anomali tespiti yaklaşımı ile hasarlı binaların tespitinin performansının yeterli olup olmadığını değerlendirmek için TE23D veri kümesinin TE23D_A, TE23D_B1 ve TE23D_B2 olmak üzere üç farklı versiyonu oluşturulmuştur. TE23D_A veri kümesi sadece hasarlı alanların etiketlendiği veri kümesiyken, TE23D_B1 ve TE23D_B2 veri kümeleri hasarlı alan etiketleriyle birlikte hasarsız bina etiketlerini içermektedir. İstanbul Veri Kümesi üzerinde eğitilen U-Net++ modeli, TE23D_B1 veri kümesi oluşturulurken ve Massachusetts Buildings Dataset üzerinde eğitilen U-Net modeli TE23D_B2 veri kümesi oluşturulurken bina segmentasyonu için  kullanılmıştır.
Anomali tespiti yapılarak hasarlı alanların saptanabileceği hipotezini doğrulamak için önce sadece hasarlı binaların etiketlendiği veri kümesi ile derin öğrenme tabanlı segmentasyon modelleri eğitilerek performansları değerlendirilmiştir. Hasarlı alanların tespiti amacıyla anlamsal ve örnek segmentasyon yaklaşımlarına ait mimariler olan Mask R-CNN, U-Net, U-Net++, BEiT, DPT, MobileViT ve SegFormer dahil olmak üzere son yıllarda geliştirilen başarılı segmentasyon modelleri bu yaklaşımı doğrulamak için TE23D_A veri kümesi üzerinde eğitilmiştir. Ardından bu veri kümesi üzerinde en başarılı sonuçları veren SegFormer modeli, hasarsız bina etiketlerine sahip veri kümeleri üzerinde eğitilmiş, ve karşılaştırmalı analiz, TE23D_A veri kümesi üzerinde eğitilen modelin, diğer veri kümeleri üzerinde eğitilen modellerle benzer ve hatta daha iyi performans gösterdiğini ortaya koymuş ve sadece hasarlı alanların etiketlenmesinin başarılı hasar tespiti için yeterli olduğunu doğrulamıştır. SegFormer_A modeli, TE23D_A veri kümesi üzerinde %91.92 OPA ve %74.45 mIoU skorlarını elde etmiştir. Bu sonuçlara göre anomali tabanlı etiketleme yaklaşımı, SegFormer modelinin TE23D_A veri kümesi üzerindeki üstün performansının da gösterdiği gibi segmentasyon sürecini basitleştirmekte ve model doğruluğunu artırmaktadır.
Bulgular, afet sonrası hasar tespitinde yüksek kaliteli, odaklanmış veri kümelerinin değerinin altını çizmekte ve gelişmiş makine öğrenimi modellerinin afet müdahale ve iyileştirme çabalarını geliştirme potansiyelini vurgulamaktadır. Bu araştırma ile geliştirilen metodolojiler ve içgörüler, çeşitli doğal afet senaryolarında hızlı hasar tespiti için ölçeklenebilir ve verimli çözümler sunarak afet yönetimi alanına önemli ölçüde katkıda bulunmaktadır.

Abstract:
Natural disasters, especially earthquakes, require rapid and accurate damage assessment for effective response and recovery strategies. In this thesis, TE23D (Turkey Earthquakes of 6 February 2023 Dataset) dataset consisting of 1183 images and 2080 polygons labelled as damaged was developed using the satellite images covering 10 cities and ~481,72km2 taken after the earthquake that occurred on 6 February 2023 in Turkey, and a deep learning based system that detects damaged buildings was designed and implemented using this dataset.
The hypothesis of this thesis is that damage caused by earthquakes can be considered as an anomaly and this damage can be detected by anomaly detection approach. Three different versions of the TE23D dataset, namely TE23D_A, TE23D_B1 and TE23D_B2, were created to evaluate whether the performance of the anomaly detection approach is adequate. While the TE23D_A dataset contains labels of damaged areas only, TE23D_B1 and TE23D_B2 datasets contain building labels along with damaged area labels. The U-Net++ model trained on the Istanbul Dataset was used for building segmentation when creating the TE23D_B1 dataset and the U-Net model trained on the Massachusetts Buildings Dataset was used for building segmentation when creating the TE23D_B2 dataset.
In order to verify the hypothesis that damaged areas can be detected by anomaly detection, deep learning based segmentation models are trained with the dataset in which only damaged buildings are labelled and their performances are evaluated. Recently developed segmentation models including Mask R-CNN, U-Net, U-Net++, BEiT, DPT, MobileViT and SegFormer, which are architectures of semantic and instance segmentation approaches for the detection of damaged areas, were trained on the TE23D_A dataset to validate this approach. The SegFormer model, which gave the best results on this dataset, was then trained on datasets with undamaged building labels, and the comparative analysis revealed that the model trained on the TE23D_A dataset performed similarly or even better than the models trained on the other datasets, confirming that only labelling damaged areas is sufficient for successful damage detection. The SegFormer_A model achieved 91,92% OPA and 74,45% mIoU scores on the TE23D_A dataset. According to these results, the anomaly-based labelling approach simplifies the segmentation process and improves model accuracy, as demonstrated by the superior performance of the SegFormer model on the TE23D_A dataset.
The findings underline the value of high-quality, focused datasets in post-disaster damage assessment and highlight the potential of advanced machine learning models to enhance disaster response and recovery efforts. The methodologies and insights developed through this research contribute significantly to the field of disaster management by providing scalable and efficient solutions for rapid damage assessment in various natural disaster scenarios.