Tarihi hava fotoğraflarının derin öğrenme ile semantik segmentasyonu
Semantic segmentation of historical aerial photographs using deep learning
Yazar: GÜLSENA YILANCI
Danışman: DOÇ. DR. MUSTAFA DİHKAN
Karadeniz Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Harita Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Jeodezi ve Fotogrametri = Geodesy and Photogrammetry

Özet:
Tarihi görüntü arşivleri, uydu çağından önceki dünya bölgeleri hakkında değerli 
bilgiler sağlar. Arazi örtüsü ve kullanımı hakkında bilgi edinmek ve zamansal değişimlerin 
gözlemlenebilmesi açısından bu arşivler vazgeçilmez bir kaynak olmuştur. Bu durum, tarihi 
hava fotoğraflarının yüksek doğrulukta semantik olarak anlamlandırılmasını gerektirmiştir. 
Çalışmada, semantik segmentasyon işlemi için U-Net omurgalı DeepLabV3 modeli 
uyarlanarak kullanılmış ve bu mimarinin tarihi hava fotoğrafları üzerindeki başarımı zemin 
ve zemin üstü objeleri kapsayacak şekilde 5 sınıflı ve 3 sınıflı olarak değerlendirilmiştir. 
Veri etiketleme süreci, LabelMe yazılımı ile manuel olarak gerçekleştirilmiştir. Tarihi hava 
fotoğrafları, toplamda 120 adet 256×256 piksel boyutu ile alt parçalara bölündükten sonra 
eğitim, validasyon ve test kümelerine ayrılmıştır. Ayrıca mimariye, söz konusu tarihi hava 
fotoğraflarının 3 boyutlu değerlendirilmesiyle üretilmiş Sayısal Yükseklik Modeli (SYM) 
ilave edilerek sonuçlar karşılaştırılmıştır. Performans değerlendirme aşamasında, kesişim 
birleşim oranı (Intersection over Union - IoU) ve F1 Skor doğruluk metrikleri kullanılmıştır. 
5 sınıflı veri için F1 Skor %60.94 ve IoU %46.90, 3 sınıflı veri için F1 Skor %76.19 ve IoU 
%66.85, SYM eklenerek oluşturulmuş 5 sınıflı veri için F1 Skor %61.48 ve IoU %47.53, 3 
sınıflı veri için F1 Skor %77.59 ve IoU %68.24 düzeyinde hesaplanmıştır.

Abstract:
Historical image archives provide valuable information about the regions of the world 
before the satellite era. These archives have been an indispensable source for obtaining 
information about land cover and use and observing temporal changes. This situation 
necessitated the semantic interpretation of historical aerial photographs with high accuracy. 
In the study, U-Net backbone DeepLabV3 model was adapted and used for semantic 
segmentation and the performance of this architecture on historical aerial photographs was 
evaluated as 5-class and 3-class to cover ground and above-ground objects. The data labeling 
process was performed manually with LabelMe software. Historical aerial photographs were 
divided into training, validation and test sets after being divided into 120 sub-segments with 
a total size of 256×256 pixels. In addition, Digital Elevation Model (DEM) produced by 
evaluating the historical aerial photographs in 3D was added to the architecture and the 
results were compared. Intersection over Union (IoU) and F1 score accuracy metrics were 
used in the performance evaluation phase. For 5-class data, F1 Score was calculated as 
60.94% and IoU as 46.90%, for 3-class data, F1 Score was calculated as 76.19% and IoU as 
66.85%, for 5-class data created by adding SYM, F1 Score was calculated as 61.48% and 
IoU as 47.53%, for 3-class data, F1 Score was calculated as 77.59% and IoU as 68.24%.