Farklı derin öğrenme yaklaşımları ile yolların segmentasyonu
Road extraction using different deep learning approaches
Yazar: SİNAN SİVRİ
Danışman: PROF. DR. BÜLENT BAYRAM
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Harita Mühendisliği Ana Bilim Dalı / Uzaktan Algılama ve Coğrafi Bilgi Sistemleri Bilim Dalı
Derece: Yüksek Lisans, 2019
Konu: Jeodezi ve Fotogrametri = Geodesy and Photogrammetry

Özet:
Görüntülerden çizgiselliklerin özelliklerin çıkarımı görüntü işleme tekniklerinin
çözmeye çalıştığı en temel problemlerden biridir. Özellik çıkarımı hem verinin
saklanmasında hem de analiz edilmesinde büyük avantajlar sağlamaktadır. Özellik
çıkarımında derin öğrenme algoritmaları son dönemlerde oldukça popüler hale
gelmiştir. Bilgisayarlı görü, geomatik ve Coğrafi Bilgi Sistemleri (CBS) ile birlikte
yaygın olarak kullanılmaktadır. Modern bilgisayarların işlem kapasiteleri arttıkça
bilgisayarlı görü tekniklerinin uygulama alanları genişlemekte ve daha tatmin edici
sonuçlara ulaşılabilmektedir. Karayolu altyapısının güncellenmesi, afet yönetiminde,
afet sonrası kullanılabilir karayollarının belirlenmesi, ulaşım altyapısı ile ilgili planlama
faaliyetleri, bilgi üretiminin standartlaştırılması bakımından çok önemlidir. Derin
öğrenme algoritmaları, gürültülü ve karmaşık yapıya sahip veri setlerinde klasikleşmiş
makine öğrenmesi algoritmalarına göre daha tutarlı sonuçlar vermektedir. Bu bağlamda
3 bantlı (Kırmızı-Yeşil-Mavi) yüksek çözünürlüklü ortofotolar üzerinden karayollarının
otomatik bölütlenmesini sağlayan derin öğrenme modelleri eğitilmiştir. Karayollarının
çıkartılması, bir bölütleme işlemini tanımlamaktadır. Bu nedenle kodlayıcı-çözücü
yapısına sahip ve bölütleme işlemleri için tasarlanan Segnet, Unet ve Linknet mimarileri
temel alınmıştır. Çalışma kapsamında Savaştepe, İstanbul ve Massachusetts
konumlarına ait ortofoto görüntüler derin öğrenme mimarilerinin eğitiminde
kullanılmıştır. Buna ek değerlendirme amacıyla Bergama konumunda elde edilen
yüksek çözünürlüklü ortofoto görüntüler ile eğitilen tüm modellerin başarısı test
edilmiştir. Eğitim verisinin oluşturulmasında uzman operatör tarafından sayısallaştırılan
karayolları kullanılmıştır. Kullanılan etiket bilgisi uzman operatörlerin ürettiği karayolu
sınırlarından elde edilmiştir. Eğitimde kullanılan ortofotolar 512 piksel satır ve sütun
büyüklükte parçalara bölünmüştür. Eğitim işlemi için k-Katlı Çapraz Doğruluk yöntemi
uygulanmış; k parametresi 5 olarak seçilmiştir. Buna göre veri setleri 5 parçaya
bölünerek her bir parça test kümesi olarak sırayla kullanılmıştır. Segnet, Unet ve
Linknet mimarilerine ait modeller, herhangi bir ön eğitim yapılmadan Savaştepe veri
seti için 1098 örnek üzerinde eğitilmiş ve 264 örnek üzerinde test edilmiştir, İstanbul
veri seti için 1064 adet örnek üzerinde eğitilmiş ve 266 örnek üzerinde de test işlemi
gerçekleştirilmiştir. Massachusetts veri seti için ise 1800 eğitim ve 450 test örneği
kullanılmıştır. Test işlemleri için tamamen farklı bir konumdan elde edilen ve 30
görüntü örneği içeren Bergama veri seti kullanılmıştır. Doğruluk ölçütü olarak Dice ve
Jaccard katsayıları seçilmiştir. Eğitim işlemi sonucunda test doğruluğunda
Massachusetts veri seti için en yüksek doğruluk Segnet mimarisi ile 0,9935 Dice ve
0,9873 Jaccard olarak; Savaştepe veri seti için en yüksek doğruluk Segnet mimarisi ile
0,9891 Dice ve 0,9785 Jaccard; İstanbul veri seti için en yüksek doğruluk Segnet
mimarisi ile 0,9926 Dice ve 0,9854 Jaccard olarak elde edilmiştir. Her üç veri seti
üzerinde eğitilen tüm modeller Bergama veri seti ile test edilerek test doğruluklarındaki
değişim gözlenmiştir. Bergama ve eğitim yapılan veri seti içerisinde en az fark olan
model Segnet modelinin İstanbul veri seti üzerinde eğitilen varyantı; en başarılı model
olarak seçilmiştir. Seçilen modelin başarısı eğitimde kullanılan Savaştepe ve
Massachusetts veri setlerinin tamamı ile test edilerek eğitim yapılan veri seti üzerindeki
doğruluk parametrelerine göre karşılaştırılmıştır. Buna göre seçilen modelin veri setleri
üzerinde elde ettiği doğruluklar; Savaştepe veri seti için 0,8983 Dice ve 0,8261 Jaccard,
Massachusetts veri seti için 0,9627 Dice ve 0,9298 Jaccard olarak elde edilmiştir.
İstanbul veri seti hariç elde edilen ortalama doğruluk değerleri ise; 0,9235 Dice ve
0,8642 Jaccard olarak elde edilmiştir.

Abstract:
Feature extraction from digital imagery is one of the main application domain for digital
image processing. Feature extraction is essential for storing and analysis process. In
recent years deep learning algorithms become very popular for feature extraction and
image processing. Computer vision is highly integrated with geographic information
systems (GIS). As the computing capacity of modern computers increases, the field of
application of computer vision techniques expands and more satisfactory results can be
achieved. Updating process of road infrastructure data is very important in disaster
management, determination of usable roads after disaster, planning activities related to
transportation infrastructure and standardization of information production. Deep
learning algorithms can handle noise and complexity better compared to conventional
machine learning approaches. In this context, deep learning models has been trained on
3-band (Red-Green-Blue) orthophotos for segmentation of roads. Extraction of roads
defines a segmentation process. Therefore, Segnet Unet and Linknet architectures which
were based on encoder-decoder structure and designed to segment images, chosen for
this study. In this study orthophoto images are used for training data which acquired
from Turkey, Balıkesir, Savaştepe; Turkey, İstanbul and USA, Massachusetts.For
training process orthophotos are divided into patches with 512-pixel width and height.
K-Fold Cross Validation strategy put to work for thorough examination. k-Number of
folds parameter chosen as 5 which splits datasets into 5 parts and uses each part as a test
group while training on the rest of the dataset. Models trained on Savaştepe dataset
includes, 1098 training samples and 264 test samples; İstanbul dataset includes, 1064
training sample and 266 test samples and Massachusetts dataset includes 1800 training
samples and 450 test samples. For testing process Bergama dataset is used which
includes; 30 testing samples acquired from completely different location. Training
process performed without any pre-trained weights. Dice and Jaccard coefficients were
chosen as the accuracy metrics. After training process' completion, for Massachusetts
dataset Segnet architecture achieved highest test metrics as 0,9935 Dice and 0,9873
Jaccard coefficients; for Savaştepe dataset Segnet architecture achieved highest test
metrics as 0,9891 Dice and 0,9785 Jaccard coefficients and for Istanbul dataset Segnet
architecture achieved highest test metrics as 0,9926 Dice and 0,9854 Jaccard
coefficients. Each individual model trained on each dataset tasted with Bergama dataset
and test metrics assessed for choosing the best performing model. Best performing
model is Segnet with Istanbul dataset trained variant based on Bergama dataset test
processes. This model also tested against Savastepe and Massachusetts datasets for
comprehensive evaluation. In this regard model achieved 0,8983 Dice and 0,8261
Jaccard for Savastepe and 0,9627 Dice and 0,9298 Jaccard scores for Massachusetts
datasets. Mean Dice and Jaccard coefficients are calculated without Istanbul dataset
scores which are; 0,9235 and 0,8642 respecively.