Aktarımlı öğrenme ile SENTINEL-2 uydu görüntülerinden kıyı çizgisi çıkarımı
Shoreline extraction from SENTINEL-2 imagery by transfer learning
Yazar: SELENNUR KARAGÖL
Danışman: PROF. DR. BÜLENT BAYRAM
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Harita Mühendisliği Ana Bilim Dalı / Uzaktan Algılama ve Coğrafi Bilgi Sistemleri Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Jeodezi ve Fotogrametri = Geodesy and Photogrammetry

Özet:
Kıyı alanları, insan etkileri ve doğal sebeplerden kaynaklanan dinamik değişiklerin olduğu, ekonomik ve sosyal açıdan nitelikli bölgelerdir. Kıyı çizgileri küresel ısınma, nüfus artışı, çevre kirliliği, kentleşme etkileriyle sürekli bir değişim içindedir.  Doğal ve antropojenik etkilerle meydana gelen değişimlerin izlenmesi; kıyı kaynak yönetimi, çevresel koruma, erozyon yönleri,  kıyı çizgisinin gelecekteki konumlarının belirlenmesi, güvenli navigasyon ve kıyı planlaması için önemlidir.  Uydu görüntüleri kıyı çizgilerinin izlenmesi için anlık, doğru, güvenilir ve güncel sonuçlar sağlamaktadır. Son teknoloji derin öğrenme ve aktarımlı öğrenme yaklaşımları kıyı çizgisinin çıkarılması için yeni olanaklar sağlar. Sunulan tezde, aktarımlı öğrenmeye dayalı kıyı çizgisi çıkarımı için SENTINEL-2 uydu görüntüleri ve U-Net derin öğrenme mimarisi kullanılmıştır. U-Net mimarisi; kodlayıcı ve kod çözücü olmak üzere iki aşamadan oluşmaktadır. Bu mimaride kodlayıcı katmanlarında üretilen özellik haritaları veri kaybını aza indirmek için özellik aktarımı ile kod çözücü katmanlarına aktarmaktadır. Çalışmada, tam çerçeve 15 adet SENTİNEL-2 uydu görüntülerinin  mavi, kırmızı ve yakın kızılötesi bantları kullanılmıştır. Kullanılan 15 SENTINEL-2 uydu görüntülerinden 8 tanesi U-Net derin öğrenme ağının eğitim aşaması için ve 7 tanesi eğitilen ağın test aşaması için kullanılmıştır. Eğitim görüntülerinin etiketli verilerini üretmek amacıyla ilk olarak OpenStreetMap (OSM) kullanılarak su sınıflarının vektör verileri oluşturulmuştur. Oluşturulan vektör veriler üzerinde elle düzeltme yapılarak su (siyah) ve kara (beyaz) sınıflarını belirten ikili görüntüler hazırlanmıştır. Tam çerçeve uydu görüntüleri ve etiketli görüntüler 512x512 piksel boyutlarında kırpılmıştır ve 115 adet görüntü parçası içeren eğitim veri seti hazırlanmıştır.  Önceden eğitilmiş modele ait özellikler ve ağırlıklar için LANDSAT-8 uydu görüntüleri ile gerçekleştirilen derin öğrenme çalışmasından yararlanılmıştır. Ptyhon platformunda hazırlanmış eğitim veri seti ve önceden eğitilmiş modelin ağırlıkları kullanılarak eğitim işlemi gerçekleştirilmiştir. U-Net derin öğrenme ağı kullanılarak, 7 adet test görüntüsünden su ve kara sınıflarını içeren ikili görüntüler elde edilmiştir.  Elde edilen ikili görüntülerin vektör formatı oluşturularak kıyı çizgileri elde edilmiştir. Kıyı çizgilerinin doğruluğunu analiz etmek için elle sayısallaştırılan kıyı çizgileri ve bölütleme doğruluğunu analiz etmek için sayısallaştırılan kıyı çizgilerinden oluşturulan ikili görüntüler kullanılmıştır. Sayısallaştırılan kıyı çizgileri ve ikili görüntüler doğruluk analizi için referans veriler olarak kullanılmıştır. Çalışma sonucunda; bölütleme doğruluk analizi için ortalama doğruluk, duyarlılık, hassasiyet, özgünlük ve F-Skor değerleri sırasıyla 0.9917, 0.9927, 0.9908, 0.9907 ve 0.9917 olarak hesaplanmıştır. Kıyı çizgileri için ortalama hata sırasıyla 7 Portekiz için 7.O9 m, İtalya için 5.42 m, Mısır için 7.65 m, Finlandiya için 8.02 m, Kırım için 5.7 m, ABD için 3.40 m ve Riga için 3.65 m olarak hesaplanmıştır. Tez çalışma sonuçları, U-Net mimarisi ve aktarımlı öğrenme kullanılarak  az sayıda görüntü ile kıyı çizgisi çıkarımının mümkün olduğunu göstermektedir.

Abstract:
Global warming, increasing population, environmental pollution and urbanization can constantly affect shorelines. Sustainable monitoring of coastal zones is vital to detect changes which can occur due to natural and anthropogenic effects. Thus, sustainable shoreline monitoring is essential for coastal resource management, environmental protection and planning, navigation, directions of erosion and estimating future positions of the shorelines. Satellite images provide accurate, reliable, temporal and up-to-date information for shoreline monitoring. State-of-the-art deep learning (DL) and transfer learning approaches brought opportunities for shoreline extraction. In this thesis, SENTINEL-2 satellite images and U-Net deep learning architecture were used for shoreline extraction based on transfer learning. U-Net architecture consists of two stages: encoder layers and decoder layers. In this architecture, feature maps in the encoder layers were transferred to decoder layers by feature transfer in order to minimize data loss. In this study, 15 full frame SENTINEL-2 satellite images which has blue, red and near infrared bands have been used.  8 of SENTINEL-2 images have been used for training phase of the U-Net network and 7 of them for testing phase of the trained network. In order to generate labels of training data, vector data of water body were created by OpenStreetMap(OSM). Binary images have been prepared by manually editing on vector data. Full frame satellite images and labels have been cropped as 512x512 pixels. 115 and 235 patches have been created for the training and testing dataset, respectively. The pre-trained weights have been obtained from another study which is a network trained with LANDSAT-8 imageries. The training process was carried out using pre-trained weights and prepared training set in Python. By U-Net architecture, land-water bodies have been obtained as binary images from 7 test images. All binary images were converted to vector form and shorelines were obtained. Confusion matrix and DSAS have been used for accuracy assessment. According to result of study; average accuracy, recall, precision, specivity and F-score of the model values has been calculated as 0.9917, 0.9927, 0.9908, 0.9907 and 0.9917, respectively.  The average errors have been calculated as 7.O9 m (Portugal), 5.42 m (İtaly), 7.65 m (Egypt), 8.02 m (Finland), 5.7 m (Crimea), 3.40 m (USA) and 3.65 m (Riga). The results show that it is possible to obtain high accurate shoreline with limited data using transfer learning.