Derin öğrenme algoritmaları kullanılarak çay alanlarının otomatik segmentasyonu
Automatic segmentation of tea fields by using deep learning algorithms
Yazar: SALİH BOZKURT
Danışman: PROF. DR. BÜLENT BAYRAM
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Harita Mühendisliği Ana Bilim Dalı / Uzaktan Algılama ve Coğrafi Bilgi Sistemleri Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Jeodezi ve Fotogrametri = Geodesy and Photogrammetry

Özet:
Orman alanlarının, ağaç türlerinin otomatik olarak belirlenmesi, doğal kaynakların yönetimi açısından kritik bir öneme sahiptir. Ülkemizde kentsel ve orman haritalarının üretimi 1940' lı yıllardan günümüze dek fotogrametrik yöntemler kullanılarak gerçekleştirilmektedir. Hava fotoğraflarından orman sınırı ve ağaç türlerinin belirlenmesi geleneksel stereo değerlendirme yöntemleri ile yapılmakta olup, bu durum, iş ve zaman açısından yüksek maliyet gerektirmektedir. Sunulan tez çalışmasında önerilen yöntem ile otomatik olarak çay alanlarının sınıflandırılması, derin öğrenme algoritmaları kullanılarak gerçekleştirilmiştir. Derin öğrenme algoritmaları, özellik çıkarımı işlemini veriden otomatik olarak yapan bir makine öğrenme yöntemidir. Son zamanlarda popülerlik kazanan derin öğrenme, ses tanıma, nesne tanıma, el yazısı tanıma ve görüntü sınıflandırma gibi birçok farklı bilgisayar tanı işlemlerinde kullanılmaktadır. 
Sunulan tez kapsamında, derin öğrenme temelli bir yaklaşım kullanılarak yüksek çözünürlüklü görüntülerden çay alanlarının otomatik çıkartılması amaçlanmıştır. Bu amaç doğrultusunda, görüntüler içindeki çay alanları ve çay alanları dışında kalan alanları sınıflandırmak için VGG19 ağ yapısına sahip SegNet mimarisi kullanılmıştır. Derin öğrenme temelli algoritmalar, farklı spektral bant kombinasyonları kullanılarak eğitilmiştir. Bu kombinasyonlar içerisinde; RGB (kırmızı-yeşil-mavi), NirRG (yakın kızılötesi-kırmızı-yeşil), NDVI (normalleştirilmiş fark bitki indeksi) ve NDVIRG (NDVI-kırmızı-yeşil) kombinasyonları bulunmaktadır. Multispektral görüntüler, 30x30 cm yer örneklem aralığına sahip bir sayısal hava kamerası kullanılarak elde edilmiştir.
Derin öğrenme algoritmalarına ilişkin çalışmalar Matlab®' in 2017b versiyonunda gerçekleştirilmiştir. Matlab® programının lisansı, Yıldız Teknik Üniversitesi tarafından sağlanmıştır.
Sunulan tez çalışması kapsamında, Trabzon' un Hayrat ilçesinde bulunan çay alanları için Nisan 2013 yılına ait 25 adet 1:5000 ölçekli yüksek çözünürlüklü ortofoto görüntü kullanılmıştır. Kullanılan ortofoto görüntüler, kırmızı, yeşil, mavi ve yakın kızılötesi (RGBNir) olmak üzere 4 banta ve her bant 8 bitlik radyometrik çözünürlüğe sahiptir. Kullanılan her bir ortofoto görüntünün yeryüzünde kapladığı alan 453.6  hektardır.
Sunulan tez çalışmasında, 15 (%60) görüntü eğitim, 10 (%40) görüntü ise test amaçlı kullanılmıştır. VGG19 ağ yapısına sahip SegNet mimarisi, farklı sayıya ve bant kombinasyonuna sahip  eğitim verileri kullanılarak eğitilmiştir. Eğitim verileri 200x200 piksel boyutlarında 15 adet ortofoto görüntüden rastlantısal olarak seçilerek hazırlanmıştır. Sırasıyla 250, 400, 600 ve 1000 adet görüntü seti kullanılarak sistem eğitilmiş ve sonuçlar analiz edilmiştir. Önerilen yöntemin doğruluk analizi, fotogrametri operatörünce stereoskopik sayısallaştırma ile üretilen referans verilerinin, önerilen yöntemden elde edilen sonuçların  karşılaştırılmasıyla gerçekleştirilmiştir. Değerlendirme, Sørensen-Dice Benzerlik Katsayısı algoritması kullanılarak yapılmış ve doğruluklar belirlenmiştir. Önerilen yöntem için, RGB, NirRG, NDVIRG ve NDVI için sırasıyla %90.91, %91.16, %91.51 ve %53.39 doğruluk değerlerine ulaşılmıştır. Geleneksel stereo sayısallaştırma ile karşılaştırıldığında, önerilen yöntem, hem doğruluk hem işlem süresi bakımından daha etkili sonuçlar üretmektedir. Genel olarak, geleneksel stereoskopik değerlendirme işlemi, bir görüntü için yaklaşık olarak sekiz saat alırken, önerilen yöntem, aynı görüntü için ortalama beş dakikada sınıflandırma işlemini tamamlamaktadır.

Abstract:
Automatic classification of forest areas and tree species has vital importance for environmental management issue. Urban and forest map production is realized by using photogrammetric techniques in our country since 1940's. The traditional forest map generation by stereoscopic evaluation is time consuming. In this thesis, a new method is proposed using deep learning methods for automatic extraction of tea fields. Deep learning algorithms are machine learning algorithms that automatically extract features from data. It gained more popularity in recent times and have been successfully used in various computer vision tasks such as voice recognition, object recognition, handwriting recognition and image classification.
The objective of this thesis was to extract tea fields from high resolution imagery using deep learning-based approach. To achieve this objective, SegNet architecture with VGG19 network structure had been adopted to classify images into tea fields and non-tea fields. The deep learning based algorithms were trained using various combination of various spectral channels. These combinations include RGB (red-green-blue), NirRG (near infrared-red-green), NDVI (normalized difference vegetation index) and NDVIRG (NDVI-red-green). The multispectral images were acquired using an aerial digital camera at 30x30 cm ground sample distance.
The algorithms used in the thesis have been implemented using 2017b version of Matlab® which is licensed by Yildiz Technical University.
In this thesis, 1:5000 scaled 25 very high resolution orthophoto images of Hayrat region of Trabzon have been used. The aerial images for orthophoto creation were taken on April 2013. Each orthophoto image consists of four bands which are red, green, blue and near-infrared (RGBNir). The radiometric resolution of the orthophoto images was 8 bits. Each orthophoto map covers 453.6 ha area on the earth.
For evaluation of the proposed method, 15 images (60%) have been used for training and 10 (40%) images for testing. SegNet architecture with VGG19 network structure was trained using different amount of images with different band combinations to test its efficiency under varying amount of data. The training data has been prepared from 15 orthophoto images by randomly selecting data in size of 200x200 pixels image patches. 250,400,600 and 1000 training image-set have been used respectively and system has been trained and the results have been analyzed. The photogrammetrically evaluated tree field segments have been taken as reference data for accuracy assessment. Sørensen-Dice Similarity Coefficient algorithm has been utilized for accuracy assessment. As a result, three fields have been segmented in 90.91%, 91.16%, 91.51% and 53.39% accuracy for RGB, NirRG, NDVIRG and NDVI band combinations respectively. Compare to traditional photogrammetric evaluation, the proposed method is very efficient in terms of both accuracy and processing time. Normally, stereoscopic evaluation required approximately 8 hours to process a single image. On the other side, the average processing time of the proposed method to classify the same image was 5 minutes.