Hiperspektral görüntü ve LiDAR verisinin derin öğrenme ile sınıflandırılması
Classification of hyperspectral and LIDAR data with deep learning
Yazar: HÜSEYİN EMRE MUTLU
Danışman: YRD. DOÇ. DR. SENİHA ESEN YÜKSEL
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Uzaktan algılama teknolojisi, askeri ve sivil olmak üzere pek çok alanda etkin bir şekilde kullanılmaktadır. Bu teknoloji güvenlik alanında kullanıldığında, hassas ve güvenilir görüntüleme sistemlerine ihtiyaç duyulmaktadır. Gelişmiş algılayıcılar sayesinde, görüntülenen bölgenin nitelikleri hakkında oldukça ayrıntılı bilgi içeren veriler elde edilebilmektedir. Karmaşık ve doğrusal olmayan bir yapıya sahip olan bu zengin içerikli veriler ileri düzey makine öğrenmesi algoritmaları ile birleştirilince, bir insanın gözlemleyerek elde edeceği bilgiden çok daha fazlası, ayrıntılı ve hızlı bir şekilde çıkarılabilir.	
Bu tez, farklı tipteki algılayıcılarla elde edilmiş hiperspektral görüntü (HSG) ve LiDAR verisinin birleştirilerek, bu verilerin görüntülediği bölgedeki yüzey materyallerinin yüksek isabet oranı ile sınıflandırılmasını hedeflemiştir. Bu hedef doğrultusunda, makine öğrenmesi alanındaki en güncel konu olan Derin Öğrenme'den faydalanılmıştır. Yapay sinir ağları ile kurulan çok katmanlı derin mimarilerin kullanıldığı Derin Öğrenme, son yıllarda uzaktan algılamada hedef tespiti ve sınıflandırma problemlerinin çözümünde ilk tercihlerden biri haline gelmiştir. Kendi içinde çok geniş alt konular barındıran Derin Öğrenme, Evrişimsel Sinir Ağı yapılarıyla bu tezdeki problemin asıl çözümü olmuştur. Yapılan deneylerde farklı sayıda katmandan oluşan sinir ağı modelleri test edilmiş ve sonuçlara göre modellerin parametreleri için en uygun değerler belirlenmiştir. Hiperspektral görüntü ve LiDAR verisi, eniyilenen modellerle sınıflandırılmış, sınıflandırma sonuçları, tezde önerilen birleştirme yöntemi ile birleştirilmiştir.
Tezde önerilen yöntemlerin başarısının ölçülmesi için Houston – ABD üzerinden alınan ve kentsel bölgeyi görüntüleyen bir veri kümesi kullanılmıştır. Bu veri kümesinin içerdiği çeşitli zorluklar nedeniyle bir takım ön işlemlere ve farklı tipte veriler bulunduğu için sınıflandırma sonrası işlemlere ihtiyaç duyulmuştur. Ön işlemlerden ilki, sınıflandırma sonucunda düşük isabet oranına sebep olan bulut gölgesinin etkisini azaltmak için geliştirilen gölge kestirimi ve düzeltme yöntemidir. Hiç bir işlem görmemiş HSG ile yapılan sınıflandırma sonucunda başarım %77.71 iken gölge düzeltildikten sonra bu başarım \%81.49'a çıkmaktadır. Ayrıca bu aşamada elde edilen gölge haritası veri birleştirme aşamasında da kullanılmaktadır. Bir sonraki aşama olan gürültü filtrelemede Yön Bağımlı Nüfuz Filtreleme (YBNF) tercih edilmiştir. Görüntülenen bölgenin kentsel alan olması sebebiyle görüntüde keskin hatlar bulunmaktadır ve gürültü, YBNF sayesinde görüntüdeki keskin hatlar kaybedilmeden azaltılabilmektedir. Filtreleme işlemi sonucunda isabet oranı %83.56'ya çıkmaktadır. Ön işlemlerin sonuncusu olan EMAP (Extended Morphological Attribute Profiles ise LiDAR verisinden uzamsal bilgileri çıkarmak için kullanılmıştır. Bu uzamsal bilgilerin sınıflandırılması sonucu elde edilen başarı \%56.87 iken, sınıflandırma sonrası işlem olarak önerilen birleştirme yöntemi kullanılarak HSG ile birleştirildiğinde başarı %89.12'ye çıkmaktadır. Son olarak uygulanan Çoğunluk Oylaması ile düzenlileştirilen sınıflandırma sonucu %93.88'dir.

Abstract:
Remote sensing is a technology which has many military and civil applications.  In applications for security, sensitive and reliable imaging systems are needed. Thanks to high end sensors, data obtained by these sensors contains detailed information about the attributes of the observed region. If this rich data which has a complex nonlinear structure is combined with advanced machine learning algorithms, far more information can be inferred compared to a human observer.	
This thesis aims to classify surface materials over the region of interest with high accuracy by fusing hyperspectral image (HSI) and LiDAR data which are acquired by different types of sensors. To achieve this goal, Deep Learning, which is the most current topic of machine learning, is utilized. In recent years, Deep Learning, where deep network architectures that are constructed with multiple artificial neural layers, is the first option for the solution of classification and detection problems in remote sensing applications. Deep Learning has many subtopics and the Convolutional Neural Network is the main solution of the problem in this thesis. In the experiments, neural network models with different number of layers are tested, and their parameters are optimized according to the test results. Hyperspectral image and LiDAR data are classified with optimized models, and the results are fused by the method proposed in this thesis.	
For the evaluation of the performance of methods in this thesis, a dataset acquired over urban area in Houston – USA is used. Various preprocessing steps dealing with difficulties of dataset and postprocessing steps to fuse different type of data are needed. First of preprocessing steps is detection and correction of the effect of cloud shadow which degrades performance. Classification accuracy on unprocessed HSI is %77.71 and it increases to %81.49 after shadow correction. Also, the shadow map obtained in this step is used for fusion. In next step where the noise is filtered, Anisotropic Diffusion Filter (ADF) is preferred. Images include sharp edges since data was acquired over urban area and by ADF, edges are preserved while noise is filtered. After filtering, classification accuracy increases to %83.56. EMAP (Extended Morphological Attribute Profiles) technique, which is the last preprocessing task, is used to extract spatial features from LiDAR data. While the accuracy of classification of spatial features is %56.87, fusion method proposed as postprocessing in this thesis is used and accuracy is increased to %89.12. Finally, after applying Majority Voting for regularization, overall accuracy is %93.88.