Evrişimli sinir ağları kullanılarak hiperspektral görüntülerin sınıflandırılması
Classification of hyperspectral images using convolutionalneural network
Yazar: ALİ GÜNDÜZ
Danışman: PROF. DR. ZEYNEP ORMAN
İstanbul Üniversitesi-Cerrahpaşa / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Hiperspektral görüntüleme, görünür ve kısa dalga kızılötesi spektrumları arasında yer alan geniş bir spektral aralığı boyunca detaylı ve sürekli bir spektral görüntü sağlar. Hiperspektral görüntüler, binlerce spektral bant içerebilen, nesnelerin veya arazinin derinlemesine bir görüntüsünü barındırır. Bu yüzden, gözle görülemeyen karmaşık detayları içerir ve dolayısıyla, bu görüntülerin analizi maden keşfi, tarım, çevresel izleme ve askeri istihbarat gibi çeşitli sektörlerde pek çok uygulama alanında son derece önemlidir. Hiperspektral görüntülerin etkin bir şekilde kullanılabilmesi için, bu tür görüntülerin dikkatli bir şekilde sınıflandırılması gereklidir. Sınıflandırma, bir görüntünün her bir pikselini önceden belirlenmiş sınıflara veya kategorilere atama sürecidir. Hiperspektral görüntülerin sınıflandırılması, derin bir uzmanlık ve özen gerektiren karmaşık bir süreçtir. Hiperspektral görüntüler, büyüklük ve boyut açısından geniş bir alanı kaplar ve her bir piksel, yüzlerce hatta binlerce spektral bant içerebilir. Dolayısıyla, bu bollukta bilgi, sınıflandırma ve analiz için devasa bir veri hacmi oluşturur. Hiperspektral görüntülerin doğru bir şekilde sınıflandırılması, genellikle spektral ve mekansal bilgilerin uzmanlıkla birleştirilmesini gerektirir. Spektral bilgi, her bir pikselin elektromanyetik spektrum boyunca ne kadar ışığı yansıttığını ve emdiğini ifade eder. Diğer yandan, mekansal bilgi, piksellerin bir görüntü içindeki yerleşimini ve birbiriyle olan ilişkilerini açığa çıkarır. Bu iki bilgi türünün bir araya getirilmesi, hiperspektral görüntülerin tam ve doğru bir şekilde sınıflandırılmasında kritik bir rol oynar. Bunun için, hem spektral hem de mekansal bilgiyi kapsayan ve bu bilgileri etkili bir şekilde entegre eden bir yöntemin kullanılması gerekmektedir. Hiperspektral Görüntülerin tam ve doğru bir şekilde sınıflandırılması genellikle, güçlü modelleme ve öğrenme yetenekleri sayesinde bu süreci yönetebilen makine öğrenmesi veya derin öğrenme teknikleri ile gerçekleştirilir. Hiperspektral görüntülerin sınıflandırılması, veriye gömülü zengin bilgilerin ortaya çıkarılmasına yardımcı olur ve bu sayede daha bilinçli ve doğru kararlar alabilmemize olanak sağlar.
Bu tez çalışması, hiperspektral görüntü sınıflandırması için evrişimli sinir ağları kullanan bir yaklaşım önermektedir. Bu amaçla, ilk olarak, hiperspektral görüntülerin karakteristikleri ve bu görüntülerin sınıflandırılmasıyla ilgili mevcut teknikler ve literatürde bu alanda yapılmış çalışmalar incelenmiştir. Bu kapsamlı literatür taraması, hiperspektral görüntü sınıflandırma sürecinde karşılaşılan zorlukları ve potansiyel araştırma fırsatlarını ortaya koymaktadır. İkinci aşamada, hem spektral hem de mekansal özelliklerin derinlemesine analizine odaklanan yenilikçi bir model önerilmiştir. Önerilen bu model, evrişimli sinir ağları (Convolutional Neural Networks - CNN) ve tekrarlayan sinir ağları (Recurrent Neural Networks - RNN) teknolojilerinin birleşimini kullanmaktadır. Bu iki güçlü ağ yapısının hibritleştirilmesi, hiperspektral görüntülerin karmaşıklığını yönetme ve daha etkili bir sınıflandırma gerçekleştirme yeteneği sunmuştur. Çalışmanın devamında ise, hiperspektral görüntü sınıflandırma alanında kullanılan çeşitli veri kümeleri araştırılmıştır. Tez çalışması kapsamında oluşturulan modelin ilgili veri kümeleri üzerinde uygulanmasıyla elde edilen sonuçlar, literatürde son yıllarda gerçekleştirilen çalışmalarda önerilen başarılı modeller ile elde edilen sonuçlarla karşılaştırılmıştır. Son olarak, önerilen modelin genel başarısı ve diğer modellere kıyasla artı ve eksi yönleri irdelenmiştir.

Abstract:
Hyperspectral imaging provides a detailed and continuous spectral image across a wide spectral range located between visible and short-wave infrared spectrums. Hyperspectral images offer an in-depth view of objects or terrain, extending beyond thousands of spectral bands. Hence, it contains intricate details that are invisible to the naked eye, the analysis of these images is extremely important in many applications in various industries such as mineral exploration, agriculture, environmental monitoring and military intelligence. For these hyperspectral images to be utilized effectively, it is necessary to meticulously classify such images. Classification is the process of assigning each pixel of an image to predetermined classes or categories. This classification process is critical in determining, particularly in agricultural applications, when a particular area needs irrigation, which regions are damaged, or which crops are showing the best growth. Classification of hyperspectral images is indeed a complex process that requires deep expertise and care. Hyperspectral images cover a vast area in terms of size and dimension, and each pixel can contain hundreds, even thousands of spectral bands. Consequently, this abundance of information creates a colossal data volume for classification and analysis. Correct classification of hyperspectral images typically requires the expert combination of spectral and spatial information. Spectral information refers to how much light each pixel reflects and absorbs along the electromagnetic spectrum. On the other hand, spatial information reveals the location and interrelationships of pixels within an image.
The combination of these two types of information plays a critical role in fully and accurately classifying hyperspectral images. For this, a method that encompasses both spectral and spatial information and integrates this information effectively needs to be used. The complete and accurate classification of Hyperspectral Images is often achieved through deep learning or machine learning techniques that can manage this process thanks to their powerful modeling and learning capabilities. The classification of hyperspectral images helps to reveal the rich information embedded in the data and thereby enables us to make more informed and accurate decisions.
This thesis proposes an approach using convolutional neural networks for hyperspectral image classification. Initially, the characteristics of hyperspectral images and the existing techniques and literature related to their classification have been examined. This comprehensive literature review reveals the difficulties encountered in the process of hyperspectral image classification and potential research opportunities. In the second stage, an innovative model focusing on the in-depth analysis of both spectral and spatial features is proposed. This model utilizes the combination of Convolutional Neural Networks (CNN) and Recurrent Neural Networks (RNN) technologies. The hybridization of these two powerful network structures offers the ability to manage the complexity of hyperspectral images and perform more effective classification. Following this, data sets used in the field of hyperspectral image classification have been researched. The results obtained using the created model have been compared with successful models implemented in recent years. Finally, the overall success of the created model and its pros and cons compared to other models have been examined.