Hiperspektral görüntü analizi ile olağan dışı durum ve hedef tespiti
Anomaly and target detection with hyperspectral image analysis
Yazar: GÜRCAN LOKMAN
Danışman: PROF. DR. VEDAT TOPUZ ; DR. ÖĞR. ÜYESİ HASAN HÜSEYİN ÇELİK
Marmara Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2021
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Hava araçları ve uydular kullanılarak elde edilen yüksek kaliteli görüntü sayısındaki ve
çeşitliliğindeki kademeli artışla, bu görüntüleri otomatik olarak işleyebilen ve
yorumlayabilen bir uygulamaya duyulan ihtiyaç hızla artmaktadır. Kuşkusuz, bu
uygulamaların odak noktası hedef tanıma ve sınıflandırma problemleridir. Çeşitli
görüntüleme teknikleri ve farklı görüntü türleri olmasına rağmen, hiperspektral
görüntüler, malzemenin görüntü yüzeyindeki hassasiyeti ve daha doğru sonuçlar üretme
kabiliyeti nedeniyle bir adım öne çıkmaktadır. Hiperspektral görüntüler genellikle
görünür, yakın kızılötesi ve orta kızılötesi bölgelerde çok dar spektral bantları içerir. Bu
spektral bantlarla görüş alanındaki her bir piksel için neredeyse sürekli bir spektrum elde
edilebilirler. Böylece, geleneksel görüntü algılayıcılarına kıyasla hiperspektral görüntüler
ile sınıflandırma ve tanıma yöntemlerinde daha yüksek performans elde edilebilir.
Gerçek hayattaki uygulamalar düşünüldüğünde, hiperspektral görüntülerle çalışmak
zaman açısından çok fazla ek maliyet getirebilir. Çünkü geleneksel görüntülerde az sayıda
bant bulunur ve sınırlı büyüklükteki çerçevelerle işlem yapılır. Ancak hiperspektral
görüntülerde her maddenin yapısına ait bir spektral imza bulunur, bu da çok fazla sayıda
bant anlamına gelmektedir. Ait olduğu maddenin karakteristiğini içeren bu imza birçok
özellik barındırdığı için, o pikseli diğer piksellerden ayrıştırmak geleneksel görüntülere
göre çok daha kolaydır. Bu nedenle, hedef tanıma süreçlerinde görüntü çerçevelere
ayrılması gerekmez, onun yerine piksellerin hedefe ait olup olmadığını belirlemek için
her piksel ayrı ayrı incelenir. Hiperspektral görüntülerin az sayıda piksel içeren hedef
görüntüleri düşünüldüğünde daha avantajlı olduğu açıkça görülmektedir. Hiperspektral
görüntülerin avantajlarının yanı sıra, sahip olduğu dezavantajlar olan büyük veri boyutları
ve ek zaman maliyeti problemlerini aşmak için, az sayıda bant kullanmak ya da düşük
çözünürlüklü görüntüleri tercih etmek bir çözüm olarak düşünülebilir. Ancak böyle bir
yöntemde de elde edilen sonuçların doğruluk oranı azalabilir. Bu nedenle zaman
maliyetini arttırmadan hedef tanıma ve sınıflandırma başarısı yüksek yeni nesil algoritma
ihtiyacı halen devam etmektedir. Bu ihtiyaç göz önüne alındığında, bu tezin temel amacı,
hiperspektral görüntülerde hedeflerin tanınması ve sınıflandırılması süreçlerini en
güvenilir ve hızlı bir şekilde tamamlayabilecek bir algoritma sunmaktır.
Tez çalışmasında sınıflandırıcı olarak Yapay Sinir Ağları (YSA) tercih edilmektedir.
Ancak, geleneksel YSA, hiperspektral görüntüler gibi çok boyutlu, büyük ve dengesiz
veri kümelerine sahip verilerin sınıflandırmasında bazı önemli problemlere sahiptir.
Örneğin, büyük veri setleri eğitim süresinin uzamasına neden olurken, dengesiz veri
setleri ise eğitim aşamasında doğru bir öğrenmeyi engelleyebilir. Bu nedenle, bu tip
problemlerin önüne geçebilmek için çalışmada geleneksel öğrenme yöntemleri yerine
özdeğer bozunması adı verilen bir yaklaşım tercih edilmektedir. Bu yaklaşımda, sinir
ağlarının eğitimi için ayarlanması gereken ağırlık değerleri, hesaplama yöntemleri yerine
ağırlık matrisinin özdeğer minimizasyonu aracılığı ile bulunmaktadır. Bu yöntem ile
eğitimi yapılan sinir ağı, Özdeğer Bozunmalı Sinir Ağları (ÖBSA) adı ile anılmaktadır.
Tez kapsamında ÖBSA parametre minimizasyon işlemi için kullanılacak uygunluk
fonksiyonu hiperspektral görüntülere uygun olarak seçilmiş ve uyarlanmıştır. Çeşitli
optimizasyon yöntemleri olmasına rağmen bu tezde Genetik Algoritma (GA) ve Parçacık
Sürü Optimizasyon (PSO) algoritmaları gibi iyi bilinen iki yöntem tercih edilmiştir.
Optimizasyon algoritmalarının sonlandırma ölçütleri ve diğer parametreleri deneysel
çalışmalar sonucunda belirlenmiştir. Böylece, hedef ve hedef olmayan piksel oranlarının
eğitim üzerindeki olumsuz etkisi önlenmiş ayrıca zaman gereksinimi de en aza
indirgenmiştir. Tüm bu ayarlamalar sonunda, hedef tanıma ve hiperspektral görüntü
sınıflandırması için büyük ve dengesiz veri setlerinin olumsuzluklarından etkilenmeyen
hedef tanıma ve sınıflandırma sistemi ortaya çıkmıştır. Ek olarak, böyle bir sistemde
spektral bant sayısındaki artış, geleneksel sınıflandırıcıların aksine, sadece sistem giriş
sayısını etkilemekte, test aşamasında ek bir süre artışına neden olmamaktadır.
Bu tez çalışması kapsamında, hiperspektral görüntülerin seçimini, eğitimi, test süreçleri,
sonuçların elde edilmesi ve değerlendirme aşamaları gibi tüm hiperspektral sınıflandırma
işlemlerinin yapılmasını sağlayan genel amaçlı tümleşik bir hiperspektral görüntü işleme
sistemi oluşturulmuştur. Sistemin kullanımı kolaylaştırmak ve daha hassas ayarlamalar
yapabilmek adına kullanıcı dostu bir arayüz tasarlanmıştır. Tasarım sayesinde veri
setlerinin ön işlemesi, görüntülenmesi, spektral imzalarının incelenmesi, bant seçimi,
kullanılacak veri setlerinin oluşturulması, oluşturulan ağın gerçekleştirilen yöntem ile
eğitilmesi, test sonuçlarının elde edilmesi, hatalı sonuçların incelenmesi ve sonuçların
görselleştirilmesi gibi işlemlerinin tümü sistem üzerinden yapılabilmektedir.
Çalışmaya, gerçek zamanlı uygulamalarda kullanılabilecek kullanıcı destekli ÖBSA adı
verilen bölüm de dâhil edilmiştir. Tasarlanan bu yapı ile bilinmeyen bir coğrafyada elde
edilen hiperspektral görüntü sistem üzerinden görselleştirilebilmesi öngörülmektedir.
Operatör aracılığı ile ilgilenilen hedef ve arka plan verilerinin seçilerek sistemin eğitimi
sağlanabilmekte ve eğitim sonucunda sınıflandırma işleme yapılarak elde edilen sonuçlar
yine sistem üzerinden görüntülenebilmektedir. Böylece bilinmeyen coğrafya incelemesi
senaryolarında keşif ve değerlendirme süreçleri için kullanışlı bir sistem tasarımı ortaya
çıkmaktadır.
ÖBSA yönteminin sınıflandırma performansı, geliştirilen sistem aracılığı ile farklı
büyüklük ve özellikteki veri setleri kullanılarak test edilmiş ve elde edilen sonuçlar
literatürde bulunan geleneksel ve yeni nesil sınıflandırıcılar ile karşılaştırılarak
sunulmuştur. Geleneksel sınıflandırıcı olarak Destek Vektör Makineleri (DVM) tercih
edilmiş, yenilikçi yaklaşımlardan ise iki yeni tip derin öğrenmeli Evrişimli Sinir Ağları
(ESA) yöntemleri kullanılmıştır. Karşılaştırmada kullanılan ilk ESA sınıflandırıcısı
Piksel-Çifti Özellikli Evrişimli Sinir Ağları (PÇÖ-ESA) algoritmasıyken ikinci sınıflandırıcı
Topluluk Öğrenmeli Evrişimli Sinir Ağları (TÖ-ESA) algoritmasındır.
Yapılan karşılaştırmalı test sonuçlarına göre, tez kapsamında önerilen ÖBSA
algoritmasının diğer üç sınıflandırıcıdan daha yüksek performans elde ettiği görülmüştür.
ÖBSA algoritması Botsvana, KSC ve Pavia veri setleri için sırasıyla %97,58, %94,77 ve
%95,12 ortalama sınıflandırma doğruluklarına ulaşmıştır. Farklı boyutlardaki eğitim
setleriyle yapılan testlerde, ÖBSA algoritmasının sadece birkaç etiketli örnek bulunan
eğitim setleri ile eğitildiğinde bile oldukça iyi sonuçlar sağlayabileceğini göstermektedir.
Yapılan tüm test çalışmaları, önerilen ÖBSA yönteminin istatistiksel olarak hiperspektral
görüntü sınıflandırma süreçlerinde üstün performans sağladığını göstermektedir.

Abstract:
With the gradual increase in the number and variety of high-quality images obtained using
aircraft and satellites, the need for an application that can automatically process and
interpret these images is growing rapidly. Undoubtedly, the focus of these applications is
target recognition and classification problems. Although there are various imaging
techniques and different types of images, hyperspectral images stand out because of the
precision of the material on the image surface and its ability to produce more accurate
results. Hyperspectral images usually contain very narrow spectral bands in the visible,
near-infrared and mid-infrared regions. With these spectral bands, a nearly continuous
spectrum can be obtained for each pixel in the field of view. Thus, higher performance
can be achieved with hyperspectral images in classification and recognition methods
compared to conventional image sensors.
Considering real-life applications, working with hyperspectral images can bring a lot of
additional cost in terms of time. Because traditional images have few bands and are
processed with limited size frames. However, hyperspectral images have a spectral
signature of the structure of each material, which means a large number of bands. Since
this signature, which contains the characteristics of the material it belongs to, contains
many features, it is much easier to separate that pixel from other pixels than conventional
images. Therefore, in target recognition processes, the image does not need to be framed,
instead, each pixel is examined individually to determine whether the pixels belong to the
target. It is clear that hyperspectral images are more advantageous when considering
target images containing a small number of pixels. In addition to the advantages of
hyperspectral images, using low-resolution images or reducing the number of bands used
can be considered as a solution to overcome the disadvantages, large data sizes and
additional time cost problems. However, in such a method, the accuracy rate of the results
obtained may decrease. For this reason, the need for a new generation algorithm with high
success in target recognition and classification without increasing time costs still
continues. Considering this need, the main purpose of this thesis is to present an algorithm
that will complete the processes of recognition and classification of targets in
hyperspectral images in the most reliable and fastest way.
Artificial Neural Networks (ANN) are preferred as a classifier in the thesis study.
However, traditional ANN has some important problems in classifying data with
multidimensional, large and unbalanced data sets such as hyperspectral images. For
example, large datasets cause prolongation of training time, while unbalanced datasets
can prevent correct learning during the training phase. Therefore, an approach called
eigenvalue decay is preferred instead of traditional learning methods in the study in order
to avoid such problems. In this approach, the weight values that need to be adjusted for
training neural networks are found through eigenvalue minimization of the weight matrix
instead of calculation methods. The neural network trained with this method is deemed
appropriate to be called Eigenvalue Decay Neural Networks (EDNN). Within the scope
of the thesis, the fitness function to be used for the EDNN parameter minimization process
was selected and adapted in accordance with the hyperspectral images. Although there
are various optimization methods, two well-known methods such as Genetic Algorithm
(GA) and Particle Swarm Optimization (PSO) algorithms are preferred in this thesis. The
termination criteria and other parameters of optimization algorithms were determined as
a result of experimental studies. Thus, the negative effect of target and non-target pixel
ratios on education is prevented and the time requirement is minimized. As a result of all
these adjustments, target recognition and classification system, which is not affected by
the negativity of large and unbalanced data sets, has emerged for target recognition and
hyperspectral image classification. In addition, the increase in the number of spectral
bands in such a system, unlike conventional classifiers, only affects the number of system
inputs and does not cause an additional time increase in the test phase.
Within the scope of this thesis, a general purpose integrated hyperspectral image
processing system has been created that enables all hyperspectral classification processes
such as selection of hyperspectral images, training, test processes, obtaining results and
evaluation stages. A user-friendly interface has been designed to facilitate the use of the
system and to make more precise adjustments. Thanks to the design, all processes such
as pre-processing and display of data sets, examination of spectral signatures, band
selection, creation of data sets to be used, training of the network created with the method
performed, obtaining test results, examining erroneous results and visualizing the results
can all be done on the system.
The section called user-assisted EDNN, which can be used in real time applications, is
also included in the study. With this designed structure, it is anticipated that the
hyperspectral image obtained in an unknown geography can be visualized through the
system. The training of the system can be provided by selecting the target and background
data of interest through the operator, and the results obtained by classification processing
as a result of the training can also be displayed on the system. Thus, a useful system
design for exploration and evaluation processes in unknown geography investigation
scenarios emerges.
The classification performance of the EDNN method has been tested by using data sets
of different sizes and characteristics through the developed system and the results
obtained are presented by comparing them with traditional and new generation classifiers
in the literature. Support Vector Machines (SVM) were preferred as the traditional
classifier, and two new types of deep learning Convolutional Neural Networks (CNN)
algorithms were used among the innovative approaches. The first CNN classifier used in
comparison is the Convolutional Neural Networks with Pixel-Pair Features (CNN-PPF)
algorithm, while the second classifier is the Convolutional Neural Networks ensemble
(CNN-E) algorithm.
According to the comparative test results, it has been seen that the proposed EDNN
algorithm has a higher performance than the other three classifiers. The EDNN algorithm
has achieved average classification accuracies of 97.58%, 94.77% and 95.1%2 for
Botswana, KSC and Pavia data sets, respectively. In tests conducted with different sized
training sets, it shows that the EDNN algorithm can provide very good results even when
trained with training sets with only a few labeled samples. All the test studies conducted
show that the proposed EDNN method provides statistically superior performance in
hyperspectral image classification processes.