Hiperspektral görüntülerde derin öğrenme ile hedef tespiti
Target detection on hyperspectral images using deep learning
Yazar: BATUHAN MERT SEVEROĞLU
Danışman: DOÇ. DR. SENİHA ESEN YÜKSEL ERDEM
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Son yıllarda, patlayıcı ve uyuşturucu gibi tehlike arz eden kimyasallar birçok insanın ve özellikle de güvenlik güçlerinin çeşitli alanlarda büyük sorunlar yaşamasına neden olmuştur. Bu da tehlikeli kimyasalların mümkün olduğunca erken tespit edilmesini kritik bir görev haline getirmiştir. Bu görevi yerine getirmek için farklı türde veriyi kullanan birçok sistem ve algoritma geliştirilmiştir. Ancak son dönemde, gelişen teknoloji ile birlikte tehlikeli kimyasalların çeşitliliğinin, taşınma yöntemlerinin ve eser miktarda kullanımlarının artması hali hazırda bulunan algoritmaların yetersiz kalmasına sebep olmuştur. Bu yüzden kimyasal maddelerin tespiti için daha kapsamlı çözümler sunan sistemler üzerinde çalışmalar başlamış-tır. Kimyasal maddelerin tespiti bir hedef tespiti görevi olduğundan, birçok alanda hedef tespiti için sıklıkla kullanılan Hiperspektral Görüntüleme (HSG) tekniği kimyasal maddelerin tespiti için de önemli bir alternatif olmuştur. Ayrıca son yıllarda birçok alanda başarılarını kanıtlamış, Evrişimsel Sinir Ağları (ESA) ve Uzun Kısa Süreli Bellek (UKSB) gibi derin öğrenme modelleri de hedef tespiti için en çok kullanılan yöntemlerdendir. Bu tez kapsamında, Hiperspektral Görüntüleme'yi kullanan bir düzenek ile dört farklı kimyasal madde dört farklı arka plan materyali üzerine koyularak hiperspektral görüntüler toplanmıştır. Bu görüntüler içerisinden belirli yöntemlerle seçilen pikseller ile her kimyasal için ayrı veri kümesi oluşturulmuştur. Bu veri kümeleri kimyasal madde tespiti için çeşitli ESA ve UKSB modellerinde kullanılmıştır. Veriler ilk olarak ön işleme aşamasında Diferansiyel Reflektometri (DR) işleminden geçirilmiştir. Bu işlem ardışık iki taramanın yansıma değerleri farkının normalize edilmesi işlemidir. Türev benzeri bu işlem ile toplanan hiperspektral veri-lerin spektral boyutundaki öznitelikler ayırt edici hale getirilmiştir. Ön işleme aşamasının ikinci kısmında, derin öğrenme modellerine daha pürüzsüz ve gürültüsüz spektral veriler beslemek için verilerin spektral boyutuna Savitzky-Golay filtresi uygulanmıştır. Böylece hazır hale getirilen spektral veriler derin öğrenme modellerine beslenmiştir. Bu tez kapsamında temel olarak üç tür derin öğrenme modeli ele alınmıştır. İlk olarak tek boyutlu ESA modeli ele alınmıştır. Bu modelin girdileri tek boyutlu spektral vektörlerdir ve modeldeki tüm işlemler tek boyutludur. Sonra geliştirilen iki boyutlu ESA modelinde, girdi verileri ve modeldeki tüm işlemler iki boyutlu işlemlerdir. İki boyutlu ESA modeli için oluşturulan matris şeklindeki girdi verileri, tek boyutlu spektral verilerin yeniden biçimlendirilmesi ile elde edilmiştir. Son olarak geliştirilen UKSB modelinde ise tek boyutlu spektral bilgi direkt olarak kullanılmıştır. Geliştirilen modellerin dört farklı kimyasal madde için, dört farklı arka plan materyali üzerindeki hedef tespit performansları incelenmiştir. Kimyasal hedef-lerin tespitini kritik biçimde etkileyen durumlar değerlendirilmiştir. Bu durumlar kimyasal maddenin türü, arka plan materyalinin türü, veri kümesindeki verilerin kullanılabilirliği ve sayısı, kimyasal maddenin yüzeydeki miktarı, görüntüdeki şekil ve nesnelerin kenarları gibi etmenlerdir. Ayrıca ön işleme, eğitim ve son işleme aşamalarında modelin performansını arttırmak için denenen yöntemlerin avantaj ve dezavantajları ortaya koyulmuştur. Sonuçta, kullanılan veri kümesi için ESA modellerinin UKSB modellerine göre daha iyi performansa sahip olduğu görülmüştür. Geliştirilen ESA modelleri çoğu kimyasalın tespitinde yüksek performans göstermiştir. Ayrıca verilerin iki boyutlu hale getirilmesi sayesinde, tek boyutlu ESA modelinden iki boyutlu ESA modeline geçişin de performansı önemli ölçüde arttırdığı belirtilmiştir. Bu tez kapsamında geliştirilen  modeller ile tehlikeli kimyasal maddelerin ESA modelleriyle başarılı bir şekilde tespit edilebildiği anlaşılmış, UKSB modellerinin de bu görev için gelecek vaat ettiği görülmüştür.

Abstract:
In recent years, hazardous chemicals such as explosives and narcotics have caused many people and particularly security forces to experience major problems in various areas. This has made the detection of hazardous chemicals as early as possible a critical task. Several systems and algorithms using different types of data have been developed to fulfill this task. However, in the last period, the increase in the diversity of hazardous chemicals, transportation methods and the use of trace amounts together with the developing technology caused the existing algorithms to fall short. Therefore, studies have been initiated on systems that offer more comprehensive solutions for the detection of chemical substances. Since the detection of chemicals is a target detection task, the Hyperspectral Imaging (HSI) technique, which is frequently used in many areas of target detection, has become an important alternative for the detection of chemicals. Furthermore, deep learning models such as Convolutional Neural Networks (CNN) and Long Short-Term Memory (LSTM), which have proven their success in many fields in recent years, are among the most used methods of target detection. In the scope of this thesis, hyperspectral images were collected by placing four different chemical substances on four different background materials with a mechanism using Hyperspectral Imaging. A separate dataset for each chemical was formed with pixels selected by certain methods in these images. These datasets have been used in several CNN and LSTM models for chemical substance detection. The data were first passed through the Differential Reflectometry (DR) process during the pre-processing stage. DR is the process of normalizing the difference between the reflection values of two sequential scans. The attributes in the spectral dimension of the hyperspectral data collected by this differential-like process are made distinctive. In the second part of the pre-processing stage, Savitzky-Golay filter was applied to the spectral dimension of the hyperspectral data with the intent of feeding smooth and noise-free spectral data to the deep learning models. Thus, spectral data prepared in this way are fed into deep learning models. In the scope of this thesis, three types of deep learning model have been discussed. Firstly, one-dimensional CNN model was discussed. The inputs of this model are one-dimensional spectral vectors and all processes in the model are one-dimensional. In the two-dimensional CNN model developed later, the input data and all the processes in the model are two-dimensional operations. The matrix-shaped inputs of the two-dimensional CNN model were obtained by reshaping one-dimensional spectral data. In the lastly developed LSTM model, one-dimensional spectral information was used directly. Target detection performances of four different chemical substances of the developed models on four different background materials were investigated. Situations that critically affect the detection of chemical targets are considered. These cases are the type of chemical substance, the type of background material, the number of availability of data in the dataset, the amount of the chemical on the surface, the shape and edges of objects in the image. In addition, the advantages and disadvantages of the methods tried to increase the performance of the model in the post-processing, training and final processing stages are exhibited. As a result, it was seen that the CNN models had better performance than the LSTM models for the using dataset. The improved CNN models demonstrate high performance in the detection of most chemicals. It is also stated that the transition from the one-dimensional CNN model to the two-dimensional CNN model has significantly improved the performance by making the data two-dimensional. With the models developed within the scope of this thesis, it has been understood that hazardous chemical substances can be detected successfully with CNN models, and it has been seen that the LSTM models are also promising for this task.