Hiperspektral görüntülerde eser miktarda kimyasal madde tespiti
Detection of trace amount chemical substances in hyperspectral images
Yazar: ŞAFAK ÖZTÜRK
Danışman: DOÇ. SENİHA ESEN YÜKSEL ERDEM
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Elektrik Elektronik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering ; Savunma ve Savunma Teknolojileri = Defense and Defense Technologies
Dizin: Ağartma = Bleaching ; Derin öğrenme = Deep learning ; Görsel nesne tanıma = Visual object recognition ; Spektrofotometri-ultraviyole = Spectrophotometry-ultraviolet

Özet:
Hiperspektral görüntüler doğası gereği sahip oldukları yüzlerce bant bilgisi sayesinde içeriğindeki nesneler hakkında oldukça detaylı bilgi sağlar. Bu sayede tek ya da 3 bantlı görüntülerin analizi ile ayırt edilemeyecek ya da sağlıklı bir şekilde tespit edilemeyecek farklılıkların ortaya çıkarılmasının önü açılır. Her piksel için yüzlerce banttan oluşan bir bilgi vektörü sağlayan hiperspektral kameralar ile yapılan çekimler görüntüdeki nesnelerin uzamsal analizinin mümkün olmadığı ya da çok kısıtlı yapılabildiği durumlarda bile spektral analiz imkânı sağlar. Hiperspektral görüntüleme teknolojisi ile renk ya da şekil olarak birbirine benzeyebilen nesne ya da arka planların spektral olarak ayrışması mümkün kılınır.
Hiperspektral görüntülerin analizi ve bu görüntüler kullanılarak içeriğindeki nesnelerin sınıflandırılması ya da aranan bir nesnenin tespiti için denenebilecek birçok yaklaşım mevcuttur. Bu yaklaşımlar aranan nesneye ait ön bilgi olup olmamasına, problemin analizine dair zengin veri kümesine sahip olup olmamaya ya da veri çekim şartlarının ne kadar farklı parametreye göre değişip değişmediğine göre farklı yöntemleri temel alarak şekillenebilir. Örneğin ne olduğu tam olarak bilinmeyen ancak arka plandan ayrışmış nesnelerin tespiti için anomali tespiti temelli yöntemler baz alınırken aranılan nesneye dair ön bilginin sağlandığı durumlarda spektral imza eşleştirme odaklı yöntemler baz alınabilir.
ii
Bu tezde, farklı arka planlar üzerine nanogramlarla (500ng -10000ng) ölçülen seviyelerde yerleştirilmiş eser miktarda kimyasal maddelerin tespiti ve teşhisi amacıyla yapılan çalışmalar anlatılır. Hedef ve arka plan çeşitliliği, hedefin çok az miktarda olacak şekilde yerleştirilmesi, kullanılan sensörün herhangi bir radyometrik düzeltme işlemi yapmadan ham veri üretmesi, ışık ve hedefin konumunun değişebilmesi gibi birçok farklı zorluklar ile karşılaşılmıştır. Bu zorlukların olabildiğince önüne geçerek gürbüz bir algoritma üretebilmek için geliştirilen çözümler adım adım sunulmuştur. Öncelikle sensörden alınan ham radyans veriler incelendiğinde bu ham verilerde arka plan ve hedef ayrımının iyi yapılamadığı gözlenmiştir. Bu sebeple alınan radyans veriler üzerinde yapılan farklı işlemler ile doğrultma amaçlı bir takım veri dönüşüm algoritmaları uygulanmıştır. Böylece hedef ve arka plan ayrımı daha başarılı bir şekilde gerçekleştirilir. Daha sonra çeşitli imza tabanlı hedef tespit algoritmaları denenerek bu teze konu olan problem için başarılı sonuçlar üreten yöntemler ortaya çıkarılmıştır.
Kimyasal maddelerin tespiti ve teşhisi probleminin çözümü, girdi olarak görüntü ve gerekli diğer bilgileri alıp çıktı olarak hedef tipi ve lokasyonu bilgisi veren bir algoritma yaratma gerektirir. Bu yüzden skor haritalarını oluşturmak yeterli değildir. İlgili skor haritalarını anlamlandırarak gerekli çıktıları üreten adımlara da ihtiyaç duyulur. Bu amaçla çeşitli son işleme adımları da denenerek daha gürbüz sonuçlar almayı sağlayan son işleme algoritmaları da bu tezde yapılan çalışmaların bir parçasıdır. Bu adımlar sayesinde yanlış alarmlar olabildiğince elenir.
Özetle, yukarıda bahsi geçen problemin çözümü amaçlı literatürdeki farklı spektral imza eşleştirme odaklı yöntemler kullanılarak "Çoklu Hedef Tespiti" isimli hibrit bir yöntem geliştirilmiştir. İlk olarak ultraviyole ve yakın kızıl ötesi spektrumda çekilmiş hiperspektral görüntü ve görüntüde aranan hedef referans imzalarına uygulanan ön işleme adımları (beyazlatma ve Savitzky-Golay filtresi) detaylandırılmıştır. Sonrasında uygulanan hibrit tespit yöntemi detayları ile aktarılmıştır. Çapraz ilintileme ve spektral imza ayrımı algoritmaları temelli iki aşamalı bir skor haritası üretim algoritması anlatılmıştır. Daha sonra skor haritalarını anlamlandırmak için skora göre eşikleme ve sonrasında potansiyel hedef kümeleri için belirli bir eşik değerinden daha fazla sayıda piksel içerme gibi şartlar içeren son işleme adımları hakkında bilgi verilmiştir.
"Çoklu Hedef Tespiti" yöntemine ek olarak, daha önce elde edilmiş skor haritaları üzerinde uygulanan son işleme adımlarını derin öğrenme ile sağlayan POSTNET isimli yöntem geliştirilmiş ve detaylarıyla sunulmuştur. Ayrıca hiperspektral veriye yapılan ön işleme
iii

Abstract:
Hyperspectral images, by their very nature, provide a great deal of information about the contents of an image. In this way, they open the way to reveal the evidences that cannot be distinguished or detected properly by the analysis of single or 3-band images. Shots made with hyperspectral cameras, which provide an information vector consisting of hundreds of bands for each pixel, provide spectral analysis even in cases where spatial analysis of the objects in the image is not possible or can be made very limited. Spectral separation of objects or backgrounds that can resemble each other in color or shape is made possible with hyperspectral imaging technology.
There are many approaches that can be tried to analyze hyperspectral images, to classify the objects in their content using these images, or to detect a searched object. These approaches can be shaped based on different methods, depending on whether there is a preliminary information about the searched object, whether there is a rich data set on the analysis of the problem, or whether the data acquisition conditions change based on different parameters settings. For example, anomaly detection-based methods are used for the detection of objects that are not known exactly but separated from the background, while spectral signature matching-oriented methods can be used in cases where the preliminary information about the sought object is provided.
v
In this thesis, studies for the detection and identification of trace amounts of chemical substances placed at levels measured in nanograms (500ng -10000ng) on different backgrounds are described. Many different difficulties are faced such as target and background diversity, placement of the very small amount of target, using raw data without any radiometric correction, change of light and target position. The solutions developed to avoid these difficulties and to produce a robust algorithm are presented step by step. First of all, when the raw radiance data taken from the sensor is examined, it is observed that the background and target separation cannot be made well in raw data. For this reason, a number of data conversion algorithms are applied for data rectification with different operations on the received radiance data. Thus, target and background separation is performed more successfully. Afterwards, various signature-based target detection algorithms have been tried and the methods that produce successful results for the problem that is the subject of this thesis have been revealed.
Solving the problem of detection and identification of chemicals requires creating an algorithm that takes images and other necessary information as input and gives target type and location information as output. Hence, creating score maps is not enough. Steps that produce the necessary outputs by using relevant score maps are also needed. For this purpose, post-processing algorithms that lead to more robust results are also part of the work done in this thesis. These steps eliminate false alarms as much as possible.
In summary, a hybrid method called "Multiple Target Detection" has been developed by using different spectral signature matching-oriented methods in the literature to solve the above-mentioned problem. First, the hyperspectral image taken in the ultraviolet and near infrared spectrum and the preprocessing steps (whitening and Savitzky-Golay filter) applied to the target reference signatures sought in the image are detailed. Afterwards, the applied hybrid detection method is explained in detail. A two-stage score map generation algorithm based on cross-correlation and spectral information divergence algorithms is described. Then information is given about the final processing steps, which include conditions such as thresholding according to the score and selecting final detected areas by connective pixel analysis for potential target clusters.
In addition to the "Multiple Target Detection" method, a method named POSTNET, which provides the final processing steps applied on the previously obtained score maps with deep learning, has been developed and presented in detail. In addition, the great contribution of
vi
the pre-processing steps applied to the hyperspectral data and the post-processing steps applied after creation of score maps are emphasized.