Öz bilgi destekli derin öğrenme yaklaşımları ile hsg gürültü giderme
Self-ınformation empowered deep learning approaches for hsı denoising
Yazar: ORHAN TORUN
Danışman: DOÇ. DR. SENİHA ESEN YÜKSEL ERDEM ; PROF. DR. MEHMET ERKUT ERDEM
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Sayısal görüntü işleme = Digital image processing

Özet:
Hiperspektral görüntülerin (HSG'lerin) çevre izleme, hedef tespiti ve sınıflandırma gibi alanlardaki kullanımı hayati önem taşımaktadır. Ancak, gürültü etkisiyle meydana gelen bozulmalar HSG'lerin etkinliğini önemli ölçüde engellemektedir. Bu durum, HSG'lerden elde edilen verilerin doğruluğunu ve güvenilirliğini olumsuz etkilemektedir. Bu nedenle, anlamlı bilgiyi HSG'lerden doğru bir şekilde çıkarmak için gürültü giderme kritik öneme sahiptir. Geleneksel gürültü giderme yöntemleri, başlangıçta iki boyutlu (2B) görüntü tekniklerinden uyarlandığı için önemli olan uzamsal-spektral korelasyonları göz ardı etmektedir. Bu da spektral bozulmalara yol açmaktadır. HSG gürültü gidermedeki son gelişmeler, karmaşık optimizasyon süreçleri kullanarak uzamsal-spektral korelasyonlardan faydalanmaya odaklanmıştır. Ancak bu durum da hesaplama verimliliğini olumsuz etkilemektedir.

Son zamanlarda, derin öğrenmenin popülerliği ile birlikte, Evrişimsel Sinir Ağları (ESA) tabanlı yaklaşımlar, geleneksel yöntemlere göre önemli gelişmeler göstererek HSG gürültü giderme yöntemlerinde yeni bir dalga yaratmıştır. ESA'lar güçlü model varsayımlarından faydalanarak HSG gürültü gidermede etkili öznitelik çıkarmak için kullanılmaktadır. Bu veri odaklı modeller, gürültülü HSG'lerden temiz HSG'lere otomatik olarak bir eşleme öğrenmektedir. Ancak, ESA'lar farklı giriş içeriğinin kendine özgü özelliklerine adapte olma ve uzamsal-spektral alan içindeki uzun menzilli bağımlılıkları yakalama konusunda zorluklarla karşılaşmaktadır.

Bu tez, Derin Sinir Ağları (DSA) kullanarak HSG'lerden gürültü gidermeyi ve restorasyon işlemini gerçekleştirmeyi amaçlamaktadır. Yukarıdaki zorlukların üstesinden gelebilmek için, HSG gürültü giderme işlemine özel olarak uyarlanmış yeni öz-bilgi destekli dinamik mimariler önermekteyiz. Dinamik mimariler, derin öğrenme alanında hızla gelişen bir alan olarak, statik modellere göre önemli bir avantaj sunmaktadır. Statik muadillerinin aksine, dinamik ağlar yapılarını veya parametrelerini her yeni girdi için çıkarım aşamasında uyarlayabilmektedir. Bu uyarlanabilirlik, hesaplama verimliliğinden ödün vermeden elde edilen daha iyi doğruluk, daha güçlü temsil yeteneği ve genelleme yeteneği olmak üzere üç önemli fayda sağlamaktadır. 

İlk olarak, uzamsal-spektral bilgiye dayalı adaptif öznitelik dönüşümünü sağlayan Spektral Öz Modülasyonlu Kalıntı Blokları (Self-Modulating Residual Blocks-SSMRB) ile donatılmış Öz-Modülasyonlu ESA (Self-Modulating Convolutional Neural Networks; SM-CNN) ağımızı tanıtmaktayız. Özellikle, SSMRB'nin eklenmesi, gürültü giderme ağımızı, her giriş HSG'sinin uzamsal-spektral özelliklerine göre gürültü giderirken tahmin edilen özniteliklerini uyarlayan dinamik bir ağa dönüştürmektedir. Gürültü gidermeyi, banttan banda uzamsal bilgiyi tarayarak ve uzamsal bilgi ile birlikte bitişik spektral bilgiyi kullanarak gerçekleştirmekteyiz. Bu mimari sayesinde, farklı uzamsal-spektral özelliklere sahip test verileri tek bir model ile gürültüden arındırılabilmektedir. Sonuçların nitel ve nicel değerlendirmesi, önerilen modelin hem yapay hem de gerçek verilerde diğer tek model algoritmalardan daha verimli olduğunu göstermektedir. Ancak, bu modelimiz, global bilgileri etkili bir şekilde yakalayamamasından dolayı son zamanlarda önerilen Dönüştürücü tabanlı modellere göre daha düşük performans sergilemektedir.

Hem yerel detayları hem de uzamsal olarak uzak bölgeleri inceleyerek, uzun menzilli bağımlılıkların ortaya çıkarılması görüntünün daha kapsamlı bir şekilde anlaşılmasına katkıda bulunmaktadır. Öz-dikkat mekanizmasına sahip olan Dönüştürücü'ler, uzun menzilli bağımlılıkları yakalama yetenekleri nedeniyle giderek daha yaygın kullanılmaktadır. Ancak, Dönüştürücü'leri lokal özellikleri öğrenmeleri için eğitmek genellikle önemli miktarda veri gerektirmektedir ve bu veri HSG'lerde kolayca bulunamayabilir. Ek olarak, HSG'lerdeki yüksek bant sayısı, özellikle öz-dikkat hesaplamaları için Dönüştürücü'lerde bellek kullanımını ve hesaplama karmaşıklığını artırabilmektedir. Bu sorunları ele almak için, ESA'ların güçlü yönü olan lokal öznitelik çıkarımını, Dönüştürücü yapısının uzun mesafeli bağımlılık modelleme becerisi ile birleştiren Hibrit ESA-Dönüştürücü modeli olan 3B evrişim ağı ile Kanal-bazlı ve Spektral Dönüştürücü (Channel-wise and Spectral Transformer with 3D convolution network; CST3D) sunmaktayız. CST3D, spektral ve kanal bazlı öz-dikkat mekanizmalarını, öğrenilebilir modülatörlerle entegre ederek, ilgili spektral bantları önceliklendirmeyi ve dikkat odağını güçlendirmeyi sağlamaktadır. Bu hibrit yaklaşım, ESA ve Dönüştürücü bireysel modellerin sınırlamalarını aşarak üstün gürültü giderme performansı ve farklı veri kümelerine genelleştirilebilme imkanı sunmaktadır. Deneysel sonuçlar, yaklaşımımızın HSG'lerden farklı türdeki gürültüyü etkili bir şekilde giderdiğini ve klasik, CNN tabanlı ve diğer hibrit modeller dahil olmak üzere günümüzün en son teknoloji modellerinden daha iyi performans gösterdiğini ortaya koymaktadır.

Diğer yandan, sinir ağlar genellikle gözetimli öğrenme yöntemiyle eğitilmekte ve daha sonra görülmemiş veriler üzerinde test edilmektedir. Gözetimli öğrenme büyük miktarda veri gerektirmektedir ve aynı zamanda temiz görüntülere de ihtiyaç duymaktadır. Ancak, HSG'ler için çok sayıda görüntü toplamak ve temiz görüntüler elde etmek zor ve masraflıdır. Sonuç olarak, bu gibi durumlarda sinir ağlarını gözetimli öğrenme yöntemleriyle eğitmek zorlu hale gelmektedir. Dinamik modeller veri adaptasyonunu artırmada etkili olsa da, HSG verisinin önemli spektral değişkenlik gösterdiği durumlarda performans düşüşleri yaşanabilmektedir. Bu çalışmada önerdiğimiz iki aşamalı öğrenme stratejisi hem ön öğrenmeyi hem de öz-gözetimli kalibrasyonu kullanmaktadır. İlk aşama, modeli gürültülü ve temiz veri çiftleri üzerinde eğitmek için gözetimli öğrenmeyi içermektedir. İkinci aşama, yalnızca gürültülü verileri kullanarak öz-gözetimli kalibrasyonla modeli belirli gürültü çeşitlerine uyarlamaktadır. Bunun için, orta spektral bandı tahmin etmek amacıyla komşu bandın bilgilerini hedef olarak kullanmaktayız. Ağın anlamlı ilişkileri öğrenmesini ve yalnızca girdiyi kopyalamayı engellemek için, hedef bandı giriş verilerinden stratejik olarak hariç tutarak kör bir nokta oluşturmaktayız. Bu nedenle, öz-gözetimli öğrenme tekniğimize Kör Bant Öz-gözetimli (Blind Band Self-Supervised; BBSS) öğrenme adı verilmektedir. Yaklaşımımızın, sinir ağı daha önce gözetimli öğrenmede belirli gürültü modelleriyle karşılaşmamış olsa bile, gürültülü HSG'ler için modelin doğruluğunu artırdığı gösterilmektedir.

Çalışmalarımız, HSG gürültü giderme için dinamik derin öğrenme mimarilerine doğru bir paradigm değişikliğini temsil etmektedir. Bu yaklaşım, gerçek dünya senaryolarında daha iyi doğruluk, hesaplama verimliliği ve genelleme yeteneklerinin vaadini taşımaktadır. Ek olarak, modelleri öz-kalibre etme yetenekleriyle donatarak, böylece temiz veri olmadan bile daha öncede görülmemiş ve potansiyel olarak gürültülü verilere uyum sağlama ve genelleme yeteneğini güçlendirmek amaçlanmaktadır.

Abstract:
Hyperspectral images (HSIs) are of critical importance, especially in areas such as environmental monitoring, target detection, and classification. However, the degradation caused by noise effects significantly hinders the effectiveness of HSIs. This situation negatively affects the accuracy and reliability of the data obtained from HSIs. Hence, noise removal is essential to extract meaningful information from HSIs accurately. Traditional denoising methods, initially adapted from two dimensional (2D) imaging techniques, overlook crucial spatial-spectral correlations, resulting in spectral distortions. Recent advancements in HSI denoising have focused on exploiting spatial-spectral correlations through complex optimization processes, sacrificing computational efficiency.

Recently, with the popularity of deep learning, Convolutional Neural Network (CNN) based approaches have created a fresh wave of HSI denoising methods, demonstrating significant improvements over the traditional methods. CNNs leverage their strong inductive bias for effective feature extraction in HSI denoising. These data-driven models automatically learn a mapping from noisy HSIs to clean HSIs.  However, they encounter challenges in adapting to the specific characteristics of diverse input content and capturing long-range dependencies within the spatial-spectral domains.

This dissertation aims to use Deep Neural Networks (DNNs) to eliminate noise and perform restoration on HSIs. To address the above challenges, we propose novel self-information empowered dynamic architectures tailored for HSI denoising. Dynamic architectures, a burgeoning field within deep learning, offer a significant advantage over static models. Unlike their static counterparts, dynamic networks can adapt their structure or parameters during the inference stage for each new input. This adaptability enhances accuracy, representation power, and generality, all achieved without sacrificing computational efficiency. 

Firstly, we introduce the Self-Modulating CNN (SM-CNN), equipped with Spectral Self-Modulating Residual Blocks (SSMRBs), enabling adaptive feature transformation based on spatio-spectral information. In particular, the introduction of SSMRB transforms our denoising network into a dynamic network that adapts its predicted features while denoising every input HSI with respect to its spatio-spectral characteristics. We perform noise removal by scanning band-to-band spatial information and using adjacent spectral information along with spatial information. Thanks to this architecture, test data with different spatial–spectral properties can be denoised with a single model. The qualitative and quantitative evaluation of the results show that the proposed algorithm is more efficient than other single-model algorithms on both synthetic and real data. However, our model exhibits lower performance compared to recently proposed transformer-based models due to its inability to capture global information effectively.

By investigating both local details and spatially distant areas, the unveiling of long-range dependencies contributes to a more comprehensive understanding
of the image. Transformers, with their self-attention mechanism, are increasingly recognized for their ability to capture long-range dependencies. However, training Transformers to learn local features often requires substantial data, which may not be readily available for HSIs. Additionally, the high
band count in HSIs can lead to increased memory usage and computational complexity in Transformers, particularly for self-attention calculations. To address these challenges, we present a Hybrid CNN-Transformer model, CST3D (Channel-wise and Spectral Transformer with 3D convolution network), combining CNN's local feature extraction with Transformer's long-range dependency modeling. CST3D integrates spectral and channel-wise self-attention mechanisms, augmented with learnable modulators to prioritize relevant spectral bands and enhance attention focus. This hybrid approach overcomes limitations of individual models, offering superior denoising performance and generalization to diverse datasets. Experimental results show that our approach effectively removes different types of noise from HSIs, outperforming current state-of-the-art models, including classical, CNN-based, and other hybrid models.

On the other hand, neural networks are trained in a supervised manner and then tested on unseen data. Supervised training requires a large amount of data, and it also relies on clean images. However, collecting a large number of images and obtaining clean images for HSIs are difficult and costly. Consequently, training neural networks with supervised methods becomes challenging for such cases. While dynamic networks are effective in enhancing data adaptation, performance degradation occurs in cases where HSI data exhibits significant spectral variability. In this dissertation, our proposed two-stage learning strategy leverages both pre-training and self-supervised calibration. The first stage involves supervised learning to train the model on noisy and clean data pairs. The second stage incorporates self-supervised calibration using only noisy data to adapt the model to specific noise patterns. For the latter, to estimate the middle spectral band, we leverage the information from its neighboring band as a target. To ensure the network learns meaningful relationships rather than merely copying the input, we strategically create a blind spot by excluding the target band from the input data. Therefore, our self-supervised learning technique is named as Blind Band Self-Supervised (BBSS) Learning. Our approach has been shown to improve the accuracy  of the model for noisy HSIs, even when the network did not previously encounter the specific noise patterns in supervised learning.

Our contributions signify a paradigm shift towards dynamic deep learning architectures for HSI denoising. This approach holds the promise of enhanced accuracy, computational efficiency, and generalization capabilities in real-world scenarios. Additionally, it endows the models with self-calibration capabilities, reinforcing its ability to adapt and generalize to unseen and potentially noisy data, even in the absence of clean data.