Hyperspectral Image Classification of Satellite Images Using Compressed Neural Networks
Creators: name: Rychlewski, Daniel
Publisher: name: Humboldt-Universität zu Berlin
Year: 2020
Subjects: subject: Neuronale Netzwerke
subject: Kompression neuronaler Netzwerke
subject: Merkmalsextraktion
subject: Merkmalsauswahl
subject: Parameter Pruning
subject: Quantisierung
subject: Curse of Dimensionality
subject: Hughes-Phänomen
subject: Hyperspektrale Bildklassifizierung
subject: Satellitenbilder
subject: Ground Truth
subject: Dimensionsreduktion
subject: Neural networks
subject: Neural network compression
subject: Feature extraction
subject: Feature selection
subject: Parameter pruning
subject: Post-training quantization
subject: curse of dimensionality
subject: Hughes phenomenon
subject: Hyperspectral image classification
subject: Satellite images
subject: Ground truth
subject: Dimensionality reduction
subject: 000 Informatik, Informationswissenschaft, allgemeine Werke

description: Convolutional Neural Networks haben sich in den letzten Jahren als erfolgreiches Mittel zur hyperspektralen Klassifizierung von Bildern herausgestellt. Der größere Spektralbereich und die höhere Präzision hyperspektraler Bilder verglichen mit RGB-Bildern sind z.B. für Satellitenbilder nützlich. Allerdings stellt die große Anzahl an Bildkanälen, die oftmals redundant sind, eine Herausforderung für eine performante Bildklassifizierung dar. Zusätzlich zeigt das Hughes-Phänomen, dass die Anzahl an Bildkanälen nicht notwendigerweise eine höhere Genauigkeit zufolge hat, nachdem eine bestimmte Anzahl erreicht ist. Darüber hinaus ist das Erfassen von Ground-Truth-Daten aufwendig und komplex, sodass die verfügbaren Trainingdaten oft nicht groß genug sind (Fluch der Dimensionalität). Deshalb beschäftigt sich diese Arbeit mit Methoden zur Dimensionsreduktion und deren Auswirkung auf verschiedenen Ebenen. Auf der einen Seite gibt es Verfahren zur Merkmalsauswahl und -extraktion, um nur die wichtigsten Bildkanäle auszuwählen oder die existierenden so zu transformieren, dass weniger übrig bleiben. Auf der anderen Seite können die neuronalen Netzwerke, die die Bildklassifizierung durchführen, mit Verfahren wie Parameter Pruning und Post-Training Quantization komprimiert werden, mit denen sich die Arbeit befasst. Im Anschluss werden beide Ebenen der Kompression kombiniert, um den Tradeoff zwischen komprimierten Bildkanälen und einem komprimierten neuronalen Netzwerk hinsichtlich relevanter Parameter wie RAM-/VRAM-Verbrauch und Inferenzzeit zu analysieren. Zum Schluss werden Saliency Maps und Activation Maps als Visualisierungstechniken verwendet, um die semantischen Auswirkungen der Kompressionen auf das neuronale Netzwerk nachzuvollziehen zu versuchen.
description: Convolutional neural networks have proven to be a successful instrument for hyperspectral image classification tasks in recent years. These images are useful due to their higher spectral range and precision compared to RGB images, e.g., for satellite imagery. However, the large number of image bands, which are often redundant, poses a challenge to performant image classification. Additionally, the Hughes phenomenon shows that many image bands do not necessarily result in a higher accuracy after a certain number of bands is reached. On top of that, the task of acquiring ground truth data is expensive and complex, so the training datasets available are often not sufficiently large (curse of dimensionality). Therefore, this thesis covers dimensionality reduction techniques and their impact on multiple levels. On the one hand, there are feature selection and feature extraction techniques to only choose the most meaningful image bands or transform existing bands into fewer image bands in total. On the other hand, the neural networks that perform the image classification can be compressed with strategies like parameter pruning and post-training quantization, both of which the thesis addresses. Finally, both levels of compression are combined to analyze the trade-off between compressed image channels and a compressed neural network with respect to appropriate parameters like RAM usage, VRAM usage and inference time. In the end, saliency maps and activation maps are used as neural network visualization techniques to try to understand the semantic implications of the compressions.