title: Spiking Neural Networks for Event-Driven FMCW Radar Signal Classification
title: Gepulste neuronale Netze für die Klassifikation ereignisgesteuerter FMCW-Radarsignale
Creators: name: Shaaban, Ahmed
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2025

description: In recent years, the expansion of Internet of Things (IoT) devices has been evident in various applications, including smart homes, automotive interfaces, energy, and transportation. The appeal of these devices lies in their broad applicability, simplicity, user-friendly experience, and the healthier environment they foster. The desirability of wireless interaction with these devices is unquestionable. This results in the convenience of wirelessly controlling a smart TV, adjusting the volume, switching it on or off, and managing an air conditioner’s temperature or power status without physical contact. Even vending machines could benefit from this technology, offering touch-free options such as obtaining a transportation ticket wirelessly, a handy feature in the wake of widespread viruses and diseases like the recent pandemic. All these wireless interactions could be facilitated through hand motion detection or Hand Gesture Recognition (HGR). Several technologies, such as cameras, enable wireless interaction with smart devices. However, the limitations of cameras - their size, cost, privacy concerns, and sensitivity to weather and lighting – call for alternative solutions. Radar technology offers a compelling alternative: compact, privacy-preserving, weather and lighting-resistant, and cost-effective. Research efforts have focused on harnessing the power of Artificial Neural Networks (ANNs) with radar signals for efficient and accurate smart device control. However, pursuing extreme-edge solutions has increased interest in Spiking Neural Networks (SNNs). SNNs, drawing inspiration from biological systems, exhibit superior biological plausibility and capture complex dynamics more effectively. Their communication via discrete electrical impulses (spikes) results in sparse communication between layers, further enhanced by the single-bit nature of these spikes. This translates to replacing Multiply-and-Accumulate (MAC) arrays with simpler adders, significantly reducing computational complexity and boosting energy efficiency. This work investigates SNNs as a key to unlocking energy-efficient HGR solutions using radar technology. We take advantage of the biological plausibility of spiking neurons within SNNs to enable HGR directly from time-domain radar data. Furthermore, we employ a specific type of spiking neuron – the Resonate-and-Fire (RAF) neuron – capable of efficiently converting time-domain data into spatio-temporal spikes. These spikes represent and encode the fundamental frequencies within the radar signals, paving the way for robust HGR. All proposed approaches are evaluated using real-world data. Our results demonstrate that SNN-based solutions achieve performance comparable to traditional methods. These findings prove that SNNs can be exploited to improve HGR by directly processing radar sensor signals. Moreover, the inherent sparsity of spiking neurons motivates the exploration of neuromorphic hardware implementations, offering substantial energy efficiency benefits for resource-constrained systems.
description: In den letzten Jahren hat die Verbreitung von IoT-Systemen in verschiedenen Anwendungsbereichen wie Smart Home, Automotiveschnittstellen, Energie und Transportwesen deutlich zugenommen. Die Attraktivität dieser Geräte liegt in ihrer breiten Anwendbarkeit, Einfachheit, Benutzerfreundlichkeit und der damit verbundenen Verbesserung der Umweltbedingungen. Es ist unumstritten, dass eine kontaktlose Bedienung solcher Geräte wünschenswert ist. Beispielsweise lässt sich so ein Smart-TV bequem drahtlos steuern, die Lautstärke regeln, das Gerät ein- oder ausschalten, oder bei einer Klimaanlage kann die Temperatur und der Energiestatus ohne physischen Kontakt abgefragt werden. Darüber hinaus könnten auch Verkaufsautomaten von dieser Technologie profitieren, indem sie kontaktlose Optionen anbieten, wie z. B. das drahtlose Entwerten eines Fahrscheins, was besonders bei Pandemien wie der kürzlichen Covid-19-Pandemie eine nützliche Funktion darstellen würde. All diese drahtlosen Interaktionen könnten durch die Erkennung von Handbewegungen oder Handgesten erleichtert werden. Verschiedene Technologien, wie z. B. Kameratechniken, ermöglichen derzeit die kontaktlose Interaktion mit Smart Devices. Jedoch zeigen Kameras Einschränkungen, was Größe, Kosten, Datenschutzbedenken und Empfindlichkeit gegenüber Wetter und Licht angeht, sodass alternative Lösungen erforderlich sind. Für die genannten Punkte bietet die Radartechnologie eine attraktive Alternative: Sie ist kompakt, wahrt die Privatsphäre, ist unabhängig von Wetter und Beleuchtung und kostengünstig. Die Forschung hat sich darauf konzentriert, die Fähigkeiten von künstlichen neuronalen Netzen (ANNs) in Kombination mit Radar für eine effiziente und genaue Steuerung intelligenter Geräte zu nutzen. Das Streben nach portablen Lösungen, die in Edge-Systemen eingebettet sind, hat dabei das Interesse an gepulsten neuronalen Netzen (SNNs) erhöht. Bioinspirierte SNNs weisen eine höhere Plausibilität auf und erfassen komplexe dynamische Szenarien effektiver. Ihre Kommunikation über diskrete elektrische Impulse (Spikes) führt zu einer spärlichen Kommunikation zwischen den Schichten, die durch die Ein-Bit-Natur dieser Spikes noch verstärkt wird. Dadurch können MAC-Arrays durch einfachere Addierer ersetzt werden, was die Rechenkomplexität drastisch reduziert und die Energieeffizienz erhöht. In dieser Arbeit werden SNNs als Schlüssel zur Realisierung energieeffizienter HGR-Lösungen mit Hilfe der Radartechnologie untersucht. Es wird die biologie-gestützte Plausibilität von feuernden Neuronen innerhalb von SNNs ausgenutzt, um die HGR direkt aus Radardaten im Zeitbereich ableiten zu können. Darüber hinaus wird ein spezieller Typ von Spiking-Neuronen – das RAF-Neuron – verwendet, welches in der Lage ist, Zeitdaten effizient in räumlich-zeitliche Spikes umzuwandeln. Diese Spikes kodieren die Grundfrequenzen der Radarsignale und ermöglichen so eine robuste HGR. Alle vorgeschlagenen Ansätze werden anhand realer Daten evaluiert. Die Ergebnisse zeigen, dass SNN-basierte Lösungen eine vergleichbare Performance erzielen wie Lösungen, die auf herkömmlichen Methoden basieren. Diese Arbeit zeigt auf, dass SNNs zur Verbesserung der HGR genutzt werden können, indem Radarsensorsignale direkt verarbeitet werden. Darüber hinaus motiviert die Spärlichkeit von Spike-Neuronen die Erforschung neuromorpher Hardware-Implementierungen, die erhebliche Energieeffizienzvorteile für ressourcenbeschränkte Systeme bieten.