Preprocessing and Classification Techniques for FMCW Radar and Deep Learning Based Indoor Motion Classification
Creators: name: Stadelmayer, Thomas
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2024

description: In dieser Dissertation werden Radar- und künstliche Intelligenz (KI)-basierte Bewegungsklassifizierungssysteme für Innenraumanwendungen untersucht. Die Bewegungsklassifizierung im Allgemeinen kann für verschiedene Anwendungen genutzt werden. Beleuchtungen und Klimaanlagen können auf der Grundlage bestimmter menschlicher Aktivitäten eingestellt werden und berührungslose Mensch-Maschine-Interaktion wird durch die Erkennung verschiedener Handgesten möglich. Die berührungslose Interaktion kann insbesondere an öffentlichen Plätzen dazu beitragen, Infektionen zu verhindern und wurde während der Pandemie immer wichtiger. Es gibt darüberhinaus auch sicherheitskritische Anwendungen wie die Erkennung des Sturzes einer Person. In diesem Fall kann automatisch medizinische Unterstützung angefordert werden. Kamerasysteme in Kombination mit KI zeigen bei den genannten Aufgaben eine hervorragende Leistungsfähigkeit. Allerdings sind Bildverarbeitungssysteme in vielen Fällen aufgrund mehrerer schwerwiegender Nachteile, wie der Abhängigkeit von den Lichtverhältnissen, dem hohen Ressourcenverbrauch und vor allem der Verletzung der Privatsphäre, nicht praktikabel. Radarsensoren können die vorgenannten Bedenken ausräumen. Sie sind kaum von den Umgebungsbedingungen betroffen, können mit dünnem Kunststoff abgedeckt werden, wahren die Privatsphäre und die Verarbeitung kann in der Regel nahe am Sensor erfolgen, so dass die Daten nicht an einen Cloud-Dienst übertragen werden müssen. Tatsächlich wird die KI in der Forschung bereits in großem Umfang für die radarbasierte Bewegungsklassifizierung eingesetzt und weist vielversprechende Ergebnisse auf. Die meisten Systeme arbeiten jedoch in kontrollierten Umgebungen. Die Verwendung von KI ist immer noch eine vergleichsweise neue Technik, der es an Interpretierbarkeit mangelt. Um die KI-basierten Systeme weiter zu kommerziell nutzbaren Lösungen auszureifen, sind weitere Methoden und Anpassungen nötig, welche offene Forschungsfragen darstellen. In dieser Arbeit werden mehrere offene Herausforderungen untersucht, wie die Anfälligkeit für störende Bewegungen, eine ausgezeichnete Klassifizierungsgenauigkeit auch für neue Benutzer und eine überlegene Generalisierungsfähigkeit bei nur geringen Datenmengen. Darüber hinaus muss der Algorithmus rechnerisch effizient sein, um eine ressourceneffiziente Implementierung auf einem preiswerten Mikrocontroller zu ermöglichen. Die unterschiedlichen Aspekte werden in verschiedenen thematischen Abschnitten der Arbeit behandelt und die Effektivität jeder vorgeschlagenen Lösung wird anhand eines realen Datensatzes nachgewiesen. Metrisches Lernen wird untersucht, um die Widerstandsfähigkeit gegenüber störenden Bewegungen zu verbessern. Es werden Beiträge zu zwei verschiedenen Konzepten des metrischen Lernens - paarweises und durchgängiges metrisches Lernen - vorgestellt. In beiden Fällen wird die Effektivität der Identifizierung von Störbewegungen anhand von realen Radarmessungen demonstriert. Darüber hinaus wurde festgestellt, dass die Wahl der Trainingsklassen einen signifikanten Einfluss auf die Erkennungsfähigkeit von bestimmten Störbewegungen hat. Obwohl es kontraintuitiv erscheinen mag, sind metrische Lernansätze robuster gegenüber Bewegungen, die aus bekannten Bewegungsmustern zusammengesetzt sind, als gegenüber Bewegungen mit völlig unbekannten Bewegungskomponenten. Darüber hinaus wird die Verwendung von Radar-Rohdaten als Eingabe für das neuronale Netz untersucht. Dadurch wird die Vorverarbeitung selbst zum Gegenstand der Optimierung während des Trainings und kann zu besseren Klassifikationsergebnissen führen. Allerdings wird die Vorverarbeitung zu einer zusätzlichen Aufgabe für das neuronale Netz. Dadurch steigen die Komplexität und damit die Anzahl der trainierbaren Parameter des neuronalen Netzes deutlich an. Beide Aspekte werden ausgeglichen, indem das Vorwissen in das neuronale Netz integriert wird und somit ein hybrider Ansatz entsteht. Als weiterer Beitrag wird eine auf KI-basierte Handgestenerkennung auf der Grundlage theoretisch gut begründeter Annahmen optimiert. Dabei werden nicht nur rechen- und speichertechnische, sondern auch KI-bezogene Aspekte, wie die Personenunabhängigkeit der Lösung und die Möglichkeit der Anwendung von Datenerweiterungstechniken, betrachtet. Im Vergleich zu herkömmlichen Handgestenerkennungssystemen werden in mehreren Aspekten überlegene Ergebnisse erzielt. Durch die minimale Vorverarbeitung reduziert sich der Rechenaufwand für die Verarbeitung eines Datenrahmens der Größe 𝑁 × 𝑀 von 𝒪(𝑁𝑀 log(𝑁𝑀)) für eine konventionelle Vorverarbeitung auf 𝒪(𝑁𝑀). Darüber hinaus wird im direkten Vergleich mit den modernsten Vorverarbeitungsverfahren gezeigt, dass weniger Trainingsdaten erforderlich sind, um die gleiche Klassifizierungsgenauigkeit zu erreichen.
description: This dissertation examines radar- and Deep Learning (DL)-based motion classification systems for indoor applications. Motion classification in general can be used for various applications. Lightning and airconditioning can be adjusted based on certain human activities and touchless human-machine interaction becomes possible by recognizing a set of different hand motions. Touchless interaction can especially in public places help to prevent infections and became increasingly important during the pandemic. There exist even safety-critical applications such as detecting a person’s fall. In this case medical support can be requested automatically. Camera systems in combination with DL classifiers show a superior performance in the mentioned tasks. However, computer vision systems become inpractical in many cases due to several serious drawbacks, such as the dependency on lightning conditions, the ressource hungriness and most importantly the violation of privacy. Radar sensors can overcome the beforementioned concerns. They are hardly effected by environmental conditions, can be covered by thin plastic, preserve privacy and the processing can usually be performed on the edge avoiding data transfer to a cloud service. In fact, DL is already widely used for radar-based motion classification in research and promising results are reported. However, most systems work in controlled environments. Using DL is still a rather new technique and lacks in interpretability. Therefore, the refinements required to make these DL-based systems mature enough to become a commercially viable solution are still open research questions. The thesis investigates several open challenges such as the vulnerability to disturbing motions, an excellent classification accuracy and a superior generalization capability with only small amount of data. Additionally, the algorithm has to be computationally efficient to enable a ressource-efficient implementation on a low-priced microcontroller. The different aspects are adressed by different thematical sections of the thesis and the effectiveness of each proposed solution is proven on a real-world dataset. Metric learning is investigated to improve the resilience to disturbing motions. Contributions on two different concepts of metric learning – pairwise and end-to-end metric learning – are presented. In both cases the effectivenss of identifying disturbing motions is demonstrated on real-world radar measurements. Additionally, it was identified that the set of training classes has a significant impact on the detection capability of certain disturbing motions. Although it might be counterintuitv, metric learning approaches are more robust against motions that are a composition of known motion patterns, than against motions with completely unknow motion components. Furthermore, the use of raw radar data as input to the Deep Neural Network (DNN) is investigated. Doing so, the preprocessing itself gets subject of optimization during training and can lead to superior classification results. However, preprocessing becomes an additional task for the DNN. Consequently, the complexity and thus the number of trainable parameter of the DNN significantly increases. Both aspects are balances, by integrating prior knowledge into the DNN and thus creating a hybrid approach. As a further contribution a DL-based Hand Gesture Recognition (HGR) is optimized based on theoretically well founded assumptions. In this case not only computational and memory aspects are regarded, but also DL-related aspects, such as the person-independence of the solution and the capability of applying data augmentation techniques. Superior results are achieved compared to conventional HGR systems in several subjectives. Due to minimal preprocessing the computational complexity for processing a data frame of size 𝑁 × 𝑀 is reduced from 𝒪(𝑁𝑀 log(𝑁𝑀)) for conventional preprocessing to 𝒪(𝑁𝑀). Additionally, in a direct comparison to state-of-the-art preprocessing techniques it is shown that less training data is required to achieve the same classification accuracy.