title: Bildgebende Nahbereichs-Radarsensorik zur hochauflösenden Erfassung menschlicher Bewegung
Creators: name: Braeunig, Johanna
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2025
Subjects: subject: Radarbildgebung
subject: Bewegungserfassung
subject: Menschliche Bewegung
subject: Radar
subject: Handbewegung
subject: DDC Classification::6 Technik, Medizin, angewandte Wissenschaften::62 Ingenieurwissenschaften::620 Ingenieurwissenschaften und zugeordnete Bereiche

description: Derzeit bilden kontaktbasierte Sensoren, beispielsweise optische markerbasierte Systeme oder Inertialsensorik, den Stand der Technik zur Erfassung makroskopischer Bewegung am Menschen. Die zuvor genannten Sensortechniken bringen jedoch verschiedene sensorspezifische Nachteile mit sich. Dazu gehört unter anderem die Beeinflussung der Bewegungen durch das Anbringen von Sensorikbestandteilen am Körper. Kontaktlose kamerabasierte Systeme bieten hierbei eine Alternative. Diese erfassen Bewegungen jedoch nur indirekt durch das Verfolgen von Korrespondenzen oder Posenschätzungen zwischen aufeinanderfolgenden Bildern. Dadurch sind die dafür benötigten Verfahren fehleranfällig und benötigen entweder umfangreiche Trainingsdaten oder extrem rechenintensive Prozesse. Da die präzise, kontaktlose und effiziente Erfassung makroskopischer menschlicher Bewegung für Anwendungen in Medizin, Biomechanik, Robotik und Mensch-Computer-Interaktion von zentraler Bedeutung ist, wurde in dieser Arbeit eine neuartige radargestützte Methode zur hochauflösenden Erfassung und Analyse von Bewegungen entwickelt. Die erarbeitete Methode ermöglicht eine direkte Bewegungserfassung durch die Auswertung des Dopplereffekts, ohne dabei die Bewegung selbst zu beeinflussen. Das Konzept nutzt ein bildgebendes Millimeterwellenradar mit einer stufenweise frequenzmodulierten Dauerstrichsignalform und einer sehr hohen lateralen Auflösung. Die entwickelten Ansätze wurden mithilfe eines Radarversuchssystems mit 94 Sende- und 94 Empfangsantennen simulativ und experimentell verifiziert. Der Fokus innerhalb dieser Dissertation liegt dabei auf der Verifikation des erarbeiteten Konzepts speziell für die Verfolgung von Handbewegungen. Die dreidimensionale Nahbereichs-Radarbildgebung von Menschen wird bereits seit vielen Jahren in der Sicherheitstechnik eingesetzt. Die Bildraten der verwendeten Systeme sind jedoch so gering, dass sie eine Dopplereffekt-basierte Bewegungsanalyse in aller Regel nicht erlauben. Zudem basiert die 3D-Rekonstruktion auf der Abtastung des gesamten Volumens, das die Messszene umschließt. Die Abbildung und Detektion der Körperoberfläche erfolgt zumeist durch die Projektion der maximalen Amplitude entlang der Tiefenachse sowie die Bestimmung der Tiefe, an der diese maximale Amplitude auftritt. Dieses Vorgehen ist extrem rechenintensiv und damit für eine effiziente Bewegungserfassung wenig geeignet. Gleichzeitig ist die Genauigkeit der Oberflächenschätzung abhängig von der Signalbandbreite, was jedoch unter der Bedingung eines möglichst großen Eindeutigkeitsbereichs für die Entfernungsmessung die Anzahl der gesendeten Frequenzstützstellen und somit auch die Messdauer beeinträchtigt. Zur Überwindung der zuvor genannten Einschränkungen wurde zunächst eine innovative Methode entwickelt, die eine effiziente und hochauflösende 3D-Rekonstruktion der Körperhülle bei gleichzeitig hoher Messrate erlaubt. Die erarbeitete Methode überträgt das bekannte Prinzip der 1D-Entfernungsmessung mittels Frequenzumtastung (Frequency Shift Keying, FSK) auf die 3D-Nahbereichs-Radarbildgebung, weshalb dieses Vorgehen im Rahmen dieser Dissertation als N-FSK-Bildgebung bezeichnet wird. Bei der erarbeiteten Methode werden zur Erhöhung der Messrate lediglich zwei eng benachbarte Trägerfrequenzen ausgesendet (2-FSK), wodurch sowohl die Messdauer als auch die zu übertragende Datenmenge im Vergleich zum Stand der Technik deutlich reduziert werden. Um die Effizienz der Rekonstruktionsmethode zu steigern, wird anstelle der Abtastung eines vollständigen 3D-Volumens bei jeder Frequenz nur ein Radarbild an einem geschätzten Entfernungstor berechnet. Die Tiefeninformation der Körperoberfläche wird dabei iterativ aus den Phasendifferenzen korrespondierender Pixel gewonnen. Durch dieses Verfahren sinkt der Rechenaufwand für die Bestimmung der Körperhülle erheblich; eine Beispielrechnung zeigt dabei eine Reduktion um den Faktor 1000. Mithilfe von Raytracing-Simulationen wurde für den 2-FSK-Ansatz eine hohe Genauigkeit bei der Detektion der Handoberfläche für verschiedene Handposen erzielt, wobei sich ein mittlerer absoluter Fehler (MAE) von 1,7 mm ergab. Experimentelle Messungen ergaben abweichende Ergebnisse mit einem MAE von 6,6 mm und einer Präzision von 3,6 mm. Die gegenüber der Simulation etwas reduzierte Performanz ist unter anderem auf störende Messeinflüsse wie Rauschen und Clutter zurückzuführen. Zur Verbesserung der Leistungsfähigkeit wurde die Methodik auf eine 3-FSK-Bildgebung erweitert, die eine zusätzliche Sendefrequenz mit größerem Abstand integriert. Die 3-FSK-Methode kombiniert in Bezug auf die Entfernungsmessung den Vorteil eines hohen Eindeutigkeitsbereichs bei kleiner Differenzfrequenz mit der erhöhten Phasensensitivität einer großen Differenzfrequenz. Dadurch erhöht sich die erreichte Genauigkeit und Präzision der Körperhüllendetektion, ohne die Recheneffizienz und Messdauer des N-FSK-Ansatzes signifikant zu beeinträchtigen. Der MAE und die Präzision wurden so auf die Werte 1,7 mm beziehungsweise 0,3 mm verbessert. Da herkömmliche Dopplereffekt-basierte Verfahren für Fernfeldbedingungen ausgelegt sind, wird im darauffolgenden Teil dieser Dissertation eine Methode zur pixelgenauen Geschwindigkeitsanalyse im Nahbereich erarbeitet. Durch den Ansatz werden geometrische Verzerrungen, die durch Nahfeldeffekte entstehen, positionsspezifisch für jedes einzelne Pixel korrigiert. Die vorgestellte Methodik ermöglicht eine präzise Erfassung von Tiefenbewegungen mit hoher lateraler Auflösung, unabhängig von der Größe der eingesetzten Apertur, wie mit Punktzielsimulationen belegt werden konnte. Zur messtechnischen Validierung dieser Methode wurden Fingertapping-Bewegungen aufgezeichnet und die radarbasierten Ergebnisse mit einem optischen Referenzsystem verglichen. Die durch das Radar gemessene Fingerspitzengeschwindigkeit weist eine hohe Übereinstimmung mit den Markerdaten des Referenzsystems auf, wobei ein ausgezeichneter MAE von 8 mm/s ermittelt wurde. Als ein weiterer Beitrag der Dissertation wurde ein Verfahren zur Verfolgung der menschlichen Körperhülle entwickelt, das eine Kombination von Geschwindigkeits- und Positionsdaten nutzt. Auf Basis der 2-FSK-Bildgebung werden zunächst Tiefenkarten der Hautoberfläche generiert. Anschließend wird die pixelspezifische Geschwindigkeit entlang der Tiefenachse erfasst, was die fortlaufende Anpassung der Tiefenschätzungen erlaubt und die Basis für die Lokalisierung in der nächsten Radarsequenz bildet. Durch Fusion der Geschwindigkeitsdaten mit Positionsinformationen und den Einsatz eines α-Filters werden Rausch- und Störeinflüsse reduziert und die Genauigkeit der Bewegungsverfolgung signifikant verbessert. Die Evaluierung des Verfahrens anhand der Verfolgung der Fingerspitzenposition der Fingertapping-Messungen ergab eine extrem hohe Genauigkeit mit einem mittleren absoluten Fehler (MAE) von 1,4 mm und einer Standardabweichung von 0,3 mm. Die zuvor erläuterte innovative Methode schafft völlig neue Möglichkeiten zur kontaktlosen Verfolgung der bewegten Körperoberfläche entlang der Tiefenachse mittels Nahbereichs-Radarbildgebung. Im Rahmen dieser Arbeit wurde das Verfahren zur Erfassung der Handoberfläche demonstriert. Der vorgestellte Ansatz eröffnet jedoch auch die Möglichkeit, die gesamte vom Radar erfasste Körperhülle zu tracken. Damit stellt die Methode eine bedeutende Weiterentwicklung gegenüber bisherigen Arbeiten dar und schafft somit die Basis für einen entscheidenden Fortschritt in der radarbasierten Erfassung menschlicher Bewegungen.
description: Currently, contact-based sensors, such as optical marker-based systems or inertial sensors, represent the state of the art for capturing macroscopic human movements. However, the aforementioned sensing techniques have various sensor-specific disadvantages, including their influence on motions caused by attaching sensor components to the body. Contactless, camera-based systems offer an alternative, but these capture movements only indirectly by tracking correspondences or pose estimations between consecutive images. As a result, the required methods are prone to errors and demand either extensive training data or highly computationally intensive processes. Given that the precise, contactless, and efficient capture of macroscopic human motions is of central importance for applications in medicine, biomechanics, robotics, and human-computer interaction, this work has developed a novel radar-based method for high-resolution movement capture and analysis. The proposed method enables direct motion detection by evaluating the Doppler effect without influencing the movement itself. The concept uses an imaging millimeter-wave radar with a stepped-frequency continuous-wave signal form and very high lateral resolution. The approaches developed were verified through simulations and experiments using a radar prototype system featuring 94 transmit and 94 receive antennas. This dissertation specifically focuses on verifying the concept developed for tracking hand movements. Radar-based 3D near-field imaging of humans has been used in security applications for many years. However, the frame rates of these systems are generally too low to enable Doppler effect-based motion analysis. Additionally, 3D reconstruction typically involves sampling the entire volume encompassing the scene. The mapping and detection of the body surface is typically carried out by projecting the maximum amplitude along the depth axis and determining the depth at which this maximum amplitude occurs. This approach is extremely computationally intensive and thus unsuitable for efficient motion capture. Furthermore, the accuracy of surface estimation depends on the signal bandwidth, which, under the constraint of a large unambiguous range for distance measurement, affects the number of transmitted frequency points and consequently the measurement duration. To overcome these limitations, an innovative method was developed that enables efficient and high-resolution 3D reconstruction of the body surface while maintaining a high measurement rate. The developed method transfers the well-known principle of 1D distance measurement using frequency shift keying (FSK) to 3D near-field radar imaging. Therefore, this approach is referred to as N-FSK imaging in the context of this dissertation. In this approach, only two closely spaced carrier frequencies (2-FSK) are transmitted to increase the measurement rate, significantly reducing both measurement duration and data transmission requirements compared to the state of the art. To improve the efficiency of the reconstruction method, a radar image is computed at an estimated depth gate for each frequency instead of sampling the entire 3D volume. The depth information of the body surface is iteratively derived from phase differences of corresponding pixels. This approach drastically reduces the computational effort for determining the body surface; an example calculation demonstrates a reduction by a factor of 1 000. Using ray-tracing simulations, the 2-FSK approach achieved high accuracy in detecting the hand surface for various hand poses, with a mean absolute error (MAE) of 1.7 mm. Experimental measurements yielded different results with an MAE of 6.6 mm and a precision of 3.6 mm. The slightly reduced performance compared to simulations is partly attributed to disruptive influences such as noise and clutter. To improve performance further, the methodology was extended to a 3-FSK imaging approach, incorporating an additional transmission frequency with a larger spacing. The 3-FSK method combines the advantage of a large unambiguous range at small difference frequencies with the increased phase sensitivity of a large difference frequency for distance measurements. This enhanced the accuracy and precision of the body surface detection without significantly compromising the computational efficiency and measurement duration of the N-FSK approach. The MAE and precision improved to 1.7 mm and 0.3 mm, respectively. Since conventional Doppler effect-based methods are designed for far-field conditions, this dissertation introduces a method for pixel-wise velocity analysis in the near field. This approach compensates for geometric distortions caused by near-field effects on a position-specific basis for each pixel. The proposed methodology allows precise depth motion capture with high lateral resolution, independent of the size of the radar aperture, as validated through point target simulations. To experimentally validate this method, finger-tapping movements were recorded, and the radar-based results were compared to an optical reference system. The fingertip velocity measured by the radar showed strong agreement with the marker data from the reference system, achieving an excellent MAE of 8 mm/s. Another contribution of this dissertation is the development of a method for tracking the human body surface, which combines velocity and positional data. Based on the 2-FSK imaging approach, depth maps of the skin surface are initially generated. Subsequently, the pixel-specific velocity along the depth axis is captured, enabling continuous adjustment of the depth estimations and forming the basis for localization in the next radar sequence. By fusing velocity data with positional information and employing an α-filter, noise and interference are reduced, significantly improving tracking accuracy. The evaluation of the method for tracking the fingertip position during finger-tapping measurements exhibited extremely high accuracy, with an MAE of 1.4 mm and a standard deviation of 0.3 mm. The innovative method presented here enables entirely new possibilities for contactless tracking of moving body surfaces along the depth axis using near-field radar imaging. This work has demonstrated the method for capturing the hand surface. However, the proposed approach also opens up the possibility of tracking the entire body surface detected by the radar. Thus, this method represents a significant advancement over previous works and lays the foundation for a major leap forward in radar-based human motion capture.