Wearables in Sports: From Experimental Validation to Deep Learning Applications
Wearables im Sport: Von experimenteller Validierung zu Deep Learning-Anwendungen
Creators: name: Link, Johannes
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2024

description: Wearable devices, such as smartwatches, fitness trackers, and specialized tracking sensors, have become increasingly popular in sports in recent years. With more wearables used, the amount of data measured is also growing rapidly. Additionally, better computational power and improved algorithms have enabled Deep Learning (DL) methods to outperform traditional machine learning algorithms in many domains. In recent years, the combination of these two advancements has led to significant progress in sports analytics. This advancement has proven advantageous for numerous sports, although some, particularly those that are less popular, have yet to reap its benefits. Within this dissertation, I contribute to DL applications in niche sports, particularly ski jumping and ultimate frisbee. Issues related to insufficient data are one of the primary reasons for the failure of DL projects. This includes limited data availability or insufficient data quality. Therefore, it is essential to investigate and validate the data quality properly to be able to apply a data-driven engineering approach. Within this cumulative dissertation, I present and fill a literature gap regarding the experimental validation of wearables in sports and applying deep learning to wearables’ data in sports. This cumulative dissertation is built around three contributions. In the first contribution [P1], I, with my co-authors, systematically validated a Wearable Real-Time Tracking System (WRTTS) for ski jumping. The system consists of two wearable trackers mounted on the skis and antennas next to the ski jumping hill, making it unobtrusive while also being able to transmit data in real-time. We validated the system’s measurements of the 3D positions, the skis’ 3D orientations, and the ski jump length in comparison with multiple reference systems. Based on the validated system, my co-authors and I developed, in my second contribution [P2], a real-time performance prediction method for ski jumping. We investigated the prediction accuracy of different Deep Neural Networks (DNNs) shortly after the take-off. Additionally, we analyzed the prediction accuracy of the best performing DNN during the flight phase. In my third contribution [P3], I developed, with my co-authors, a Human Activity Recognition (HAR) system based on wrist-worn Inertial Measurement Units (IMUs) for ultimate frisbee. The system is based on a Convolutional Neural Network (CNN) and can classify various throwing techniques and catches. Additionally, we investigated the use of transfer learning when dealing with small-scale datasets. For this, we transferred (low-)level features from a previously developed CNN for HAR in beach volleyball using a wrist-worn IMU. In conclusion, this thesis shows the importance of proper experimental validation of wearables and demonstrates the possibilities of DL for innovative applications in niche sports based on wearables.
description: Die Verwendung von tragbaren Sensoren, so genannte Wearables, wie Smartwatches, Fitnesstracker oder spezielle Tracking-Sensoren, hat in den letzten Jahren enorm zugenommen. Je mehr Wearables verwendet werden, desto schneller steigt auch die Menge an gemessenen Daten. Darüber hinaus hat Deep Learning (DL) dank besserer Rechenleistung und verbesserter Algorithmen in vielen Bereichen Algorithmen des aktuellen Stands der Technik, einschließlich des traditionellen maschinellen Lernens, übertroffen. Diese beiden Entwicklungen wurden in den letzten Jahren kombiniert und haben die Sportanalytik erheblich verbessert. Viele Sportarten haben bereits von dieser Entwicklung profitiert. Andere, vor allem weniger verbreitete Sportarten, haben dies jedoch nicht getan. Im Rahmen dieser Dissertation möchte ich einen Beitrag zur Anwendung von DL in diesen Sportarten leisten. Bei der Entwicklung von DL-Anwendungen ist die Datenverfügbarkeit einer der Hauptgründe für das Scheitern von DL-Projekten. Dies kann auf zu wenige Daten oder unzureichende Datenqualität zurückzuführen sein. Daher ist es wichtig, die Datenqualität richtig zu untersuchen. In dieser kumulativen Dissertation präsentiere ich eine Literaturlücke in Bezug auf die experimentelle Validierung von Wearables im Sport und die Anwendung von DL auf Daten von Wearables im Sport. Diese kumulative Dissertation basiert auf drei wissenschatlichen Publikationen. In der ersten Publikation [P1] habe ich zusammen mit meinen Co-Autoren ein tragbares Echtzeit-Trackingsystem für Skispringen systematisch validiert. Das System kann die 3D-Positionen, die 3D-Orientierungen der Skier und die Weite des Skisprungs messen. Außerdem besteht das System aus zwei tragbaren Sensoren, die die Daten in Echtzeit übertragen und die auf den Ski befestigt werden, sodass sie die Athleten nicht beeinträchtigen. Auf der Grundlage des validierten Systems entwickelten meine Mitautoren und ich in meiner zweiten Publikation [P2] eine Methode zur Leistungsvorhersage beim Skispringen. Dazu untersuchten wir die Vorhersagegenauigkeit verschiedener tiefer neuronaler Netze kurz nach dem Absprung. Zusätzlich analysierten wir die Vorhersagegenauigkeit des leistungsstärksten neuronales Netzes während der Flugphase. In meiner dritten Veröffentlichung [P3] habe ich zusammen mit meinen Co-Autoren eine Aktivitätserkennung auf der Grundlage einer am Handgelenk getragenen inertialen Messeinheit (engl. Inertial Measurement Unit (IMU)) für Ultimate Frisbee entwickelt. Das System basiert auf einem Convolutional Neural Network (CNN) und kann verschiedene Wurftechniken und Fangen klassifizieren. Darüber hinaus untersuchen wir den Einsatz von Transfer Learning beim Umgang mit kleinen Datensätzen. Dazu übertragen wir (Low-)Level-Merkmale aus einem zuvor entwickelten CNN für Aktivitätserkennung im Beachvolleyball mit Hilfe eines am Handgelenk getragenen IMUs. Zusammenfassend zeigt diese Arbeit die Bedeutung einer angemessenen experimentellen Validierung von Wearables und demonstriert die Möglichkeiten von DL für innovative Anwendungen im Sport auf der Basis von Wearables.