title: Energy-efficient wearable system design for natural dietary behaviour monitoring
title: Energie-effizientes tragbares System-Design zur Überwachung des natürlichen Ernährungsverhaltens
Creators: name: Schiboni, Giovanni
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 0
Subjects: subject: machine learning
subject: pattern recognition
subject: automatic dietary monitoring
subject: energy efficiency
subject: wearable sensors
subject: DDC Classification::6 Technik, Medizin, angewandte Wissenschaften :: 60 Technik :: 600 Technik, Technologie

description: In this thesis, we addressed human natural behaviour monitoring using miniature sensors embedded into unobtrusive wearable accessories. As application example, we targeted detection of dietary physiological and behavioural patterns in free-living based on machine learning. The wearable system design is a challenging task due to the free-living application requirements. The need for an automated event retrieval service, which finds signatures of specific dietary activities, imposes accurate statistical modelling. Dietary activities have limited duration, occur sporadically at arbitrary time, and are interspaced by a variety of other similar activities. Pattern spotting is a promising approach to find signatures of sparse dietary events in a continuous data stream. Moreover, the wearable system design must be optimised to process sensor data streams continuously. Wearable system design aims to identify a hardware and software configuration, meeting free-living application requirements (e.g., seamless recording of measurements, online processing). Sampling, processing, analysing, and transmitting sensor data patterns, at run-time are bounded by the resource budget, that is determined by the system configuration. Through design space exploration, the designers evaluate system configurations at early stages of design, employing analytical models, conflicting metrics, and optimisation criteria, to prevent lack of resources at run-time. The design challenges are exacerbated when the system does include functions that cannot be statically approximated, and by those with a dynamic effect on the resource-performance trade-off. For example, context-adaptive duty-cycling is a dynamic sampling strategy, adopted to balance the resource-performance trade-off by sampling and processing information at relevant moments. The assumption underlying context-adaptive duty-cycling is that physiological and behavioural patterns, interpreted as context, are a stochastic data source that produces information at time-varying rate. In context-adaptive duty-cycling, time-varying energy, memory, and computational footprints are determined by the data pattern sampling and processing, which, in turn, affect the overall resource-performance trade-off. The objectives of this thesis are threefold: 1) To find signatures of dietary events embedded in wearable sensor data streams using pattern spotting. 2) To balance resource-performance trade-off in wearable devices using context-adaptive duty-cycling strategies. 3) To investigate automated design space exploration procedures that take into account the dynamic effects of context-adaptive duty-cycling on the system’s resource-performance trade-off. To address the first objective, the thesis introduces two novel pattern spotting pipelines to monitor drinking and eating in free-living. The drinking monitoring application targets sparse natural intake gesture detection from wrist-worn inertial measurument unit data streams. The key technical features are a hidden Markov model-based spotting network, an optimisation based on multipopulation genetic programming to approximate the network’s parameters across target and non-target models, and a method to mine non-gesture patterns from arbitrary data. Results show that it was possible to monitor sparse natural drinking gestures with an average F1-score of over 74%. The eating monitoring application targets eating activity detection.We analysed a deep network processing of egocentric photostreams using a head-mounted camera. Transfer learning was employed to perform dietary object detection and, subsequently, dietary event spotting. An average recall performance over 90% suggested the feasibility of the method. To address the second objective, the thesis describes three variants of a context-adaptive duty-cycling, validated in several case studies. Our context-adaptive duty-cycling methods build on the assumption that informative sampling intervals are identifiable from signal features, interpreted as context measure. We developed a feed-forward controller that incorporates a response model to dynamically map the context measure to the sensor’s duty-cycle settings. We evaluated our approaches within different sensor data type, pattern recognition, and application service (i.e., edge processing, computational offloading) scenarios. Compared to conventional sampling methods, results consistently showed a reduction of the system’s resource utilisation between 13% and 22%, while achieving similar pattern recognition performance. To address the third objective, the thesis presents our automated multi-objective design space exploration (DynDSE) for wearable edge devices. We provided a formal characterisation of the design space, given a set of system functionalities, components and their parameters. An iterative search evaluated system configurations according to a set of requirements in simulations with actual electromyography-based chewing-monitoring eyeglasses data. Using DynDSE, the designer profiles the system run-time behaviour under realistic dynamic conditions produced by context-adaptive duty-cycling. DynDSE yielded configurations that balance recognition performance and resource consumption with an F1 score above 80% at an energy consumption that was 70% below the default, non-optimised configuration. In conclusion, we demonstrated that a combination of pattern spotting algorithms, context-adaptive duty-cycling, and multi-objective optimisation, could support wearable system designers to provide software solutions for energy-efficient monitoring of natural behaviour.
description: In dieser Dissertation haben wir uns mit der Überwachung des natürlichen menschlichen Verhaltens unter Verwendung von Miniatursensoren befasst, die in unauffällige tragbare Accessoires eingebettet sind. Als Anwendungsbeispiel zielten wir auf die Erkennung von ernährungsphysiologischen Datenmustern und Verhaltensdatenmustern im Alltag, mit Hilfe von maschinellen Lernmethoden ab. Das Design tragbarer Systeme ist aufgrund der nötigen Alltagstauglichkeit eine herausfordernde Aufgabe. Die notwendige Ereigniserkennung, die Signaturen bestimmter Ernährungsaktivitäten in Sensordaten findet, erfordert eine genaue statistische Modellierung. Datenmuster in Ernährungsaktivitäten haben eine begrenzte Zeitdauer, treten sporadisch zu beliebigen Zeiten auf und werden von einer Vielzahl anderer, ähnlicher Aktivitäten unterbrochen. Pattern Spotting ist ein vielversprechender Ansatz, um Datenmuster spärlicher Ernährungsereignisse in einem kontinuierlichen Datenstrom zu finden. Darüber hinaus muss das tragbare Systemdesign optimiert werden, um Sensordatenströme kontinuierlich zu verarbeiten. Das tragbare Systemdesign zielt darauf ab, eine Hardware- und Softwarekonfiguration zu identifizieren, die Anforderungen an Alltagstauglichkeit erfüllt, z.B. nahtlose Erfassung von Messungen, Online-Verarbeitung. Das Abtasten, Verarbeiten, Analysieren und Übertragen von Sensordatenmustern zur Laufzeit ist durch das Ressourcenbudget begrenzt, das durch die Systemkonfiguration bestimmt. Durch die Analyse des Designraums lassen sich Systemkonfigurationen in frühen Designphasen bewerten. Dazu werden analytische Modelle, verschiedene Leistungsmetriken, sowie Optimierungskriterien eingesetzt, um einen Ressourcenmangel zur Laufzeit zu vermeiden. Die Entwurfsherausforderungen werden verschärft, wenn das System Funktionen enthält, die nicht statisch angenähert werden können und durch Anforderungen mit dynamischer Auswirkung auf den Ressourcen-Leistungs-Kompromiss. Beispielsweise ist das kontextadaptive Abtasten eine dynamische Abtaststrategie, die angewendet wird, um den Kompromiss zwischen Ressourcen und Leistung zur Laufzeit anzupassen. Bei dem kontextadaptiven Abtasten werden Informationen zu relevanten Zeitpunkten abgetastet und verarbeitet. Die dem kontextadaptiven Abtasten zugrunde liegende Annahme ist, dass physiologische Datenmuster und Verhaltensmuster, interpretiert als Kontext, eine stochastische Datenquelle sind, die Informationen mit zeitveränderlicher Rate produziert. Beim kontextadaptiven Abtasten werden zeitvariable Energie-, Speicher- und Berechungsresourcen durch die Abtastung und Verarbeitung bestimmt, die wiederum den gesamten Resourcen-Leistungs-Kompromiss beeinflussen. Die Ziele dieser Dissertation sind: 1. Das Auffinden von Datenmuster von Ernährungsereignissen, die in Datenströmen von tragbaren Sensoren eingebettet sind, unter Verwendung von Mustererkennung. 2. Ausgleichen des Ressourcen- Leistungs-Kompromisses in tragbaren Systemen unter Verwendung von kontextadaptiven Abtasten-Strategien. 3. Untersuchen automatisierter Prozeduren für die Design Space Exploration (DSE), die dynamische Auswirkungen kontextadaptiver Betriebszyklen auf den Kompromiss zwischen Ressourcen und Leistung des Systems berücksichtigen. Um das erste Ziel zu adressieren, stellt die Dissertation zwei neuartige Pipelines zur Erkennung von Mustern vor, um das Trinken und Essen im Alltag zu überwachen. Die Trinkerkennung zielt auf die spärliche Ereignisse natürlicher Ernährungsgesten aus Datenströmen von am Handgelenk getragenen Intertialssensoren ab. Die wichtigsten technischen Merkmale sind ein Hidden Markov-Modell-basiertes Erkennungsnetzwerk, eine Optimierung basierend auf genetischer Multipopulations-Programmierung, um die Parameter des Netzwerks über Ziel- und Nicht-Ziel-Modelle hinweg zu approximieren, und eine Methode, um Nicht-Gesten-Muster aus beliebigen Daten zu extrahieren. Die Ergebnisse zeigen, dass es möglich ist, spärliche natürliche Trinkgesten mit einem durchschnittlichen F1-Wert von über 74 % zu überwachen. Die Esserkennung zielt auf die Erkennung von Essaktivitäten ab. Wir haben ein tiefes neuronales Netzwerk basierend auf egozentrischen Bilddaten mit einer Kopfkamera analysiert. Transfer Learning wurde eingesetzt, um die Erkennung von Ernährungsobjekten und anschließend die Erkennung von Ernährungsereignissen durchzuführen. Eine durchschnittliche Erkennungsleistung von über 90 % legte die Machbarkeit der Methode nahe. Um das zweite Ziel zu adressieren, beschreibt die Arbeit drei Varianten eines kontextadaptiven Abtasten, die in mehreren Fallstudien validiert wurden. Unsere kontextadaptiven Abtasten-Methoden bauen auf der Annahme auf, dass informative Abtastintervalle aus Signalmerkmalen identifizierbar sind, bezeichnet als Kontextmaß. Wir haben einen Feed-Forward-Controller entwickelt, der ein Reaktionsmodell enthält, um das Kontextmaß dynamisch den Tastverhältniseinstellungen des Sensors zuzuordnen. Wir haben unsere Ansätze innerhalb verschiedener Sensordatentyp-, Mustererkennungs- und Anwendungsserviceszenarien (d. h. Edge-Processing, Computational Offloading) evaluiert. Im Vergleich zu konventionellen Stichprobenverfahren zeigten die Ergebnisse durchweg eine Reduzierung der Ressourcenauslastung des Systems zwischen 13% und 22%, während eine ähnliche Mustererkennungsleistung erzielt wurde. Um das dritte Ziel zu adressieren, stellt die Arbeit unsere automatisierte Multi-Objective Design Space Exploration (DynDSE) für Wearable Edge Devices vor. Wir lieferten eine formale Charakterisierung des Designraums, gegeben durch eine Reihe von Systemfunktionalitäten, Komponenten und deren Parameter. Eine iterative Suche wurde eingesetzt, um die Systemkonfigurationen gemäß einer Reihe von Anforderungen in Simulationen mit Elektromyographie- Daten von Brillengestellen zu analysieren. Unter Verwendung von DynDSE, profiliert der Designer das Laufzeitverhalten des Systems unter realistischen dynamischen Bedingungen, die durch kontextadaptiven Abtasten erzeugt werden. DynDSE ergab Konfigurationen, die Erkennungsleistung und Ressourcenverbrauch mit einem F1-Score von über 80% bei einem Energieverbrauch, der 70% unter der standardmäßigen, nicht optimierten Konfiguration lag, ausbalancieren. Zusammenfassend haben wir gezeigt, dass eine Kombination aus Mustererkennung algorithmen, kontextadaptiven Abtasten und Mehrzieloptimierung Designer von tragbaren Systemen dabei unterstützen könnte, Softwarelösungen für die energieeffiziente Überwachung des natürlichen Verhaltens bereitzustellen.