title: Detecting "getting up" behavior of a person from a bed : using neural network and depth data
Creators: name: Amini Raoofpour, Ali
Publisher: name: TU Wien
Year: 2020
Subjects: subject: deep learning
subject: behaviour modelling
subject: Active Assisted Living
subject: deep learning
subject: Verhaltensanalyse
subject: Active Assited Living

description: Die Erkennung und Analyse menschlicher Aktivitäten ist ein Bereich der Computervision, in dem menschliche Bewegungen anhand von Kameras und/oder Sensoren erfasst und ausgewertet werden. Der Einsatz von Tiefensensoren in intelligenten Systemen in privaten Bereichen wie individuellen Haushalten oder Krankenhäusern nimmt aufgrund ihrer nicht-invasiven Natur stetig zu. Neben der Wahrung der Privatsphäre haben Tiefensensoren den Vorteil, dass sie kostengünstig sind und auch im Dunkeln genügend Informationen über den menschlichen Körper für verschiedene Anwendungen der Verhaltensanalyse erfassen. Der Aufbau intelligenter Systeme zur Verhaltensanalyse mithilfe von Tiefendaten bringt Herausforderungen wie Okklusion, Datenmangel und den im Vergleich zu RGB-Kameras kleinen Erfassungsbereich mit sich. Die Erkennung von Aufstehverhalten aus einem Bett mithilfe von Tiefensensoren ist ein Beispiel der Verhaltensanalyse in alltäglichen Situationen, die von diesen Herausforderungen betroffen sind. In der vorliegenden Arbeit beschreiben wir die Möglichkeit, das Aufstehverhalten aus einem Bett anhand verschiedener Deep-Learning-Modelle und Tiefendaten zu erfassen. Dies soll als Konzeptnachweis dienen, dass Systeme, die auf Tiefensensoren basieren, mit Hilfe von Deep Learning entwickelt werden können, um die oben genannten Hindernisse zu überwinden.Da zu diesem Zeitpunkt kein ähnlicher Datensatz mit Tiefenbildern zur Erkennung des Aufstehverhaltens öffentlich verfügbar war, wurden die erforderlichen Daten selbst gesammelt, verarbeitet und kategorisiert, um so als ersten Schritt einen Datensatz zu erstellen. Anschließend wurden mithilfe eines Convolutional Neural Networks aufgabenabhängige Features aus Tiefendaten extrahiert, um die Analyse der Daten mithilfe von zwei unabhängigen Anwendungen durchzuführen: Klassifizierung und Objekterkennung. Anstatt das Netzwerk von Grund auf zu trainieren, haben wir das vortrainierte neuronale Netzwerk ResNet verwendet, um bereits vorhandenes Wissen von ResNet auf unser Modell zu übertragen und dadurch Probleme im Zusammenhang mit Datenmangel zu überwinden. Sowohl die angewendeten Klassifizierungs- als auch Objekterkennungsmethoden konnten das Aufstehverhalten zuverlässig erkennen. Unsere Ergebnisse zeigen, dass die Verwendung von vortrainierten Netzwerken den Hauptbeitrag zum Training leistet, obwohl das hierfür verwendete Netzwerk ursprünglich mit RGB-Daten trainiert wurde. Darüber hinaus demonstrieren unsere Ergebnisse, dass Transfer-Learning Techniken die Größe aufgabenspezifischer Daten reduzieren. Diese Ergebnisse zeigen, dass Convolutional Neural Network in der Lage sind, aufgabenabhängige Features aus Tiefendaten zu extrahieren, die bei der Entwicklung intelligenter Systeme verwendet werden können.
description: A rapid increase in the development and integration of modern technology into society enables the modeling of human behavior in contact with new technologies. Detecting human activities is one of the areas of computer vision through which it detects and analyzes human movement behavior from data gathered through cameras and/or sensors. The application of depth-sensors in intelligent systems in privacy-sensitive areas such as homes or hospitals is steadily increasing, due to their non-invasive nature. Apart from preserving privacy, depth-sensors have the advantage of low cost and being able to operate in the dark, while still capturing enough information about the human body for various human behavior modeling applications. Building intelligent systems to be used in modeling human behavior based on depth data brings challenges such as occlusion, lack of data, and the shorter range of capture in comparison to RGB cameras. Detecting getting up behavior from a bed using depth-sensors represents one example of modeling human activity in real-life settings, which is affected by these challenges. We describe the possibility of detecting getting up behavior from a bed using different deep learning models and depth data as a proof of concept, that systems based on depth-sensors can indeed be developed with the help of deep learning to overcome the above-stated obstacles. Because no similar dataset containing depth images for detecting getting up behavior was publicly available at the time of writing, all required data was gathered, preprocessed, and labeled to create a dataset as the first step. Then, a state-of-the-art convolutional neural network architecture was used to extract high-level task-dependent features from depth data to investigate the possibility of using them in two applications: classification and object detection. Instead of training the network from the ground up, we used the pretrained convolutional network ResNet to transfer knowledge of what the network has learned to overcome the problems associated with the lack of large data. Both classification and object detection methods were able to reliably detect getting up behavior. Our results show that using pretrained networks is the key contributor in training, despite the fact that the pretrained networks used here were initially trained on RGB data. Furthermore, our results show that transfer learning techniques reduce the size of task-specific data. These results also demonstrate that convolutional neural networks are capable of extracting high-level task-dependent features from depth data which can be utilized in developing ambient intelligent systems.