UBIWEAR: An End-To-End Framework for Intelligent Physical Activity Prediction With Machine and Deep Learning
Creators: name: Μπαμπάκης, Αστέριος Αθανασίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2022
Subjects: Πρόβλεψη φυσικής δραστηριότητας
Μηχανική μάθηση
Βαθιά μάθηση
Physical activity prediction
Machine learning
Deep learning

description: An ancient Greek saying goes “a healthy mind in a healthy body”. The meaning of this quote is to signify the importance and vitality of physical exercise. Unfortunately, in the Western world, it has been proven that the majority of individuals do not meet the necessary physical activity levels. Research has shown that increasing someone's physical activity has a positive impact not only on their health but also on their mental well-being. A collective effort to increase physical activity can also have a positive effect on various socioeconomic factors. The question arising within the Computer Science domain consequently is how to embrace the gigantic technology leaps to help individuals better their well-being. The numerous self-tracking and wearable devices nowadays incorporate into their systems some form of intervention, such as goal-setting, for encouraging and motivating users to reach a recommended physical activity level. However, the majority of these techniques in many cases always recommend a steady goal of 10,000 steps. In the best-case scenario, they rely on simplistic factors such as demographics or previously recorded activity to provide an adjusted yet fixed step goal. However, each individual is unique and so has to be the proposed physical activity goal, in order to keep them the most motivated for retaining their physical activity levels. Living in the era of booming Artificial Intelligence (AI), this study has the ultimate goal to apply AI for a meaningful purpose. Extremely limited research has been done in the field of physical activity prediction domain utilizing machine learning. The work presented in this thesis, goes towards this direction, by proposing an end-to-end framework for data collection, data ingestion, pre-processing, experimentation, model training, and evaluation with machine and deep learning approaches for extracting a suitable personalized and dynamic goal-setting model. To achieve this, we are the first in the computer science domain, who exploit the “MyHeart Counts” cardiovascular study dataset. By utilizing this large-scale in-the-wild data for training our models, we enhance their ability to provide the most generalized results possible. Our extensive experimentation with these real-world data inspired us to further help both the research community and practitioners. To this end, we introduce “UBIWEAR”: A Python library for processing ubiquitous self-tracking data, accordingly adjusted in the peculiarities that such type of data presents. We confirm that the most prominent point in machine learning projects with real-world data is the careful processing of the data. Thus, we anticipate that the design and implementation of UBIWEAR can serve as a starting point for this scope. We conclude that deep learning can introduce advancements and improvements in our work and we propose a 3-stacked RNN (LSTM) as a SotA model for the task of predicting the next days' physical activity levels, achieving 1,087 MAE and 1 MdAE error in step counts given only three previous days' data as input. However, in this particular domain traditional machine learning algorithms can provide satisfactory performance, in orders of magnitude lower computational and time resources. The inquiry that arises is whether deep learning's performance boost is counterbalanced by the required computational capacity when ultimately such models are deployed in wearable devices, where the computational resources are restrained. We purposefully work with an open-access dataset and publicly share our codebase to enable the reproducibility of our results. To further facilitate future research, we also adopt containerization and offer step-by-step guides on how to download, store and preprocess the data, as well as on how to reproduce our results with the uploaded pre-trained models. Our aim is to provide access to SotA models to researchers and practitioners across disciplines for empowering personalized health behavior change interventions. This work addresses one of the most unexplored domains in wearable analytics, namely, physical activity prediction for personalized and adaptive goal-setting, and paves the way for future research. Our proposed end-to-end framework, the design of the UBIWEAR library, and the high performance of our suggested deep learning model for this task we anticipate to be a stepping stone for the research community and ideally be embraced in real-world health applications which provide intelligent interventions for empowering future behavior change.
description: Ένα αρχαίο ελληνικό ρητό λέει «νους υγιής εν σώματι υγιεί». Το νόημα αυτού του αποσπάσματος έχει σκοπό να υποδηλώσει τη σημασία της σωματικής άσκησης. Δυστυχώς, στον δυτικό κόσμο, έχει αποδειχθεί ότι η πλειοψηφία των ατόμων δεν πληρεί τα απαραίτητα επίπεδα φυσικής δραστηριότητας. Έρευνες έχουν δείξει ότι η αύξηση της σωματικής δραστηριότητας έχει αντίκτυπο όχι μόνο στην υγεία των ατόμων αλλά και στην ψυχική τους ευεξία. Μια συλλογική προσπάθεια αύξησης της φυσικής δραστηριότητας μπορεί επίσης να έχει θετική επίδραση σε διάφορους κοινωνικο-οικονομικούς παράγοντες. Το ερώτημα που προκύπτει συνεπώς είναι πώς μπορούμε να υιοθετήσουμε τα γιγάντια τεχνολογικά άλματα που έχουν γίνει, για να βοηθήσουμε τα άτομα για την καλύτερη ευημερία τους. Οι πολυάριθμες φορητές συσκευές αυτο-παρακολούθησης σήμερα ενσωματώνουν στα συστήματά τους κάποια μορφή παρέμβασης (π.χ. στόχοι δραστηριότητας) για την ενθάρρυνση και την παρακίνηση των χρηστών να φτάσουν σε ένα συνιστώμενο επίπεδο φυσικής δραστηριότητας. Ωστόσο, η πλειονότητα αυτών των τεχνικών σε πολλές περιπτώσεις προτείνει πάντα έναν σταθερό στόχο 10.000 βημάτων. Στην καλύτερη περίπτωση, οι παρεμβάσεις βασίζονται σε απλοϊκούς παράγοντες, όπως δημογραφικά στοιχεία ή προηγούμενη καταγεγραμμένη δραστηριότητα για να παρέχουν έναν προσαρμοσμένο, αλλά μη μεταβαλλόμενο, στόχο βημάτων. Όμως κάθε άτομο είναι διαφορετικό και συνεπώς πρέπει να προσαρμόζεται και ο προτεινόμενος στόχος σωματικής δραστηριότητας, προκειμένου να διατηρηθεί το μεγαλύτερο κίνητρο για τη διατήρηση των επιπέδων δραστηριότητας σε ικανοποιητικά επίπεδα. Η βιβλιογραφία δείχνει ότι τα 10.000 σταθερά καθημερινά βήματα είναι μια συνιστώμενη μέτρηση για τη διατήρηση ενός ενεργού και υγιεινού τρόπου ζωής. Ωστόσο, η μεγάλη ποικιλία των καθημερινών δραστηριοτήτων ρουτίνας των ατόμων μπορεί να θέσει τον ημερήσιο στόχο των 10.000 βημάτων δύσκολα επιτεύξιμο. Αυτή η σταθερή προσέγγιση καθορισμού στόχων, αν και έχει αποδειχθεί ότι είναι συμφέρουσα σε συγκεκριμένες καταστάσεις, στερείται το στοιχείο της εξατομίκευσης. Τα συστήματα καθορισμού στόχων είναι ένας σημαντικός παράγοντας που μπορεί να βοηθήσει στην αύξηση σωματικής δραστηριότητας προτρέποντας και παρακινώντας τους χρήστες να συνεχίζουν την σωματική τους δραστηριότητα. Οι τρεις κύριες κατηγορίες συστημάτων καθορισμού στόχων διακρίνονται σε: συστήματα καθορισμού σταθερών στόχων, σε συστήματα καθορισμού εξατομικευμένων στόχων λαμβάνοντας υπόψην τα προσωπικά χαρακτηριστικά των χρηστών και τις συνήθειες τους, και συστήματα καθορισμού εξατομικευμένων και προσαρμοστικών ρυθμίσεων στόχων, που προσαρμόζονται και στα προσωπικά χαρακτηριστικά αλλά και σε προηγούμενα επίπεδα σωματικής δραστηριότητας. Η δουλειά μας επικετρώνεται στην πιο περίπλοκη αλλά αποτελεσματικότερη κατηγορία του καθορισμού εξατομικευμένων και προσαρμοστικών ρυθμίσεων στόχων. Ζώντας στην εποχή της ακμάζουσας Τεχνητής Νοημοσύνης, μια επαναστατική αντίληψη αυτών των συστημάτων θα ήταν εκείνη που θα εκμεταλλευόταν την τεχνητή νοημοσύνη και τη μηχανική μάθηση για να παρέχει προβλέψεις σχετικά με στόχους βημάτων σε εφικτά επίπεδα με προσαρμοστικό και εξατομικευμένο τρόπο. Το αποτέλεσμα θα ήταν η μεγαλύτερη δέσμευση των ατόμων στον στόχο άσκησής τους, καθώς οι προτεινόμενοι στόχοι θα ήταν δύσκολοι, αλλά πιο επιτεύξιμοι. Ωστόσο, μέχρι σήμερα οι σχετικές εργασίες που εκμεταλλεύονται τεχνικές μηχανικής μάθησης για την παροχή στόχων μελλοντικών βημάτων είναι εξαιρετικά περιορισμένες. Η εργασία που παρουσιάζεται σε αυτή τη διατριβή, έχει αυτή την κατεύθυνση, προτείνοντας ένα πλήρες πλαίσιο για συλλογή δεδομένων, απορρόφηση δεδομένων, προεπεξεργασία των δεδομένων, πειραματισμό αρχιτεκτονικών, εκπαίδευση μοντέλων και αξιολόγηση με προσεγγίσεις μηχανικής και βαθιάς μάθησης για την εξαγωγή ενός κατάλληλου εξατομικευμένου και δυναμικού μοντέλου καθορισμού στόχων. Παρόλο που υπάρχουν πολλές σχετικές μελέτες που εφαρμόζουν τη μηχανική μάθηση για την αναγνώριση της ανθρώπινης δραστηριότητας ή την ταξινόμηση σταδίων ύπνου, υπάρχουν εξαιρετικά περιορισμένες μελέτες στον τομέα της πρόβλεψης επιπέδων φυσικής δραστηριότητας αξιοποιώντας τεχνικές και αλγόριθμους μηχανικής μάθησης. Η πλειονότητα των μελετών που συγκρίνουν προτάσεις φυσικής δραστηριότητας βασίζονται σε καθαρά στατιστικά μοντέλα και απλούς αλγορίθμους. Σχεδόν όλες οι μελέτες που επιχειρούν να προβλέψουν τα επίπεδα φυσικής δραστηριότητας, παρά την χρήση απλουστεμένων μοντέλων, βασίζονται σε μικρά σύνολα δεδομένων που κατασκευάζονται και σχεδιάζονται με ερευνητικά ερωτήματα κατά νου, όπως στις συμβατικές έρευνες, τις πειραματικές μελέτες, κτλ. Επίσης τα σύνολα δεδομένων που έχουν χρησιμοποιηθεί για αυτό το σκοπό αποτελούνται από δεκάδες έως το πολύ εκατοντάδες συμμετέχοντες. Σε αντίθεση με άλλα γνωστά και καθιερωμένα πεδία στο χώρο της Τεχνητής Νοημοσύνης όπως Επεξεργασία Φυσικής Γλώσσας και Υπολιγιστική Όραση που γνωρίζουν άνθιση, το μεγάλο πλήθος από μελέτες και εφαρμογές που υπάρχουν έχει οδηγήσει σε πολλές και καλά καθορισμένες οδηγίες που πρέπει να ακολουθούνται στον χειρισμό τέτοιου είδους δεδομένων. Εν αντιθέσει, στο τομέα της πρόβλεψης φυσικής δραστηριότητας δεν υπάρχουν αναφορές ή ενδείξεις για τον κατάλληλο χειρισμό και προ-επεξεργασία δεδομένων που προέρχονται από συγκεντρωτικά δεδομένα φορητών συσκευών. Παρά τις περιορισμένες μελέτες για την πρόβλεψη των επιπέδων φυσικής δραστηριότητας, κατά την περίοδο διεξαγωγής αυτής της έρευνας υπάρχουν μόλις δύο μελέτες που έκαναν χρήση νευρωνικών δικτύων για αυτόν τον σκοπό. Ωστόσο, εκτός από τους παραδοσιακούς αλγόριθμους μηχανικής μάθησης που χρησιμοποιήθηκαν, η ακριβής αρχιτεκτονική των νευρωνικών δικτύων και για τις δύο μελέτες είναι απροσδιόριστη. Αυτό μας αφήνει να εκτιμήσουμε ότι οι συγγραφείς χρησιμοποίησαν ένα απλό νευρωνικό δίκτυο, χωρίς να διερευνήσουν άλλες πιο προηγμένες αρχιτεκτονικές. Επίσης λόγω των περιορισμών που εισάγουν τα κλειστά δεδομένα και τα αποθετήρια κλειστού κώδικα, η αναπαραγωγιμότητα των δημοσιευμένων αποτελεσμάτων και η επαναχρησιμοποίηση υπάρχοντος κώδικα και μοντέλων για την εργασία εξατομικευμένου καθορισμού στόχων είναι σχεδόν ανέφικτη αυτήν τη στιγμή. Αυτή η διατριβή, έχει σκοπό να αντιμετώπισει τις παραπάνω δυσκολίες που υπάρχουν σε αυτόν τον τομέα και διευρενά τη πρόβλεψη φυσικής δραστηριότητας αναπτύσσοντας ένα σύστημα τεχνητής νοημοσύνης για έξυπνη πρόβλεψη του αριθμού βημάτων που θα πραγματοποιήσει ένας χρήστης μια φορητής συσκευής, με αποτέλεσμα τον καθορισμό εξατομικευμένων και δυναμικών στόχων φυσικής δραστηριότητας. Αντιμετωπίζουμε το πρόβλημα της πρόβλεψης των βημάτων της επόμενης μέρας ως μια εργασία πρόβλεψης χρονοσειράς, χρησιμοποιώντας τόσο μοντέλα μηχανικής μάθησης από τρεις κύριες οικογένειες αλγορίθμων (γραμμικά, δενδροειδή και συλλογικά μοντέλα) όσο και βαθιάς μάθησης (πολυ-επίπεδα βαθιά νευρωνικά, συνελικτικά και αναδρομικά νευρωνικά δίκτυα), με έναν σημαντικό αριθμό τεχνικών προεπεξεργασίας για τα δεδομένα φορητών συσκευών προερχόμενα από τη μελέτη «MyHeart Counts». Είμαστε οι πρώτοι στον τομέα της επιστήμης των υπολογιστών, που εκμεταλλευόμαστε την καρδιαγγειακή μελέτη «MyHeart Counts». Χρησιμοποιώντας αυτά τα μεγάλης κλίμακας δεδομένα πραγματικού κόσμου για την εκπαίδευση των μοντέλων μας, υποστηρίζουμε την ικανότητά τους να παρέχουν όσο το δυνατόν πιο γενικευμένα αποτελέσματα. Ο εκτενής πειραματισμός μας με αυτά τα πραγματικά δεδομένα μας ενέπνευσε να βοηθήσουμε περαιτέρω τόσο την ερευνητική κοινότητα όσο και τους επαγγελματίες. Υπό αυτό το πρίσμα, σχεδιάσαμε και παρουσιάζουμε το ``UBIWEAR": Μια Python βιβλιοθήκη ανοιχτού κώδικα για την επεξεργασία ενός ευρύ φάσματος δεδομένων αυτο-παρακολούθησης, ανάλογα προσαρμοσμένη στις ιδιαιτερότητες που παρουσιάζουν τέτοιου είδους δεδομένα. Επιβεβαιώνουμε ότι το πιο σημαντικό σημείο σε έργα μηχανικής μάθησης με δεδομένα πραγματικού κόσμου είναι η προσεκτική επεξεργασία τους. Για αυτό και ελπίζουμε ότι ο σχεδιασμός και η υλοποίηση του UBIWEAR μπορεί να αποτελέσει αφετηρία για αυτό το πεδίο. Συμπεραίνουμε ότι η βαθιά μάθηση μπορεί να παρουσιάσει πρόοδο και βελτιώσεις στην εργασία μας, και προτείνουμε ένα αναδρομικό νευρωνικό δίκτυο (RNN) με 3 στοίβες από LSTM ως μοντέλο SotA για τη πρόβλεψη των επιπέδων φυσικής δραστηριότητας της επόμενης μέρας, επιτυγχάνοντας 1.087 MAE και 1 MdAE σφάλμα βημάτων λαμβάνοντας υπόψην μόνο δεδομένα τριών προηγούμενων ημερών. Ωστόσο, στον συγκεκριμένο τομέα, οι παραδοσιακοί αλγόριθμοι μηχανικής μάθησης μπορούν να παρέχουν ικανοποιητική απόδοση, σε τάξεις μεγέθους χαμηλότερους υπολογιστικούς και χρονικούς πόρους. Το ερώτημα που προκύπτει είναι εάν αυτή η ενίσχυση της απόδοσης της βαθιάς μάθησης αντισταθμίζεται από τις απαιτούμενες υπολογιστικές απαιτήσεις όταν τελικά τέτοια μοντέλα ενσωματώνονται σε φορητές συσκευές, όπου οι υπολογιστικοί πόροι είναι περιορισμένοι. Τέλος εργαζόμαστε σκόπιμα με δεδομένα ανοιχτής πρόσβασης και παραθέτουμε σε δημόσια χρήση τον κώδικα μας για να επιτρέψουμε την αναπαραγωγιμότητα των αποτελεσμάτων μας. Για να διευκολυνθεί περαιτέρω η μελλοντική έρευνα, υιοθετούμε επίσης τεχνολογίες containerization και προσφέρουμε οδηγούς βήμα προς βήμα για τον τρόπο λήψης, αποθήκευσης και προεπεξεργασίας των δεδομένων, καθώς και για τον τρόπο αναπαραγωγής των αποτελεσμάτων μας με προεκπαιδευμένα μοντέλα. Στόχος μας είναι να παρέχουμε πρόσβαση σε μοντέλα SotA σε ερευνητές και επαγγελματίες σε όλους τους κλάδους για την ανάπτυξη της έρευνας εξατομικευμένων και προσαρμοσμένων παρεμβάσεων αλλαγής συμπεριφοράς στην υγεία. Αυτή η εργασία ασχολείται με έναν από τους πιο ανεξερεύνητους τομείς στην ανάλυση δεδομένων φορητών συσκευών, και συγκεκριμένα με τη πρόβλεψη φυσικής δραστηριότητας για εξατομικευμένο και προσαρμοστικό καθορισμό στόχων, ανοίγοντας το δρόμο για μελλοντική έρευνα. Το προτεινόμενο πλήρες πλαίσιο, ο σχεδιασμός της βιβλιοθήκης UBIWEAR και η υψηλή απόδοση του προτεινόμενου μοντέλου βαθιάς μάθησης για αυτήν την εργασία, προσδοκούμε να αποτελέσουν αφετηρία για την ερευνητική κοινότητα και ιδανικά να ενσωματωθούν σε πραγματικές εφαρμογές υγείας που παρέχουν έξυπνες παρεμβάσεις για μελλοντικής αλλαγή συμπεριφοράς.