Personalized Machine Learning Benchmarking for Stress Detection
Creators: name: Παρουσίδου, Βασιλική-Χρυσοβαλάντω Γεωργίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Προσωποποιημένη Μηχανική Μάθηση
Ανίχνευση Άγχους
Ομαδοποίηση χρηστών
Personalized Machine Learning
Stress Detection
User Clustering

description: Αγγλική Περίληψη The aim of this thesis is to investigate the feasibility of stress detection using smartwatches and personalized machine learning techniques to avoid the negative consequences of stress on physical and mental health. Smartwatches offer unobtrusive real-time tracking of proven stress indicators such as heart rate, skin conductance, physical activity, sleep quality, and other physiological measurements. Prior work has tackled this problem through generic machine learning methods (one-size-fits-all), that yielded low performance due to their inability to account for individual differences. Moreover, the initiatory approaches that enabled personalization trained a separate model for each individual. These techniques were prone to overfitting with insufficient user data and suffered from the “cold-start” problem of integrating new users, making them costly and time-consuming. To address these issues, we group users based on multiple, non-self-reported attributes that significantly express stress, such as exercising and sleep staging, and train separate machine-learning models for each group as well as apply multitask learning (MTL), considering stress detection of each group as a task. We use MTL deep neural networks, which include some initial shared layers connected to final task-specific layers, to exploit between-user similarities while accounting for between-user differences. Apart from disjoint groups, we also evaluate the performance of “fuzzy” clustering, where users belong to all clusters with a membership degree. Furthermore, we compare these techniques to the equivalent generic and user-based models, where a separate machine-learning model is trained for each participant. We conducted a comprehensive dataset benchmarking and evaluated our approaches using four datasets, two collected in a lab setting and two gathered in-the-wild to assess real-world applicability. The user-based models outperform the generic ones, emphasizing the importance of personalization. Multiple-attribute grouping yielded the best results with up to 0.9960 f1-score in lab setting datasets and up to 0.6567 f1-score in-the-wild (15% better than generic). Therefore, our stress detection system offers not only high performance in the lab setting but also promising results in the datasets that were collected in-the-wild. Overall, we highlight the potential of personalized machine learning in healthcare research which goes beyond stress detection to analytics for user health and well-being in general.
description: Στόχος της παρούσας διπλωματικής είναι η ανίχνευση του άγχους χρησιμοποιώντας δεδομένα που προέρχονται από έξυπνα ρολόγια (smartwatches) και τεχνικές εξατομικευμένης μηχανικής μάθησης με σκοπό την αποφυγή των αρνητικών συνεπειών του άγχους στη σωματική και πνευματική υγεία μας. Τα smartwatches προσφέρουν μη επεμβατική μέτρηση διαφόρων ενδείξεων του άγχους σε πραγματικό χρόνο. Συγκεκριμένα, περιέχουν αισθητήρες που προσφέρουν μετρήσεις των καρδιακών παλμών και της μεταβλητότητάς τους, της αγωγιμότητας του δέρματος, καθώς και πληροφορίες για τη φυσική δραστηριότητα και την ποιότητα του ύπνου. Οι προηγούμενες μελέτες έχουν αντιμετωπίσει αυτό το πρόβλημα μέσω γενικών μεθόδων μηχανικής μάθησης, όπου εκπαιδεύεται ένα μοντέλο χρησιμοποιώντας όλα τα δεδομένα. Ωστόσο οι μέθοδοι αυτοί είχαν συνήθως χαμηλές αποδόσεις εξαιτίας της αδυναμίας των one-size-fits-all μοντέλων να λάβουν υπόψιν τη διαφορετικότητα των ανθρώπων. Επιπλέον, οι αρχικές προσεγγίσεις που υιοθέτησαν την εξατομίκευση (personalization) εκπαίδευαν ένα ξεχωριστό μοντέλο για κάθε άτομο. Ωστόσο σε αυτές τις τεχνικές, υπάρχει μεγάλη πιθανότητα να προκληθεί υπερπροσαρμογή (overfitting), αν δεν υπάρχουν επαρκή δεδομένα για κάποιο χρήστη, ενώ υποφέρουν από το cold-start πρόβλημα, διότι είναι δύσκολο, δαπανηρό και χρονοβόρο να ενσωματωθούν νέοι χρήστες. Για να αντιμετωπίσουμε αυτά τα ζητήματα, ομαδοποιούμε τους χρήστες με βάση πολλά χαρακτηριστικά τα οποία επηρεάζουν τα επίπεδα του άγχους και εξάγονται αυτόματα, όπως η άσκηση και η ποιότητα του ύπνου και εκπαιδεύουμε ένα ξεχωριστό μοντέλο μηχανικής μάθησης για κάθε ομάδα. Επιπλέον εφαρμόζουμε multitask learning (MTL) θεωρώντας ως task την ανίχνευση του άγχους κάθε ομάδας. Συγκεκριμένα, χρησιμοποιούμε MTL βαθιά νευρωνικά δίκτυα τα οποία περιλαμβάνουν κάποια αρχικά, κοινά, κρυφά layers που είναι συνδεδεμένα με τα τελικά task-specific layers, έτσι ώστε να εκμεταλλευτούμε τις ομοιότητες μεταξύ των χρηστών χωρίς να αγνοήσουμε τις διαφορές τους. Πέρα από τη χρήση μη επικαλυπτόμενων ομάδων, μελετούμε επιπλέον την απόδοση του fuzzy clustering, όπου οι χρήστες ανήκουν σε όλες τις ομάδες με ένα βαθμό συμμετοχής. Επιπρόσθετα, συγκρίνουμε αυτές τις προσεγγίσεις με τα αντίστοιχα γενικά μοντέλα, καθώς και τα user-based μοντέλα, όπου εκπαιδεύεται ένα ξεχωριστό μοντέλο για κάθε άτομο. Διεξάγαμε μία αναλυτική συγκριτική αξιολόγηση και αξιολογήσαμε τις προσεγγίσεις μας χρησιμοποιώντας τέσσερα σύνολα δεδομένων, δύο εκ των οποίων συλλέχθηκαν σε επιβλεπόμενο περιβάλλον εργαστηρίου, ενώ τα άλλα δύο στο φυσικό περιβάλλον των χρηστών. Συνεπώς, αποκτούμε ενδείξεις για τις αποδόσεις των μεθόδων μας σε ένα πραγματικό σύστημα ανίχνευσης άγχους. Η αξιολόγηση των μοντέλων έγινε χρησιμοποιώντας το f1-score καθώς δύο από τα τέσσερα σύνολα δεδομένων είναι imbalanced. Όπως ήταν αναμενόμενο, τα user-based μοντέλα είχαν καλύτερες επιδόσεις από τα γενικά επιβεβαιώνοντας την καίρια σημασία της εξατομίκευσης. Tα μοντέλα όπου οι χρήστες είναι ομαδοποιημένοι χρησιμοποιώντας πολλά χαρακτηριστικά είχαν την καλύτερη απόδοση πετυχαίνοντας έως και 0.9960 f1-score στα δεδομένα που συλλέχθηκαν σε εργαστήριο και 0.6567 στα σύνολα δεδομένων που συγκεντρώθηκαν σε πραγματικό περιβάλλον (15% βελτίωση συγκρινόμενο με το γενικό μοντέλο). Συνεπώς, η προτεινόμενη μέθοδος προσφέρει όχι μόνο υψηλή απόδοση σε δεδομένα εργαστηρίου αλλά και αισιόδοξα αποτελέσματα σε δεδομένα που συλλέχθηκαν σε πραγματικό περιβάλλον. Συνοψίζοντας, τονίζουμε τις δυνατότητες της εξατομικευμένης μηχανικής μάθησης στην έρευνα στον τομέα της υγείας η οποία ξεπερνά τα όρια της ανίχνευσης του άγχους και δίνει τη δυνατότητα ανίχνευσης της συνολικής υγείας και ευημερίας του ατόμου.