Hybrid machine learning model for action recognition and trajectory forecasting
Creators: name: Σέντερη, Γαβριέλα Ευθαλία Πασχάλη
Publisher: name: Aristotle University of Thessaloniki
Year: 2020
Subjects: Αναγνώριση κίνησης
Μοντελοποίηση και αναπαράσταση κίνησης
Πρόβλεψη τροχιών
Action recognition
Movement modeling and representation
Trajectory forecasting

description: Collaborative processes where humans and robot agents work together are deployed in professional work-places to enhance effectiveness and productivity. The workers are supported by these robot agents not only to perform better professionally, but also to be able to obtain ergonomically green postures. On the other side, cultural institutions are trying to enhance the cultural experience they offer, engage their audience and also preserve the know-how by adding interactive installations to their exhibitions. The museum visitor has the chance to get into the "real" environment of the craftsman and experience the process of artifact creation. Many cultural institutions provide also with professional training to people that are interested in professions that tend to extinct. For the accomplishment of the goals presented above, gesture recognition is both an essential element and also a challenging task. This task was the main part of this master thesis. For the implementation of the gesture recognition model, a methodology was first developed to visualize the dependencies of the human body parts, which were then mathematically represented and worked as a formula for exploiting previously recorded professional gestures. More specifically, a biomechanical model was created, named the Gesture Operational Model (GOM). This model consists of four assumptions that depict the relationships of the human body parts and describe how movements in general and especially gestures are performed. The State-Space model is used for the mathematical representation of those body part relationships -defined at the GOM-, the coefficients of which, are estimated with the Maximum Likelihood Estimation, via the Kalman filtering method. This process leads to the computation of forecasted values of the gestural time-series. Apart from this, Hidden Markov Models (HMMs) are trained with gestures of an industrial and cultural context. In the recognition phase, a cross-check takes place, when the likelihoods of the gesture recognition engine, don't appear to be confident. In those cases, the gesture recognition results are combined with the forecast performed using the Kalman filtering method, as the use of that method allows to not only recognise classes of gestures but also recognize how good a trajectory has been depicted when compared to the real one. To test the performance of the algorithm, two different datasets were recorded and used, a cultural and an industrial one. In both cases, the industrial worker or the artist is asked to perform their everyday routine. Their gestures were captured, analysed, and features were extracted and used as an input in the gesture recognition engine. The results of gesture recognition with the hybrid method of HMMs combined with the State-Space estimation surpassed the results of the HMMs alone and proved to be very satisfying with a good potential for further research. Those results, along with the forecasting ability of the model, are the elements that make up the scientific contribution of this thesis.
description: Διαδικασίες συνεργασίας μεταξύ ανθρώπων και πρακτόρων ρομπότ αναπτύσσονται σε χώρους εργασίας για την ενίσχυση της αποτελεσματικότητας και της παραγωγικότητας. Οι εργαζόμενοι υποστηρίζονται από αυτούς τους πράκτορες ρομπότ όχι μόνο για την καλύτερη απόδοσή τους, αλλά και για να ελέγχεται ότι βρίσκονται συνεχώς σε μια εργονομικά αποδεκτή στάση του σώματος. Αντίστοιχα, τα πολιτιστικά ιδρύματα προσπαθούν να βελτιώσουν την πολιτιστική εμπειρία που προσφέρουν, να προσελκύσουν νέο κοινό και επίσης να συνεισφέρουν στη διατήρηση της τεχνογνωσίας, προσθέτοντας διαδραστικές εγκαταστάσεις στις εκθέσεις τους. Ο επισκέπτης του μουσείου έχει την ευκαιρία να μπει στο "πραγματικό" περιβάλλον του τεχνίτη και να βιώσει τη διαδικασία δημιουργίας αντικειμένων. Πολλά πολιτιστικά ιδρύματα παρέχουν επίσης επαγγελματική κατάρτιση σε άτομα που ενδιαφέρονται για επαγγέλματα που τείνουν να εξαφανιστούν. Για την επίτευξη των στόχων που παρουσιάστηκαν παραπάνω, η αναγνώριση χειρονομίας είναι ένα βασικό χαρκτηριστικό που αποτελεί και το βασικό στοιχείο αυτής της διπλωματικής. Για την εφαρμογή του μοντέλου αναγνώρισης χειρονομίας, αναπτύχθηκε αρχικά μια μεθοδολογία για την μοντελοποίηση των εξαρτήσεων των τμημάτων του ανθρώπινου σώματος, τα οποία στη συνέχεια αναπαριστάθηκαν μαθηματικά και χρησιμοποιήθηκαν για τη μοντελοποίση και αναπαράσταση των επαγγελματικών χειρονομιών που είχαν προηγουμένως καταγραφεί. Πιο συγκεκριμένα, δημιουργήθηκε ένα βιομηχανικό μοντέλο, το οποίο ονομάστηκε Gesture Operational Model (GOM). Αυτό το μοντέλο αποτελείται από τέσσερις υποθέσεις που απεικονίζουν τις σχέσεις των μερών του ανθρώπινου σώματος και περιγράφουν τον τρόπο με τον οποίο γίνονται οι κινήσεις γενικά και ειδικά οι χειρονομίες. Το μοντέλο State-Space χρησιμοποιείται για τη μαθηματική αναπαράσταση αυτών των σχέσεων -όπως καθορίζονται από το GOM-, οι συντελεστές των οποίων, εκτιμώνται με τη μέθοδο Εκτίμησης Μέγιστης Πιθανοφάνειας, μέσω της μεθόδου Kalman. Αυτή η διαδικασία οδηγεί στον υπολογισμό των προβλεπόμενων τιμών των χειρονομιακών χρονοσειρών. Εκτός από αυτό, τα κρυφά μοντέλα Markov (HMMs) εκπαιδεύονται με χειρονομίες βιομηχανικού και πολιτιστικού χαρακτήρα. Στη φάση αναγνώρισης, πραγματοποιείται έλεγχος, όπου όταν οι πιθανότητες της μηχανής αναγνώρισης χειρονομίας, δεν είναι ικανοποιητικές, τα αποτελέσματα συνδυάζονται με την πρόβλεψη που εκτελείται χρησιμοποιώντας τη μέθοδο φιλτραρίσματος Kalman. Η χρήση αυτής της μεθόδου επιτρέπει όχι μόνο την αναγνώριση κατηγοριών χειρονομιών αλλά και την αναγνώριση του πόσο καλή μια τροχιά έχει απεικονιστεί σε σύγκριση με την πραγματική . Για να ελεγχθεί η απόδοση του αλγορίθμου, καταγράφηκαν και χρησιμοποιήθηκαν δύο διαφορετικά σύνολα δεδομένων, ένα πολιτιστικό και ένα βιομηχανικό. Και στις δύο περιπτώσεις, ο βιομηχανικός εργάτης ή ο καλλιτέχνης καλείται να εκτελέσει την καθημερινή του επαγγελματική ρουτίνα. Οι χειρονομίες τους κατεγράφησαν, αναλύθηκαν και εξήχθησαν χαρακτηριστικά τους, τα οποία χρησιμοποιήθηκαν ως είσοδος στη μηχανή αναγνώρισης χειρονομιών. Τα αποτελέσματα της αναγνώρισης χειρονομίας με την υβριδική μέθοδο των HMMs ποπυ περιλαμβάνει την εκτίμηση State-Space ξεπέρασαν τα αποτελέσματα των HMMs όταν αυτά χρησιμοποιήθηκαν μόνα τους και αποδείχθηκαν πολύ ικανοποιητικά με μια καλή δυναμική για περαιτέρω έρευνα. Αυτά τα αποτελέσματα, μαζί με την ικανότητα πρόβλεψης του μοντέλου, είναι τα στοιχεία που συνθέτουν την επιστημονική συμβολή αυτής της διπλωματικής εργασίας.