Skeleton-based Human Action Recognition
Creators: name: Μακρυγιάννης, Δημήτριος Κωνσταντίνου
Publisher: name: Aristotle University of Thessaloniki
Year: 2021
Subjects: Αναγνώριση Χειρονομίας
Μηχανική Μάθηση
Αναγνώριση Δράσης με βάση το σκελετό
Gesture Recognition
Machine Learning
Skeleton based Action Recognition

description: Με τη συνεχή πρόοδο της τεχνολογίας και τις μάλλον αυξανόμενες απαιτήσεις σε τομε- ίς όπως η βιομηχανία ή η ιατρική σχετικά με την αυτοματοποίηση διαδικασιών αλλά και την υποστήριξη των εργαζομένων, έχει αυξηθεί σε μεγάλο βαθμό η χρήση της Τεχνητής Νοημοσύνης. Οι εργαζόμενοι πρέπει να συνυπάρχουν ή / και να συνεργάζονται με ρομποτικούς πράκτορες όπως Αυτοματοποιημένα Οχήματα και ρομποτικούς βραχίονες, ώστε να βελτιώσουν την αποτελεσματικότητα και την παραγωγικότητά τους. Αυτοί οι ρομποτικοί πράκτορες έχουν ενσωματωμένους αλγόριθμους μηχανικής μάθησης, για τη σωστή υποστήριξη των ανθρώπων αυτών. Αυτή η εργασία είναι επίσης ο κύριος στόχος αυτής της διπλωματικής εργασίας. Κατά τη διάρκειά της, αναπτύχθηκε μια μηχανή αναγνώρισης χειρονομίας, με τη χρήση της μεθόδου Multilayer Perceptron (MLP), για την αναγνώριση των χειρονομιών δύο διαφορετικών συνόλων δεδομένων με γενικά παρόμοια δομή. Τα αποτελέσματα αυτής της μεθόδου συγκρίνονται επίσης με εκείνα που προέκυψαν από τη χρήση των μεθόδων των Κρυφών Μαρκοβιανών Μοντέλων (HMMs), αλλά και Long-Short Term Memory (LSTM), προκειμένου να επιτευχθεί η βέλτιστη αρχιτεκτονική ταξινόμησης. Εκτός από τις ίδιες τις μεθόδους, δοκιμάστηκαν επίσης διαφορετικοί τρόποι χειρισμού δεδομένων. Ο στόχος ήταν να εξεταστεί αν στη συγκεκριμένη περίπτωση και με τα χρησιμοποιημένα δεδομένα, η μέθοδος δειγματοληψίας ήταν πιο χρήσιμη όσον αφορά την εκπαίδευση ή τη δοκιμή ενός αλγορίθμου, σε σύγκριση με την εκπαίδευση ή τη δοκιμή με ολόκληρη την ποσότητα αυτών. Αυτό οδήγησε σε παρατηρήσεις σχετικά με το υπολογιστικό κόστος ορισμένων πειραμάτων και την ευρωστία των χρησιμοποιημένων αλγορίθμων. Ως εκ τούτου, η επιστημονική συμβολή αυτής της διατριβής βασίζεται στην εφαρμογή μιας ισχυρής, ακριβούς, καθώς και γρήγορης υπολογιστικής μηχανής αναγνώρισης χειρονομίας
description: With the continuous advance of the technology and the rather growing demands in fields such as the industrial, or the medical concerning the automatization of processes and the support of the professional workers, the use of Artificial Intelligence is vastly deployed. Professional workers have to co-exist and/or collaborate with robotic agents such as Automated Guided Vehicles and robotic arms, to enhance their effectiveness and productivity. Those robotic agents have machine learning algorithms embodied to them, for the proper support of the humans. This task is also the main goal of this thesis. A gesture recognition engine is developed, using the method of a Multilayer perceptron (MLP), for the recognition of the gestures of two different datasets with a similar structure. The results of this method are also compared to those, with the use of the methods of Hidden Markov Models (HMMs) and Long-Short Term Memory (LSTM), in order to the reach to the optimal classification architecture. Apart from the methods themselves, different ways for data handling were also tested. The aim is to examine whether in the specific case and with the used data, the resampling method was more useful in terms of training or testing an algorithm, compared to training or testing with the whole amount of data. This led to observations concerning the computational cost of some experiments and the robustness of the used algorithms. As such, the scientific contribution of this thesis relies on the implementation of a robust, accurate, as well as fast computationally gesture recognition engine