Human Action Recognition with Graph Neural Networks
Creators: name: Κίλης, Νικόλος Κυριάκου
Publisher: name: Aristotle University of Thessaloniki
Year: 2021
Subjects: 2Δ/3Δ Αναγνώριση ανθρώπινης δραστηριότητας βασισμένη σε σκελετούς
Χωρο-χρονικά συνελικτικά νευρωνικά δίκτυα βασισμένα σε γράφους
Ομαδοποίηση κόμβων γράφων
2D/3D Skeleton-Based Human Action Recognition
Spatio-Temporal Graph Convolutional Networks
Graph Node Clustering

description: Στην παρούσα διπλωματική εργασία, μελετήσαμε το πρόβλημα της κατηγοριοποίησης ανθρώπινων ενεργειών, καθώς και μεθόδους προσέγγισής του. Η προσοχή μας εστιάστηκε σε ανάλυση με νευρωνικά δίκτυα και συγκεκριμένα σε δίκτυα που χειρίζονται γράφους. Η είσοδος αυτών των δικτύων είναι διπλή. Το πρώτο μέρος της εισόδου, αποτελούν οι χωρικές συντεταγμένες αρθρώσεων ανθρώπινου σκελετού, για διάφορα καρέ ενός βίντεο. Το δεύτερο μέρος, αποτελείται από τον πίνακα γειτνίασης των κόμβων που σχηματίζουν το σκελετό. Η μελέτη ενός βασικού μοντέλου, που έχει την ικανότητα να εξάγει χωρο-χρονικά χαρακτηριστικά από συντεταγμένες αρθρώσεων ανθρώπινων σκελετών, μας οδήγησε στην υλοποίηση ενός νέου αλγορίθμου που αντιμετωπίζει το πρόβλημα πιο αποτελεσματικά. Η καινοτομία της μεθόδου που προτείναμε, βασίζεται στον προγενέστερο εντοπισμό ομάδων κόμβων του γράφου, οι οποίοι αρχικοποιήθηκαν με διαφορετική βαρύτητα κατά τη διάρκεια της βαθιάς μάθησης. Στο πειραματικό τμήμα της εργασίας, δείξαμε πως ο σχεδιασμός της υλοποίησής μας μπορεί να χαρακτηριστεί γρήγορος και ελαφρύς, καθώς με πολύ λιγότερες παραμέτρους μπορεί να φτάσει αλλά και να υπερβεί την απόδοση βαθύτερων νευρωνικών δικτύων. Για το πρώτο σύνολο δεδομένων, που περιέχει δισδιάστατους σκελετούς, καταφέραμε να ξεπεράσουμε το καλύτερο μοντέλο, τόσο σε ταχύτητα όσο και σε απόδοση. Τα πειράματά μας στο δεύτερο σύνολο δεδομένων, με τρισδιάστατους σκελετούς, έδειξαν πως η ίδια υλοποίηση γενικεύει και σε ένα πιο απαιτητικό πρόβλημα
description: In this dissertation, we studied the computer vision topic of Human Action Recognition, in which human actions included in a video need to be distinguished. Our attention, was focused on utilizing deep learning methods that solve the problem. In particular, we examined neural networks that can manipulate graph structures. The input of such models is twofold. Firstly, they take as input the spatial coordinates of a human skeleton's joints, for several video frames. Secondly, they use a graph matrix representation of the skeleton, to enrich the feature vectors that withhold the spatial coordinates. The research of a basic model architecture, that could extract spatio-temporal features from the spatial coordinates supported on a graph, lead us to a new and more efficient approach. The novelty of our work, was based on a node clustering algorithm, which provided a different weight initialization regarding the graph's matrix representation during learning. In the experimental section, we demonstrated that our model was computationally fast and lightweight. We proved that such an implementation, was able to reach and surpass the performance of heavier deep learning models. For the two-dimensional data provided by the first dataset we used, we managed to obtain state-of-the-art performance, both in terms of inference speed and classification accuracy. We also showed, that the same implementation could generalize well to a more demanding data collection, containing three-dimensional spatial coordinates