Αναγνώριση ανθρώπινης κίνησης από τρισδιάστατες ογκομετρικές ακολουθίες:
Creators: name: Κελγεωργιάδης, Κωνσταντίνος Γεωργίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2010
Subjects: Αναγνώριση δραστηριότητας κίνησης
Action recognition activity

description: Αντικείμενο της παρούσας πτυχιακής εργασίας είναι η αναγνώριση της εκτελούμενης δραστηριότητας ενός ανθρώπου από δεδομένα που περιέχουν την τρισδιάστατη αναπαράσταση του σώματός του σε διάφορες χρονικές στιγμές. Σαν δεδομένα έχουμε ακολουθίες από τρισδιάστατες αναπαραστάσεις μια πόζας με βάση τα ογκοστοιχεία (voxels). Κάθε μία ακολουθία περιγράφει μια δραστηριότητα. Αρχικά βρίσκουμε μια προσέγγιση του προσανατολισμού του σώματος στο χώρο κατά τη διάρκεια της κίνησης με βάση τα πόδια του ανθρώπου και προσανατολίζουμε όλες τις τρισδιάστατες δυαδικές εικόνες της βάσης έτσι ώστε ο άνθρωπος μέσα τους να κοιτάει πάντα προς μια συγκεκριμένη κατεύθυνση. Έπειτα κανονικοποιούμε το σώμα του ανθρώπου που είναι μέσα σε κάθε τρισδιάστατη δυαδική εικόνα και εφαρμόζουμε έναν αλγόριθμο Κ-μέσων στις τρισδιάστατες πόζες του ανθρώπου οι οποίες ανήκουν στο σετ δεδομένων εκπαίδευσης για να βρούμε κάποιες χαρακτηριστικές πόζες που τις ονομάζουμε dynemes. Στη συνέχεια χρησιμοποιούμε ασαφή διανυσματική κβάντιση (fuzzy vector quantization - FVQ) για να παραστήσουμε κάθε τρισδιάστατη πόζα στο χώρο των dynemes και η πληροφορία από όλες τις χρονικές στιγμές συνδυάζεται για να αναπαραστήσει ολόκληρη την δραστηριότητα. Μετά χρησιμοποιούμε γραμμική διακριτική ανάλυση (Linear Discriminant Analysis - LDA) για να προβάλλουμε την κάθε αναπαράσταση σε έναν υποχώρο διαχωρισμού. Για την ταξινόμηση χρησιμοποιούνται μηχανές εδραίων διανυσμάτων (Support Vector Machines - SVMs), αποστάσεις από κάποια πρότυπα των κλάσεων ή ένας ταξινομητής πλησιέστερου γείτονα. Μια επιπλέον μέθοδος που χρησιμοποιήθηκε ήταν η μεταφορά των ογκοστοιχείων (voxels) του κάθε κανονικοποιημένου όγκου σε ένα κυλινδρικό σύστημα συντεταγμένων με τον κατακόρυφο άξονα του συστήματος συντεταγμένων να περνάει από το κέντρο βάρους του ανθρωπίνου σώματος το οποίο βρίσκεται σε κάθε όγκο. Έπειτα, ο όγκος που προκύπτει μετασχηματίζεται στο πεδίο της συχνότητας με τρισδιάστατο γρήγορο μετασχηματισμό Fourier (3D FFT) και συνεχίζουμε την ίδια διαδικασία που περιγράφεται παραπάνω θεωρώντας κάθε τρισδιάστατο πίνακα με τα πλάτη του FFT σαν τρισδιάστατες πόζες. Αυτή η μέθοδος είναι αμετάβλητη σε περιστροφές γύρω από τον κατακόρυφο άξονα.
description: In this work we have developed a method for learning and recognizing human actions on dynamic binary volumetric (voxel-based) or 3D mesh movement data. After a number of pre-processing steps, the orientation of the human body in each 3D posture is estimated by detecting its feet and this information is used to orient all postures in a consistent manner. K-means is applied on the 3D postures space of the training data to discover characteristic movement patterns namely 3D dynemes. Subsequently, fuzzy vector quantization (FVQ) is utilized to represent each 3D posture in the 3D dynemes space and then information from all time instances is combined to represent the entire action sequence. Linear discriminant analysis (LDA) is then applied to project this representation into a discriminant subspace. The actual classification step utilizes support vector machines (SVM), distances from a class prototype or a nearest neighbor classifier. Results on a 3D action database consisting of 7 actions, each performed by 8 different subjects verified that the method can achieve very good performance without requiring temporal segmentation of the sequences into atomic actions, e.g. steps. An additional method that was implemented is moving the voxel data from the initial Cartesian coordinate system to a cylindrical coordinate system with its vertical axis passing though the center of mass of the human body found in each 3D posture. Then, the new volume gets transformed into the frequency domain using 3D FFT and we carry on with the same steps used before, treating 3D matrices containing the FFT magnitudes as 3D postures. This method is invariant to rotations around the vertical axis due to the invariance of the FFT magnitudes to translations.