Αναγνώριση ανθρώπινων δραστηριοτήτων σε δεδομένα κίνησης σκελετού και RGBD με χρήση χαρακτηριστικών από συνελικτικά νευρωνικά δίκτυα
Creators: name: Πιπίλης, Ιωάννης Γεωργίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2017
Subjects: Συνελικτικά Νευρωνικά Δίκτυα
Αναγνώριση κίνησης ανθρώπων
Τεχνίτη Νοημοσύνη
Convolutional neural networks
Human activity recognition
Artificial inteligence

description: Τα πιο εντυπωσιακά αποτελέσματα στα πιο πολύπλοκα προβλήματα τεχνητής όρασης και μηχανικής μάθησης επιτεύχθηκαν πρόσφατα από την εφαρμογή διαφόρων μεθόδων βαθιάς μάθησης (deep learning). Είναι εκπληκτικό το πόσο γρήγορα τα «βαθιά νευρωνικά δίκτυα» έγιναν δημοφιλή και χρησιμοποιούνται ευρέως όχι μόνο στην ερευνητική κοινότητα αλλά και στον εμπορικό κόσμο. Τα σημαντικότερα αποτελέσματα προέρχονται από τα συνελικτικά νευρωνικά δίκτυα (CNN’s) τα οποία είναι σε θέση να αντιμετωπίσουν αρκετά δύσκολες προκλήσεις στην τεχνητή όραση ,τραβώντας την προσοχή της παγκόσμιας ερευνητικής κοινότητας. Τα δίκτυα αυτά είναι εμπνευσμένα από την γνωστή νευροφυσιολογία του εγκεφάλου και από τις λειτουργικές ιδιότητες του που απαιτούνται για την οπτική αναγνώριση. Τα Συνέλικτικα Νευρωνικά Δίκτυα (CΝN’s) είναι ειδικευμένα Νευρωνικά Δίκτυα, τα οποία είναι κατάλληλα για την επεξεργασία εικόνων και βίντεο, έχουν τεράστια επιτυχία σε πολλά προβλήματα μηχανικής μάθησης κατά τα τελευταία χρόνια. Στην παρούσα εργασία θα παρουσιάσουμε ένα σύστημα που χρησιμοποιεί τα δίκτυα αυτά για να κατηγοριοποιήσει βίντεο που περιέχουν ανθρώπους σε κίνηση. Ενώ οι παραδοσιακές μέθοδοι για να παρουσιάσουν τις κινήσεις αυτές χρησιμοποιούν συνήθως στατιστικά στοιχεία από τα τοπικά χαρακτηριστικά των βίντεο, εδώ θα μελετήσουμε τη σημασία μιας αναπαράστασης που προέρχονται από την στάση του ανθρώπινου σώματος. Για το σκοπό αυτό χρησιμοποιούμε μια αναπαράσταση που βασίζεται στην στάση του σώματος των ανθρώπων που απεικονίζονται στα βίντεο (P-CNN). Για να το επιτυγχάνουμε αυτό χρησιμοποιούμε δίκτυα που έχουν προεκπαιδευτεί σε μεγαλύτερες βάσεις δεδομένων ( ImageNet) ως εξαγωγείς χαρακτηριστικών από διάφορα μέρη του σώματος. Η διαδικασία αυτή συναθροίζει πληροφορίες από την κίνηση και την εμφάνιση των τμημάτων του ανθρώπινου σώματος. Ερευνούμε επίσης διαφορετικές μεθόδους συνάθροισης και πειραματιζόμαστε με διαφορετικά χαρακτηριστικά Ρ-CNN. Επιπλέον συνδυάζουμε αυτά τα χαρακτηριστικά με πληροφορία που προέρχεται από τον σκελετό των ανθρώπων έτσι ώστε να αυξήσουμε την απόδοση του αλγορίθμου. Τέλος αξιολογούμε τη μέθοδο μας χρησιμοποιώντας μια από της πιο πρόσφατες και απαιτητικές βάσεις δεδομένων ,την «MSR daily activity» επιτυγχάνοντας αποτελέσματα συγκρίσιμα με τα πιο πρόσφατα δημοσιευμένα state-of-art μοντέλα
description: The most impressive results of complex computer vision and machine learning tasks were recently achieved by applying various deep learning methods. It is amazing how fast deep neural networks became popular and broadly used not only in the research community but also in the commercial world. The major impact was made by convolutional neural networks being able to beat some challenges in computer vision by quite a big margin and attract everybody’s attention. These networks are motivated by the known neurophysiology of the brain and its functional properties required for recognition. Convolution Neural Networks (ConvNets) are specialized Neural Networks, which are well suited for the processing of images and had enormously success on many machine learning problems in the last years.In this thesis we will use CNN’s to classify videos containing human actions. While traditional methods typically represent actions by statistics of local video features, here we study the importance of a representation derived from human pose. To this end we build a Pose-based Convolutional Neural Network descriptor (P-CNN) for action recognition. To achive this we use ConvNets pretrained on ImageNet as a feature extractor from different body parts. The descriptor aggregates motion and appearance information along tracks of human body parts. We investigate different schemes of temporal aggregation and experiment with P-CNN features. Additionally we combine these features with skeleton and depth data provided by the dataset to increase the performance of our framework. We evaluate our method on the recent and challenging MSR daily activity dataset acheving results comparable to recently published state-of-art methods