Αναγνώριση μοτίβων κίνησης ανθρώπινου σώματος σε εικονοσειρές:
Creators: name: Τσαρτσαράκης, Βασίλειος Τραϊανού
Publisher: name: Aristotle University of Thessaloniki
Year: 2011
Subjects: αναγνώριση κινήσεων
κυβοειδή
οπτική ροή
human action recognition
cuboids
optical flow

description: Στόχος της παρούσας εργασίας ήταν η ανάπτυξη και δοκιμή αλγορίθμων αναγνώρισης μοτίβων ανθρώπινων κινήσεων σε εικονοσειρές (videos). Για την εξαγωγή των χαρακτηριστικών μιας εικονοσειράς χρησιμοποιήθηκαν χωροχρονικά (spatiotemporal) φίλτρα, ένα 2D Gaussian για το χώρο και ένα 1D Gabor για το χρόνο. Από την απόκριση των δύο φίλτρων υπολογίζονται τα σημεία ενδιαφέροντος (interest points) γύρω από τα οποία εξάγονται κυβοειδή (cuboids). Η μορφοποίηση των κυβοειδών και η μετατροπή τους σε διανύσματα πραγματοποιείται με τρεις τρόπους: α) με τη χρήση ενός βαθμωτού περιγραφικού όρου (gradient descriptor) από τη βιβλιοθήκη του P.Dollar, β) μετατρέποντας απλά το κυβοειδές σε διάνυσμα, βάζοντας τα εικονοστοιχεία που το απαρτίζουν σε μια γραμμή και, γ) από κάθε κυβοειδές εξάγεται η οπτική ροή η οποία μετατρέπεται σε διάνυσμα. Η οπτική ροή εξάγεται εφαρμόζοντας τον αλγόριθμο Lucas-Kanade. Η ομαδοποίηση των κυβοειδών προκειμένου να δημιουργηθεί το σετ εκπαίδευσης επιτυγχάνεται μέσω του αλγορίθμου σαφούς διαμέρισης k μέσων (k-means). Οι δύο μέθοδοι ταξινόμησης των βίντεο ελέγχου πραγματοποιήθηκαν με τη χρήση της μεθόδου του κοντινότερου γείτονα (k nearest neighbor). Το σετ δεδομένων που χρησιμοποιήθηκε είναι το ΚΤΗ. Πρόκειται για μια συλλογή εικονοσειρών (videos) που περιλαμβάνει εικοσιπέντε (25) ανθρώπους να εκτελούν έξι (6) φυσικές κινήσεις του ανθρώπινου σώματος σε τέσσερα (4) διαφορετικά σενάρια. Το σετ περιέχει συνολικά 2391 εικονοσειρές, οι οποίες έχουν καταγραφεί σε ομογενή φόντο, με στατική κάμερα η οποία συλλαμβάνει με ρυθμό εικοσιπέντε (25 fps) καρέ το δευτερόλεπτο. Οι κινήσεις είναι: περπάτημα, γρήγορο βάδισμα, τρέξιμο, πυγμαχία, φτερούγισμα των χεριών και χειροκρότημα (walking, jogging, running, boxing, hand waving and hand clapping). Κάθε εικονοσειρά περιέχει ένα μόνο άτομο ως πρωταγωνιστή, το οποίο εκτελεί μια δεδομένη κίνηση πολλαπλές φορές συνήθως 2 επαναλήψεις ανά κατεύθυνση, ήτοι τέσσερις επαναλήψεις.
description: The goal of this thesis was to deploy and test algorithms for human action recognition in videos. In order to extract features from video sparse spatiotemporal filters were used. In particular a 2D Gaussian filter for space and a 1D Gabor filter for time. The output of these filters is used for the calculation of interest points, around which cuboids are extracted. The formation and transformation of the cuboids in vectors is done in 3 ways: a) by using a gradient descriptor from the digital library of P.Dollar, b) by turning each cuboid in vector-each pixel in a row c) by calculating the optical flow. The optical flow is calculated according to the Lucas-Kanade algorithm. The clustering method of k-means algorithm is used to create the train set of the cuboids. Two methods of classification which are based on k-nearest neighbor algorithm are used to test the system. The data set used is the KTH data set. It is a collection of 25 persons performing 6 different human actions under 4 discrete scenarios. The data set consists of 2391 videos, recorded on homogenous background, by a static camcorder which captures 25 fps. The actions performed are walking, jogging, running, boxing, hand waving and hand clapping. Each video has only one person as actor which repeats one action multiple times, usually two repetition at each direction, 4 repetitions in total.