Εξαγωγή χαρακτηριστικών και στατιστική ανάλυση σε στερεοσκοπικό βίντεο
Creators: name: Αυγερινός, Χρήστος Ιωάννη
Publisher: name: Aristotle University of Thessaloniki
Year: 2015
Subjects: Τρισδιάστατο βίντεο
Χαρακτηριστικά
Τρισδιάστατες Ταινίες
3D video
Features
3D movies

description: Η διπλωματική εργασία ξεκίνησε το Σεπτέμβριο του 2014, μετά την ολοκλήρωση των προαπαιτούμενων μαθημάτων του μεταπτυχιακού προγράμματος, και ολοκληρώθηκε τον Σεπτέμβριο του 2015. Η σύνθεση του έργου έγκειται σε τρεις συνιστώσες: Τη μελέτη της κινηματογραφίας, την εξαγωγή χαρακτηριστικών και τη στατιστική ανάλυση των χαρακτηριστικών αυτών. Αυτά τα τρία κύρια μέρη επεξηγούνται λεπτομερώς στα κεφάλαια της διατριβής. Για το πρώτο στοιχείο, την κινηματογραφία, εξετάσαμε τη δουλειά που είχε ήδη γίνει από φορείς όπως η σχολή πολυμέσων και κινηματογράφου του Πανεπιστήμιου του Stanford. Προσπαθήσαμε να συνδέσουμε την ορολογία της κινηματογραφία ς με το λεξιλόγιο της επιστήμης των υπολογιστών. Σε αυτό το κομμάτι του έργου συλλέξαμε αρκετές ώρες βίντεο από ειδήσεις και talk shows, στερεοσκοπικά τρέιλερ ταινιών, και πολλά άλλα είδη εκπομπών. Εξάγαμε τα συνηθέστερα χαρακτηριστικά που εντοπίσαμε όπως αλλαγές πλάνων και εφέ μετάβασης και προσπαθήσαμε να τα ποσοτικοποιήσουμε, ξεκινώντας έτσι τη διαδικασία εξαγωγής χαρακτηριστικών. Με βάση την πλατφόρμα OpenCV ήμασταν σε θέση να δημιουργήσουμε μια σειρά από περιγραφείς χρώματος, κίνησης και στερεοσκοπικής πληροφορίας. Χρησιμοποιήσαμε επίσης κάποιους ήδη αναπτυγμένους αλγόριθμους από το εργαστήριο Τεχνητής Νοημοσύνης (ΑΙΙΑ)του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης, για να περιγράψουμε περισσότερα χαρακτηριστικά, όπως το μήκος του πλάνου, ή για σκοπούς αναγνώρισης προσώπου. Οι περιγραφείς που έχουμε αναπτύξει δημιουργήθηκαν σε stand-alone εκδόσεις για γρήγορη πειραματισμό, και αργότερα προστέθηκαν στο λογισμικό του AIIA, τοVideo Content Analysis Toolkit. Για τη στατιστική ανάλυση εργαστήκαμε στο λογισμικό MATLAB, αξιοποιώντας την ευκολία του πειραματισμού που προσφέρει. Συνδυάσαμε τα χαρακτηριστικά που εξάγονται με πολλούς πιθανούς τρόπους για να κατατάξουμε ένα μεγάλο αριθμό βίντεο σε κατηγορίες. Πέρα από αυτό, εφαρμόσαμε τον αλγόριθμο αναγνώρισης προσώπου σε τρεις στερεοσκοπικές ταινίες, φθάνοντας σε συμπεράσματα σχετικά με τα αποτελέσματα. Είδαμε ότι τα αποτελέσματα του αλγόριθμου αυτόματης αναγνώρισης ήταν κοντά στα δεδομένα του ground truth, που δημιουργούνται από ανθρώπους-εμπειρογνώμονες. Εξάγαμε γραφήματα και εικόνες που δείχνουν τα αποτελέσματα των πειραμάτων, καθώς και τη διαδικασία παραγωγής τους. Η δουλειά που έγινε κατά τη διάρκεια της διπλωματικής εργασίας καλύπτει ένα μεγάλο φάσμα της τεχνητής όρασης, και έτσι τα αποτελέσματα δεν πρέπει να θεωρηθούν σε καμία περίπτωση εξειδικευμένα. Αντ 'αυτού, προσπαθήσαμε να περιγράψουμε κάποιες ιδέες για την εξαγωγή χαρακτηριστικών και στατιστική ανάλυση τους, καθώς και τη σύνδεσή τους με τον κινηματογράφο, με τρόπο που προσεγγίζει τόσο τους λάτρεις του κινηματογράφου όσο και τη βιομηχανία του. Περαιτέρω μελέτη μπορεί να περιλαμβάνει μεγαλύτερες βάσεις δεδομένων, πρόσθετα χαρακτηριστικά, καθώς και περισσότερες διασυνδέσεις μεταξύ τους, με σκοπό τη δημιουργία ενός δικτύου από συναφή χαρακτηριστικά.
description: The master thesis project started in September 2014, after completing the prerequisite MSc courses, and finished in September 2015. The composition of the project lies in three components: The cinematography study, the feature extraction and the statistical analysis of the features. These three main parts are thoroughly explained through the chapters of this dissertation. For the first component, the cinematography, we examined the work that had already been done by film departments such as the Stanford University Film and Media program. We tried to link the cinematography terminology to computer science vocabulary and techniques. At this part of the project we collected several hours of video footage from news and talk shows, stereoscopic movie trailers, and many other broadcast types. We extracted the most commonly found characteristics such as transition effects and shot cuts and tried to quantify them, initiating the feature extraction process. Based on the OpenCV platform we were able to create a set of descriptors for defining color, motion and stereoscopic information. We also employed some already developed algorithms by the Artificial Intelligence laboratory of the Aristotle University of Thessaloniki, to describe more feature such as shot length or for face recognition purposes. The descriptors that we developed were created in stand-alone versions for quick experimentation, and were later added to the AIIA framework, the Video Content Analysis Toolkit. For the statistical analysis we worked on the MATLAB software, exploiting its ease of experimentation. We combined the features we extracted in numerous possible ways in order to classify a large number of video footage into categories. Apart from that, we tested the face recognition algorithm on three stereoscopic movies, reaching conclusions on the results. We saw that the algorithm automatic results were close to the ground truth data that was created by human experts. We exported graphs and figures showing the results of the experiments as well as the process of getting to them. The work that has been done during the master thesis project covers a large territory of computer vision interest, thus the results are in no way specialized. Instead, we tried to describe some ideas of feature extraction and statistical analysis and connect them to cinema, in a way that approaches both film enthusiasts and the movie business. Further work may include larger databases, additional descriptors, and multiple connections between them, creating a network of related characteristics.