Unsupervised Adversarial Video Summarization with Diverse Captions
Creators: name: Ασλανίδου, Χρυσούλα Διονυσίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2021
Subjects: Περίληψη Βίντεο
Λεζάντα Βίντεο
Γενετικά Δίκτυα Αντιπαραθέσεων
Video Summarization
Video Captioning
Generative Adversarial Networks, GANs

description: Σκοπός της διπλωματικής ήταν η μελέτη της « Μη Επιβλεπόμενης Περίληψης Βίντεο με Ποικίλους Υπότιτλους» - “Unsupervised Adversarial Video Summarization with Diverse Captions”. Η συνοπτική παρουσίαση βίντεο έγινε πρόσφατα ένας ενεργός τομέας έρευνας, λόγω πολλών πιθανών εφαρμογών, όπως στη βιομηχανία ψυχαγωγίας, τον αθλητισμό και την παρακολούθηση. Η περίληψη βίντεο είναι ένα από τα πιο σημαντικά θέματα, τα οποία ενδέχεται να επιτρέψουν την ταχύτερη περιήγηση μεγάλων συλλογών βίντεο και επίσης πιο αποτελεσματική δημιουργία ευρετηρίων περιεχομένου και πρόσβαση. Ουσιαστικά, αυτός ο τομέας έρευνας αποτελείται από τη δημιουργία μιας σύντομης περίληψης ενός βίντεο, το οποίο μπορεί είτε να είναι μια στατική περίληψη είτε μια δυναμική περίληψη. Οι στατικές περιλήψεις βίντεο αποτελούνται από ένα σύνολο βασικών καρέ που εξάγονται από το αρχικό βίντεο, ενώ οι δυναμικές περιλήψεις βίντεο αποτελούνται από ένα σύνολο λήψεων και παράγονται λαμβάνοντας υπόψη την ομοιότητα ή τις ειδικές σχέσεις τομέα μεταξύ όλων των λήψεων βίντεο. Εξετάσαμε λοιπόν την ορολογία που χρησιμοποιείται για την Περίληψη Βίντεο-Video Summarization γενικά και ειδικά. Στη συνέχεια παρουσιάσαμε αναλυτικά τις κατηγορίες Περίληψης Βίντεο καθώς και τις διάφορες μεθοδολογίες που χρησιμοποιούνται για την Περίληψη Βίντεο και την Περίληψη Βίντεο με Γενετικά Δίκτυα Αντιπαραθέσεων-GANs. Ακόμη αναφερθήκαμε αναλυτικότερα σε κάποιες συγκεκριμένες τεχνικές δημιουργίας περίληψης βίντεο με Γενετικά Δίκτυα Αντιπαραθέσεων. Τα Γενετικά Δίκτυα Αντιπαραθέσεων - Generative Adversarial Networks - GAN) είναι μια κατηγορία συστημάτων μηχανικής μάθησης που εφευρέθηκε από τον Ian Goodfellow και τους συναδέλφους του το 2014. Βασίζονται στην λογική της αντιπαλικής μάθησης. Δύο νευρωνικά δίκτυα διαγωνίζονται σε ένα παίγνιο (με την έννοια της θεωρίας παιγνίων, συχνά αλλά όχι πάντα με τη μορφή ενός παιγνίου μηδενικού αθροίσματος ). Δοθέντος ενός συνόλου εκπαίδευσης, αυτή η τεχνική μαθαίνει να δημιουργεί νέα δεδομένα με τα ίδια στατιστικά στοιχεία. Για παράδειγμα, ένα αντιπαλικό δίκτυο εκπαιδευμένο σε φωτογραφίες μπορεί να δημιουργήσει νέες φωτογραφίες που φαίνονται τουλάχιστον επιφανειακά αυθεντικές στους ανθρώπινους παρατηρητές, έχοντας πολλά ρεαλιστικά χαρακτηριστικά. Αν και αρχικά προτάθηκαν αμιγώς ως μορφή παραγωγικού μοντέλου για εφαρμογές μη επιβλεπόμενη μάθηση, τα Γενετικά Δίκτυα Αντιπαραθέσεων έχουν επίσης αποδειχθεί χρήσιμα για την ημι-εποπτευόμενη μάθηση, την πλήρως εποπτευόμενη μάθηση και ενισχυτική μάθηση. Ένα άλλο θέμα που θίξαμε ήταν η δημιουργία Λεζάντας Βίντεο-Video Captioning. Οι λεζάντες βίντεο-Video Captioning, αναφέρονται ως το πρόβλημα της δημιουργίας μιας περιγραφή κειμένου για ένα δεδομένο περιεχόμενο βίντεο. Κατά τη διάρκεια των περασμένων ετών παρατηρήθηκε ότι η διεπιστημονική φύση του προβλήματος αυτού άνοιξε τεράστιες νέες δυνατότητες αλληλεπίδρασης με συλλογές βίντεο και έχει αυξηθεί ερευνητική προσπάθεια για αυτό το θέμα. Αναφερθήκαμε λοιπόν αναλυτικά στους ορισμούς της Λεζάντας, Λεζάντας Εικόνας και της Λεζάντας Βίντεο. Στη συνέχεια παρουσιάσαμε αναλυτικά τα σύνολα δεδομένων-Datasets που χρησιμοποιούνται για την δημιουργία της Λεζάντας Βίντεο και τις διάφορες τεχνικές δημιουργίας Λεζάντας Βίντεο. Ακόμη ασχοληθήκαμε αναλυτικά με τις διάφορες μεθόδους μετρήσεων και αξιολογήσεων της δημιουργίας Λεζάντας Βίντεο και παρουσιάσαμε κάποιες μελλοντικές κατευθύνσεις και προσεγγίσεις σχετικά με την δημιουργία Λεζάντας Βίντεο. Ασχοληθήκαμε επιπλέον με το βασικότερο θέμα, την προτεινόμενη έρευνα της διπλωματικής για τη βελτίωση της περίληψης βίντεο με τη βοήθεια της μεθόδου «Απώλειας καθοριστικού σημείου διαδικασίας (DPP)» (Determinantal Point Process (DPP) loss). Οι διαδικασίες καθοριστικών σημείων (DPP), είναι κομψά πιθανολογικά μοντέλα απωθήσεως που προκύπτουν από τη κβαντική φυσική και τη θεωρία των τυχαίων πινάκων. Τα DPP προσφέρουν αποτελεσματικούς και ακριβείς αλγόριθμους για δειγματοληψία, περιθωριοποίηση, ρύθμιση και άλλα συμπερασματικές εργασίες. Τα DPP μπορούν να εφαρμοστούν σε πραγματικές εφαρμογές όπως βρίσκοντας διαφορετικά σύνολα υψηλής ποιότητας αποτελεσμάτων αναζήτησης, χτίζοντας ενημερωτικές περιλήψεις επιλέγοντας διαφορετικές προτάσεις από έγγραφα, μοντελοποίηση μη αλληλεπικαλυπτόμενων ανθρώπινων στάσεων (poses) σε εικόνες ή βίντεο, και δημιουργώντας αυτόματα χρονοδιαγράμματα σημαντικών ιστοριών ειδήσεων. Αναλύσαμε λοιπόν την προτεινόμενη μέθοδο, δηλαδή σε ποιο ήδη υπάρχον μοντέλο βασίστηκε (SUM-GAN-AAE), το μαθηματικό μοντέλο που ορίσαμε, την αρχιτεκτονική του, τα σενάρια για τα οποία θα υλοποιούνταν, καθώς επίσης προτείναμε και μία νεωτεριστική προσέγγιση χρησιμοποιώντας ένα προεκπαιδευμένο νευρωνικό δίκτυο LSTM προκειμένου να έχουμε καλλίτερα αποτελέσματα. Αναφερθήκαμε αναλυτικά στα μοντέλα των συνόλων δεδομένων-Datasets που χρησιμοποιήσαμε για το πείραμα μας, καθώς επίσης και στην υλοποίηση της μεθόδου του πειράματος και του νεωτερισμού μας. Τέλος παραθέσαμε τα αποτελέσματα του πειράματος, τα αξιολογήσαμε και τα συγκρίναμε με την προηγούμενη μέθοδο στην οποία είχαμε βασιστεί
description: The purpose of the diplomatic work study was to study the theme “Unsupervised Adversarial Video Summarization with Diverse Captions” The video summary recently became an active area of research, due to many potential applications, such as in the entertainment industry, sports and monitoring. Video summary is one of the most important topics that may allow large video collections to browse faster and also more efficient content indexing and access. Essentially, this area of research consists of creating a brief summary of a video, which can either be a static summary or a dynamic summary. Static video summaries consist of a set of keyframes extracted from the original video, while dynamic video summaries consist of a set of shots and are produced taking into account the similarity or specific domain relationships between all video shots. So, we looked at the terminology used for the Video Summary in general and specifically. Then we presented in detail the Video Summary categories as well as the various methodologies used for the Video Summary and the Video Summary with Genetic Adversarial Networks-GANs. We also talked in more detail about some specific techniques of creating a video summary with Genetic Adversarial Networks-GANs. Genetic Adversarial Networks-GANs is a class of machine learning systems invented by Ian Goodfellow and his colleagues in 2014. Often but not always in the form of a zero-sum game)., Genetic Adversarial Networks-GANs have been also proved useful for semi-supervised learning, fully supervised learning and supporting learning. Another topic we touched on, was the creation of Video Captioning. Video captions are cited as the problem of creating a text description for a given video content. So, we talked in detail about the definitions of caption, image caption and video caption. Then we mentioned in detail in the Datasets that were used to create the Video Caption and the various Video Caption creation techniques. We also worked in detail on the various methods of measuring and evaluating video caption creation and presented some future directions and approaches to creating Video Caption. We also dealt with the most basic issue, the proposed diplomatic investigation to improve the video summary with the help of the "DPP" method. Determinant processes (DPP) are elegant probabilological models of repulsion resulting from quantum physics and the theory of random tables. DPP offers effective and accurate algorithms for sampling, marginalization, adjustment, and other in conclusion tasks. DPP can be applied to real applications such as finding different sets of high-quality search results, building informational summaries by selecting different sentences from documents, modeling non-overlapping human positions in images or videos, and automatically creating timelines of important news stories. Therefore, we analyzed the proposed method, i.e. On which existing model it was based (SUM - GAN -AAE), we defined the mathematical model, its architecture, the scenarios for which it would be implemented, as well as proposed a novel approach using a pre-trained LSTM neural network in order to get better results. We talked in detail about the data sets models that we used for our experiment, as well as the implementation of the experiment method and our novelty. Finally, we listed the results of the experiment, evaluated them and compared them with the previous method on which we had relied