Ανάλυση και Περιγραφή πολυμεσικών δεδομένων με χρήση συνελικτικών νευρωνικών δικτύων και νευρώνων μακράς βραχυπρόθεσμης μνήμης
Creators: name: Δασκαλάκης, Ελευθέριος Νικολάου
Publisher: name: Aristotle University of Thessaloniki
Year: 2016
Subjects: Βαθιά μάθηση
Συνελικτικά Νευρωνικά Δίκτυα
Νευρώνες Μακράς Βραχυπρόθεσμης Μνήμης
Deep Learning
Convolutional Neural Networks
Long Short-Term Memory

description: Τα τελευταία χρόνια, η ερευνητική δραστηριότητα στην «Βαθιά Μάθηση» έχει αυξηθεί δραματικά, μετά την παρουσίαση των συνελικτικών νευρωνικών δικτύων (ΣΝΔ) και των επιτυχημένων χρήσεών τους στην Ταξινόμηση εικόνων. Επιπρόσθετα, πρόσφατες υλοποιήσεις Αναδρομικών Νευρωνικών Δικτύων (ΑΝΔ) αποτελούμενων από νευρώνες Μακράς Βραχυπρόθεσμης Μνήμης (ΜΒΜ), έχουν ανοίξει νέους δρόμους προς έρευνα στον τομέα της Τεχνητής Όρασης. Τελευταίες ερευνητικές εργασίες στην Τεχνητή Όραση έχουν δείξει πως ο συνδυασμός των παραπάνω δικτύων, οδηγεί σε υβριδικά μοντέλα τα οποία μπορούν να εκπαιδευτούν έτσι ώστε να «μεταφράζουν», σημασιολογικά, το πολυμεσικό περιεχόμενο εικόνων και βίντεο σε απλό κείμενο. Στην παρούσα εργασία, θα παρουσιάσουμε ένα τέτοιο σύστημα, το οποίο «μεταφράζει» βίντεο σε προτάσεις, χρησιμοποιώντας ένα βαθύ νευρωνικό δίκτυο, αποτελούμενο κυρίως από δύο μέρη, το καθένα με συνελικτική και αναδρομική δομή αντίστοιχα. Μεταφέροντας γνώση προεκπαιδευμένων συνελικτικών νευρωνικών δικτύων σε μεγάλα σετ δεδομένων (π.χ. ImageNet) και κάνοντας χρήση άλλων σετ δεδομένων ειδικά για το σκοπό της «σημασιολογικής περιγραφής» σε βίντεο, ήμασταν σε θέση να εκπαιδεύσουμε επιτυχώς, λειτουργικά συστήματα περιγραφής βίντεο. Η αρχική μας εγκατάσταση, εκμεταλλεύεται υπάρχουσες αρχιτεκτονικές που συγκροτούνται από ένα Συνελικτικό δίκτυο, ακολουθούμενο από ένα Αναδρομικό, αποτελούμενο από νευρώνες Μακράς Βραχυπρόθεσμης Μνήμης. Παρόμοια μοντέλα αρχικά σχεδιάστηκαν με σκοπό την σημασιολογική περιγραφή στατικών εικόνων, όμως στην παρούσα εργασία θα αναπτύξουμε επιπρόσθετες μεθόδους που εφαρμόσαμε έτσι ώστε να είμαστε σε θέση να περιγράφουμε βίντεο μικρού μήκους.
description: The past few years, research activity in deep learning has increased dramatically, after the presentation of Convolutional Neural Networks (CNN) and their successful uses in image classification. Additionally, recent implementations of Recurrent Neural Networks (RNN) composing of Long Short-Term Memory (LSTM) modules, have opened new paths towards new areas in Computer Vision research. Latest research papers in Computer Vision have shown that by combining such networks, hybrid end-to-end models can be trained, to ``translate'' image or video content to regular text. In our work, we will present such a video captioning system, which ``translates'' videos to sentences, using a deep neural network consisting mainly of two parts, each having convolutional and recurrent structure. By transferring knowledge from pretrained convolutional neural networks on large datasets (e.g. ImageNet) and using video description datasets, we were able to train working video captioning models. Our initial setup takes advantage of known architectures composed of a CNN followed by a LSTM Network. Such models were initially designed for static image description tasks but in this work we will introduce some additions and modifications that will allow us to describe small videos.