Βαθιά συνελικτικά νευρωνικά δίκτυα για ανάκτηση πολυμεσικής πληροφορίας
Creators: name: Τζελέπη, Μαρία Δημητρίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2016
Subjects: Ανάκτηση εικόνας με βάση το περιεχόμενο
Βαθιά συνελικτικά νευρωνικά δίκτυα
Βαθιά μάθηση
Content based image retrieval
Deep convolutional neural networks
Deep learning

description: Στην παρούσα εργασία αντιμετωπίζουμε το πρόβλημα της ανάκτησης εικόνας με βάση το περιεχόμενο, χρησιμοποιώντας τα βαθιά συνελικτικά νευρωνικά δίκτυα. Χρησιμοποιούμε ένα βαθύ συνελικτικό μοντέλο για να εξάγουμε τις αναπαραστάσεις χαρακτηριστικών από τις ενεργοποιήσεις των βαθύτερων στρωμάτων και επανεκπαιδεύουμε το δίκτυο με σκοπό να παράξουμε πιο αποτελεσματικές αναπαραστάσεις, βασιζόμενοι στη διαθέσιμη πληροφορία. Η μέθοδος μας προτείνει τρεις βασικές προσεγγίσεις επανεκπαίδευσης,, όπως ορίζονται από τη διαθέσιμη πληροφορία. Έτσι προτείνεται η πλήρως μη επιβλεπόμενη επανεκπαίδευση αν δεν υπάρχει καθόλου διαθέσιμη πληροφορία, εκτός από το σύνολο εικόνων αυτό καθ' αυτό. Αν υπάρχει διαθέσιμη πληροφορία κλάσεων προτείνεται η επανεκπαίδευση με πληροφορία σχετικότητας και τέλος αν υπάρχει διαθέσιμη ανατροφοδότηση από χρήστες, τότε προτείνεται η βασισμένη στην ανατροφοδότηση σχετικότητας επανεκπαίδευση. Προτείνουμε αυτές τις προσεγγίσεις είτε ανεξάρτητα, είτε σε σειρά όπου η μια προσέγγιση επανεκπαίδευσης λειτουργεί σαν βήμα προεκπαίδευσης για την επόμενη. Προτείνουμε επίσης μια μέθοδο επέκτασης ερωτήματος με χωρική επαλήθευση με σκοπό να ενισχύσουμε την επίδοση των αναπαραστάσεων στο πρόβλημα της ανάκτηση εικόνων. Η πειραματική αξιολόγηση σε πέντε διαθέσιμες βάσεις για ανάκτηση εικόνων δηλώνει την αποτελεσματικότητα της προτεινόμενης μεθόδου στην εκμάθηση πιο αποτελεσματικών αναπαραστάσεων για το πρόβλημα της ανάκτησης, σημειώνοντας υψηλότερες επιδόσεις από άλλες μεθόδους που βασίζονται σε συνελικτικά νευρωνικά δίκτυα, καθώς και από συμβατικούς περιγραφείς, σε όλες τις χρησιμοποιούμενες βάσεις.
description: This thesis deals with the problem of Content Based Image Retrieval, utilizing the state-of-the-art deep Convolutional Neural Networks. We employ a deep CNN model to obtain the feature representations from the activations of the deepest layers and we retrain the network in order to produce more efficient image descriptors, relying on the available information. Our method suggests three basic model retraining approaches, as specified by the available information. That is, the Fully Unsupervised Retraining, if no information except from the dataset itself is available, the Retraining with Relevance Information, if the labels of the dataset are available, and the Relevance Feedback based Retraining, if feedback from users is available. We propose these approaches independently or in a pipeline, where each retraining approach operates as a pretraining step to the subsequent one. We also propose a query expansion method with spatial reranking on the top of these approaches in order to boost the retrieval performance. The experimental evaluation on five publicly available image retrieval datasets indicates the effectiveness of the proposed method in learning more efficient representations for the retrieval task, outperforming other CNN-based retrieval techniques, as well as conventional hand-crafted approaches in all the used datasets.