TweeMe: a multimodal approach to detect memes on Twitter platform
Creators: name: Φραγγίδης, Πασχάλης Χαραλάμπους
Publisher: name: Aristotle University of Thessaloniki
Year: 2021
Subjects: Βαθιά Μάθηση
Ταξινόμηση
Πολυτροπική
Deep Learning
Classification
Multimodal

description: Τα μιμίδια (μτφρ. `Memes') είναι εικόνες που περιέχουν σαρκαστικό περιεχόμενο βασισμένο πάνω σε ένα ευρέως χρησιμοποιούμενο πρότυπο εικόνας. Η χρήση των μιμιδίων είναι αρκετά συνήθης στα κοινωνικά δίκτυα και αξιοποιούνται άρδην από τους περισσότερους χρήστες. Αυτή η διατριβή ασχολείται με το έργο της ανίχνευσης μιμιδίων σε κοινωνικά δίκτυα χρησιμοποιώντας μια πολυτροπική προσέγγιση που βασίζεται τόσο στα χαρακτηριστικά μιας εικόνας όσο και στα μεταδεδομένα των δημοσιεύσεων και των χρηστών στις οποίες ανήκει. Η τρέχουσα διατριβή προσεγγίζει την ανίχνευση μιμδίων πέρα από την απλή χρήση state-of-the-art μοντέλων για την ταξινόμηση εικόνας που συμβαίνει κυρίως σε όλες τις προηγούμενες εργασίες. Η προτεινόμενη προσέγγιση εισάγει χαρακτηριστικά από τα μεταδεδομένα των δημοσιεύσεων καθώς και από το πρόσφατα αναρτημένο ιστορικό του χρήστη για να προσεγγίσει το είδος της εικόνας. Πιο συγκεκριμένα, λειτουργίες όπως βαθμολογίες συναισθημάτων και μέρων του λόγου, μετρούνται και ποσοστικοποιούνται και στην συνέχεια εξάγονται από κάθε Tweet, ενώ για κάθε χρήστη, οι τελευταίες 75 αναρτήσεις του ανακτώνται και στη συνέχεια εξάγονται οι βαθμολογίες δημοτικότητάς του. Επιπλέον, διανύσματα λέξεων δημιουργούνται για κάθε αναρτημένο κείμενο προκειμένου να συμπεριληφθούν τα γλωσσικά χαρακτηριστικά στην προτεινόμενη προσέγγιση. Τα γλωσσικά χαρακτηριστικά και τα μεταδεδομένα βελτιώνουν τις προβλέψεις των μοντέλων που περιλαμβάνουν μόνο εικόνα όσον αφορά την ανίχνευση μιμιδίων, επομένως τα πιο σύγχρονα ή ανταγωνιστικά μοντέλα είναι αυτά που χρησιμοποιούνται. Η συνολική προτεινόμενη αρχιτεκτονική είναι πιο κατάλληλα για εφαρμογή σε μια πλατφόρμα κοινωνικών μέσων, καθώς συνδυάζει όλα αυτά τα χαρακτηριστικά που κάνουν τα μιμίδια να χρησιμοποιούνται τόσο ευρέως στα μέσα κοινωνικής δικτίωσης
description: Meme images or for simplification memes, which are images that contain sarcastic content in top of a commonly used image template, are very common entities on social networks and widely used from most users. This thesis addresses the task of meme detection on social networks using a multimodal approach that is based on image features along with post and user metadata. The current dissertation addresses meme detection by overtaking the simple usage of state-of-the-art models for image classification that is mainly the case in all of the previous works. The proposed approach introduces features from the metadata of the post and from the historic record of the user to surround the image ones. More specifically, features like sentiment scores and part of speech (POS) counts and ratios are extracted from every Tweet, while for every user, his last 75 Tweets are retrieved and then popularity scores are extracted for the combination of them. Additionally, word vectors are created for every Tweet's text in order for the textual features to be included in the proposed approach. Text and metadata features enhance the predictions of image-only models regarding meme detection, hence state-of-the-art or competitive models are exploited to utilize them. The total proposed architecture is more robust and able to be applied in a social media platform as it combines all these characteristics that make memes so commonly used