Fake News Detection using Deep Learning and Machine Learning Methods - A comparative study on short and long texts
Creators: name: Ζαγκότσης, Μαρίνος Παύλου
Publisher: name: Aristotle University of Thessaloniki
Year: 2019
Subjects: Ψευδείς Ειδήσεις
Βαθειά Μάθηση
Μηχανική Μάθηση
Fake News
Deep Learning
Machine Learning

description: A great amount of research has been devoted to identifying and categorizing news based on their credibility as either fake or true. However, the complexity of a news content , usually trying to deceive the reader, based on linguistic features or features that contain a volume of sentiment has made it necessary to take the phenomenon of Fake News a step forward and assess the credibility of news not only as fake or true but also as belonging to other categories , thus making the problem a multi-class one. Binary or multi-class Fake News is a complex problem that is difficult to solve and various researchers and Universities around the world have devoted themselves to solving it as it affects numerous aspects of the society by degrading the quality of its citizens’ lives. In this thesis we are examining two Datasets, one containing short text statements and the other containing long text articles, which provide a multi-class architecture in order to assess, compare and prove that long text content is better suited for detecting Fake News than the short text one. For this work we used models that derived from two categories, Machine Learning models with Natural Language Processing features that we created based on a given related work and Deep Learning models using the state-of-the-art Word Embeddings of Word2Vec, GloVe and Fasttext. Our analysis showed that Deep Learning models with Word Embeddings performed better when trained with long text content data providing an accuracy that is significantly larger than the rest of the experiments.
description: Η ανακάλυψη Ψευδών Ειδήσεων έχει απασχολήσει την επιστημονική κοινότητα και αρκετή έρευνα έχει διεξαχθεί προκειμένου να βρεθούν οι κατάλληλες μέθοδοι ώστε να κατηγοριοποιούνται οι ειδήσεις ανάλογα με την εγκυρότητα τους. Η ανοδική πορεία των Κοινωνικών Δικτύων και της ολοένα χρήσης τους αποτελούν νευραλγικούς παράγοντες και συνδέονται άρρηκτα με την εξάπλωση και έξαρση του φαινομένου των Ψευδών Ειδήσεων. Η διάχυση της πληροφορίας στα Κοινωνικά Δίκτυα βοηθά τις Ψευδείς Ειδήσεις να καταναλώνονται με γρήγορους ρυθμούς από τους χρήστες ενώ με ακόμα γρηγορότερους να αναπαράγονται. Η διάχυση της πληροφορίας δεν αποτελεί την αιτία αλλά τον τρόπο με τον οποίο εξαπλώνονται οι Ψευδείς Ειδήσεις. Μια ψευδής είδηση έχει στόχο να διαβάλλει και να αποπροσανατολίσει τον αναγνώστη και πάντοτε έχει έναν σκοπό που συνήθως εμπίπτει σε Πολιτικές ή Κοινωνικές σκοπιμότητες με αποτέλεσμα την απόκτηση κέρδους. Οι Ψευδείς Ειδήσεις συναντώνται και με άλλες ονομασίες όπως φήμη ή προπαγάνδα και ο εντοπισμός τους είναι μια δύσκολη διαδικασία εξαιτίας του περιεχομένου τους που βρίσκεται σε τέτοια μορφή (κατάλληλες λέξεις, μορφολογίας κειμένου) ώστε τείνει να προσεγγίζει μια αληθινή είδηση. Το φαινόμενο των Ψευδών Ειδήσεων συναντάται κυρίως στη δυαδική του μορφή και οι επιστήμονες διερευνούν τις περιπτώσεις που μια είδηση είναι αληθινή ή ψευδής. Παρ' όλα αυτά μια είδηση μπορεί να παρουσιαστεί και με άλλες μορφές όπως υπό τη μορφή μιας κεφαλίδας ειδήσεων που παραπέμπει σε κάτι διαφορετικό από αυτό που φαινομενικά πρεσβεύει ή είναι μια είδηση που περιλαμβάνει ψευδείς πληροφορίες σχετικά με ένα επιστημονικό περιεχόμενο ή ακόμα και μια είδηση που έχει συναισθηματικά χαρακτηριστικά με σκοπό να σατιρίσει ή να εκφράσει μίσος. Σε αυτήν την πτυχιακή ασχολούμαστε με τον εντοπισμό ψευδών ειδήσεων που το περιεχόμενο τους κατηγοριοποιείται σε πολλαπλές κατηγορίες και προτείνουμε ένα μοντέλο κατηγοριοποίησης κειμένου που βασίζεται σε κάποια χαρακτηριστικά που απορρέουν από το Natural Language Processing (NLP) και τα Word Embeddings. Η κατηγοριοποίηση σε πολλές κλάσεις (classes) είναι ένα πρόβλημα που παρουσιάζει δυσκολίες εξαιτίας τόσο της πολυπλοκότητας που ορίζουν οι κλάσεις όσο της δυσκολίας εύρεσης δεδομένων που να είναι καλά ορισμένα, από αξιόπιστες πηγές και να είναι ήδη κατηγοριοποιημένα. Μελετώντας τη βιβλιογραφία παρατηρήσαμε ότι υπάρχει ανάγκη για τη δημιουργία μοντέλων που εκμεταλλεύονται το μέγεθος ενός κειμένου. Για την πραγματοποίηση της ανάλυσης μας χρησιμοποιήσαμε δύο Datasets , το Politifact και το Fake News Corpus τα οποία περιέχουν μικρού μήκους και μεγάλου μήκους κείμενα αντίστοιχα. Το Politifact περιέχει δεδομένα τα οποία εμπίπτουν σε 6 κλάσεις και παρουσιάζονται στο Κεφάλαιο 4 ενώ το Fake News Corpus περιέχει δεδομένα που κατηγοριοποιούνται σε 10 κλάσεις και παρουσιάζονται επίσης στο Κεφάλαιο 4. Όσον αφορά τη μεθοδολογία που ακολουθήσαμε αναφέρεται η αρχιτεκτονική της στο Κεφάλαο 3 και χρησιμοποιήσαμε στο στάδιο του Preprocessing δύο τεχνικές με τις οποίες εξάγαμε και δημιουργήσαμε τα χαρακτηριστικά με τα οποία εκπαιδεύσαμε στη συνέχεια τα μοντέλα μας, τα NLP που μελετώντας κατάλληλη βιβλιογραφία βρήκαμε εκείνα τα οποία χρησιμοποιούνται συχνότερα στην κατηγοριοποίηση κειμένου και τα Word Embeddings που αποτελούν διανύσματα αναπαράστασης λέξεων ενός κειμένου και χρησιμοποιήσαμε τα ήδη εκπαιδευμένα και δημοφιλή Word2Vec, GloVe και FastText . Για να παράγουμε αποτελέσματα χρησιμοποίησαμε μοντέλα Βαθείας Μάθησης τα οποια δημιουργήθηκαν με τη χρήση του Keras και Tensorflow των οποίων η αρχιτεκτονική παρουσιάζεται στο Κεφάλαιο 4. Επιπρόσθετα χρησιμοποιήσαμε αλγορίθμους Μηχανικής Μάθησης οι οποίοι είναι Random Forest, Logistic Regression, Linear SVM και Naive Bayes. Στη δική μας δουλειά αρχικά αντιμετωπίσαμε το πρόβλημα ως δυαδικό για να αξιολογήσουμε τα μοντέλα που δημιουργήσαμε και τα αποτελέσματα ήταν αρκετά ικανοποιητικά για τα δεδομένα με τα μεγάλου μήκους κείμενα πετυχαίνοντας accuracy 95\% ενώ τα αποτελέσματα δεν ήταν καλά για το άλλο dataset με μόλις 58\% accuracy. Όσον αφορά την πολλαπλή κατηγοριοποίηση τα αποτελέσματα ήταν επίσης ικανοποιητικά για τα μεγάλου μήκους δεδομένα με 80\% accuracy εκπαιδεύοντας τα Νευρωνικά Δίκτυα με τη χρήση του μοντέλου FastText έναντι του άλλου dataset με μόλις 28\%. Ομοίως στα πειράματα που διεξήχθηκαν με τα μοντέλα της Μηχανικής Μάθησης το Fake News Corpus τα πήγε καλύτερα σε σχέση με το Politifact. Με τον τρόπο αυτό αποδεικνύουμε ότι ο εντοπισμός των Ψευδών Ειδήσεων εξαρτάται από το μήκος του κειμένου και την ποσότητα των λέξεων που υπάρχουν σε αυτό όταν χρησιμοποιούμε Νευρωνικά Δίκτυα και FastText Word Embeddings τα οποία αποτέλεσαν τον πιο αποτελεσματικό συνδυασμό μοντέλου-δεδομένων.