MANIFEST: A Human-centric Explainable Approach for Fake News Spreading Detection
Creators: name: Λαμπρίδης, Ορέστης Δημητρίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2021
Subjects: Παραπληροφόρηση
Κοινωνικά δίκτυα
Ανάλυση προφίλ χρηστών
Fake news
Social networks
User profiling

description: Fake news spreading is an ever increasing phenomenon which is deeply tied with the involvement of humans as they tend to adopt, circulate and fall for misinformation stories. However, there has not been significant work in the literature on the role that the human factor has and what characteristics of human users correlate with the diffusion of fake news. Such research would be valuable to better understand and combat misinformation patterns in human dominated platforms such as social networks. Recent work has shown that behavioral user profiling leads to promising results in identifying fake news spreaders. In spite of this, no in-depth analysis has been made to figure out the exact features that correlate with fake news spreading behavior. This work suggests an explainable human-centric approach on detecting fake news spreading behavior by building a fake news spreader classifier, utilizing the psychological characteristics of human users and applying state of the art explanation techniques. Experimentation demonstrates that our model achieves promising results at detecting fake news spreaders by utilizing user characteristics while also offering explanations of which of those characteristics contribute to the fake news spreading behavior. In addition, to the best of our knowledge, this is the first work that aims to provide a fully explainable setup that evaluates fake news spreading based on users credibility applied to public discussions on Twitter threads and aiming for a comprehensive way to combat fake news circulation. The way we approach this is by utilizing the predictions made by the fake news spreader classifier built before on the users that took part in the discussion of a specific twitter thread and then by learning an interpretable linear model in that space. The explanations consist of example-based explanations and word feature importance. Quantitative evaluation shows that the linear model is able to accurately imitate the predictions of the more complex fake news spreader classifier with a high accuracy. Qualitative evaluation shows that the explanations are reasonable and intuitive and could prove fruitful for combating the propagation of fake news.
description: Η εξάπλωση ψευδών ειδήσεων είναι ένα συνεχώς αυξανόμενο φαινόμενο που συνδέεται βαθιά με τη συμμετοχή του ανθρώπινου στοιχείου καθώς οι άνθρωποι είναι οι πρωταγωνιστές οι οποίοι τείνουν να υιοθετούν, να κυκλοφορούν και να πιστεύουν ανυπόστατες φήμες. Ωστόσο, μέχρι τώρα δεν έχει γίνει σημαντική δουλειά σχετικά με το ρόλο που έχει ο ανθρώπινος παράγοντας και ποια χαρακτηριστικά των ανθρώπινων χρηστών στα κοινωνικά δίκτυα συσχετίζονται με τη διάδοση ψεύτικων ειδήσεων. Μια τέτοια έρευνα θα ήταν πολύτιμη για την καλύτερη κατανόηση και καταπολέμηση των παραπλανητικών προτύπων στα κοινωνικά δίκτυα αφού αποτελούν πλατφόρμες τις οποίες κυριαρχούν οι άνθρωποι. Οι λίγες έρευνες που έχουν γίνει δείχνουν ότι η ανάλυση συμπεριφοράς προφίλ χρηστών οδηγεί σε υποσχόμενα αποτελέσματα στον εντοπισμό χρηστών που διαδίδουν ψεύτικες ειδήσεις. Παρ 'όλα αυτά δεν έχει γίνει στην βιβλιογραφία κάποια εκτεταμένη ανάλυση για να προσδιοριστούν τα ακριβή χαρακτηριστικά που σχετίζονται με τη συμπεριφορά χρηστών που διαδίδουν αυτές τις ψεύτικες ειδήσεις. Αυτή η δουλεία προτείνει μια επεξηγούμενη άνθρωπο-κεντρική προσέγγιση για τον εντοπισμό διάδοσης ψεύτικων ειδήσεων δημιουργώντας έναν ταξινομητή που εντοπίζει τους χρήστες που εμπλέκονται στη διάδοση ψεύτικων ειδήσεων. Για αυτόν το σκοπό χρησιμοποιούνται τεχνικές επεξεργασίας φυσικής γλώσσας για να εξαχθούν τα ψυχολογικά και κοινωνικά χαρακτηριστικά των ανθρώπινων χρηστών (προσωπικότητα, φύλο, συναίσθημα, ανάλυση χρήσης λέξεων και χαρακτηριστικά αναγνωσιμότητας). Για τον συσχετισμό των χαρακτηριστικών των χρηστών με την συμπεριφορά διάδοσης ψεύτικης πληροφορίας χρησιμοποιούνται state-of-the-art τεχνικές επεξήγησης από το πεδίο της ερμηνεύσιμης τεχνητής νοημοσύνης. Ο πειραματισμός δείχνει ότι το μοντέλο μας επιτυγχάνει υποσχόμενα αποτελέσματα στην ανίχνευση ψευδών ειδήσεων χρησιμοποιώντας τα χαρακτηριστικά των χρηστών, ενώ παράλληλα παρέχει εξηγήσεις για ποια από αυτά τα χαρακτηριστικά συμβάλλουν στη συμπεριφορά ψεύτικων ειδήσεων. Επιπλέον, εξ όσων γνωρίζουμε, αυτή είναι η πρώτη δουλειά που στοχεύει στην παροχή μιας πλήρως επεξηγούμενης προσέγγισης η οποία αξιολογεί τη διάδοση ψευδών ειδήσεων με βάση την αξιοπιστία των χρηστών που συμμετέχουν σε δημόσιες συζητήσεις σε θέματα του Twitter και στοχεύοντας σε έναν ολοκληρωμένο τρόπο καταπολέμησης της κυκλοφορίας ψεύτικων ειδήσεων. Ο τρόπος με τον οποίο γίνεται αυτό είναι με την αξιοποίηση των προβλέψεων που έγιναν χρησιμοποιώντας τον ταξινόμηση που εντοπίζει τους χρήστες που διαδίδουν παραπληροφόρηση στους χρήστες που συμμετείχαν στη συζήτηση ενός συγκεκριμένου νήματος στο Twitter και στη συνέχεια εκπαιδεύοντας ένα νέο ερμηνεύσιμο γραμμικό μοντέλο λογιστικής παλινδρόμησης σε αυτόν τον χώρο. Πειραματική αξιολόγηση έγινε σε δύο κύρια επίπεδα; ποσοτική και ποιοτική. Η ποσοτική αξιολόγηση υποδεικνύει ότι το γραμμικό μοντέλο είναι σε θέση να μιμείται με υψηλή ακρίβεια τις προβλέψεις του πιο περίπλοκου ταξινομητή που εντοπίζει τους χρήστες που διαδίδουν παραπληροφόρηση, γεγονός που υποδηλώνει ότι η υπόθεση ότι ένας πλαστογράφος θα συνεχίσει να διαδίδει ψεύτικες ειδήσεις όταν απαντά σε άλλους χρήστες και το αντίστοιχο για τους πραγματικούς διανομείς ειδήσεων ισχύει. Η ποιοτική αξιολόγηση δείχνει ότι οι εξηγήσεις είναι λογικές και διαισθητικές και ότι θα μπορούσαν να αποδειχθούν καρποφόρες για να βοηθήσουν έναν χρήστη να καταλάβει αν ένα tweet που διαβάζει περιέχει ή όχι ψεύτικες πληροφορίες και γενικότερα να βοηθήσουν στην καταπολέμηση της διάδοσης ψευδών ειδήσεων στα κοινωνικά δίκτυα.