Bot Detective: Explainable Bot Detection in Twitter
Creators: name: Κούβελα, Μαρία Βασιλείου
Publisher: name: Aristotle University of Thessaloniki
Year: 2020
Subjects: Μηχανική Μάθηση
Κοινωνικά Δίκτυα
Τεχνητή Νοημοσύνη
Machine Learning
Bot Detection
Twitter

description: Οι αυτοματοποιημένοι λογαριασμοί, γνωστοί και ως bot εκμεταλλεύονται τα δίκτυα κοινωνικών μέσων ενημέρωσης προκειμένου να εκπληρώσουν τους κακόβουλους σκοπούς τους: η εξαπάτηση, ο επηρεασμός της κοινής γνώμη και η ομιλία μίσους είναι μερικές από τις πράξεις τους. Το Twitter, με περισσότερους από 330 εκατομμύρια ενεργούς χρήστες, είναι ένα από τα κοινωνικά δίκτυα που υποφέρουν περισσότερο από επιθέσεις των bot. Η ερευνητική κοινότητα συμμετέχει όλο και περισσότερο σε αυτό το θέμα από τότε που τα κοινωνικά δίκτυα άρχισαν να προσελκύουν περισσότερο κοινό. Η προσέγγιση που χρησιμοποιεί τη μηχανική μάθηση έχει αποδειχθεί ότι είναι η πιο αποτελεσματική, καθώς βοηθά στην ανακάλυψη των μοτίβων που υπάρχουν στην συμπεριφορά των bot. Πολλές εργασίες στη βιβλιογραφία εστιάζουν στην εξαγωγή πληροφοριών σχετικά με τους χρήστες και το περιεχόμενο που αναρτούν, από αναγνωρισμένους λογαριασμούς του Twitter και στη συνέχεια στην εκπαίδευση ενός μοντέλου ταξινόμησης ώστε να προβλέψει τη πιθανότητας ένας λογαριασμού να είναι bot. Το ζήτημα που εγείρεται είναι ότι οι λόγοι πίσω από το πώς και γιατί ένα μοντέλο μηχανικής μάθησης φθάνει στις αποφάσεις του εσωτερικά δεν είναι σαφείς. Η παρούσα εργασία εισάγει μια νέα μεθοδολογία με σκοπό να εξηγήσει τις αποφάσεις που λαμβάνονται από μοντέλα μηχανικής μάθησης σχετικά με τα αποτελέσματά τους στην αναγνώριση λογαριασμών του Twitter. Όπως έχει παρατηρηθεί μέσα από διάφορες εργασίες της βιβλιογραφίας στο θέμα, οι λογαριασμοί bots τείνουν να υποδύονται πραγματικούς χρήστες μέσα από το περιεχόμενο των tweets που αναρτούν αλλά και τις πληροφορίες του προφίλ τους, γεγονός το οποίο κάνει το πρόβλημα πιο δύσκολο. Παρατηρώντας τις συμπεριφορές τους και συγκρίνοντάς τες με αυτές πραγματικών χρηστών μπορεί να οδηγήσει σε στοιχεία διάκρισης μεταξύ τους. Για το σκοπό αυτό, αρχικά, δημιουργήθηκε ένα μεγάλο σε όγκο ταξινομημένο σύνολο δεδομένων, χρησιμοποιώντας το API του Twitter. Επιλέχτηκαν διάφορα από τα διακριτικά στοιχεία των προφίλ ως κύρια χαρακτηριστικά για το σύνολο δεδομένων. Στη συνέχεια αναπτύχθηκε ένα επεξηγηματικό μοντέλο παλινδρόμησης, ικανό να παράγει ακριβή αποτελέσματα. Το τελικό σύστημα πρόβλεψης που κατασκευάστηκε δέχεται ως είσοδο το @username ενός λογαριασμού του Twitter και συλλέγει πληροφορίες για τα τελευταία 20 tweets που αναρτήθηκαν από το λογαριασμό αυτό. Από τις πληροφορίες αυτές εξάγει τα κύρια χαρακτηριστικά και κατασκευάζει το νέο αταξινόμητο σύνολο δεδομένων. Στη συνέχεια το νέο σύνολο δεδομένων εισάγεται στο εκπαιδευμένο μοντέλο και παράγονται οι προβλέψεις για το λογαριασμό. Το σκορ που αποδίδει το μοντέλο στο λογαριασμό σε κλίμακα [0-5], όπου 0 είναι πραγματικός χρήστης και 5 είναι bot, συνοδεύεται και από μια σειρά επεξηγήσεων γύρω από την πρόβλεψη του μοντέλου, οι οποίες κατασκευάστηκαν με εξαγωγή κανόνων σε φυσική γλώσσα ώστε να είναι κατανοητές από κάθε χρήστη, ανεξαρτήτως τεχνικού υποβάθρου. Για να εξυπηρετηθεί το κοινό, στο πλαίσιο αυτής της εργασίας, αναπτύχθηκε επίσης μια web εφαρμογή, η οποία κάνει προβλέψεις σε πραγματικό χρόνο σχετικά με την κατάσταση χρηστών του Twitter συνοδευόμενη από τους λόγους πίσω από αυτές τις προβλέψεις. Επίσης, δίνεται η δυνατότητα στους χρήστες του εργαλείου αυτού να συμβάλλουν στην αξιολόγηση και βελτίωσή του, παρέχοντας τα σχόλιά τους, τα οποία αποθηκεύονται ώστε να πραγματοποιηθεί εκ νέου εκπαίδευση του μοντέλου στα νέα δεδομένα. Η συμβολή αυτού του έργου αναμένεται να υποστηρίξει, όχι μόνο την ερευνητική κοινότητα, αλλά και τους χρήστες του Twitter, οι οποίοι μπορούν να χρησιμοποιήσουν το αναπτυγμένο εργαλείο ως σύμμαχό τους στον εντοπισμό bots στις καθημερινές τους αλληλεπιδράσεις στο δίκτυο
description: Bot accounts exploit social media networks in order to fulfill their malicious purposes; phishing, influencing public opinion and spreading hate speech, to name a few. Twitter, with more than 330 million active users, is one of the social networks that suffer the most from bot attacks. The research community is getting more and more involved in this subject ever since social networks started attracting more audience. The approach using Machine Learning has proven to be the most effective, since it helps in discovering of patterns that exist in bot-like behavior. A lot of work in the literature focuses on extracting user and content information from identified Twitter accounts and then training a classification model to use in predicting the likelihood of an account being a bot. The issue that lies there is that the reasons behind how and why a Machine Learning model reaches to decisions internally are not clear. The present thesis introduces a novel methodology in order to explain the decisions made from Machine Learning models about their results of identifying accounts in Twitter. To that end, first, a large in volume labelled dataset was created using the Twitter API, that lead to the development of an explainable regression model, able to produce accurate results. To assist the public, in the context of this thesis, a web application was also developed, which makes real-time predictions about the status of Twitter users accompanied with the reasons behind those predictions. The contribution of this work will hopefully support not only the research community, but users of Twitter as well, that can use the developed tool as their ally in identifying bots in their everyday interactions in the network