Bot accounts Ensemble Classification on Twitter
Creators: name: Γεωργίου, Κωνσταντίνος Ανδρέα
Publisher: name: Aristotle University of Thessaloniki
Year: 2021
Subjects: Λογαριασμοί Bot
Ομαδοποιημένη Ταξινόμηση
Μηχανική Μάθηση
Bot accounts
Ensemble Classification
Machine Learning

description: Σε αυτήν τη νέα εποχή της ταχείας ανταλλαγής πληροφοριών και της τεχνολογικής καινοτομίας, τα κοινωνικά μέσα διαδραματίζουν εξέχοντα ρόλο. Η άμεση μετάδοση πληροφοριών είναι δελεαστική και οι άνθρωποι μπορούν ελεύθερα να εκφραστούν. Ανά τα χρόνια, έχουν προκύψει διάφορες πλατφόρμες κοινωνικών μέσων που εστιάζουν σε διαφορετικές πτυχές της ζωής. Η απλή προσέγγισή τους για τη συλλογή δεδομένων και τη διευκόλυνση των χρηστών να συμμετέχουν σε αυτά, διευκόλυνε την αύξηση λογαριασμών που ελέγχονται από τον άνθρωπο ή από υπολογιστή, οι οποίοι συχνά διαδίδουν ζημιώδες περιεχόμενο, διχόνοια και αμφισβητήσιμες απόψεις. Αυτοί οι λογαριασμοί είναι γνωστοί ως bots και αποτελούν μεγάλη απειλή για τα κοινωνικά μέσα. Ιδιαίτερα στο Twitter, όπου η ανταλλαγή απόψεων είναι διαδεδομένη, τα bot έχουν εισβάλει πολύ στις ροές του, αποσταθεροποιώντας ευαίσθητα θέματα (π.χ. εκλογικές εκστρατείες). Για να αντισταθεί στην αυξανόμενη απειλή τους, η επιστημονική κοινότητα έχει κατασκευάσει μεθοδολογίες για την αντιμετώπιση αυτών των λογαριασμών. Ενώ οι πρόσφατες ερευνητικές δουλείες και οι ανοιχτές υπηρεσίες έχουν κάνει σημαντική δουλειά στην απλή ανίχνευση λογαριασμών bot και ανθρώπου ή στην εστίαση σε έναν συγκεκριμένο τύπο bots (π.χ. spam bots, social bots) έχει δοθεί περιορισμένη προσοχή στην ανίχνευση πολλαπλών τύπων bot, σε ένα σύστημα ανίχνευσης πολλαπλών κλάσεων. Επιπλέον, λίγες μεθοδολογίες αξιολογούν τα χαρακτηριστικά που χρησιμοποιούνται για τις προβλέψεις, τη σημασία τους στις αντίστοιχες αποφάσεις των ταξινομητών ή την εκμετάλλευση των τεχνικών επεξήγησης για μοντέλα μαύρου κουτιού και την εξέταση των αποφάσεών τους. Αυτή η διατριβή αντιμετωπίζει το ανοιχτό πρόβλημα της ανίχνευσης bot πολλαπλών κλάσεων χρησιμοποιώντας αναγνωρισμένες μεθοδολογίες Μηχανικής Μάθησης με κατάλληλες προσαρμογές. Πιο συγκεκριμένα, δημιουργούμε ένα εκτεταμένο σύνολο δεδομένων λογαριασμών του Twitter και των αντίστοιχων tweets τους και τους αναθέτουμε σε πολλές προκαθορισμένες κατηγορίες bot. Παρουσιάζουμε επίσης μερικές νέες κατηγορίες bot, που προηγουμένως δεν έχουν εξερευνηθεί και τις ενσωματώνουμε στην ανάλυσή μας. Κατασκευάζουμε διάφορους ταξινομητές Μηχανικής Μάθησης, οι οποίοι προβλέπουν εάν ένας λογαριασμός είναι bot ή άνθρωπος και αν ένας λογαριασμός είναι άνθρωπος ή bot που ανήκει σε πολλές διαφορετικές κατηγορίες. Η τελική υλοποίησή μας είναι μια ομαδοποιημένη ταξινόμηση που συνδυάζει και υπολογίζει διάφορες διαφορετικές προβλέψεις σε μια διαδικασία ψηφοφορίας και αποφασίζει την τελική κλάση για έναν λογαριασμό. Χρησιμοποιούμε επίσης μια διαδικασία Μηχανικής Χαρακτηριστικών που αξιολογεί τα χρησιμοποιούμενα χαρακτηριστικά για να εξετάσει την απόδοση του ταξινομητή και επιλέγει τους συνδυασμούς χαρακτηριστικών που αποδίδουν βέλτιστα αποτελέσματα. Επιπλέον, εκμεταλλευόμενοι ένα ερευνητικό κενό που δεν έχει καλυφθεί πλήρως στη βιβλιογραφία, χρησιμοποιούμε μοντέλα επεξήγησης για να εξηγήσουμε τη διαδικασία λήψης αποφάσεων των ταξινομητών και να ερμηνεύσουμε τις προβλέψεις τους. Τα αποτελέσματα και τα ευρήματά μας δείχνουν ότι οι κατασκευασμένοι ταξινομητές συμφωνούν και, σε ορισμένες περιπτώσεις, ξεπερνούν τις υπάρχουσες πρόσφατες προσεγγίσεις. Το μοντέλο ομαδοποιημένης ταξινόμησης επιτυγχάνει υψηλότερη βαθμολογία ακρίβειας σε σχέση με την πρόσφατη έρευνα. Αποδεικνύεται επίσης ότι οι καθορισμένες κατηγορίες bot μας έχουν πράγματι πολλά διαφορετικά χαρακτηριστικά που τα χαρακτηρίζουν, τα οποία συμβάλλουν επίσης στις αποφάσεις των μοντέλων επεξήγησής μας. Επισημαίνεται επίσης η διαφορά μεταξύ συμπεριφοράς ανθρώπου και bot, ενώ οι διαφορετικές στατιστικές κατανομές των χαρακτηριστικών ενισχύουν περαιτέρω το συμπέρασμα ότι οι λογαριασμοί bot ενεργούν με ασταθές τρόπο, ανάλογα με την κατηγορία στην οποία ανήκουν
description: In this new age of rapid information exchange and technological innovation, social media have a prominent role. The immediate transmission of information is enticing and people can freely express themselves. Over the years, different social media platforms have emerged that focus on a different aspect of life. Their straightforward approach in reaping user data and facilitating users to enter their social network sphere, has enabled the rise of human or computer-controlled accounts, that frequently spread harm, disrespect and questionable opinions. These accounts are known as bots and are a great threat for social media. Particularly in Twitter, where opinion exchanging is prevalent, bots have greatly intruded inside its streams, destabilizing sensitive matters (e.g. electoral campaigns). To oppose their rising threat, the scientific community has sought and constructed methodologies to tackle these accounts. While recent research ventures and open services have done considerable work in simply detecting bot and human accounts or focusing on one specific type of bots (e.g. spam bots, social bots) limited attention has been given in detecting multiple bot types, in a multiclass bot detection system. Moreover, there few methodologies evaluate the features used for predictions, their importance in the respective decisions of the classifiers or the exploitation of Explainability techniques to shed light into black box models and interpret their results. This thesis addresses the open problem of multiclass bot detection by exploiting dictated Machine Learning methodologies and adapting them properly. More specifically, we create an extensive dataset of Twitter accounts and their corresponding tweets and assign them into several predefined bot classes. We also introduce some novel bot classes, previously unexplored and incorporate them in our analysis. We construct several Machine Learning classifiers, that predict if an account is a bot or a human and whether an account is a human or a bot that belongs to several different classes. Our final implementation is an Ensemble collection of classifiers that combine and average a number of different predictions in a voting process and decide the final class for an account. We also employ a Feature Engineering process that evaluates the utilized features to examine classifier performance and select the configurations that yield optimal results. Moreover, by exploiting a research gap that has not been fully covered in bibliography, we utilize Explainability frameworks to break down the decision process of the classifiers and interpret their predictions. Our results and findings indicate that the constructed classifiers match and, in some cases, outperform existing state of the art approaches. Our Ensemble model that distinguishes bots from humans achieves an accuracy score higher that recent research works. It is also shown that our defined bot classes indeed have several different features that characterize them which also contribute to the decisions of our Explainability frameworks. The difference between human and bot behavior is highlighted while the different statistical distributions of class features further enhance the statement that bot accounts act in a volatile manner, according to the category to which they belong