Hybrid techniques for analysis and knowledge discovery out of multi-sourced social networks data
Creators: name: Δημητριάδης, Ηλίας Π.
Publisher: name: Aristotle University of Thessaloniki
Year: 2022
Subjects: Εξόρυξη δεδομένων
Ανάλυση δεδομένων
Εξόρυξη δεδομένων από γράφους
Μηχανική Μάθηση
Data Mining
Data Analysis
Graph Mining
Machine Learning

description: ΕΙΣΑΓΩΓΗ: Το διαδίκτυο κατακλύζεται από μία πληθώρα δεδομένων των οποίων η επεξεργασία και συνεπώς η εξαγωγή γνώσης από αυτά χρίζει της ανάγκης για ανάπτυξη νέων μεθοδολογιών και διαδικασιών για την έγκαιρη κι έγκυρη διαχείριση αυτών. Ένα πολύ μεγάλο μέρος αυτών των δεδομένων προέρχεται από τα δημοφιλή και συνεχώς αναπτυσσόμενα κοινωνικά μέσα δικτύωσης. Τα προβλήματα που προκύπτουν από την ευρεία χρήση τους είναι πολλά και περίπλοκα. Επιπλέον, η περιορισμένη πλέον πρόσβαση σε τέτοιου είδους δεδομένα καθιστά αναγκαία την σύνθεση διαφορετικών μεθοδολογιών για την επίλυσή τους. Ένας από τους επικρατέστερους τρόπους ανάλυσης δεδομένων από κοινωνικά δίκτυα είναι η αναγωγή τους σε γράφους και τοπολογίες δικτύου και η ανάλυση αυτών. Η δομή των κοινωνικών δικτύων που επιτρέπει – επιβάλλει τη δημιουργία σχέσεων (ακμές) μεταξύ των διαφόρων χρηστών (κόμβοι) γεννά την ανάγκη χρήσης τεχνικών ανάλυσης γράφων για την καλύτερη μελέτη αυτών των δεδομένων και των συμπερασμάτων που μπορούν να εξαχθούν από αυτά. Μελετώντας τη δομή, τις ιδιαιτερότητες και τις ομοιότητες των διαφόρων κοινοτήτων μέσα σε αυτά τι δίκτυα μπορεί κανείς να μοντελοποιήσει συμπεριφορές, απόψεις, χαρακτηριστικά, κτλ. και να εξάγει συμπεράσματα σε μεγαλύτερο εύρος κι επίπεδο. Παρότι η ανάλυση γράφων είναι ένα επιστημονικό πεδίο που έχει απασχολήσει επί πολλά χρόνια την επιστημονική κοινότητα, υπάρχουν ακόμη σημεία τα οποία αξίζουν διερεύνησης. Πέρα από την δυνατότητα αναγωγής των δεδομένων που προέρχονται από κοινωνικά δίκτυα σε γράφους, η δομή και σύνθεσή τους παρέχει τη δυνατότητα χρήσης αυτών των δεδομένων για την δημιουργία μοντέλων μηχανικής μάθησης τα οποία μπορούν να συμβάλλουν στη μοντελοποίηση συμπεριφοράς των χρηστών καθώς και την κατηγοριοποίηση αυτών, χρησιμοποιώντας πληθώρα χαρακτηριστικών που μπορούν να εξαχθούν από τα δεδομένα. Δεδομένου ότι τα Κοινωνικά Δίκτυα αποτελούν σημαντικές πηγές δεδομένων και πληροφορίας, η παρούσα διδακτορική διατριβή επικεντρώνεται στο σχεδιασμό και στην ανάπτυξη μεθοδολογιών και εργαλείων που στοχεύουν (α) στην διάκριση χρηστών με αποκλίνουσα συμπεριφορά, (β) στην σχετική κατηγοριοποίηση χρηστών, καθώς και (γ) στη χρήση κι εφαρμογή γνώσης σε πρακτικό επίπεδο, που προέρχεται από τα κοινωνικά δίκτυα και τον σημασιολογικό ιστό. Πιο συγκεκριμένα η συνεισφορά της συγκεκριμένης διδακτορικής διατριβής επικεντρώνεται σε τρεις επιμέρους θεματικούς άξονες: (1) στην ανάλυση γράφων που προέρχονται από κοινωνικά δίκτυα και δημιουργούνται από κόμβους με συγκεκριμένες ιδιότητες με σκοπό την ανίχνευση επίμονων μοτίβων και των εντοπισμό ανωμαλιών, (2) στη δημιουργία μοντέλων μηχανικής μάθησης για την κατηγοριοποίηση χρηστών σε πραγματικούς ή αυτοματοποιημένους και (3) στην ανάπτυξη μεθόδων οπτικοποίησης δεδομένων με τη χρήση του σημασιολογικού ιστού, καθώς και στην ανάπτυξη μεθοδολογιών και εφαρμογών που κάνουν χρήση της γνώσης που έχει εξαχθεί μέσω της διαδικασίας ανάλυσης δεδομένων. Οι τεχνικές αυτές αποσκοπούν στην επαύξηση της ασφάλειας στο πλαίσιο τωννκοινωνικών δικτύων καθώς και στη βελτίωση της χρήσης των παρεχόμενων υπηρεσιών. 2. ΕΡΕΥΝΗΤΙΚΕΣ ΔΡΑΣΤΗΡΙΟΤΗΤΕΣ: Η ενότητα αυτή περιλαμβάνει την συνεισφορά της διδακτορικής διατριβής αναφορικά με τους τρεις προαναφερθέντες θεματικούς άξονες. Α. Μελέτη χρονικά εξελισσόμενων γράφων που προκύπτουν από κόμβους με συγκεκριμένες ιδιότητες για την ανακάλυψη μοτίβων στη συμπεριφορά των χρηστών των κοινωνικών δικτύων. Δεδομένου ότι τα Κοινωνικά Δίκτυα αποτελούν σημαντικές πηγές δεδομένων και μπορούν ουσιαστικά να προσομοιώσουν αντίστοιχα δίκτυα οντοτήτων στην πραγματική ζωή, η διδακτορική αυτή έρευνα επικεντρώθηκε στην ανάλυση γράφων που προέρχονται από κοινωνικά δίκτυα και δημιουργούνται από κόμβους με συγκεκριμένες ιδιότητες. Αρχικά μελετήθηκε ένας αξιόλογος όγκος της υφιστάμενης αρθρογραφίας σχετικά με τις μεθόδους ανάλυσης των γράφων, καθώς και σχετικά με μαθηματικά μοντέλα που έχουν αναπτυχθεί στους γράφους με κόμβους συγκεκριμένων χαρακτηριστικών. Η συνέχεια της έρευνας έχει ώς επίκεντρο την ανάλυση γράφων που προέρχονται από το κοινωνικό δίκτυο Twitter. Στη διάρκεια αυτής της εργασίας αναπτύχθηκαν μέθοδοι συλλογής δεδομένων, μοντελοποίησης τους καθώς και διαχωρισμός τους ανάλογα με τα χαρακτηριστικά των εκάστοτε κόμβων. Εν συνεχεία, προχωρήσαμε στην χρονική ανάλυση αυτών των δικτύων και των διαφόρων μετρικών τους με σκοπό την παρατήρηση της χρονικής εξέλιξης των γράφων και των ιδιοτήτων τους. Στόχος της ερευνητικής αυτής διαδικασίας ήταν η εξαγωγή μοτίβων που διέπουν αυτούς τους γράφους καθώς κι ο εντοπισμός πιθανών ανωμαλιών που ουσιαστικά αφορούν τον εντοπισμό χρηστών με αποκλίνουσα συμπεριφορά. ΄Ετσι, ανακαλύφθηκαν μοτίβα που μπορούν να αποτυπώσουν τη συμπεριφορά χρηστών όσον αφορά μια πλειάδα χαρακτηριστικών που μπορούν να εξαχθούν από τα δεδομένα των κοινωνικών δικτύων και διαπιστώθηκε ότι αυτά παραμένουν σταθερά στο πέρασμα του χρόνου. Πέρα από τα μοτίβα που πρόεκυψαν από την ανάλυση της συμπεριφοράς των χρηστών, ακολούθησε και η ανάλυση των γράφων που προκύπτουν από τη χρήση διαφόρων οντοτήτων που χρησιμοποιούνται από τους εκάστοτε χρήστες, όπως τα hashtag και τα urls. Πιο συγκεκριμένα, βλέποντας το σύνολο των χρηστών ως γράφο, μπορούμε να αποδώσουμε στον κάθε χρήστη χαρακτηριστικά που προκύπτουν από τη χρήση διαφόρων hashtag και urls και στη συνέχεια να δημιουργηθούν υπο-γράφοι χρηστών που χρησιμοποιούν αυτά τα χαρακτηριστικά. Η ανάλυση των ιδιοτήτων αυτών των γράφων με χρήση αλγορίθμων εξόρυξης γνώσης από γράφους συνέβαλλε στην ανακάλυψη μοτίβων (patterns) που τα διέπουν, τα οποία όπως αποδείχτηκε παραμένουν επίσης σταθερά στην πάροδο του χρόνου. Χρησιμοποιώντας τα μοτίβα αυτά και σε συνδυασμό με μεθόδους οπτικοποίησης στο διδιάστατο χώρο ανακαλύφθηκαν κόμβοι που έχουν διαφορετική (ίσως ύποπτη) συμπεριφορά σε σχέση με την πλειονότητα των χρηστών. Επίσης, εκτός από τον εντοπισμό ύποπτων χρηστών, γίνεται προσπάθεια εντοπισμού ύποπτων χαρακτηριστικών. Πιο συγκεκριμένα, με τη χρήση της μεθοδολογίας που περιγράφηκε εντοπίζονται ύποπτα hashtags και urls σε ένα γράφο που δημιουργήθηκε από δημοσιεύσεις χρηστών στο Twitter. Τα ύποπτα αυτά hashtags και urls καθώς οι ιδιότητες τους, βλέποντας τον γράφο σαν ένα διμερή γράφο, μπορούν να χρησιμοποιηθούν έπειτα σαν επιπλέον χαρακτηριστικά εντοπισμού ύποπτων χρηστών. Τα αποτελέσματα της ερευνητικής αυτής εργασίας [65] δημοσιεύτηκαν στο επιστημονικό συνέδριο 10th International Conference on Web Intelligence, Mining and Semantics. 2020 , στο οποίο η εργασία έλαβε το βραβείο του Best Paper Award. Η παραπάνω ερευνητική προσπάθεια βασίστηκε σε δεδομένα τα οποία δεν είχαν κάποια ετικέτα. Σε μια προσπάθεια περαιτέρω εξέλιξης των προαναφερθέντων μοντέλων προχωρήσαμε στη χρήση δεδομένων με σχετική επισήμανση. Πιο συγκεκριμένα, χρησιμοποιώντας πάλι το Twitter και συλλέγοντας δεδομένα χρηστών που είχαν επισημανθεί ως αυτοματοποιημένοι λογαριασμοί (bots) κι ως κανονικοί χρήστες (άνθρωποι), αναλύσαμε αν τα μοτίβα που είχαν παρατηρηθεί στην προηγούμενη εργασία μπορούν να χρησιμοποιηθούν για τον διαχωρισμό των χρηστών στις δύο αυτές κατηγορίες. Είδαμε λοιπόν ότι τα μοτίβα που διέπουν τη συμπεριφορά των κανονικών και των αυτοματοποιημένων λογαριασμών, ναι μεν κατά βάση ακολουθούν τους ίδιους κανόνες, αλλά οι παράμετροι μοντελοποίησης των μοτίβων αυτών διαφέρουν από είδος σε είδος. Βάσει αυτών των παραπάνω συμπερασμάτων αναπτύχθηκεε ένα μοντέλο μηχανικής μάθησης που χρησιμοποιώντας ελάχιστα γνωρίσματα μπορεί με σχετική ακρίβεια να κατηγοριοποιήσει hashtag και url ως ύποπτα ή κανονικά. Κατά συνέπεια, μπορούμε να προχωρήσουμε στην ταυτοποίηση και στο διαχωρισμό των λογαριασμών στα δύο αυτά είδη. Τα αποτελέσματα της συγκεκριμένης ερευνητικής εργασίας οδήγησαν στη δημοσίευση ενός άρθρου [66] στο επιστημονικό περιοδικό World Wide Web Journal, Springer. Β. Σχεδίαση κι ανάπτυξη μοντέλου μηχανικής μάθησης για τον διαχωρισμό των χρηστών των κοινωνικών δικτύων σε αυτοματοποιημένους και μη. Ένα από τα σημαντικότερα προβλήματα που απασχολούν την επιστημονική κοινότητα όσον αφορά την χρήση των κοινωνικών δικτύων την τελευταία δεκαετία είναι ο διαχωρισμός των αυτοματοποιημένων λογαριασμών που προσομοιάζουν την συμπεριφορά κανονικών ανθρώπων – χρηστών. Τα κοινωνικά δίκτυα έγιναν γρήγορα πανταχού παρόντα και κατ’ επιλογήν μέρος της ζωής μας, ενισχύοντας τις διαδικτυακές ανθρώπινες αλληλεπιδράσεις. Ως ένα από τα πιο δημοφιλή μέσα κοινωνικής δικτύωσης, το Twitter έχει κρίσιμο ρόλο σε τέτοιες αλληλεπιδράσεις καθώς έχει εκατομμύρια ενεργούς χρήστες. Το Twitter μετατράπηκε γρήγορα σε σημαντικό μέσο για τη διάδοση απόψεων και πληροφοριών , μεταμορφώνοντας σε μεγάλο βαθμό πολλούς τομείς όπως π.χ. ψηφιακή διαφήμιση, μάρκετινγκ, δημοσιογραφία κ.λπ. Ωστόσο, το μεγάλο του κοινωνικό και οικονομικό αντίκτυπο σε αυτούς τους τομείς, έχει προσελκύσει μια σκοτεινή πλευρά των χρηστών που ενεργούν κακόβουλα με προσπάθειες χειραγώγησης με σκοπό να επηρεάσουν τους ανθρώπους και τις αποφάσεις τους. Οι αυτοματοποιημένοι λογαριασμοί (bots), δηλαδή λειτουργίες κώδικα που λειτουργούν ως ανθρώπινοι λογαριασμοί, προχωρούν σε αυτοματοποιημένες ενέργειες που μοιάζουν με αυτές που κάνουν οι άνθρωποι και χρησιμοποιούνται ευρέως στο Twitter. Ο μεγάλος αντίκτυπος των αυτοματοποιημένων λογαριασμών είναι εμφανής από πρόσφατες έρευνες που έδειξαν ότι σχεδόν το ένα τρίτο του περιεχομένου που μοιράζεται στο Twitter είναι προϊόν αυτών των λογαριασμών. Παράλληλα, το γεγονός ότι οι χρήστες τείνουν να πιστεύουν ότι το περιεχόμενο που δημιουργείται από τέτοιους λογαριασμούς είναι αξιόπιστο, καθιστά αυτό το φαινόμενο μια μεγάλη πρόκληση όσον αφορά την αξιοπιστία και την εμπιστοσύνη που παρέχουν τα κοινωνικά δίκτυα. Αν και οι λογαριασμοί αυτοί δεν είναι όλοι κακόβουλοι, στην πλειοψηφία τους σχετίζονται με ένα ευρύ φάσμα κακόβουλων δραστηριοτήτων, όπως διάδοση ψεύτικων ειδήσεων κι ανακριβών πληροφοριών, phishing, εξαπάτηση άλλων χρηστών κτλ. Είναι προφανές λοιπόν, ότι ο διαχωρισμός και η ανακάλυψη τέτοιων λογαριασμών είναι μείζονος σημασίας κι αυτό προσέλκυσε το ενδιαφέρον πολλών ερευνητών οι οποίοι ανέπτυξαν διάφορες μεθόδους, οι περισσότερες των οποίων χρησιμοποιούν τεχνικές επιβλεπόμενης μηχανικής μάθησης. Στα πλαίσια αυτών των ερευνητικών δραστηριοτήτων αναπτύχθηκε ένα μοντέλο μηχανικής μάθησης το οποίο όμως επεκτείνει τις ήδη υπάρχουσες μεθόδους. Πιο συγκεκριμένα προτείνεται ένα νέο μοντέλο μηχανικής μάθησης που: α) παρέχει επιπλέον επεξηγήσεις στα αποτελέσματα των μοντέλων μηχανικής μάθησης (explainable AI), β) προσφέρεται μια διαδικτυακή εφαρμογή η οποία είναι διαθέσιμη προς χρήση για το ευρύ κοινό. Χρησιμοποιώντας τεχνικές πληθοπορισμού προσφέρονται συνεχώς καλύτερα αποτελέσματα, επανεκπαιδεύοντας τα μοντέλα σε νέα δεδομένα και γ) στα πλαίσια της έρευνα διαμοιράζεται ένα ακόμη ανοικτό σύνολο δεδομένων το οποίο μπορεί να χρησιμοποιηθεί από άλλους ερευνητές για την βελτίωση των μοντέλων τα οποία παρέχουν. Τα αποτελέσματα της ερευνητικής αυτής[135] εργασίας παρουσιάστηκαν στο συνέδριο MEDES 2020 – The 12th international conference on management of digital ecosystems, όπου και βραβεύτηκε ως η καλύτερη εργασία στα πλαίσια του συνεδρίου (Best Paper Award). Συνεχίζοντας την προηγούμενη εργασία, πραγματοποιήθηκε διεξοδικότερη μελέτη της σχετικής βιβλιογραφίας, εστιάζοντας κυρίως στο γεγονός ότι οι αυτοματοποιημένοι λογαριασμοί μπορούν να διαχωριστούν περαιτέρω σε διαφορετικές κατηγορίες. Προς αυτή την κατεύθυνση, αναπτύχθηκαν νέα μοντέλα μηχανικής μάθησης τα οποία χρησιμοποιώντας μια πλειάδα χαρακτηριστικών είναι σε θέση να αναγνωρίσουν αυτοματοποιημένους λογαριασμούς στο Twitter. Σε αντίθεση με προηγούμενες δουλειές άλλων ερευνητών, το μοντέλο είναι ικανό να αναγνωρίσει και τι είδους αυτοματοποιημένος λογαριασμός είναι το κάθε bot, όπως για παράδειγμα political bot, cyborg, spam bot, social bot, self declared bot. Για να εκπαιδευτούν τα μοντέλα, χρησιμοποίηθηκαν ανοικτά σύνολα δεδομένων που έχουν χρησιμοποιηθεί από πληθώρα άλλων ερευνητών. Για να είναι πιο ακριβής η μελέτη, έγινε μια ενδελεχής έρευνα των διαθέσιμων δεδομένων, τα οποία φιλτραρίστηκαν με τέτοιο τρόπο ώστε να ανταποκρίνονται στην πραγματικότητα. Στη συνέχεια εφαρμόστηκαν πειράματα με διάφορες τεχνικές μηχανικής μάθησης. Τα πειράματα έδειξαν ότι το καλύτερο μοντέλο είναι αυτό που συνδυάζει ένα σύνολο δυαδικών ταξινομητών. Τα αποτελέσματα της χρήσης του μοντέλου έδειξαν ότι η ακρίβεια των προβλέψεών πλησίαζει το 91%, ποσοστό που το τοποθετεί ανάμεσα στις κορυφαίες σχετικές λύσεις. Επίσης, στα πλαίσια αυτής της έρευνας χρησιμοποίηθηκαν μοντέλα επεξηγήσεων για τις προβλέψεις, καλύπτοντας έτσι το κενό που υπήρχε στη διαφάνεια των αντίστοιχων λύσεων και επίσης παρέχεται μια ανανεωμένη έκδοση της διαδικτυακής εφαρμογής που είχε ήδη προκύψει από την προγούμενη ερευνητική εργασία. Πιο συγκεκριμένα τα κύρια αποτελέσματα και η κύρια συνεισφορά της έρευνας αυτής αφορούν τα παρακάτω σημεία: α) Ανακάλυψη νέων κατηγοριών αυτοματοποιημένων λογαριασμών μέσω μιας διεξοδικής έρευνας στα ήδη υπάρχοντα σύνολα δεδομένων, η οποία επίσης έδειξε ότι τα περισσότερα δημοσιευμένα σχετικά μοντέλα χτίστηκαν σε ξεπερασμένα σύνολα δεδομένων που δεν αποτυπώνουν τη σημερινή συμπεριφορά των λογαριασμών αυτών. β) Νέα μοντέλα μηχανικής μάθησης τα οποία είναι σε θέση να διαχωρίσουν τους αυτοματοποιημένους λογαριασμούς σε περισσότερες κατηγορίες, ξεφεύγοντας από τον απλό διαχωρισμό μεταξύ ανθρώπων και bots. γ) Χρησιμοποίηση συνδυαστικών τεχνικών εξαγωγής χαρακτηριστικών και ταξινόμησή τους σε διαφορετικές κατηγορίες. δ) Χρησιμοποίηση και βελτίωση μεθόδων που προσφέρουν περαιτέρω επεξηγήσεις στις προβλέψεις των διαθέσιμων μοντέλων και ε) Διαμοιρασμός και δημοσίευση νέων ανοικτών συνόλων δεδομένων που μπορούν να χρησιμοποιηθούν για την βελτίωση των μοντέλων που υπάρχουν ήδη. Τα αποτελέσματα της ερευνητικής αυτής εργασίας[64] οδήγησαν στη δημοσίευση ενός άρθρου στο επιστημονικό περιοδικό Applied Sciences, MDPI καθώς και στην ανάπτυξη μιας δημόσια διαθέσιμης διαδικτυακής εφαρμογής σχετικά με την αναγνώριση αυτοματοποιημένων λογαριασμών, https://bot-detectivev2.csd.auth.gr. Γ. Σχεδίαση κι ανάπτυξη εφαρμογών βασισμένες σε γνώση που έχει εξαχθεί από την ανάλυση δεδομένων από τα κοινωνικά δίκτυα και τον σημασιολογικό ιστό. Στην εποχή του Web 2.0 όπου η παραγωγή περιεχομένου είναι τεράστια και σταθερά αυξανόμενη, οι άνθρωποι δυσκολεύονται στο να επεξεργαστούν και να καταλάβουν τα δεδομένα που δημιουργούνται. Είναι προφανές ότι αν τα σύνολα αυτά των διαθέσιμων δεδομένων παρουσιάζονταν σε μια απλή υπολογιστική διάταξη, ένα υπολογιστικό φύλλο, θα ήταν ανθρωπίνως αδύνατον για κάποιον να αποσπάσει οποιοδήποτε είδος πληροφορίας. Προς αυτή την κατεύθυνση, πολλοί επιστήμονες πρότειναν κι ανέπτυξαν συστήματα οπτικοποίησης κι εξερεύνησης δεδομένων τα οποία επιτρέπουν τον κοινό χρήστη να αξιοποιήσει κατά το καλύτερο δυνατόν την διαθέσιμη πληροφορία. Ωστόσο, από την χρήση τέτοιων συστημάτων προκύπτουν άλλα προβλήματα που έχουν να κάνουν με τη δυσκολία στο χειρισμό των διαφόρων οντοτήτων δεδομένων. Δεν υπάρχει μια ενιαία λύση που επιτρέπει στους επιστήμονες δεδομένων να οπτικοποιήσουν σύνθετα δεδομένα ή να τα εμπλουτίσουν με διάφορα πρόσθετα οπτικά στοιχεία. Οι πολλαπλοί διαφορετικοί τύποι δεδομένων προσθέτουν ένα επιπλέον επίπεδο δυσκολίας σε αυτή την πρόκληση. Δημιουργούνται ερωτήματα του τύπου ποια σύμβολα είναι κατάλληλα για κάθε οπτικοποίηση, ποια κλιμάκωση ταιριάζει καλύτερα και πώς μπορεί κανείς να κάνει πιο ουσιαστική και πλούσια μια αναπαράσταση δεδομένων. Φυσικά, υπάρχουν ιδιόκτητες, εμπορικές εφαρμογές οι οποίες έχουν κατά πολύ καταφέρει να καλύψουν αυτό το κενό, οι οποίες όμως προϋποθέτουν την εκπαίδευση του μέσου χρήστη στο αντίστοιχο λογισμικό και φυσικά τέτοιες εφαρμογές δεν είναι διαθέσιμες σε όλους. Οι περισσότερες ανοικτά διαθέσιμες εφαρμογές απαιτούν από τον χρήστη να κάνει τις απαραίτητες διασυνδέσεις, είτε σημασιολογικές είτε δομικές, ώστε να προχωρήσει σε δεύτερο επίπεδο στην οπτικοποίηση και στην εξερεύνηση αυτών των δεδομένων. Δεδομένων των προβλημάτων αυτών, στο μέρος αυτό της διδακτορικής διατριβής, η ερευνητική δραστηριότητα επικεντρώθηκε στην ανάπτυξη μιας ευέλικτης, προσαρμόσιμης, κι αυτοματοποιημένης μεθοδολογίας κι ενός συστήματος για την οπτικοποίηση κι εξερεύνηση συνόλων δεδομένων. Ακολουθώντας τα ήδη υπάρχοντα πρότυπα και καθιερωμένες τεχνικές για την οπτικοποίηση δεδομένων και λαμβάνοντας υπόψιν την ανάγκη για ελάχιστες επεμβάσεις από την πλευρά του χρήστη, αφού ολοκληρώθηκε η μελέτη της απαραίτητης σχετικής βιβλιογραφίας, αναπτύχθηκε μια νέα μεθόδος αλλά κι ένα εργαλείο, το Lumina, που καλύπτει τα παραπάνω κενά παρέχοντας: α) δομική και σημασιολογική ανάλυση η οποία βασίζεται σ’ ένα κεντρικό μοντέλο το οποίο προσαρμόζεται αυτόματα στα δεδομένα προς ανάλυση και εμπλουτίζει τα δεδομένα σε όλα τα στάδια της οπτικοποίησής τους, β) απαιτεί ελάχιστες ενέργειες από τον χρήστη (εισαγωγή δεδομένων, επιλογή αυτών προς οπτικοποίηση), γ) παραμετροποίηση των επί μέρους συστημάτων και ανοικτή πρόσβαση σε όλα τα μέρη του συστήματος. Πιο συγκεκριμένα το σύστημα Lumina, διαθέτει μηχανισμούς που είναι ικανοί να αναγνωρίσουν τα είδη των εισαγόμενων δεδομένων και να τα διαχειριστεί ανάλογα. Επίσης, διαθέτει μηχανισμούς σημασιολογικής ανάλυσης , οι οποίοι θέτοντας ερωτήματα στον σημασιολογικό ιστό σχετικά με τα εισαγόμενα δεδομένα, καταφέρνει να εμπλουτίσει το σύνολο των διαθέσιμων δεδομένων παρέχοντας πληροφορία που μέχρι στιγμής ήταν μη διαθέσιμη (π.χ. σύμβολα, χρώματα, κτλ.). Το σύστημα είναι σε θέση να αυτοματοποιεί την οπτικοποίηση των δεδομένων μέσω ελαχίστων παρεμβάσεων από την πλευρά του χρήστη, ενσωματώνοντας παράλληλα μετρικές που αφορούν την ποιότητα των παραγόμενων οπτικοποιήσεων. Τέλος, για την υλοποίηση της συνολικής μεθόδου έχουν χρησιμοποιηθεί σύγχρονες τεχνικές υλοποίησης σε επίπεδο ανάπτυξης λογισμικού, οι οποίες είναι και δημόσια διαθέσιμες σε απόθετήριο ανοικτού κώδικα. Τα αποτελέσματα της ερευνητικής αυτής εργασίας οδήγησαν στη δημοσίευση ενός άρθρου [123] στο επιστημονικό περιοδικό Journal of Visualization, Springer. Τα δεδομένα που προέρχονται από τα κοινωνικά δίκτυα μπορούν να χρησιμοποιηθούν για να εξάγει κανείς γνώση που προέρχεται από την πληθώρα των ατόμων που επικοινωνούν μέσω αυτών. Οι τεχνικές πληθοπορισμού μπορούν να αξιοποιηθούν για την εξαγωγή δυναμικών τάσεων και πληροφορίων από τα δεδομένα που είναι διαθέσιμα στα κοινωνικά δίκτυα, επιτρέποντας την αποτύπωση της σοφίας του πλήθους. Η εξόρυξη δεδομένων από τα κοινωνικά δίκτυα ως προσέγγιση συλλογικής νοημοσύνης έχει εξελιχθεί τρομερά κατά την τελευταία δεκαετία. Περιλαμβάνει την εξαγωγή λανθάνουσας πληροφορίας και από το μη δομημένο περιεχόμενο που δημιουργείται από χρήστες μέσων κοινωνικής δικτύωσης καθώς κι από τη διάδραση των χρηστών μεταξύ τους, που συνήθως αποτυπώνεται στη δημιουργία σχετικών κοινοτήτων. Ο όγκος αυτών των δεδομένων, σε συνδυασμό με το σχετικά ¨θορυβώδες’ περιεχόμενο τους αποτελούν μια πρόκληση για τους αλγορίθμους εξόρυξης τους. Στην διδακτορική αυτή διατριβή χρησιμοποιούνται προηγμένες τεχνικές, για τη δημιουργία μιας ισχυρής αλληλουχίας μεθόδων επεξεργασίας περιεχομένου που θα είναι σε θέση να προσδιορίσουν ποιοτικό περιεχόμενο, και να ταξινομήσουν περαιτέρω τα αναδυόμενα θέματα σε ένα σύνολο συγκεκριμένων κατηγοριών. Πιο συγκεκριμένα, η προτεινόμενη μεθοδολογία αξιοποιεί α) ροές δεδομένων, που περιλαμβάνουν αναρτήσεις, κείμενα και πολυμέσα, καθώς και αντιδράσεις των χρηστών σε αυτά, μέσω κατάλληλων μηχανισμών συλλογής τους. μηχανισμούς συλλογής δεδομένων, β) τον εντοπισμό και τον χαρακτηρισμό ποιοτικών σχετικών πληροφοριών και τη λεπτομερή ρύθμιση των παραμέτρων συλλογής τους και γ) την αξιοποίηση και περαιτέρω εξέλιξη τεχνολογιών αιχμής σχετικά με την δυναμική κατηγοριοποίηση θεμάτων. Η εργασία [68] αυτή αποτυπώθηκε και παρουσιάστηκε στο συνέδριο IEEE/WIC/ACM International Conference on Web Intelligence-Companion κι οδήγησε στην ανάπτυξη της πλατφόρμας https://crowdsourcing.plastictwist.com. Τέλος στα πλαίσια έρευνας σχετικά με μεθόδους πληθοπορισμού για εξαγωγή κρυφής γνώσης, χρησιμοποιήθηκαν δεδομένα από άλλα κοινωνικά δίκτυα (Foursquare)και ανοικτά σύνολα δεδομένων για συγκεκριμένες πόλεις που συνδυαστικά χρησιμοποιήθηκαν ως δε- δομένα εισόδου για έναν αλγόριθμο (LOCAST) ο οποίος είναι σε θέση να προβλέψει κατά πόσο μία τοποθεσία είναι κατάλληλη για την διεξαγωγή κάποιας συγκεκριμένης δραστηριότητας. Τα αποτελέσματα της εργασίας αυτής έδειξαν ότι ο συνδυασμός αυτών των δεδομένων μπορεί να αποδώσει με σχετική ακρίβεια τις βέλτιστες τοποθεσίες ανάλογα με τη δραστηριότητα, όπως προβάλλονται και στην ερευνητική εργασία [173] που παρουσιάστηκε στο συνέδριο IEEE/WIC/ACM International Conference on Web Intelligence.
description: Online social networks have quickly become a ubiquitous and integral part of people’s everyday lives, boosting online human interactions and media sharing among peers. OSN data analysis and knowledge extraction methodologies have flourished during the past years. However, as OSNs evolve and the number of active users constantly increases, new challenges appear. The fact that OSNs gradually put severe limitations on the data that can be collected for further use, adds an additional level of constraints with respect to OSN data analytic tasks. Taking into account the fact that users’ online behavior and interactions change over time and that the presence of automated accounts, namely bots, is now more obvious than ever, the need for novel methodologies with respect to user behavioral modelling and detection of anomalous activities is considered a top priority. This thesis employs a diverse set of methodologies to address this challenge. OSN data can be represented in the form of a graph, where users are represented as nodes and the interactions or inter-relationships as edges. Using graph mining techniques to study the structure and properties of these graphs can lead to the identification of patterns that rule them, and consequently discover outliers. Additionally, the rich set of metadata included in the OSN data, can be leveraged for the creation of Machine Learning models which can contribute to the classification of users’ behaviors or for extracting prior hidden knowledge, which can empower new data-driven applications of various context. Based on these remarks, this thesis addresses three problems: P1. Discovery of temporally persistent patterns of OSN users’ behavior. P2. Detection of bot - automated accounts in OSNs. P3. Design and development of multi-context applications built on the knowledge extracted from OSNs and Web data. Extensive research on the background of these problems has been conducted, which consequently led to the identification of questions that had not yet been answered. Methods for data exploration, modeling, and knowledge extraction are proposed and go beyond the state of the art. The primary source of information is Twitter, due to its friendly API limitations and usage. Additionally, other sources of information as the Semantic Web, Open Data and Foursquare have also been considered. With respect to Problem P1, this thesis proposes pipeline of methods (TG-OUT) that successfully manage to model the Twitter users’ individual attributes distribution patterns over time and detect temporal patterns of attribute induced graph properties. TG-OUT combines specific user attributes, such as hashtags, posted URLs, etc. to identify behavioral user patterns and in turn discover surprising behaviors. Additionally, given a graph of users as nodes and their attributes as node properties, TG-OUT constructs multiple attribute induced subgraphs, the analysis of which leads to the discovery of temporally persistent patterns, that can be further be used both for attribute and user categorization. Regarding Problem P2, this thesis presents a supervised machine learning approach, which utilizes an extended set of publicly available annotated Twitter bot datasets. A new feature engineering process is proposed, which in combination with an exhaustive exploratory dataset analysis, are leveraged for the creation of a new machine learning model for multi-class bot detection. This multi-class model builds on a newly introduced categorization of multiple bot types and outperforms other state-of-the-art approaches. Additionally, this study reveals a methodology to integrate interpretability in bot predictions, and highlights the importance of providing explainable results via an online publicly available bot detection service called, Bot-Detective. Finally, in relation to Problem P3, custom data-driven applications have been designed and implemented, aiming to extract and integrate hidden knowledge into specific services. In this context, a methodology that uses crowdsourcing to extract social wisdom out of OSN data and a platform that integrates this knowledge, Crowdsourcing App, is proposed. Moreover, a new framework that address the problem of Optimal Location Casting by using crowdsourced data, is presented. Finally, this thesis addresses the problem of data visualisation by providing a unified tool and framework, Lumina, which leverages on the Semantic Web to provide rich visualizations, through a simple two-step procedure.