Data modeling and integration from multiple social media platforms
Creators: name: Τσιλιγγίρης, Αλέξανδρος Σπυρίδων
Publisher: name: Aristotle University of Thessaloniki
Year: 2018
Subjects: Ενοποίηση δεδομένων
Κοινωνικά δίκτυα
Data integration
Social networks

description: approach, both hardware utilization and overall system In the information age, the volume of data is increasing exponentially, thus the need for better, faster and more efficient data integration system solutions is required. The use of social media is an integral component of modern life and constantly generates massive amounts of data and a plethora of solutions have been proposed and implemented to tackle the challenge. This thesis seeks to improve the architecture of online social networks data integration systems by focusing on providing better scaling and distribution capabilities. To tackle the research question at hand, the power of the microservices architecture, along with a non-blocking (called reactive) network and database I/O approach were leveraged. Furthermore, a complete online social network data integration system was proposed to improve already existing solutions. As a showcase of an implementation of the proposed system, a series of experiments on prototypes was devised. The results of the experimentation indicated that, by using the suggested quality have improved. In the last section of this thesis, the aforementioned results are discussed and suggestions for implications for designing new technologies to support scalable online social network data integration systems have been made.
description: Στην εποχή της πληροφορίας, η καθημερινότητα χαρακτηρίζεται από τη δυνατότητα των ανθρώπων να ανταλλάσσουν και να μεταφέρουν πληροφορίες ελεύθερα, καθώς και να έχουν άμεση πρόσβαση σε γνώσεις που θα ήταν δύσκολο ή αδύνατο να βρεθούν στο παρελθόν. Τα κοινωνικά δίκτυα αποτελούν πλέον αναπόσπαστο κομμάτι της καθημερινότητας των ανθρώπων. Τα online κοινωνικά δίκτυα ορίζονται ως διαδικτυακές υπηρεσίες που επιτρέπουν στους χρήστες να δημιουργήσουν ένα δημόσιο ή ημι-δημόσιο προφίλ μέσα σε ένα οριοθετημένο σύστημα, να επικοινωνήσουν με μια λίστα από άλλους χρήστες με τους οποίους μοιράζονται μια μορφή σύνδεσης και να δουν και να διανείμουν την δικιά τους λίστα των συνδέσεων και αυτών που φτιάχτηκαν από άλλους μέσα στο σύστημα. Οι χρήστες μπορούν επίσης να παράγουν ψηφιακό περιεχόμενο όπως κείμενο, ήχο, εικόνες και βίντεο. Η κάθε αλληλεπίδραση ενός χρήστη παράγει δεδομένα, καθώς και μεταδεδομένα, τα οποία αποθηκεύονται για κάθε χρήση από τις πλατφόρμες. Ο ραγδαίος ρυθμός αύξησης των χρηστών στα κοινωνικά δίκτυα, σε συνδυασμό με τις εξελίξεις της τεχνολογίας, οδήγησαν σε σημαντική αύξηση του ρυθμού παραγωγής δεδομένων και μεταδεδομένων σε συνεχόμενη βάση. Προβλέπεται ότι το φαινόμενο αυτό θα συνεχίσει να οξύνεται καθώς όλο και περισσότεροι χρήστες εγγράφονται σε πλατφόρμες κοινωνικών δικτύων. Το γεγονός αυτό καλεί τη βιομηχανία και την έρευνα να αναπτύξει επεκτάσιμες και εύρωστες λύσεις ώστε να είναι δυνατή η επεξεργασία όλων των δεδομένων σε βατά χρονικά διαστήματα, διότι μπορεί να προσφέρει τεράστια οικονομικά οφέλη και κρυμμένες πληροφορίες οι οποίες δε θα μπορούσαν να ανακαλυφθούν διαφορετικά. Στην παρούσα διπλωματική εργασία αρχικά πραγματοποιείται μία βιβλιογραφική επισκόπηση πάνω σε υπάρχουσες μελέτες για την μοντελοποίηση και ενοποίηση δεδομένων στα κοινωνικά δίκτυα, δίνοντας βάρος στις αρχιτεκτονικές των συστημάτων, καθώς οι εξελίξεις και τα γεγονότα στον χώρο προβλέπουν ραγδαία αύξηση των απαιτήσεων, οδηγώντας τα συστήματα επεξεργασίας μεγάλων δεδομένων να σχεδιάζονται με τέτοιο τρόπο ώστε να μπορούν να ανταπεξέρχονται στις αυξημένες απαιτήσεις. Στη συνέχεια γίνεται μια παρουσίαση έργων και εφαρμογών σχετικά με την ενοποίηση μεγάλων δεδομένων, ενώ κατόπιν προτείνεται ένα σύστημα μοντελοποίησης και ενοποίησης δεδομένων κοινωνικών δικτύων το οποίο εστιάζει στη μεγιστοποίηση της ποιότητας κάνοντας χρήση εξειδικευμένων αρχιτεκτονικών που επικεντρώνονται στην παράλληλη επεξεργασία και ελαχιστοποίηση του λειτουργικού κόστους. Αξιοποιώντας τα αποτελέσματα υπαρχόντων εργασιών, καθώς και ακολουθώντας τις σύγχρονες πρακτικές λύσεις στον χώρο, σχεδιάστηκε και υλοποιήθηκε ένα ολοκληρωμένο κατανεμημένο σύστημα μοντελοποίησης και ενοποίησης δεδομένων από πλατφόρμες κοινωνικών δικτύων. Για τις ανάγκες της διπλωματικής εργασίας, δημιουργήθηκε ένα σύστημα αποτελούμενο από πολλαπλές ανεξάρτητες μονάδες μικρο-υπηρεσιών οι οποίες συλλέγουν και αποθηκεύουν δεδομένα από πολλαπλά κοινωνικά δίκτυα, μοντελοποιούν και ενοποιούν αυτά τα δεδομένα και παρέχουν πρόσβαση σε αυτά μέσω APIs. Τέλος, σχεδιάστηκαν και εκτελέστηκαν πειράματα, των οποίων τα αποτελέσματα αναδεικνύουν τις αξιοσημείωτες βελτιώσεις στην ποιότητα καθώς και τη βαρυσήμαντη ελάττωση του κόστους.