Social Text Clustering via Latent Semantic Indexing over the Cloud:
Creators: name: Αντάρης, Στέφανος Βάσου
Publisher: name: Aristotle University of Thessaloniki
Year: 2013
Subjects: Ομαδοποίηση Κειμένου
Μείωση Διαστάσεων
Υποδομή νέφους
Text Clustering
Dimensionality Reduction
Cloud Computing

description: Τα κοινωνικά μέσα δικτύωσης επειδυκνύουν μια τεράστια ανάπτυξη τις τελευταίες δεκαετίες. Με την ανάπτυξη των κοινωνικών μέσων δικτύωσης Twitter και Facebook, οι χρήστες μπορούν να επικοινωνήσουν μεταξύ τους, καθώς και να ανταλλάξουν απόψεις πάνω σε μια μεγάλη ποικιλία θεμάτων. Ως αποτέλεσμα, μια τεράστια ποσότητα δεδομένων κειμένου παράγονται κάθε στιγμή στις πλατφόρμες κοινωνικής δικτύωσης. Επιπρόσθετα, οι ερευνητές έχουν την ευκαιρία να έχουν πρόσβαση στα δεδομένα τα οποία τους υποδεικνύνουν την κοινωνική συμπεριφορά εκατομμυρίων ανθρώπων. Το γεγονός αυτό είναι ιδιαίτερα ενδιαφέρον καθώς οι ερευνητές έχουν τη δυνατότητα να ανακαλύψουν τη γνώμη των ανθρώπων πάνω σε διάφορα επίκαιρα θέματα. Η πιο διαδεδομένη τακτική για την ανάλυση του περιεχομένου του κειμένου που προέρχεται από τις πλατφόρμες κοινωνικής δικτύωσης, είναι η συλλογή των δεδομένων αυτών και ο διαχωρισμός τους σε ομάδες με τη χρήση τεχνικών ομαδοποίηση κειμένου. Παρ’ολα αυτά, η εφαρμογή τέτοιων τεχνικών, χωρίς τη χρήση τεχνικών μείωσης διαστάσεων στην μαθηματική αναπαράσταση του κειμένου, συντελεί στον εσφαλμένο διαχωρισμό των δεδομένων κειμένου στις ανάλογες ομάδες. Για την αντιμετώπιση αυτού του φαινομένου, στη διπλωματική αυτή παρουσιάζουμε έναν αυξητικό αλγόριθμο ομαδοποιησης κειμένου, με την εφαρμογή ωστόσο μιας τεχνικής μείωσης διαστάσεων βασισμένη στην τεχνική LSI. Επίσης, η ανάλυση του μεγάλου αριθμού των δεδομένων κειμένου που παράγονται από τα μέσα κοινωνικής δικτύωσης, υποδεικνύουν την ανάγκη για την ύπαρξη επεκτάσιμων τεχνικών ομαδοποίησης κειμένου. Στα πλαίσια αυτής της διπλωματικής, διάφορες αρχιτεκτονικής σχεδιάστηκαν και υλοποιήθηκαν, τόσο σε υποδομές νέφους όσο και σε παραδοσιακές υποδομές προσωπικού υπολογιστή. Κάθε αρχιτεκτονική δίνει ιδιαίτερη έμφαση στην παραλληλοποίηση των διαφορετικών διεργασιών της ομαδοποίησης κειμένου, με στόχο την αναγνώριση των πλεονεκτημάτων αλλά και των μειονεκτημάτων του προτεινόμενου συστήματος. Μια σειρά από πειράματα διενεργήθηκαν με στόχο την επαλήθευση της υπεροχής της προτεινόμενης μεθοδολογίας σε σύγκριση με άλλες μεθοδολογίες που δεν χρησιμοποιούν τεχνικές μείωσης διαστάσεων. Επίσης, μετρήθηκε ο συνολικός χρόνος εκτέλεησης των πειραμάτων στις διάφορες προτεινόμενες αρχιτεκτονικές συστήματος για την αναγνώριση της υποδομής που είναι καταλληλότερη για την υποστήριξη ενός τόσο απαιτητικού συστήματος ομαδοποίησης κειμένου.
description: Modern social media platforms showed an enormous growth in the last decade. With the rise of online social networks such as Twitter and Facebook, social users are able to communicate with others, as well as to disseminate their opinions on a wide variety of subjects. As such, a great amount of textual content is produced through the social media platforms. In addition, researchers got the opportunity to access the data of social behavior of millions of people, which is of great interest as this is one of the opportunities to identify the peoples’ opinions in several widely discussed topics. The most common approach for analyzing the text content in online social platforms is to gather the published textual content and afterwards partition the content into groups (clusters) using text clustering algorithms. However, clustering the social text content without performing dimensionality reduction to the text’s vector representation, contributes into low-quality clustering results, due to the high-dimensionality obstacle. To overcome this problem, in this thesis an incremental social text clustering algorithm is presented, which employs a dimensionality reduction approach based on the LSI technique. Moreover, the vast amount of data produced by the social users, indicate the necessity of a scalable system in order to provide a real-time social text clustering process. In this thesis, several system architectures have been designed and implemented over both cloud and traditional computing infrastructures. Each architecture emphasizes on the parallelization of different tasks of the text clustering process in order to identify the benefits and the limitations of our proposed framework. Several experiments have been conducted in order to evaluate the benefit of our proposed dimensionality reduction approach against the non-dimensionality reduced techniques. Moreover, the total execution time of our proposed system architectures has been measured in order to identify which computing infrastructure is suitable to facilitate such a demanding social text clustering process.