Data Mining from Text Data using Big Data Analytics tools
Creators: name: Ζαγγελίδης, Χριστόφορος Ιωάννη
Publisher: name: Aristotle University of Thessaloniki
Year: 2019
Subjects: Μεγάλα Δεδομένα
Εξόρυξη Γνώσης
Ανάλυση Συναισθημάτων
Big Data
Data Mining
Sentiment Analysis

description: Ο σκοπός της διπλωματικής είναι η κατηγοριοποίηση δεδομένων κειμένου απο δύο πηγές, το Twitter και ερωτηματολόγια. Οι τεχνικές εξόρυξης δεδομένων που χρησιμοποιόυνται κατα κύριο λογο στην παρούσα διπλωματική, είναι η εξαγωγή συναισθήματος και γενικά η εύρεση της άποψης απο δεδομένα κειμένου. Το Twitter επιτρέπει στον χρήστη να πληκτρολογήσει 280 χαρακτήρες για να εκφράσει την άποψή του, πράγμα που το κάνει πολύ περιοριστικό για κάποιον να καταφέρει να εκφραστεί. Αυτό έχει ως συνέπεια η κατηγοριοποίηση του συναισθήματος να είναι εξίσου περιοριστική. Μια άποψη συνήθως μπορεί να έιναι έιτε θετική, είτε αρνητική ή ουδέτερη. Τα Tweets κατηγοριοπιοιούνται σε μία απο τις παραπάνω καταστάσεις με βάση ενός αλγορίθμου κατηγοριοποίησης. Τα δεδομενα για την διπλωματική εργασία βασίζονται στο Twitter και στα ερωτηματολόγια. Αλγόριθμοι μάθησης με επίβλεψη όπως είναι ο Naïve Bayes και Support Vector Machine χρησιμοποιούνται για την δημιουργία ενός μοντέλου πρόβλεψης. Τα δεδομενά πρέπει να περάσουν πρώτα απο μία προεπεξεργασία έτσι ώστε απο το κείμενο να σχηματηστεί ενα διάνυσμα με χαρακτηριστικά. Τα χαρακτηριστικα αποτελλούνται απο λέξεις που εκφράζουν συνάισθημα και λέξεις που εμφανίζονται συχνά οι οποίες είναι κατάλληλες για την πρόβλεψη συναισθήματος. Στη συνέχεια το μοντέλο είναι σε θέση να εφαρμώσει ότι έχει μάθει σε νέα δεδομένα και είναι ικάνο να προβλέψει το συνάισθημα που κρύβεται πίσω απο τα δεδομένα αυτά. Τα δεδομένα φτάνουν απο το Twitter σε real-time χρησιμοποιώντας το Twitter Streaming API που παρέχει το Twitter για την εξόρυξη των tweets σε πραγματικό χρόνο. Η εικόνα 5.1 στο αρχείο “thesis” παρέχει μια καλύτερη επεξήγηση για την ροή που ακολουθούν τα δεδομένα στο σύστημα. Υπάρχει ένας κύκλος μεταξύ της αποθήκης δεδομένων ( Data warehouse) και της φασης της ανάλυσης. Τα δεδομένα κατευθύνονται απο την αποθήκη δεδομένων στην φάση της ανάλυσης. Αφού τελειώσει η φάση της ανάλυσης, τα δεδομένα επιστρέφουν στην αποθήκη δεδομένων και τέλος τα νεα δεδομένα είναι στη φάση του Aggregation και της οπτικοποιησης ( Report). Το υποσύστημα στο μπλέ πλαίσιο είναι το σημείο που γίνεται η προεπεξεργασία των δεδομένων και της αποθήκευσης τους στην αποθήκη δεδομένων. Η φάση της προεπεξεργασίας αποτελείται απο μια πληθώρα απο απο φιλτραρίσματα πάνω στα δεδομένα κειμένουν όπως διότι τα Tweets δεν έχουν ορθή διαμόρφωση κειμένου και συνήθως διαθέτουν ορθογραφικά λάθη. Η αποθήκη κειμένου χρησιμοποιείται για την αποθήκευση των Tweets που καταφθάνουν σε real-time, όπως επίσης και τα Tweets αφού έχουν κατηγοριοποιηθεί σε μία απο τις 3 κλάσεις. Η φάση της αναφοράς (μωβ) είναι κατα κυριο λόγω η οπτικοποίηση των Tweets σε περιβάλλον που θα υπάρχει η δυνατότητα ερμηνείας. Η οπτικοποίηση έγινε σε μια πλατφόρμα όπου έχει σχεδιαστεί ψηφιακά η πόλη του Γκέτεμποργκ στη Σουηδία όπου τα Tweets εμφανίζονται στο ψηφιακό χάρτη ανάλογα με την γεωγραφική θέση απο την οποία στέλνονται τα Tweets
description: In the last couple of years Twitter has become one of the most popular social media platform where over 400 million tweets are generated per day which transforms it to a very interesting source of information. Because Twitter is widely acknowledged, it can be seen as a good reflection of what is happening around the world. Among all that information, the latest trends are most interesting for companies. The latest trends can be analyzed and when identified, reacted to. From a marketing point of view, these latest trends can be used to respond with appropriate activities, like product advertisements. Analyzing tweets can therefore be a goldmine for companies to create an advantage to competitors. One interesting group of tweets concerns expressing sentiments about products, brands or services. These messages contain an opinion about a specific subject. The sentiment of this opinion can be classified in diferent categories. A simple example of three categories are the categories neutral, positive and negative. The whole process of identifying and extracting subjective information from data (usually unstructured) is known as sentiment analysis. The sentiment analysis research field is closely related to the field of natural language processing. Natural language processing tries to close the gap between human and machine, by extracting useful information from natural language messages. I have studied the extraction of sentiment from Tweets by developing an algorithm that predicts and assigns a sentiment to a Tweet. Since the number of tweets that have to be processed is too high and complex, big data technologies for large scale data processing are used. For the final part of my thesis the visualization of data is required. This is where Virtual City@Chalmers becomes a powerful tool for visualizing and demonstrating data. Virtual City is used for visualization to display tweets on the map, according to the geographical location of each tweet. Since each tweet that is visualized holds the information of its sentiment, we are able to create a map where its visible how sentiment analysis flows from region to region and perhaps extract useful information that can be studied and analyzed. The figure 5.1 on “thesis” document provides a more clear view of how the data flows through the system. There is a cycle between the data warehouse and the analysis phases. This must be read according the numbering, the data flows from the data warehouse to the analysis phase, after the analysis the data is again stored in the data warehouse and finally the analyzed data is aggregated. The subsystem indicated in blue is the process of preprocessing and storing useful data in the data warehouse. The Twitter messages are actually collected with the Twitter Streaming API, which allows a direct access to the latest posted tweets. The shown reference database provides the terms for the filtering track of the Twitter Streaming API. Those terms consist of several popular hashtags related to city of Gothenburg. The next phase is the pre-processing. The pre-processing consists of different kind of text filtering since tweets are not formatted properly or contain spelling errors. The data warehouse is used to store the raw tweets that we stream from twitter and the classified tweets with their sentiment. During analysis phase tweets receive a sentiment prediction as either positive, negative or neutral. The reporting process (pink)is basically the visualization of tweets within VirtualCity@Chalmers where Unreal Engine is reading the classified tweets from the corresponding classified tweet folder in CSV format and visualize them in the world according to the location of the tweet using the longitude and latitude of the tweet. The stored tweets with their sentiments can then be aggregated for visualization in VirtualCity@Chalmers