Ανάλυση κειμένου αγγελιών εργασία με εφαρμογή του πακέτου tm της στατιστικής γλώσσας R
Creators: name: Χρυσίνα, Δέσποινα Κωνσταντίνου
Publisher: name: Aristotle University of Thessaloniki
Year: 2018
Subjects: Εξόρυξη δεδομένων
Εξόρυξη κειμένου
Ανάλυση κειμένου
Data mining
Text mining
Text analysis

description: H παρούσα διπλωματική πραγματεύεται την εφαρμογή του πακέτου tm της στατιστικής γλώσσας προγραμματισμού R σε αγγελίες θέσεων εργασίας που βρίσκονται τοποθετημένες στο ηλεκτρονικό site Stack Overflow . Ο βασικός στόχος της εργασίας είναι να εφαρμοστούν οι εντολές της ανάλυσης κειμένου (text analysis) που παρέχει το πακέτο tm για να μπορέσει ο αναγνώστης να κατανοήσει επακριβώς τον τρόπο λειτουργίας του πακέτου και να είναι σε θέση να αναπαράγει και ο ίδιος τις λειτουργίες του. Στο 1ο κεφάλαιο ορίζουμε το πρόβλημα που θα μελετηθεί και θα εκπονηθεί. Επιπλέον, εξηγούμε τρεις από τους πιο σημαντικούς παράγοντες που αποτελούν τα δομικά στοιχεία της υπολογιστικής ανάλυσης κειμένου : την εξόρυξη δεδομένων (data mining), την εξόρυξη κειμένου (text mining) και την ανάλυση κειμένου (text analysis). Κλείνοντας το 1ο κεφάλαιο ορίζουμε τη γλώσσα στατιστικής ανάλυσης R και εξηγούμε πώς συνδέεται με την ανάλυση κειμένου. Στο 2ο κεφάλαιο περιγράφουμε τη μεθοδολογία που χρησιμοποιήθηκε για τη κατασκευή του συνόλου δεδομένων όπου θα εφαρμόσουμε το πακέτο tm, καθώς και ποια πακέτα χρησιμοποιήθηκαν για την εξόρυξη των δεδομένων από το Stack Overflow. Γίνεται μια αναλυτική περιγραφή για τη προετοιμασία των δεδομένων μας και ποια βήματα ακολουθήσαμε προκειμένου να μπορούμε να εφαρμόσουμε το πακέτο tm στο σε αυτά. Επιπλέον, παραθέτουμε ένα γενικό ορισμό του πακέτου και εξηγούμε πως δομείται, όπως για παράδειγμα ότι η εισαγωγή των δεδομένων πρέπει να γίνει σε ένα σώμα (Corpus) για να εφαρμοστεί το πακέτο. Ολοκληρώνοντας το κεφάλαιο παραθέτουμε δύο από τις πιο σημαντικές λειτουργίες που περιέχει το πακέτο: τη μετατροπή του σώματος (Corpus) σε έναν πίνακα όρων εγγράφων (Term Document Matrix) και τη χρήση της μετρικής συχνότητας όρων TF-IDF. Στο 3ο κεφάλαιο παρουσιάζουμε όλες οι εντολές που χρησιμοποιήσαμε στην υλοποίηση του κώδικα και εξηγούμε αναλυτικά τη λειτουργία και το σκοπό χρήσης τους. Στο 4ο κεφάλαιο παρουσιάζονται και ερμηνεύονται τα αποτελέσματα των εντολών που περιέχονται στο πακέτο tm. Στο 5ο κεφάλαιο καταγράφουμε τα συμπεράσματά μας από την έρευνα που διεξήχθη για την εφαρμογή του πακέτου και ως επί το πλείστων από τα αποτελέσματα που παρουσιάστηκαν στο 4ο κεφάλαιο. Ως μια ένδειξη συνεχούς προσπάθειας για πιο αποτελεσματικούς τρόπους υπολογιστικής ανάλυσης κειμένου προτείνονται ορισμένες ιδέες για μελλοντική έρευνα.
description: This thesis deals with the application of the tm package of the statistical programming language R to job advertisements which are placed on the Stack Overflow website The desired goal of this task is the readers to be able to get the knowledge they need to perform the basic text analysis steps in R, and to be able to access a wide range of advanced text analysis features. In addition, they understand the mode of operation of the tm package and are able to reproduce its own functions as it is one of the most widely and easy-to-use text analysis package in the R language. Chapter 1 defines the problem to be studied. In addition, important elements that are the building blocks of computational text analysis such as data mining, text mining, and text analysis are also defined. Closing the 1st chapter, we interpret what is the language of statistical analysis R, as well as how it is related to text analysis. Chapter 2 describes the methodology used to build the dataset and the packages that were used to extract the data from Stack Overflow. In addition, we describe the preparation of our data and what steps we need to follow in order to be able to apply the tm package to our data set. In addition, a general definition of the package and the desired structure of the dataset (i. e. the dataset must be entered into a body (Corpus) for tm package’s adjustment) are explained. Moreover, two of the most important features from the package are defined: The conversion of a Corpus into a term – document matrix (Term Document Matrix) and the use of the TF-IDF as a frequency metric. Chapter 3 lists all the commands that were used in the implementation using the R language, and provides with an explanation of the operation and the purpose of each command. Chapter 4 presents and interprets the results of the commands contained in the tm package. Chapter 5 summarizes our findings from the research for the implementation of the package and outlines the main results that were presented in Chapter 4. As a sign of continuous effort for more effective ways of computational text analysis, some ideas for future research are proposed.