Ανάλυση αρχείων καταγραφής σε υπολογιστικά νέφη
Creators: name: Μαυρίδης, Ηλίας Παναγιώτη
Publisher: name: Aristotle University of Thessaloniki
Year: 2015
Subjects: Υπολογιστικά νέφη
Ανάλυση αρχείων καταγραφής
Αξιολόγηση απόδοσης
Cloud computing
Log file analysis
Performance evaluation

description: Αντικείμενο της παρούσας μεταπτυχιακής διατριβής είναι η ανάπτυξη προγραμμάτων ανάλυσης αρχείων καταγραφής, στα δύο υπολογιστικά πλαίσια κατανεμημένης επεξεργασίας Apache™ Hadoop® και Apache Spark™. Τα αρχεία καταγραφής αποτελούν σημαντική πηγή πληροφοριών η επεξεργασία των οποίων μπορεί να οδηγήσει σε χρήσιμα συμπεράσματα. Λόγω του υψηλού ρυθμού παραγωγής μηνυμάτων καταγραφής και των πολλών συσκευών που τα παράγουν, ο όγκος των αρχείων καταγραφής είναι πολύ μεγάλος, για αυτό το λόγο η χρήση υπηρεσιών νέφους είναι πολύ χρήσιμη αν όχι αναγκαία. Τα δύο πλαίσια που επιλέχθηκαν να παρουσιαστούν και να συγκριθούν είναι αυτά που παρουσιάζουν το μεγαλύτερο ενδιαφέρον. Το Hadoop αποτελεί τη πιο γνωστή και διαδεδομένη υπολογιστική μηχανή για νέφη, ενώ το Spark είναι ένα σχετικά νέο πλαίσιο που υπόσχεται να καλύψει τις αδυναμίες του Hadoop προσφέροντας καλύτερη απόδοση και νέες δυνατότητες. Σκοπός αυτής της εργασίας είναι να περιγράψει και να συγκρίνει τα δύο υπολογιστικά πλαίσια τονίζοντας τις διαφορές και τις ομοιότητές τους. Για αυτόν τον λόγο υλοποιήθηκαν όμοια προγράμματα και στα δύο πλαίσια ώστε να δειχθεί ο διαφορετικός τρόπος συγγραφής του κώδικα και να αξιολογηθεί η απόδοση του κάθε πλαισίου με συγκεκριμένα παραδείγματα. Επίσης λόγω του δομημένου περιεχομένου των αρχείων καταγραφής, μελετήθηκε η αποθήκευση τους στο κατανεμημένο σύστημα αποθήκευσης αρχείων με τη μορφή πινάκων, όπως θα γινόταν σε μια κοινή σχεσιακή βάση. Ακόμη παρουσιάζεται ο τρόπος με το οποίο η ανάλυση των αρχείων καταγραφής γίνεται με τη χρήση τύπου SQL ερωτημάτων, τα οποία μεταφράζονται αυτόματα σε διεργασίες Hadoop και Spark, χωρίς ο χρήστης να χρειάζεται να γνωρίζει τίποτα για αυτά. Για κάθε πρόγραμμα που αναπτύχθηκε πάρθηκαν διάφορες μετρήσεις με διαφορετικές παραμέτρους, προκειμένου να εξαχθούν ασφαλή συμπεράσματα για την απόδοση των δύο πλαισίων.
description: The Subject of this thesis is the development of log file analysis applications with Apache™ Hadoop® and Apache Spark™ computing frameworks. The log files are an important source of information that with the proper processing can lead to useful conclusions. Due to the high production rate and the number of devices that create log messages, the use of cloud services for log analysis is very useful. The two frames that were selected to be presented and compared are those with the greatest interest. The Hadoop is the most known and widespread computational engine for cloud computing and the Spark is a relatively new framework, that promises to take care the drawbacks of Hadoop and to offer better performance and new features. The objective of this work is to describe and compare the two computational frameworks, highlighting the differences and similarities. Therefore were implemented similar applications in both frameworks to show the differences on code writing and to evaluate the performance of each frame. Also because the log files have structured content, it was considered appropriate to be saved in distributed file storage system in the form of tables, as it would be in a common relational database. In addition was performed log file analysis with SQL-type queries, which are automatically transformed into Hadoop and Spark tasks. Various measurements were taken for each application, with different parameters in order to extract reliable conclusions about the performance of the two frameworks.