Discrete event log analysis and anomaly detection – A comparative study using real-life logs
Creators: name: Ντέμκας, Νικόλαος Αναστασίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Εντοπισμός Ανωμαλιών
Ανάλυση αρχείων διακριτών συμβάντων
Παρακολούθηση Συστημάτων
Anomaly Detection
Discrete Log Analysis
System Monitoring

description: The aim of this thesis was to conduct a comparative study of discrete event log analysis and anomaly detection techniques. We examined various methodologies, including sequential pattern mining techniques, deep learning approaches, and specialized methods. We analyzed in detail the characteristics and challenges of various datasets, such as HDFS, BGL, and Thunderbird. The research focused on evaluating the performance of five anomaly detection techniques: LogAnomaly, DeepLog, LogGPT, CAT, and Log2Graphs. We used the F1-score as the primary evaluation metric for comparing the methods. Results showed that deep learning approaches, particularly LogGPT, consistently achieve high performance across all datasets. However, significant variation was observed in the performance of graph-based methods, highlighting the importance of selecting appropriate techniques based on data characteristics. The study emphasized the need for adaptive approaches in log analysis, considering both detection accuracy and computational efficiency. We explored the trade-offs between model complexity and detection performance, particularly in the context of large-scale log data analysis. The research also highlighted challenges in preprocessing requirements and model interpretability, which are crucial for practical implementation. Furthermore, we discussed the implications of our findings for log anomaly detection practice, including considerations for system architects when designing monitoring solutions. Finally, we proposed future research directions, including optimization of high-performing models, development of more adaptive frameworks, and creation of comprehensive benchmark datasets to further advance the field of log-based anomaly detection. This study contributes to bridging the gap between academic research and practical application in the rapidly evolving domain of system log analysis and anomaly detection.
description: Σκοπός της διατριβής ήταν η συγκριτική μελέτη τεχνικών ανάλυσης αρχείων καταγραφής και ανίχνευσης ανωμαλιών σε διακριτά συμβάντα. Εξετάσαμε διάφορες μεθοδολογίες, συμπεριλαμβανομένων των τεχνικών εξόρυξης ακολουθιακών προτύπων, προσεγγίσεων βαθιάς μάθησης και εξειδικευμένων μεθόδων. Αναλύσαμε λεπτομερώς τα χαρακτηριστικά και τις προκλήσεις διαφόρων συνόλων δεδομένων, όπως τα HDFS, BGL και Thunderbird. Η έρευνα επικεντρώθηκε στην αξιολόγηση της απόδοσης πέντε τεχνικών ανίχνευσης ανωμαλιών: LogAnomaly, DeepLog, LogGPT, CAT και Log2Graphs. Χρησιμοποιήσαμε το F1-score ως κύρια μετρική αξιολόγησης για τη σύγκριση των μεθόδων. Τα αποτελέσματα έδειξαν ότι οι προσεγγίσεις βαθιάς μάθησης, ιδιαίτερα το LogGPT, επιτυγχάνουν σταθερά υψηλές επιδόσεις σε όλα τα σύνολα δεδομένων. Ωστόσο, παρατηρήθηκε σημαντική διακύμανση στην απόδοση των μεθόδων βασισμένων σε γράφους, υπογραμμίζοντας τη σημασία της επιλογής κατάλληλης τεχνικής βάσει των χαρακτηριστικών των δεδομένων. Η μελέτη ανέδειξε την ανάγκη για προσαρμοστικές προσεγγίσεις στην ανάλυση αρχείων καταγραφής, λαμβάνοντας υπόψη τόσο την ακρίβεια ανίχνευσης όσο και την υπολογιστική αποδοτικότητα. Τέλος, προτείναμε μελλοντικές κατευθύνσεις έρευνας, συμπεριλαμβανομένης της βελτιστοποίησης μοντέλων υψηλής απόδοσης, της ανάπτυξης πιο προσαρμοστικών πλαισίων και της δημιουργίας ολοκληρωμένων συνόλων δεδομένων αναφοράς για την περαιτέρω πρόοδο στον τομέα της ανίχνευσης ανωμαλιών σε αρχεία καταγραφής.