Online Anomaly Detection and Root Cause Analysis
Creators: name: Φλόκας, Ζήσης Χρήστου
Publisher: name: Aristotle University of Thessaloniki
Year: 2023
Subjects: Ροές δεδομένων
Εντοπισμός Ανωμαλιών
Ανάλυση Πηγαίων Αιτιών
Data streams
Anomaly Detection
Root Cause Analysis

description: In today's digital age, people are generating an increasingly large and complex footprint of data. At the same time, there is a constant need to process these data in order to ex-tract knowledge and drive decisions based on them, in an automatic manner. In this con-text there is an increasing need to identify cases that subsets of data deviate significantly from the norm that the majority typically defines, that is, they constitute anomalies. The aim of this work was to study algorithms and techniques both for the detection of anomalies and for finding root cause of them in time series data. Particular emphasis was given to the study of techniques that could be applied in a setting that data are being ingested as streams, so that knowledge is extracted in real time. Except the literature re-view of the proposed techniques of this subject, the present work provides a complete system capable of analysing time series data in real time for the detection of anomalies and the analysis of their root cause. For the development of this system, technologies that enable the scaling of this solution against big data volumes were used. The two pri-mary systems used are, the data stream processing engine Apache Flink and the distrib-uted messaging system Apache Kafka. In the context of this work, the details of the im-plementation of the proposed system are discussed, as well as the results of some exper-iments conducted, in order to showcase the capabilities of it, are being presented.
description: Στη σημερινή ψηφιακή εποχή οι άνθρωποι παράγουν όλο ένα πιο πολλά και πιο πολύ-πλοκα δεδομένα. Παράλληλα, υπάρχει μια διαρκής ανάγκη να επεξεργαζόμαστε αυτά τα δεδομένα ώστε να εξάγουμε γνώση και να παίρνουμε αποφάσεις βασισμένοι σε αυτά, με αυτοματοποιημένο τρόπο. Στο πλαίσιο αυτό εμφανίζεται έντονα η ανάγκη ανίχνευσης περιπτώσεων όπου υποσύνολα δεδομένων αποκλίνουν σημαντικά από τη νόρμα που ορί-ζει συνήθως η πλειοψηφία τους, συνιστούν δηλαδή ανωμαλίες. Σκοπός της συγκεκριμένης εργασίας ήταν η μελέτη αλγορίθμων και τεχνικών, τόσο για τον εντοπισμό ανωμαλιών όσο και για την αναγνώριση των πηγαίων αιτιών αυτών σε δεδομένα χρονοσειρών. Δό-θηκε έμφαση ιδίως στη μελέτη τεχνικών οι οποίες μπορούν να εφαρμοστούν σε περιβάλ-λον όπου τα δεδομένα εισέρχονται με τη μορφή ροής, ώστε η γνώση να εξάγεται σε πραγματικό χρόνο. Πέρα από τη βιβλιογραφική αναφορά σε τεχνικές που έχουν προτα-θεί σε αυτό το θέμα, η συγκεκριμένη εργασία προσφέρει ένα ολοκληρωμένο σύστημα α-νάλυσης χρονοσειρών σε πραγματικό χρόνο, για τον εντοπισμό ανωμαλιών και την από-δοση αιτιών σε αυτές. Για την ανάπτυξη του εν λόγω συστήματος χρησιμοποιήθηκαν τε-χνολογίες που προσφέρουν την δυνατότητα κλιμάκωσης της λύσης σε μεγάλα δεδομένα (big data). Τα δύο βασικά συστήματα που χρησιμοποιήθηκαν είναι η μηχανή επεξεργασί-ας ροών δεδομένων Apache Flink και το κατανεμημένο σύστημα αντάλλαγής μηνυμάτων Apache Kafka. Στα πλαίσια της εργασίας αναλύονται οι λεπτομέρειες της υλοποίησης του προτεινόμενου συστήματος, καθώς επίσης παρουσιάζονται τα αποτελέσματα κάποιων πειραμάτων που εκπονήθηκαν με σκοπό την επίδειξη των δυνατοτήτων του.