Complex Event Processing in a Resource-Constrained Environment
Creators: name: Κυραμά, Στυλιανή Ευαγγέλου
Publisher: name: Aristotle University of Thessaloniki
Year: 2022
Subjects: Επεξεργασία σύνθετων γεγονότων
Περιορισμένοι πόροι
Υβριδική μηχανή
Complex Event Processing
Resource-Constrained Environment
Hybrid Engine

description: Complex Event Processing (CEP) is a technique used to discover patterns from an incoming stream of events. In this dissertation, an extensive literature review is presented regarding all the categories of Complex Event Processing systems, as well as their extensions, such as trend detection and aggregations over trends. Most of the systems in the literature use automaton-based techniques, utilizing Non-Deterministic Finite State Automata, while there are some optimizations and solutions proposed that employ tree-based and graph-based structures. However, since Kleene patterns imply an exponential number of matches, automata-based techniques are not able to handle efficiently the number of partial matches being generated throughout the pattern matching process. Motivated by this end limitation, an efficient hybrid solution is proposed, which constitutes a holistic CEP engine. The Hybrid CEP engine combines and extends two state-of-the-art systems, SASE and CET, and can be used in demanding scenarios, where the resources are constrained. It can provide low-memory usage and reasonable CPU utilization, albeit without guaranteeing low latency in demanding cases. The efficiency provided by the proposed approach is proven through a thorough experimentation made regarding memory and CPU usage, execution time, and detection latency. The complete solution has been freely available in open source.
description: Το Complex Event Processing (CEP) είναι μια τεχνική που χρησιμοποιείται για την ανακάλυψη μοτίβων από μια εισερχόμενη ροή γεγονότων. Σε αυτή τη διπλωματική, παρουσιάζεται μια εκτενής βιβλιογραφική ανασκόπηση σχετικά με όλες τις κατηγορίες συστημάτων επεξεργασίας σύνθετων συμβάντων, καθώς και τις επεκτάσεις τους, όπως ανίχνευση τάσεων και συναθροίσεις πάνω σε τάσεις. Τα περισσότερα από τα συστήματα στη βιβλιογραφία χρησιμοποιούν τεχνικές που βασίζονται σε αυτόματα, χρησιμοποιώντας Μη-Ντετερμινιστικά Πεπερασμένα Αυτόματα, ενώ υπάρχουν κάποιες βελτιστοποιήσεις και λύσεις που προτείνονται που χρησιμοποιούν δομές που βασίζονται σε δέντρα και γραφήματα. Ωστόσο, δεδομένου ότι τα μοτίβα Kleene συνεπάγονται έναν εκθετικό αριθμό αντιστοιχιών, οι τεχνικές που βασίζονται σε αυτόματα δεν είναι σε θέση να χειριστούν αποτελεσματικά τον αριθμό των μερικών αντιστοιχιών που δημιουργούνται σε όλη τη διαδικασία αντιστοίχισης προτύπων. Με κίνητρο αυτόν τον περιορισμό, προτείνεται μια αποτελεσματική υβριδική λύση, η οποία αποτελεί ένα ολιστικό CEP σύστημα. Το υβριδικό CEP σύστημα αυτό συνδυάζει και επεκτείνει δύο συστήματα τελευταίας τεχνολογίας, το SASE και το CET, και μπορεί να χρησιμοποιηθεί σε απαιτητικά σενάρια, όπου οι πόροι είναι περιορισμένοι. Μπορεί να παρέχει χαμηλή χρήση μνήμης και λογική χρήση της CPU, αν και δεν μπορεί να εγγυηθεί χαμηλό λανθάνοντα χρόνο (latency) σε απαιτητικές περιπτώσεις. Η αποτελεσματικότητα που παρέχεται από την προτεινόμενη προσέγγιση αποδεικνύεται μέσω ενδελεχών πειραματισμών που έγιναν σχετικά με τη χρήση μνήμης και CPU, τον χρόνο εκτέλεσης και την καθυστέρηση ανίχνευσης. Η πλήρης λύση είναι διαθέσιμη σε ανοιχτό κώδικα.