Development of a distributed database for edge devices
Creators: name: Υψηλάντης, Παντελής Κωνσταντίνου
Publisher: name: Aristotle University of Thessaloniki
Year: 2024
Subjects: Υπολογιστική στο Άκρο
Κατανεμημένος Πίνακας Κατακερματισμού
Συγχρονισμός
Storage Fabric
Peer-To-Peer (P2P)
Distributed Hash Table (DHT)

description: Ο στόχος της παρούσας διπλωματικής εργασίας ήταν να εξερευνήσει το καινοτόμο παράδειγμα της υπολογιστικής στο άκρο στη σύγχρονη επεξεργασία δεδομένων. Εντοπίσαμε τις αδυναμίες στις παραδοσιακές τεχνικές διαχείρισης δεδομένων και παρουσιάσαμε τα οφέλη της υπολογιστικής στο άκρο μέσω διάφορων περιπτώσεων χρήσης. Η μελέτη αποκάλυψε ένα κενό στις υπάρχουσες κατανεμημένες βάσεις δεδομένων, συγκεκριμένα την έλλειψη λύσεων που υποστηρίζουν την τοπική αποθήκευση των δεδομένων καθώς και μια ενσωματωμένη αποκεντρωμένη μηχανή ερωτημάτων. Για να αντιμετωπιστεί αυτό, προτείναμε μια νέα κατανεμημένη βάση δεδομένων άκρου, σχεδιασμένη για τοπική αποθήκευση δεδομένων ενώ επιτρέπει στους χρήστες να έχουν πρόσβαση σε δεδομένα από άλλους κόμβους, διασφαλίζοντας την τήρηση των ανησυχιών για την ιδιωτικότητα. Η υλοποίησή μας περιλάμβανε μια εις βάθος ανάλυση των θεμελιωδών εννοιών της υπολογιστικής στο άκρο, των πλεονεκτημάτων και των μειονεκτημάτων της. Εξετάσαμε τα ζητήματα ασφάλειας που είναι εγγενή στα συστήματα άκρου και διεξάγαμε έρευνα για τις υπάρχουσες βάσεις δεδομένων που είναι κατάλληλες για την υλοποίησή μας. Η προτεινόμενη αρχιτεκτονική της βάσης δεδομένων άκρου αναλύθηκε λεπτομερώς, με έμφαση στη χρήση της SQLite βάσης δεδομένων, που επιτρέπει την εγκατάσταση της σε διάφορες συσκευές άκρου, και την ενσωμάτωση κατανεμημένων πινάκων κατακερματισμού για την υποστήριξη κατανεμημένων ερωτημάτων σε όλο το δίκτυο. Διάφορες δοκιμές και πειράματα διεξήχθησαν για την αξιολόγηση της υλοποίησης, ώστε να εντοπίσουμε τα δυνατά και τα αδύνατα σημεία της εφαρμογής. Εν κατακλείδι, προτείναμε βελτιστοποιήσεις για την ενίσχυση του συστήματος και παρείχαμε μια ολοκληρωμένη επισκόπηση των συνεισφορών μας στον τομέα των βάσεων δεδομένων άκρου. Αυτή η μελέτη ανοίγει το δρόμο για μελλοντική έρευνα και ανάπτυξη, με στόχο τη βελτίωση της αποδοτικότητας και της ιδιωτικότητας στη διαχείριση δεδομένων σε περιβάλλοντα υπολογιστικής στο άκρο.
description: The aim of the present thesis was to explore the transformative paradigm of edge computing in modern data processing. We identified inefficiencies in traditional data handling pipelines and demonstrated the significant benefits of edge computing through various use cases. The study uncovered a gap in existing distributed databases, specifically the lack of solutions supporting local storage and an embedded decentralized query engine. To address this, we proposed a new Storage Fabric designed for local data storage while enabling users to access data from other nodes, ensuring privacy concerns are respected. Our implementation included an in-depth analysis of the fundamental concepts of edge computing, its advantages, and disadvantages. We examined the security issues inherent in edge systems and conducted research into existing databases suitable for our solution. The proposed edge database architecture was analyzed in detail, focusing on the use of SQLite, which allows multiple instances to be installed on different edge devices, and the integration of distributed hash tables (DHTs) to facilitate distributed queries across the cluster. Various test cases and experiments were conducted to evaluate the framework, highlighting areas of robust performance and identifying potential bottlenecks. In conclusion, we proposed optimizations to enhance the system's robustness, providing a comprehensive overview of our contributions to the field of edge databases. This study paves the way for future research and development, aiming to improve the efficiency and privacy of data management in edge computing environments.