Acceleration and optimization for real-time multimodal processing on the edge
Authors: Τσικτσίρης Δημήτριος 
Published: September 2024

Η επεξεργασία στο άκρο (edge processing) έχει αναδειχθεί ως ένας κρίσιμος τομέας στην υπολογιστική όραση, οδηγούμενη από τις αυξανόμενες ποσότητες δεδομένων από συσκευές Διακδικτύου των Πραγμάτων (Internet of Things, IoT), έξυπνες κάμερες και αυτόνομα συστήματα. Οι παραδοσιακές αρχιτεκτονικές υπολογισμού παρουσιάζουν σημαντικά μειονεκτήματα στην αντιμετώπιση των ζητημάτων καθυστέρησης, εύρους ζώνης και ασφάλειας, ιδίως όταν απαιτείται επεξεργασία σε πραγματικό χρόνο. Η επεξεργασία στο άκρο αντιμετωπίζει αυτά τα ζητήματα, επιτρέποντας την τοπική επεξεργασία κοντά στην πηγή δεδομένων, μειώνοντας έτσι την απόκριση, το εύρος ζώνης και ενισχύοντας την ιδιωτικότητα. Αυτή η αλλαγή αναβαθμίζει τις εφαρμογές υπολογιστικής όρασης, όπως η ανάλυση βίντεο σε πραγματικό χρόνο, η αναγνώριση προσώπου και η επαυξημένη πραγματικότητα, οδηγώντας την καινοτομία και ανοίγοντας νέες δυνατότητες. Η υπολογιστική όραση στοχεύει να γεφυρώσει το χάσμα μεταξύ της ανθρώπινης αντίληψης και της μηχανικής κατανόησης, ωστόσο αντιμετωπίζει σημαντικές προκλήσεις, ιδίως στην επεξεργασία μεγάλων όγκων οπτικών δεδομένων. Οι προσεγγίσεις της Βαθιάς Μάθησης (Deep Learning, DL), ιδιαίτερα τα Συνελικτικά Νευρωνικά Δίκτυα (Convolutional Neural Networks, CNNs), έχουν ιδιαίτερα σημαντικό ρόλο στη μοντελοποίηση των σχέσεων των εικονοστοιχείων και στην αναγνώριση σύνθετων προτύπων. Παράλληλα, η ενσωμάτωση πολυτροπικών δεδομένων, που συνδυάζουν οπτικές πληροφορίες με άλλους τύπους δεδομένων, είναι απαραίτητη για τη βελτίωση της ακρίβειας και της αποτελεσματικότητας, προσθέτοντας, ωστόσο, νέες σημαντικές προκλήσεις, όπως την κανονικοποίηση των διαφορετικών τύπων δεδομένων, την χρονική συσχέτισή τους αλλά και την επεξεργασία τους υπό την περιορισμένη υπολογιστική ισχύ των συσκευών στο άκρο. H παρούσα διατριβή στοχεύει στην αντιμετώπιση αυτών των προκλήσεων προτείνοντας μια νέα μεθοδολογία για την επεξεργασία στο άκρο, η οποία μας οδήγησε σε ένα επιταχυνόμενο πολυτροπικό πλαίσιο προσαρμοσμένο για αυτά τα περιβάλλοντα. Αυτό το πλαίσιο επιτρέπει την εκτέλεση σύνθετης επεξεργασίας δεδομένων κοντά στην πηγή, αξιοποιώντας νέα μοντέλα τεχνητής νοημοσύνης (Artificial Intelligence, AI) και βελτιστοποιήσεις για διάφορες εφαρμογές, όπως η συμπεριφορική ανάλυση, ο εντοπισμός συμβάντων, η αναγνώριση αντικειμένων, η εκτίμηση εγγύτητας και η αναγνώριση προσώπου. Αυτές οι προσεγγίσεις δείχνουν σημαντικές βελτιώσεις στις ικανότητες λήψης αποφάσεων, στους χρόνους απόκρισης και στη συνολική απόδοση του συστήματος, ακόμη και υπό τους περιορισμένους πόρους των ενσωματωμένων συστημάτων. Για να μειώσουμε την υπολογιστική επιβάρυνση της προεπεξεργασίας δεδομένων, έχουμε εφαρμόσει διάφορους σχεδιασμούς επεξεργασίας σε υλικό, εκμεταλλευόμενοι την παράλληλη επεξεργασία των πλακετών Συστοιχιών Επιτόπια Προγραμματιζόμενων Πυλών (Field-Programmable Gate Arrays, FPGAs). Προτείνουμε έναν φορητό σχεδιασμό με τη γλώσσα περιγραφής υλικού VHSIC (VHSIC Hardware Description Language, VHDL) για την μετατροπή χρώματος και την ανίχνευση ακμών Sobel. Στη συνέχεια, παρουσιάζουμε μια βελτιωμένη παραλλαγή χρησιμοποιώντας Σύνθεση Υψηλού Επιπέδου (High-Level Synthesis, HLS) για αυξημένη αποδοτικότητα. Εξερευνούμε επίσης μια επιταχυμένη τεχνική μείωσης θορύβου βασισμένη στην στοίβαξη εικόνων, αναδεικνύοντας τις δυνατότητες επιτάχυνσης του υλικού για την επεξεργασία στο άκρο. Επιπλέον, η έρευνά μας εξετάζει τον συγκερασμό (fusion) πολυτροπικών δεδομένων από διάφορους αισθητήρες, συνδυάζοντας πληροφορίες από πολλαπλές πηγές, όπως βίντεο, ήχο και άλλους αισθητήρες. Αυτή η προσέγγιση παρέχει μια πιο ολοκληρωμένη κατανόηση του περιβάλλοντος, αυξάνοντας την ακρίβεια του συστήματος σε σύνθετα, πραγματικά περιβάλλοντα. Η αποτελεσματικότητα αυτής της μεθοδολογίας αποδεικνύεται μέσω μιας εκτενούς αξιολόγησης σε πραγματικά σύνολα δεδομένων και σενάρια ανάπτυξης στην δημόσια συγκοινωνία, με έμφαση στην ασφάλεια των επιβατών και τη λήψη αποφάσεων σε πραγματικό χρόνο. Τα αποτελέσματα πιστοποιούν την ευελιξία και την αποτελεσματικότητα της προτεινόμενης μεθοδολογίας και αναδεικνύουν την συνεισφορά της στον τομέα της επιταχυνόμενης επεξεργασίας στο άκρο χρησιμοποιώντας πολυτροπικά δεδομένα.