Καινοτόμος χρήση των τεχνολογιών IoT και Machine Learning για την παρακολούθηση και διαχείριση έξυπνων χώρων
Authors: Τσαλέρα Ελένη 
Published: February 2024

Οι πρόσφατες εξελίξεις στον τομέα της επεξεργασίας σήματος, των τεχνολογιών των αισθητήρων, των επικοινωνιών καθώς και, της υπολογιστικής υψηλών επιδόσεων (High Performance Computing) καθιστούν δυνατή την υλοποίηση «έξυπνων» χώρων, με την έννοια των φυσικών χώρων οι οποίοι είναι εξοπλισμένοι με τεχνολογία συλλογής, μεταφοράς και επεξεργασίας δεδομένων με στόχο την αύξηση της λειτουργικής αποτελεσματικότητας και την βελτίωση της ποιότητας των διεργασιών που εκτελούνται σε αυτούς. Με την ανάπτυξη εξελιγμένων προσεγγίσεων Μηχανικής Μάθησης (ΜΜ) επωφελείται ένας αυξανόμενος αριθμός εφαρμογών και πραγματοποιείται ένα μέρος του οράματος Internet of Things (IoT). Πλέον, τα συστήματα και οι καταστάσεις μπορούν να παρακολουθούνται και να ελέγχονται αναλόγως των απαιτήσεων. Η κεντρική ιδέα έγκειται στην καταγραφή δεδομένων πέρα από αυτά που χαρακτηρίζουν τις φυσικές συνθήκες του χώρου. Τα άτομα παράγουν σήματα, τα οποία σχετίζονται με τις δραστηριότητες τους, και ταυτόχρονα αποτελούν δείκτες της ποιότητας της διαδικασίας που εκτελείται. Αυτή η Διδακτορική Διατριβή στοχεύει στην μελέτη των δύο κατεξοχήν σημάτων τα οποία είναι ενδεικτικά της διεργασίας και των συνθηκών που επικρατούν: του Ήχου και της Εικόνας. Η περίπτωση μελέτης είναι οι αίθουσες θεωρητικής διδασκαλίας ή εργαστηριακού πειράματος. Στόχος είναι η αποσαφήνιση των δραστηριοτήτων και του ενδιαφέροντος των εμπλεκόμενων μερών με αποτέλεσμα την βελτίωση και αναβάθμιση της ποιότητας του έργου που συντελείται σε μία έξυπνη αίθουσα. Τα σήματα αυτά είναι πλούσια σε πληροφορίες, χαρακτηρίζονται από διάφορους περιορισμούς, ενώ η επεξεργασία και η κατανόησή τους αποτελεί πρόκληση. Ταυτόχρονα, η συμπαγής κατανόηση των δραστηριοτήτων και της αλληλεπίδρασης των ατόμων μπορεί να υποστηρίξει την αξιολόγηση και συνεπώς την ενίσχυση των επιμέρους διεργασιών. Στο πρώτο μέρος της διατριβής πραγματοποιείται η ταξινόμηση ηχητικών σημάτων οι οποίοι είναι χαρακτηριστικοί στην εξέλιξη της εκπαιδευτικής διαδικασίας. Αρχικά, αναφέρεται ένα εκτενές σύνολο ηχητικών χαρακτηριστικών (συνολικά 143), υλοποιούνται αλγόριθμοι εξαγωγής των τιμών αυτών, και πραγματοποιείται η ταξινόμηση των ήχων με αλγόριθμους ΜΜ. Δεδομένου του μεγάλου πλήθους των χαρακτηριστικών, της αντίστοιχης υπολογιστικής επιβάρυνσης χρησιμοποιώντας το σύνολο αυτών, αλλά και της πιθανής υποβάθμισης της ακρίβειας ταξινόμησης λόγω υπερπροσαρμογής, προτείνεται μέθοδος ιεράρχησης των χαρακτηριστικών με βάση την περιγραφική τους ικανότητα. Η μέθοδος βασίζεται στην Ανάλυση Κύριων Συνιστωσών (Principal Component Analysis – PCA) και συγκρίνεται με την γνωστή μέθοδο Relief-F. Πραγματοποιούνται πειραματικοί έλεγχοι με πέντε αλγορίθμους ΜΜ χρησιμοποιώντας αυξανόμενο αριθμό χαρακτηριστικών. Τα πειραματικά αποτελέσματα ανέδειξαν την χρησιμότητα της μεθόδου μείωσης της διαστασιολόγησης, επιτυγχάνοντας ακρίβεια ταξινόμησης μεγαλύτερη από 90% χρησιμοποιώντας 25 ηχητικά χαρακτηριστικά.Στην συνέχεια εφαρμόζονται μηχανισμοί Βαθιάς Μάθησης (ΒΜ) και συγκεκριμένα τα Συνελικτικά Νευρωνικά Δίκτυα (ΣΝΔ). Προκειμένου να αναβαθμιστεί η ακρίβεια ταξινόμησης, χρησιμοποιούνται καθιερωμένες, ευρέως γνωστές αρχιτεκτονικές. Η χρήση αυτών των ΣΝΔ γίνεται, αφού το ηχητικό σήμα μετατραπεί σε κατάλληλη εικονική αναπαράσταση, μέσω μεταφοράς μάθησης. Σε αυτό το σημείο διερευνάται εκτενώς το σύνολο των τιμών των υπερπαραμέτρων επανεκπαίδευσης των δικτύων σε νέα σύνολα δεδομένων. Το αποτέλεσμα αυτής της διερεύνησης είναι η ρύθμιση των τιμών των υπερπαραμέτρων που οδηγούν σε μεγιστοποίηση της ακρίβειας ταξινόμησης με ταυτόχρονη ελαχιστοποίηση του αντίστοιχου υπολογιστικού χρόνου, επιτυγχάνοντας ακρίβεια ταξινόμησης που ξεπερνά το 90% σε τρεις διαφορετικές βάσεις δεδομένων.Το δεύτερο μέρος της διατριβής αφορά την μελέτη του σήματος της Εικόνας. Η ανάπτυξη ολοένα και πιο προηγμένων αλγορίθμων και μοντέλων έχει καταστήσει την ανίχνευση και την αναγνώριση αντικειμένων τετριμμένη. Επομένως, η διατριβή αυτή επικεντρώθηκε σε μία πιο εκλεπτυσμένη ανάλυση της εικόνας με στόχο την αναγνώριση της έκφρασης του προσώπου (Facial Emotion Recognition-FER). Με αφορμή αυτή την μελέτη διερευνήθηκαν δύο μηχανισμοί εξαγωγής χαρακτηριστικών της εικόνας: με χειροκίνητo τρόπο, και αυτόματα μέσω Βαθιάς Μάθησης, με βάση τα ΣΝΔ. Και οι δύο μηχανισμοί μελετήθηκαν διεξοδικά και αξιολογήθηκαν σε τρεις βάσεις δεδομένων FER ως προς την απόδοση της ακρίβειας ταξινόμησης και τον αντίστοιχο υπολογιστικό χρόνο. Οι χειροκίνητες μέθοδοι εξετάστηκαν ως προς τις τιμές των εσωτερικών τους παραμέτρων, ενώ η μελέτη των νευρωνικών δικτύων ήταν διττή. Αρχικά, τα χαρακτηριστικά εξήχθησαν χωρίς να επανεκπαιδευτούν τα δίκτυα στα νέα δεδομένα από επίπεδα διαφορετικών βαθών, και στην συνέχεια η εξαγωγή των χαρακτηριστικών έγινε μετά την επανεκπαίδευση των δικτύων στις νέες βάσεις δεδομένων μέσω μεταφοράς μάθησης. Από την έρευνα προέκυψε ότι χωρίς την επανεκπαίδευση των δικτύων η εξαγωγή των χαρακτηριστικών της εικόνας από το βαθύτερο επίπεδο των ΣΝΔ οδηγεί σε υποδεέστερα αποτελέσματα ακρίβειας ταξινόμησης (κατά μέσο όρο 74%) σε σχέση με τα αντίστοιχα των χειροκίνητων μεθόδων (κατά μέσο όρο 86%). Η εξαγωγή χαρακτηριστικών από το 50% ή το 75% του βάθους των ΣΝΔ οδηγεί σε υψηλότερη απόδοση ταξινόμησης (κατά μέσο όρο 90%) για κάθε περίπτωση ποιότητας εικόνων. Η επανεκπαίδευση των ΣΝΔ και η χρήση της μεθόδου της μεταφοράς μάθησης βελτιώνει την ακρίβεια ταξινόμησης στην περίπτωση που είναι διαθέσιμες μεγάλες βάσεις δεδομένων. Επιπρόσθετα, κάθε μέθοδος αξιολογήθηκε ως προς την ανθεκτικότητα της σε δύο συχνά απαντώμενους τύπους θορύβου, τον Gaussian και τον Salt & Pepper, με τα ΣΝΔ να εμφανίζονται πιο ανθεκτικά (η ακρίβειας ταξινόμησης μειώνεται κατά περίπου 10% έναντι της μείωσης της ακρίβειας ταξινόμησης κατά 60% με τις χειροκίνητες μεθόδους). Το αποτέλεσμα ήταν η δημιουργία ενός πλαισίου επιλογής μεθόδου ανάλογα με την ποιότητα των διαθέσιμων εικόνων, τις απαιτήσεις και τις προδιαγραφές της εφαρμογής. Επιλέγοντας την κατάλληλη μέθοδο επιτεύχθηκε ακρίβεια ταξινόμησης που ξεπερνά το 92% για κάθε βάση δεδομένων FER που χρησιμοποιήθηκε.Η αξία αυτής της διδακτορικής διατριβής επιβεβαιώνεται από την περαιτέρω εφαρμογή των μεθόδων και αλγορίθμων σε ερευνητικές περιπτώσεις ανοιχτών χώρων. Συγκεκριμένα, οι μέθοδοι ταξινόμησης του ήχου με την ιεράρχηση των ηχητικών χαρακτηριστικών εφαρμόστηκε σε έρευνα εστιασμένη στον περιβαλλοντικό θόρυβο σε αστικό τοπίο, επιτυγχάνοντας ακρίβειας ταξινόμησης οκτώ τύπων αστικού θορύβου που φτάνει το 85%. Επιτυγχάνοντας υψηλή απόδοση ταξινόμησης του θορύβου είναι δυνατή η κατανόηση της προέλευσης αυτού και της λήψης αντίστοιχων μέτρων προκειμένου να μειωθεί η ηχορρύπανση. Η ταξινόμηση των εικόνων, σε συνδυασμό με την σημασιολογική κατάτμηση του περιεχομένου τους, εφαρμόστηκε σε έρευνα εστιασμένη στην ανίχνευση πυρκαγιών σε δασικές περιοχές. Με αυτόν τον τρόπο δημιουργείται πλαίσιο ανάλυσης του κινδύνου με βάση τις υποδομές που υπάρχουν στον χώρο αλλά και του τρόπου επέμβασης αναλόγως της πρόσβασης σε αυτόν. Η ανίχνευση αντικειμένων ενδιαφέροντος σε συνδυασμό με τα αποτελέσματα ταξινόμησης που ξεπερνούν το 95% αναδεικνύουν την αξία της προτεινόμενης έρευνας στην έγκαιρη αντιμετώπιση των πυρκαγιών, αλλά και της επεκτασιμότητας του πεδίου εφαρμογών των ανεπτυγμένων αλγορίθμων.