Neural network training techniques for human activity recognition using visual data
Authors: Μαθέ Ειρήνη 
Published: May 2024

Ο στόχος αυτής της Διατριβής είναι να εξετάσει προσεγγίσεις και στρατηγικές για την εκπαίδευση αρχιτεκτονικών βαθιών δικτύων με σκοπό την Αναγνώριση Ανθρώπινης Δρασ-τηριότητας (Human Activity Recognition -- HAR). Στην προσπάθεια να βελτιωθούν τα συσ-τήματα αυτά, η Διατριβή ξεκινά με μια εκτενή μελέτη διαφόρων πρόσφατων ερευνητι-κών προσπαθειών στον τομέα της αναγνώρισης δραστηριοτήτων. Οι ερευνητικές προσ-πάθειες αρχίζουν με την εισαγωγή μιας νέας προσέγγισης για την διδιάστατη αναπαράστα-ση της τρισδιάστατης κίνησης των σκελετικών αρθρώσεων, βασισμένη σε γνωστούς 2Δ φασματικούς μετασχηματισμούς εικόνας (DFT, FFT, DCT, DST), αποδεικνύοντας την απο-τελεσματικότητά της στην αναγνώριση. Ωστόσο, σε περιπτώσεις όπου το υποκείμενο μπορεί να παρατηρηθεί υπό διαφορετικές οπτικές γωνίες σε σχέση με αυτές που έχει εκπαιδευθεί το μοντέλο, παρατηρείται μια σημαντική πτώση της απόδοσης, οδηγώντας την έρευνα προς τεχνικές και στρατηγικές που θα μπορούσαν να προσφέρουν προοπτικές βελτίωσης.Επομένως, αναγνωρίζοντας αυτήν την πρόκληση, η έρευνα στράφηκε στο να σχεδιαστεί μια προηγμένη τεχνική επαύξησης δεδομένων, χρησιμοποιώντας τεχνητά δεδομένα που προκύπτουν έπειτα από την εφαρμογή γεωμετρικής περιστροφής στα πραγματικά δείγμα-τα και επιβάλλοντας, επίσης, ένα βήμα ευθυγράμμισης της οπτικής γωνίας παρατήρησης. Με αυτόν τον τρόπο αποδείχθηκε πειραματικά ότι η προτεινόμενη μεθοδολογία μπορεί να εμφανίσει ισχυρή απόδοση και σε συνθήκες διαφορετικής οπτικής γωνίας παρατήρησης, η οποία κατέστη πλεόν συγκρίσιμη με τις τιμές άλλων συνθηκών αξιολόγησης. Μέσω διεξοδικών πειραμάτων, αυτή η μείωση της απόδοσης αντισταθμίστηκε, επιδεικνύοντας την προσαρμοστικότητα της προτεινόμενης προσέγγισης σε διαφορετικές οπτικές γωνίες και βοηθώντας την εφαρμογή της σε πραγματικές συνθήκες. Το επόμενο βήμα της έρευνας ήταν η εξέταση τεχνικών προσαρμογής πεδίου, όπου η ανταγωνιστική εκπαίδευση χρησιμοποιήθηκε για να γεφυρώσει τα κενά απόδοσης. Ενώ αυτές οι προσπάθειες έφεραν ελπιδοφόρα αποτελέσματα υπό συγκεκριμένες συνθήκες, αναγνωρίστηκε επίσης ότι αυξημένη πολυπλοκότητα συνδέεται με αυτήν την προσέγγιση, καθιστώντας την ανεφάρμοστη για εφαρμογές στην πραγματική ζωή. Έτσι, το επόμενο βήμα ήταν να εξεταστούν προσεγγίσεις σύντηξης, που συνδύαζαν διάφορες αναπαρα-στάσεις κίνησης, δηλαδή RGB και σκελετικά δεδομένα. Αυτές οι τεχνικές σύντηξης όχι μόνο υπερέβησαν την απόδοση των πρόσφατων ερευνητικών μεθόδων, αλλά και υπο-γράμμισαν την ευελιξία και την ανθεκτικότητα της προτεινόμενης μεθοδολογίας στην αναγ-νώριση ανθρώπινης δραστηριότητας σε διάφορα σενάρια. Τέλος, αυτή η Διατριβή ολοκληρώνεται με μια νέα μέθοδο επαύξησης δεδομένων με βάση την παρεμπόδιση της ανθρώπινης κίνησης. Αυτή η προσέγγιση όχι μόνο υπερέβη την αποτελεσματικότητα της αρχικής μεθοδολογίας, αλλά συνέβαλε σημαντικά και στη συνολι-κή βελτίωση της απόδοσης στο πρόβλημα της αναγνώρισης. Αυτή η τεχνική επαύξησης επιβεβαίωσε επιπλέον την πρακτική εφαρμοσιμότητα των ερευνητικών ευρημάτων. Συνοπτικά, η πορεία αυτής της Διατριβής μέσω πειραματισμών στις περιοχές της προσαρμογής πεδίου, της σύντηξης και της επαύξησης δεδομένων προτείνει μια ολιστική προσέγγιση στην προαγωγή των συστημάτων αναγνώρισης, ανοίγοντας το δρόμο για πιο ανθεκτικές και ευέλικτες τεχνολογίες για την αναγνώριση ανθρώπινων δραστηριοτήτων σε διάφορα περιβάλλοντα.