Human activity recognition under occlusion
Authors: Βερνίκος Ιωάννης 
Published: February 2024

Η αναγνώριση ανθρώπινης δραστηριότητας ασχολείται με την αναγνώριση της ανθρώπινης συμπεριφοράς με βάση μετρήσεις και παρατηρήσεις. Πρόκειται για ένα ερευνητικό πεδίο που εντάσσεται στο ευρύτερο επιστημονικό πεδίο της υπολογιστικής όρασης και τυγχάνει σημαντικής προσοχής από την ερευνητική κοινότητα. Οι προσεγγίσεις αναγνώρισης ανθρώπινης συμπεριφοράς μπορούν να χρησιμοποιήσουν διάφορους τύπους αισθητήρων, για να καταγράψουν και να αναλύσουν τις σχετικές δραστηριότητες. Ωστόσο, οι φορετοί αισθητήρες δεν προτιμώνται από τους χρήστες, ενώ οι αισθητήρες που τοποθετούνται στο περιβάλλον μπορεί να είναι δαπανηροί ή να απαιτούν παρεμβάσεις στο χώρο τους. Ως εκ τούτου, χρησιμοποιούνται συνήθως λύσεις χαμηλού κόστους που βασίζονται στην καταγραφή της κίνησης με κάμερες σε τρισδιάστατο χώρο. Η αναγνώριση ανθρώπινης δραστηριότητας έχει εφαρμογές στη επιτήρηση με χρήση βίντεο, την αλληλεπίδραση ανθρώπου-υπολογιστή/ρομπότ, την επαυξημένη πραγματικότητα, την παρακολούθηση της υγείας, την έξυπνη οδήγηση, τα παιχνίδια, τα κινούμενα σχέδια και άλλα. Ως δραστηριότητες θεωρούνται πλήρεις ανθρώπινες κινήσεις ή ακολουθίες ενεργειών που σχηματίζουν μια ουσιαστική ανθρώπινη δράση, ενώ η αναγνώρισή τους από δεδομένα κίνησης θεωρείται ένα από τα πιο δύσκολα προβλήματα υπολογιστικής όρασης, που περιλαμβάνει την αναγνώριση της ανθρώπινης συμπεριφοράς σε εικόνες ή ακολουθίες βίντεο. Οι προσεγγίσεις αναγνώρισης συμπεριφοράς που βασίζονται σε κάμερες είναι χαμηλού κόστους και αποδίδουν καλά σε εργαστηριακές συνθήκες. Ωστόσο, αντιμετωπίζουν προκλήσεις σε πραγματικές συνθήκες, συμπεριλαμβανομένων των αλλαγών οπτικής γωνίας και φωτισμού, καθώς και της παρεμπόδισης. Η μεταβολή του σημείου παρατήρησης συμβαίνει όταν το θέμα παρατηρείται από διαφορετικό σημείο από αυτό που χρησιμοποιήθηκε για την εκπαίδευση. Οι πολλαπλές κάμερες μπορούν να αντισταθμίσουν αυτό το πρόβλημα. Οι αλλαγές φωτισμού επηρεάζουν τις προσεγγίσεις που βασίζονται σε βίντεο, αλλά οι πληροφορίες βάθους μπορούν να βοηθήσουν να ξεπεραστεί αυτή η πρόκληση. Η παρεμπόδιση, που προκαλείται από έπιπλα ή την παρουσία άλλων ανθρώπων, είναι το πιο περιοριστικό πρόβλημα. Η πλήρης παρεμποδιση καθιστά αδύνατη την αναγνώριση, αλλά η μερική παρεμπόδιση μπορεί να επιτρέψει την αναγνώριση ανάλογα με το ορατό υποσύνολο του σκελετού. Η επίδραση της μερικής παρεμπόδισης στην ακρίβεια της αναγνώρισης έχει μελετηθεί, δείχνοντας ότι μπορεί να επηρεάσει σημαντικά την απόδοση με την έκταση να ποικίλλει ανά δραστηριότητα. Η παρούσα διατριβή αρχίζει με την παρουσίαση των συνόλων δεδομένων που θα χρησιμοποιηθούν για την πειραματική αξιολόγηση των προτεινόμενων προσεγγίσεων. Παρουσιάζονται οι οπτικοί αισθητήρες που χρησιμοποιούνται συνήθως στις σύγχρονες προσεγγίσεις υπολογιστικής όρασης για την αναγνώριση της δραστηριότητας, καθώς και διάφορες βιβλιοθήκες λογισμικού υπολογιστικής όρασης που μπορούν να συμπληρώσουν αυτούς τους αισθητήρες. Παρέχεται επίσης μια επισκόπηση των ερευνητικών προσπαθειών στην ευρύτερη ερευνητική περιοχή, με χρήση οπτικών δεδομένων. Στη συνέχεια, παρουσιάζεται το θεωρητικό και πειραματικό υπόβαθρο για τις μεθοδολογίες που θα συζητηθούν στην παρούσα διατριβή. Συγκεκριμένα, περιγράφονται οι κυριότεροι αλγόριθμοι μηχανικής μάθησης που χρησιμοποιούνται, συμπεριλαμβανομένων των νευρωνικών δικτύων συνελικτικής μάθησης, των αναδρομικών νευρωνικών δικτύων και των γεννητικών ανταγωνιστικών δικτύων. Επιπλέον, περιγράφονται οι γλώσσες προγραμματισμού και οι βιβλιοθήκες που χρησιμοποιήθηκαν για την υλοποίηση, παρέχεται λεπτομερή εξήγηση των τρισδιάστατων σκελετικών δεδομένων που χρησιμοποιήθηκαν ως δεδομένα εισόδου για τις προτεινομενες προσεγγίσεις και παρουσιάζονται τα πρωτόκολλα πειραματικής αξιολόγησης που ευθυγραμμίζονται με την υπάρχουσα βιβλιογραφία. Στη συνέχεια, ακολουθεί η παρουσίαση της πραγματοποιηθήσας έρευνας, η οποία ξεκινά με μια ψευδο-χρωματική αναπαράσταση εικόνας που έχει ως στόχο να συλλάβει τα χαρακτηριστικά της τρισδιάστατης σκελετικής κίνησης κατά τη διάρκεια μιας δραστηριότητας μέσα σε μοναδική εικόνα. Έπειτα, προτείνεται μια προσέγγιση σύντηξης που συνδυάζει χειροποίητα και χαρακτηριστικά βαθιάς μάθησης. Ο στόχος αυτής της προσέγγισης είναι να αξιολογηθεί κατά πόσον τα χαρακτηριστικά που εξάγονται από ένα συνελικτικό νευρωνικό δίκτυο που εκπαιδεύεται με ψευδοχρωματικές αναπαραστάσεις της τρισδιάστατης σκελετικής κίνησης μπορούν να βελτιώσουν την απόδοση των παραδοσιακών προσεγγίσεων. Με άλλα λόγια, διερευνάται κατά πόσον τα χαρακτηριστικά αυτά μπορούν να παρέχουν πρόσθετες ενδείξεις για την αναγνώριση δραστηριοτήτων. Επιπλέον, προτείνεται μια προσέγγιση για την αντιμετώπιση του προβλήματος της απόκρυψης σε προβλήματα αναγνώρισης συμπεριφοράς. Η προσέγγιση αυτή περιλαμβάνει την επαύξηση του συνόλου δεδομένων εκπαίδευσης με δείγματα τόσο με όσο και χωρίς παρεμπόδιση. Στη συνέχεια γίνεται χρήση ενός βαθιού δικτύου το οποίο υλοποιεί παλινδρόμηση, με σκοπό να ανακατασκευάσει αρθρώσεις του σκελετού που δεν είναι ορατές λόγω της παρεμπόδισης. Τέλος διερευνάται η χρήση ενός γεννητικού ανταγωνιστικού δικτύου για την ανακατασκευή αρθρώσεων. Και στις δύο προσεγγίσεις ανακατασκευής, η ταξινόμηση πραγματοποιείται με τη χρήση ενός δικτύου που εκπαιδεύεται αποκλειστικά με πλήρη δείγματα. Η διατριβή κλείνει με την παρουσίαση εκτενών συμπερασμάτων σχετικά με όλες τις προσεγγίσεις που έχουν παρουσιαστεί και συζητώνται πιθανές ερευνητικές κατευθύνσεις προς τη συνέχιση των προτεινόμενων μεθολογιών.