Ευφυής καταγραφή 3Δ ανθρώπινης κίνησης μέσω δεικτών με χρήση βαθιάς μάθησης και χαρτών βάθους πολλαπλών προβολών
Authors: Χατζητοφής Ανάργυρος 
Published: December 2022

Εδώ και δεκαετίες, η καταγραφή ανθρώπινης κίνησης με χρήση δεικτών αποτελεί το βασικό πρότυπο για την καταγραφή και παρακολούθηση κίνησης υψηλής πιστότητας, ενώ παράλληλα, καινοτόμα μοντέλα βαθιάς μάθησης προτείνονται συνεχώς από την ερευνητική κοινότητα υπολογιστικής όρασης και βαθιάς μάθησης. Ωστόσο, παρά την ακρίβεια χιλιοστού που προσφέρουν τα πρώτα, η χρήση τους είναι περιορισμένη, λόγω υψηλού κόστους εξοπλισμού, αδειών λογισμικού, συντήρησης, κτλ., ενώ τα δεύτερα, αν και αποτελεσματικά και πιο ευέλικτα, δεν μπορούν να επιτύχουν τα ίδια επίπεδα ακρίβειας ελλείψει ισχυρών προκαθορισμών. Εστιάζοντας σε αυτό το ερευνητικό και τεχνολογικό κενό, η προτεινόμενη διδακτορική διατριβή διερευνά και συνδυάζει την υψηλή ακρίβεια που επιτυγχάνουν τα επαγγελματικά συστήματα στην καταγραφή των αρθρωτών κινήσεων του ανθρωπίνου σώματος με τη χρήση δεικτών, την αξιοσημείωτη ικανότητα των μοντέλων όρασης υπολογιστών βαθιάς μάθησης να επιλύουν προβλήματα που σχετίζονται με την παρακολούθηση και εκτίμηση της ανθρώπινης πόζας, καθώς και τις πρόσφατες τεχνολογικές εξελίξεις στους αισθητήρες ανίχνευσης βάθους καταναλωτικής ποιότητας και χαμηλού κόστους για την ανάπτυξη καινοτόμων "υβριδικών" μεθόδων καταγραφής κίνησης. Κατά τη διάρκεια της μελέτης και έρευνας στο συγκεκριμένο πεδίο για την επίτευξη του ερευνητικού στόχου της διατριβής πραγματοποιήθηκαν μια σειρά από ερευνητικές συνεισφορές όπως, μεταξύ άλλων, η μοντελοποίηση του προβλήματος καταγραφής κίνησης με δείκτες από δεδομένα βάθους πολλαπλών χρονικά και χωρικά συσχετισμένων προβολών, η εισαγωγή κατάλληλων αναπαραστάσεων ανεξάρτητων από τον τρόπο καταγραφής των αρχικών δεδομένων ή τη θέση και λειτουργία των αισθητήρων, καθιστώντας τα μοντέλα ικανά να αντεπεξέλθουν αποτελεσματικά ακόμα και με σχετικά περιορισμένα δεδομένα εκπαίδευσης, η ανάπτυξη νέων τεχνικών αποκωδικοποίησης 3Δ συντεταγμένων από 2Δ και 2.5Δ δεδομένα εισόδου με υψηλή ακρίβεια για την αξιοποίηση των μοντέλων σε πραγματικού χρόνου τεχνολογίες καταγραφής κίνησης. Επιπρόσθετα, για την πραγματοποίηση των παραπάνω κρίθηκε απαραίτητη η δημιουργία δύο (2) μεγάλων συνόλων δεδομένων, των DMC και HUMAN4D. Η δημιουργία τους ήταν απαραίτητη λόγω της περιορισμένης δημόσιας διάθεσης δεδομένων βάθους πολλαπλών προβολών που καταγράφουν κινήσεις υποκειμένων με τοποθετημένους δείκτες στο σώμα τους. Αρχικά, με τη δημιουργία του συνόλου δεδομένων DMC επιβεβαιώσαμε τη βασική ιδέα καταγραφής κίνησης με χρήση βαθιάς μάθησης και πολλαπλών χαρτών βάθους με οπισθοανακλαστικά υλικά χωρίς υψηλές απαιτήσεις σε ακρίβεια συγχρονισμού και ground-truth δεδομένων πόζας. Κατόπιν, δημιουργήσαμε το σύνολο δεδομένων HUMAN4D το οποίο παρέχει δεδομένα βάθους από πολλαπλές κάμερες ταυτόχρονης λήψης με συγχρονισμό υλισμικού και εξαιρετικά ακριβείς 3Δ πόζες για εποπτεία και αξιολόγηση, το οποίο κατά σειρά, μας επέτρεψε την πραγματοποίηση περαιτέρω έρευνας γύρω από σύγχρονες μεθόδους εκτίμησης πόζας/κίνησης και τεχνικών αναπαράστασης 3Δ συντεταγμένων. Τέλος, ως ακολουθία των παραπάνω πραγματοποιήθηκε η ανάπτυξη μιας νέας, state-of-the-art μεθόδου εκτίμησης 3Δ πόζας/κίνησης από δεδομένα βάθους με τη χρήση σφαιρικών οπισθοανακλαστικων δεικτών.