Human action prediction and forecasting based on visual data
Authors: Μανουσάκη Βικτωρία 
Published: April 2024

Η ικανότητα παρατήρησης των ανθρώπινων κινήσεων και η πρόβλεψη των δράσεων τους είναι μια αναπτυξιακή δεξιότητα που αποκτάται από τον άνθρωπο στα πρώιμα στάδια της ζωή του. Όταν βλέπουμε ένα άτομο να εκτελεί μια εργασία, μπορούμε εύκολα να προβλέψουμε τις επόμενες ενέργειές του με βάση την παρατήρηση του περιβάλλοντος και τις εμπειρίες του παρελθόντος. Σε αυτή την εργασία, στοχεύουμε στην ανάπτυξη τέτοιων δεξιοτήτων για μηχανές, εστιάζοντας στη πρόβλεψη και πρόγνωση δράσεων και στη πρόβλεψη του επόμενου ενεργού αντικειμένου. Η πρόβλεψη δράσης ορίζεται ως η αναγνώριση της ετικέτας μιας δράσης ενώ η ενέργεια είναι ακόμη σε εξέλιξη. Μια τέτοια ικανότητα είναι χρήσιμη για έγκαιρη απόκριση και περαιτέρω σχεδιασμό δράσης. Εξετάζουμε το πρόβλημα της πρόβλεψης δράσης σε σενάρια που περιλαμβάνουν ανθρώπους που αλληλεπιδρούν με αντικείμενα. Δημιουργήσαμε μια προσέγγιση που δημιουργεί αναπαραστάσεις χρονοσειρών για τη κίνηση των ανθρώπων και των αντικειμένων. Μια τέτοια αναπαράσταση μιας εν-εξελίξει δράσης συγκρίνεται στη συνέχεια με πρωτότυπες δράσεις. Αυτό επιτυγχάνεται με ένα πλαίσιο ευθυγράμμισης χρονολογικών σειρών που βασίζεται στον αλγόριθμο Dynamic Time Warping (DTW), το οποίο προσδιορίζει την καλύτερη αντιστοίχιση μεταξύ της ενεξελίξει δράσης και των πρωτότυπων δράσεων. Προβλέπουμε ενέργειες σε περικομμένες και μη περικομμένες ακολουθίες ενεργειών με τη χρήση του αλγόριθμου DTW. Στο ίδιο πλαίσιο, για την πρόβλεψη των ενεργειών προτείνουμε δύο νέους αλγόριθμους ευθυγράμμισης που ονομάζονται OBE-S-DTW και OE-S-DTW που δείχνουν βελτιωμένα αποτελέσματα στο έργο της πρόβλεψης ενεργειών σε σύγκριση με το DTW.Στη συνέχεια, προτείνουμε μια μεθοδολογία βασισμένη σε γραφήματα για την οπτική πρόβλεψη των αλληλεπιδράσεων ανθρώπου-αντικειμένου σε βίντεο. Αντί να προβλέψουμε την κίνηση τουανθρώπου και του αντικειμένου, στοχεύουμε στην πρόβλεψη (α) της κλάσης της προς πρόβλεψη αλληλεπίδρασης ανθρώπου-αντικειμένου και (β) των κλάσεων των επόμενων ενεργών αντικειμένων (NAOs), δηλ. τα αντικείμενα που προβλέπεται να εμπλακούν στην αλληλεπίδραση στο εγγύς μέλλον καθώς και τη χρονική στιγμή που θα συμβεί αυτό. Τέλος, αντιμετωπίζουμε το πρόβλημα της πρόγνωσης μιας δράσης λαμβάνοντας υπόψη το ιστορικό όλων των ενεργειών που εκτελέστηκαν σε μακρές ακολουθίες δραστηριοτήτων. Προτείνουμε μια νέα προσέγγιση που ονομάζεται ως οπτικο-λεξιλογική μοντελοποίηση του ιστορικού των δράσεων (VLMAH) που συνδυάζει το άμεσο παρελθόν με τη μορφή οπτικών χαρακτηριστικών καθώς και το μακρινό παρελθόν με βάση μια οικονομικά αποδοτική μορφή γλωσσικών χαρακτηριστικών (σημασιολογικές ετικέτες των ουσιαστικών, ρημάτων ή δράσεων). Η προσέγγισή μας δημιουργεί ακριβείς προβλέψεις για τις δράσεις που θα γίνουν στο κοντινό μέλλον κατά τη διάρκεια δραστηριοτήτων αξιοποιώντας πληροφορίες από το απώτερο αλλά και το εγγύτερο παρελθόν.Οι προτεινόμενες μέθοδοι αποτελούν λύσεις για τα προβλήματα της πρόβλεψης και πρόγνωσης δράσεων και πρόβλεψης του επόμενου ενεργού αντικειμένου. Οι προαναφερθείσες μεθοδολογίεςέχουν αξιολογηθεί σε ανταγωνιστικά σύνολα δεδομένων και δίνουν καλύτερα αποτελέσματα σε σχέση με τις υφιστάμενες κορυφαίες μεθόδους που εμφανίζονται στη βιβλιογραφία.