Deep learning for finding 3D correspondences between non-rigid human bodies
Creators: name: Κουζέλης, Ανδρέας Γρηγορίου
Publisher: name: Aristotle University of Thessaloniki
Year: 2022
Subjects: Βαθιά μάθηση
Αντιστοιχίες
Νέφος σημείων
Deep learning
Correspondences
Point cloud

description: Finding correspondences between 3D objects is an important problem in computer vision, computer graphics, and related fields. Of particular interest are human bodies, since humans play a central role in many everyday applications. However, it is a very challenging problem, especially for articulated and non-rigid objects such as humans, and when applied to real-world data which is usually noisy and incomplete. Most classical approaches are not well suited for such a problem, as they are designed for isometric or near-isometric cases. In this thesis, we utilize and improve upon a template-based, deep-learning method, called 3D-CODED, for finding correspondences between real scans of human bodies in different shapes and poses. Due to the scarcity of real scans of human bodies, the method is trained using synthetic data and evaluated on real scans. The method is based on an encoder-decoder architecture that learns to deform a predefined template into a given input shape in such a way that the reconstructed shape is in correspondence with the template. The reconstructed shape is then aligned with the input shape using nearest neighbor matching. In this way, correspondences between any pair of shapes can be established indirectly by matching them with the common template. However, the original encoder-decoder is unable to produce accurate reconstructions of the inputs and is sensitive to their orientations. As a workaround, two computationally intensive optimizations are performed at inference time, rendering the method impractical for real-time applications. In this thesis, we propose ways of improving the 3D-CODED method so that these inference-time optimization steps are no longer required, reducing the time for computing correspondences between a pair of shapes to a few seconds instead of minutes, and opening up possibilities for real-time applications. We achieve this by replacing the original encoder with more powerful alternatives which take into account the local structure of the input shapes and can learn hierarchical features, such as PointNet++ and Point Transformer. Additionally, we add a point-to-point template encoder that learns to transform the initial, arbitrary chosen template into a 3D or a multidimensional canonical shape. Finally, we improve the generalizability of the model and make it more robust to rotations of the input by using data augmentation techniques during the training. We note that the idea of using the PointNet++ encoder in conjunction with the 3D template encoder, as well as the data augmentation approach for training, were first conceived and tried during my internship at CYENS.
description: Η εύρεση αντιστοιχιών μεταξύ τρισδιάστατων αντικειμένων είναι ένα σημαντικό πρόβλημα στην υπολογιστική όραση, στα γραφικά, και σε συναφή πεδία. Ιδιαίτερο ενδιαφέρον παρουσιάζουν τα ανθρώπινα σώματα, αφού ο άνθρωπος παίζει κεντρικό ρόλο σε πολλές καθημερινές εφαρμογές. Ωστόσο, είναι ένα πολύ δύσκολο πρόβλημα, ειδικά για αρθρωτά και μη άκαμπτα αντικείμενα, όπως οι άνθρωποι, και όταν εφαρμόζεται σε δεδομένα του πραγματικού κόσμου που είναι συνήθως θορυβώδη και ελλιπή. Οι περισσότερες κλασικές προσεγγίσεις δεν είναι κατάλληλες για ένα τέτοιο πρόβλημα, καθώς έχουν σχεδιαστεί για ισομετρικές ή σχεδόν ισομετρικές περιπτώσεις. Σε αυτή την εργασία, χρησιμοποιούμε και βελτιώνουμε μια μέθοδο βαθιάς μάθησης, που ονομάζεται 3D-CODED, για την εύρεση αντιστοιχιών μεταξύ πραγματικών σαρώσεων ανθρώπινων σωμάτων σε διαφορετικά σχήματα και στάσεις. Λόγω της σπανιότητας πραγματικών σαρώσεων ανθρώπινων σωμάτων, η μέθοδος εκπαιδεύεται χρησιμοποιώντας συνθετικά δεδομένα και αξιολογείται σε πραγματικές σαρώσεις. Η μέθοδος βασίζεται σε μια αρχιτεκτονική κωδικοποιητή-αποκωδικοποιητή που μαθαίνει να παραμορφώνει ένα προκαθορισμένο πρότυπο σχήμα σε ένα σχήμα εισόδου με τέτοιο τρόπο ώστε το ανακατασκευασμένο σχήμα να είναι σε αντιστοιχία με το πρότυπο. Το ανακατασκευασμένο σχήμα στη συνέχεια ευθυγραμμίζεται με το σχήμα εισόδου χρησιμοποιώντας τον αλγόριθμο του πλησιέστερου γείτονα. Με αυτόν τον τρόπο, οι αντιστοιχίες μεταξύ οποιουδήποτε ζεύγους σχημάτων μπορούν να καθοριστούν έμμεσα, αντιστοιχίζοντας τα με το κοινό πρότυπο. Ωστόσο, ο αρχικός κωδικοποιητής-αποκωδικοποιητής δεν είναι σε θέση να παράγει ακριβείς ανακατασκευές των εισόδων και είναι ευαίσθητος στον προσανατολισμό τους. Ως λύση, πραγματοποιούνται δύο υπολογιστικά εντατικές βελτιστοποιήσεις κατά το χρόνο συμπερασμάτων, καθιστώντας τη μέθοδο ακατάλληλη για εφαρμογές πραγματικού χρόνου. Σε αυτή την εργασία, προτείνουμε τρόπους βελτίωσης της μεθόδου 3D-CODED, έτσι ώστε να μην απαιτούνται πλέον αυτά τα βήματα βελτιστοποίησης κατά το χρόνο συμπερασμάτων, μειώνοντας το χρόνο για τον υπολογισμό των αντιστοιχιών μεταξύ ενός ζεύγους σχημάτων σε λίγα δευτερόλεπτα αντί για λεπτά, ανοίγοντας δρόμους για εφαρμογές σε πραγματικό χρόνο. Αυτό το επιτυγχάνουμε αντικαθιστώντας τον αρχικό κωδικοποιητή με πιο ισχυρές εναλλακτικές που λαμβάνουν υπόψη την τοπική δομή των σχημάτων εισόδου και μπορούν να μάθουν ιεραρχικά χαρακτηριστικά, όπως το PointNet++ και το Point Transformer. Επιπλέον, προσθέτουμε έναν σημειακό κωδικοποιητή προτύπου που μαθαίνει να μετατρέπει το αρχικό, αυθαίρετο επιλεγμένο πρότυπο σε τρισδιάστατο ή πολυδιάστατο κανονικό σχήμα. Τέλος, βελτιώνουμε τη γενίκευση του μοντέλου και το κάνουμε πιο εύρωστο στις περιστροφές της εισόδου χρησιμοποιώντας τεχνικές αύξησης δεδομένων κατά τη διάρκεια της εκπαίδευσης. Σημειώνουμε ότι η ιδέα της χρήσης του κωδικοποιητή PointNet++ σε συνδυασμό με τον τρισδιάστατο κωδικοποιητή προτύπου, καθώς και η προσέγγιση αύξησης δεδομένων για εκπαίδευση, δοκιμάστηκε για πρώτη φορά κατά τη διάρκεια της πρακτικής μου άσκησης στο CYENS.