<figure><img src="image_47.png" /></figure>

FIGURE 4.20 – Illustration des moyennes et des écarts types de la base de données AMASS. Les maillages sont correctement positionnés et orientés dans la scène. a) axes X, Y et Z représentés dans le domaine spatial. b) axes représentés dans le domaine spectral. c) axes représentés dans le domaine spectral en utilisant un zoom. Pour le domaine spectral, seulement 128 fréquences sont représentées.
<figure><img src="image_48.png" /><figcaption>FIGURE 4.21 – Visualisation du 24e vecteur propre.</figcaption></figure>

Ce processus représente un contournement, ou un court-circuit, de l'information : les valeurs de translation et de rotation ne sont pas encodées par le modèle mais plutôt directement données à l'espace latent.

La figure 4.22 présente l'évolution des courbes d'apprentissage et de test du modèle précédemment présenté, le SAE-LP, et d'un modèle SAE-LP-CR (SAE-LP *Centered Rotated*) présenté ici. Le modèle SAE-LP-CR a plus de facilités pour reconstruire les échantillons vus durant l'entraînement ainsi que des échantillons non vus.

Les figures 4.23 et 4.24 présentent des exemples visuels de reconstruction et d'interpolation depuis des modèles avec et sans utilisation du centrage et rotation. Dans les deux exemples, l'interpolation spatiale des deux maillages aux extremités (première ligne et colonne du milieu) génère une surface non réaliste et aplatie en raison de la différence d'orientation des références. Le modèle SAE-LP ne reconstruit pas correctement les maillages de référence et interpole dans l'espace latent de manière non réaliste. En revanche, le modèle SAE-LP-CR parvient à mieux reconstruire les surfaces. Du fait du traitement indépendant de rotation, l'interpolation génère une surface qui n'est pas aplatie. Enfin, la compression réalisée par l'architecture autoencodateur permet de construire un espace latent qui respecte les dimensions naturelles d'un corps humain : la longueur des bras du maillage interpolé sur la figure 4.24 est réaliste.

Une vidéo disponible en ligne (https://youtu.be/OdGaT4Vxi9A) montre un exemple d'interpolation entre deux surfaces éloignées dans la scène. L'effet de glissement des pieds sur le sol est causé par la méthode d'apprentissage : bien que le
<figure><img src="image_49.png" /><figcaption>FIGURE 4.22 – Différentes valeurs d'entraînement sur la base de données AMASS dont les échantillons ne sont ni centrés ni orientés. À gauche, l'évolution de la fonction de coût, et à droite l'évolution du score de validation. Deux modèles sont évalués : le SAE-LP présenté précédemment, et le SAE-LP-CR dans lequel l'information de translation et de rotation est traitée différemment.</figcaption></figure>

modèle réussisse à générer des surfaces qui ne sont ni aplaties ni mal dimensionnées, le réseau ne peut pas comprendre par lui-même que la manière de se déplacer dans l'espace doit se faire de manière réaliste. Ce mouvement dans la scène peut être représenté par de la marche ou de la course, de manière lente, rapide, ou avec des styles différents. Similairement à des mouvements de bras entre deux poses, le corps humain peut se déformer de plusieurs façons, et l'utilisation d'un autoencodeur n'est pas apte à représenter cette variété de mouvements. Pour pouvoir donner cette information de déplacement au réseau, plusieurs méthodes sont possibles.

Si l'on veut conserver l'utilisation d'un unique autoencodeur, on peut par exemple essayer de modifier la structure de l'espace latent en forçant l'interpolation à ressembler à une vérité terrain, disponible dans les bases de données. Nous avons testé cette solution : un sous-ensemble d'AMASS composé de mini-séquences a d'abord été construit. Ensuite, ce sous-ensemble a été utilisé pour essayer de modifier l'interpolation entre les poses de départ et de fin de ces mini-séquences afin qu'elle soit réaliste. Mais cette méthode fait intervenir trop de choix de l'utilisateur lors de la création des mini-séquences, étant donné qu'il ne faut pas donner des exemples non-apprenables : si le base de données de mini-séquences est composées de mouvements trop variés (par exemple, un mouvement représentant un pas peut être réalisé avec la jambe droite ou gauche), alors le réseau ne parviendra pas à apprendre.

Autrement, on peut penser encoder directement des animations au lieu de poses statiques à l'aide d'architectures comprenant le contexte d'une séquence de données. C'est plutôt cette solution qui a été adoptée, pour laquelle plus de détails sont donnés dans le chapitre 5.

## 4.7.2 Séparer l'information d'identité et de pose

Une propriété désirable d'un modèle produisant des surfaces est de pouvoir contrôler la capacité de génération. La séparation entre l'information d'identité et de
<figure><img src="image_50.png" /><figcaption>FIGURE 4.23 – Différentes reconstructions et interpolations avec et sans utilisation du centrage et de la rotation. a) : interpolation dans le domaine spatial. b) : la méthode SAE-LP ne fonctionne plus en raison de l'information supplémentaire de déplacement et de rotation à apprendre. c) : la méthode SAE-LP-CR fonctionne puisque l'interpolation est réalisée directement en tenant compte des valeurs brutes de translation et de rotation. Le repère indiquant l'origine de la scène est indiqué pour montrer la différence de translation et d'orientation des maillages interpolés.</figcaption></figure>
<figure><img src="image_51.png" /><figcaption>FIGURE 4.24 – Différentes reconstructions et interpolations avec et sans utilisation du centrage et de la rotation. a) : interpolation dans le domaine spatial. b) : la méthode SAE-LP ne fonctionne plus en raison de l'information supplémentaire de déplacement et de rotation à apprendre. c) : la méthode SAE-LP-CR fonctionne puisque l'interpolation est réalisée directement en tenant compte des valeurs brutes de translation et de rotation. Le repère indiquant l'origine de la scène est indiqué pour montrer la différence de translation et d'orientation des maillages interpolés.</figcaption></figure>
pose (*disentanglement*) des sujets étudiés est une manière de faire cela : la création d'un espace latent "démêlé" permet de pouvoir changer une partie de ce dernier afin de ne modifier qu'un facteur de variation en étant invariant aux autres (modification de l'identité seulement sans changer la pose ou inversement). Cette problématique représente aujourd'hui toujours un challenge. Aumentado-Armstrong et al. [8] exploitent l'invariance aux isométries de l'opérateur de Laplace-Beltrami couplée à une double architecture autoencodeur/autoencodeur variationnel afin d'obtenir un modèle pouvant réaliser cette tâche. Foti et al. [51] introduisent une fonction de coût basée sur la projection de distances avec un maillage de référence sur les vecteurs propres du Laplacien topologique. Ces deux travaux récents comprennent un état de l'art concernant le démêlement de l'information appliqué à des surfaces.

Dans nos travaux, l'objectif est de réussir à séparer cette information de manière semi-supervisée. Les bases de données de corps humain en mouvement contiennent des annotations d'identité : chaque animation correspond à un sujet. En revanche, l'information de pose n'est pas annotée et nécessiterait une trop grande quantité de travail de la part d'utilisateurs pour que ce soit le cas. Les méthodes de l'état de l'art reposent donc sur le calcul de propriétés géométriques dans le domaine spatial ou spectral combiné à des méthodes d'apprentissage profond. Dans le chapitre suivant, nous montrons qu'il est possible d'apprendre à un réseau comment modifier des coefficients spectraux afin que les séquences de surfaces générées présentent un mouvement réaliste tout en gardant l'identité du sujet traité, ce qui représente une forme de séparation de l'information d'identité et de pose.

## 4.8 Conclusion

Le problème avec les méthodes actuelles de l'état de l'art est qu'elles sont limitées par le nombre élevé de sommets, la grille non structurée et le temps de calcul. Nous avons montré dans ce chapitre qu'en utilisant des méthodes de traitement spectral sur des surfaces triangulées, nous sommes capables de résoudre plusieurs de ces problèmes. Premièrement, traiter directement les coefficients spectraux au lieu des coordonnées cartésiennes permet l'application directe de convolutions puisque les coefficients spectraux sont ordonnés en fonction de leur valeur propre associée. Cette application directe permet également d'augmenter la vitesse des réseaux puisque les convolutions se font sur des tableaux sans réarrangement contrairement aux méthodes comparées. De plus, il est possible d'augmenter le nombre de sommets des maillages de la base de données tout en gardant la même architecture de réseau de neurones puisqu'il n'y a pas de calcul dans le domaine spatial. Enfin, nous avons montré que nos modèles donnent de meilleurs résultats que les méthodes de l'état de l'art en termes de reconstruction et d'interpolation.

Bien que notre méthode nécessite toujours une connectivité constante, il est possible d'envisager dans le futur de pouvoir synchroniser des bases calculées à partir de différentes triangulations en utilisant des cartes fonctionnelles (voir section 3.4). Des travaux additionnels pourraient s'attacher à essayer de généraliser ce processus
à des formes de topologie arbitraire, permettant de travailler sur des maillages issus
directement de scans bruts avec un nombre élevé de sommets et une connectivité
changeante tout en gardant le même nombre de paramètres et la même vitesse de
calcul.

En résumé, notre approche repose sur l'utilisation de l'analyse spectrale pour
extraire les informations crucales contenues dans les maillages triangulaires tout en
réduisant la complexité des données en entrée. Cette méthode pourrait permettre
d'ouvrir la voie à des améliorations significatives dans le domaine du traitement de
maillages, avec des applications potentielles dans de nombreux domaines comme la
modélisation 3D, la reconnaissance d'objets et bien d'autres.
# Chapitre 5

## Apprentissage et génération de séquences de maillages

### 5.1 Introduction

Dans le chapitre précédent, un modèle permettant la création d'une représentation adaptée au corps humain a été introduit. Mais ce modèle ne traite l'information que de manière statique et n'est pas capable de correctement prendre en compte la dimension temporelle. Les progrès récents concernant la technologie de capture de formes en mouvement ont rendu l'acquisition moins chère et plus efficace tout en rendant les bases de données de maillages dynamiques plus disponibles et plus détaillées. Le coût et la difficulté d'obtenir ces scans restent tout de même non négligeables et développer des processus capables de comprendre ou de générer des données dynamiques et réalistes est aujourd'hui un besoin nécessaire. Cet aspect est abordé dans ce chapitre.

Les travaux récents concernant la modélisation du mouvement humain traitent ce problème en prenant en entrée l'information concernant des séquences de squelettes ([78, 91, 90, 92, 57, 122, 154]), réduisant d'un facteur important la dimension du problème. L'inconvénient de ces méthodes est qu'elles n'ont pas accès à la géométrie et nécessitent des étapes supplémentaires de squelettage (*rigging*) et de mise en correspondance des surfaces avec les squelettes (*skinning*) afin de générer des maillages. D'autres méthodes [97] prennent en entrée une représentation simplifiée telle que les paramètres SMPL [87] qui contiennent cette information géométrique mais elles sont spécifiques à certains jeux de données et nécessitent encore un processus supplémentaire pour générer des maillages. Il existe aussi des méthodes capables de traiter des formes mais elles ne reposent que sur les poses statiques, sans tenir compte du mouvement comme nous l'avons vu dans le chapitre précédent. Dans ce travail, notre objectif est de montrer qu'en utilisant des méthodes d'analyse spectrale, il est possible de traiter efficacement des surfaces en prenant également en compte la dynamique.

Le processus présenté ici est basé sur l'utilisation de ce domaine spectral. Il consiste en un autoencodeur convolutif capable de représenter un maillage statique
<figure><img src="image_52.png" /><figcaption>FIGURE 5.1 – Illustration du processus général proposé. Les sommets de chaque pose d'une séquence de maillage sont d'abord transformés en coefficients spectraux. Ils sont ensuite passés à travers un encodeur convolutif afin d'obtenir des variables latentes, qui sont l'entrée d'un transformeur. Les variables latentes générées par le transformeur sont ensuite décodées par un décodeur convolutif, et finalement transformées dans le domaine spatial. L'apprentissage se fait uniquement dans le domaine spectral. Les données en entrée sont en bleu, les données en sortie sont en orange, les paramètres apprenables pour le processus statique sont en vert et les paramètres apprenables pour le processus dynamique sont en rouge.</figcaption></figure>
en une variable latente en prenant en entrée des coefficients spectraux au lieu de sommets dans le domaine spatial dont le fonctionnement est expliqué en détail dans le chapitre précédent. Cette architecture est couplée à un transformeur [135], réseau récemment introduit capable de comprendre le contexte de séquences de données. Il est basé sur BERT [41] (utilisation de la partie encodeur du transformeur uniquement) et est principalement évalué sur une tâche de prédiction de la fin d'une séquence. Des expériences supplémentaires montrent la possibilité d'étendre facilement ses applications (prédiction à long terme, complétion de parties manquantes (in-betweening) et généralisation à d'autres ensembles de données). L'utilisation du domaine spectral permet un traitement rapide et le transformeur permet un processus parallélisable qui peut générer un mouvement humain de manière non autorégressive (dans ce contexte, une génération non autorégressive signifie que plusieurs poses sont générées en une seule passe grâce au transformeur, contrairement aux réseaux de neurones récurrents qui génèrent des échantillons en se basant sur les générations précédentes, pas à pas). Le fonctionnement du modèle est représenté dans la figure 5.1.

Les contributions se résument comme suit :

1. nous utilisons les coefficients spectraux obtenus depuis la géométrie de maillages triangulaires humains à connectivité constante comme entrée du réseau.

2. nous n'entraînons le réseau que dans le domaine spectral sans revenir dans le domaine spatial, ce qui accélère le processus.

3. nous utilisons une double architecture composée d'un autoencodeur convolutif et de l'encodeur d'un transformeur capable de prédire les poses futures (à court ou long terme), ou de compléter les poses manquantes d'une séquence de maillages.

4. l'espace latent de l'autoencodeur convolutif est utilisé comme entrée et sortie du transformeur, lui donnant accès à l'information contenue dans les surfaces.

5. le processus fonctionne de manière directe (non autorégressive), permettant la génération efficace et rapide de mouvements humains.

Les modèles pré-entraînés, le code pour les entraîner et le code pour créer des ensembles de données sont disponibles à l'adresse suivante : https://github.com/MEPP-team/SpecTrHuMS.

Des travaux similaires seront premièrement introduits, puis le fonctionnement de notre modèle sera présenté, et enfin, des résultats d'expériences montreront la capacité de génération du réseau.

## 5.2 État de l'art

Pour un état de l'art concernant le traitement statique de maillages, le lecteur est renvoyé au chapitre précédent.
La génération de mouvement humain a récemment suscité beaucoup d'intérêt dans la littérature. Puisque notre application principale est la prédiction, nous nous concentrerons sur les articles récents concernant cet objectif. La prédiction du mouvement humain est généralement exprimée sous la forme d'un processus séquence à séquence où le mouvement observé est représenté comme l'entrée du modèle. Les premières méthodes utilisaient un processus gaussien [138], la machine de Boltzmann restreinte [130] ou des modèles de Markov [72]. Des méthodes plus récentes utilisent des réseaux de neurones récurrents (RNNs) pour des prédicitions plus longues et plus précises [52, 64] mais souffrent toujours de discontinuités et ne sont entraînées que sur des actions spécifiques. Ces inconvénients ont été corrigés en travaillant sur des vitesses de jointures de squelettes [98] ou avec des variantes de RNNs [31, 86]. Mais l'entraînement et l'inférence sont difficiles avec les RNNs et ont des contraintes de mémoire, donc la prédiction a été encore améliorée en utilisant des fenêtres glissantes [21, 22], des modèles convolutifs [59, 78] ou des modèles similaires à des GANs [56, 59]. Ensuite, d'autres travaux utilisent des réseaux convolutifs sur des graphes (Graph Convolutional Networks ou GCNs) [66]) pour mieux traiter l'information spatiale des jointures de squelettes. Le premier utilise des coefficients DCT pour co-der les informations temporelles dans l'espace fréquentiel [91]. Différentes tailles de couches convolutives couplées à un GCN sont utilisées dans [71], et des variantes de GCN sont utilisées dans [122, 154, 88]. Un réseau entièrement connecté est couplé à des convolutions pour coder les informations temporelles et spatiales dans [21]. Certains travaux utilisent l'architecture transformeur [135] couplée à un RNN [128], en combinant l'attention pour corréler les informations temporelles et spatiales [2], ou en combinant l'attention avec les coefficients DCT [23]. D'autres utilisent l'at-tention avec des GCN et des coefficients DCT [90] ou en fusionnant les prédicitions de trois modules d'attention qui traitent le mouvement à différents niveaux : corps entier, parties du corps et articulations individuelles [92]. De plus, de la complé-tion de mouvement est réalisée dans [45] en utilisant une architecture transformeur. Guo et al. [57] utilisent un réseau entièrement connecté à plusieurs couches (Multi-layer Perceptron ou MLP) et prouvent qu'un modèle simple est capable de donner les meilleurs résultats. Une autre ligne de travail génère des mouvements humains conditionnés depuis du texte en utilisant un autoencodeur variationnel (VAE) [108] ou en utilisant un modèle de diffusion [131]. Bien que le conditionnement depuis du texte sorte du cadre de ce document, toutes les méthodes citées ont en commun le fait que seule l'information des squelettes est exploitée, ce qui fait que les processus n'ont pas accès aux détails contenus dans les surfaces.

Marsot et al. [97] utilisent un autoencodeur variationnel conditionnel (Conditional Variational Autoencoder ou CVAE) [123] afin de créer un espace latent permettant de représenter et de générer des mouvements humains en prenant en entrée des paramètres SMPL, prenant ainsi en compte l'information géométrique. Ceci est similaire à notre cas puisque ces paramètres représentent un espace compact comme celui que nous utilisons et à partir duquel un maillage peut être récupéré. Néanmoins, des processus comme SMPL sont dédiés aux corps humains, ou du moins à des surfaces qui peuvent être approximées par des squelettes comme des animaux
[157]. Contrairement à cela, notre modèle peut être facilement généralisé à d'autres types de surfaces dynamiques qui ne peuvent pas être approximées avec des squelettes (voir la section 5.4.6). De plus, le modèle de Marsot et al. [97] a besoin d'un espace en entrée dans lequel les informations de pose et d'identité ont été séparées comme SMPL, tandis que le nôtre a l'espace des coefficients spectraux en entrée dans lequel ces informations sont intriquées, le rendant applicable à une plus large gamme de bases de données.

Fernandez-Abrevaya et al. [48] ont introduit un processus qui permet d'étendre l'opérateur de Laplace-Beltrami à des séquences de maillages temporellement cohérentes, incluant ainsi l'information de surface et temporelle et permettant d'éditer une séquence de maillages de manière simple. S'il serait intéressant d'observer comment des modèles d'apprentissage profond pourraient utiliser l'information spectrale provenant de cet opérateur, il est peu pratique de l'introduire dans notre situation : similairement à l'opérateur de Laplace-Beltrami dans un cadre statique, chaque séquence nécessiterait un nouveau calcul et une nouvelle décomposition en éléments propres, créant à chaque fois une nouvelle base. Dans notre cas, en utilisant le Laplacien topologique de manière statique, un seul calcul de vecteurs propres est nécessaire.

Dans ce chapitre, nous montrons qu'il est possible de développer des applications telles que la prédiction de mouvements humains tout en donnant en entrée au réseau l'information contenue dans les surfaces en utilisant un traitement spectral des maillages couplé à un autoencodeur convolutif et une architecture transformeur. Dans la section suivante, le processus du modèle est présenté.

## 5.3 SpecTrHuMS

Dans ce chapitre est présenté un transformeur spectral pour apprendre depuis des séquences de maillages humains (*Spectral Transformer for Human Mesh Sequence learning* ou SpecTrHuMS). Le procédé que nous proposons est composé d'une double architecture : la première est l'autoencodeur spectral (*Spectral Autoencoder* ou SAE) présenté dans le chapitre précédent, et le second est un encodeur de type transformeur [135]. Le traitement spectral de maillages a été abordé dans le chapitre 3. Ici, nous rappelons d'abord le fonctionnement du SAE, et expliquons comment nous le couplons avec la deuxième architecture transformeur.

Nous utilisons l'architecture SAE-LP du chapitre précédent qui consiste en des couches successives de convolutions, de sous/sur-échantillonnage (*pooling/upsampling*) utilisant des multiplications matricielles et des couches d'activation, créant un espace latent à partir duquel la reconstruction est possible. Pour rappel, le processus statique est le suivant : un maillage composé de $n$ sommets est représenté par une matrice $V \in \mathbb{R}^{n \times 3}$. Les coordonnées cartésiennes des sommets sont transformées en coefficients spectraux $C \in \mathbb{R}^{k \times 3}$ avec une transformée spectrale : $C = \Phi^T \cdot V$, où $k \le n$ est le nombre de vecteurs propres du Laplacien topologique utilisé et $\Phi$ est la
matrice les représentant. Ces coefficients spectraux $C$ sont passés dans l'encodeur du SAE afin d'obtenir une variable latente $X \in \mathbb{R}^l$, $l$ étant la taille de l'espace latent représentant un espace plus compact que le domaine spectral. Cet encodeur est fait de blocs composés de couches de convolution, de sous-échantillonnage et d'activation, suivis d'une couche finale entièrement connectée. Dans le paragraphe suivant, nous montrerons comment les variables latentes d'une séquence de maillages sont passées à travers l'architecture du transformeur. La variable latente en sortie du transformeur est ensuite passée dans le décodeur du SAE afin d'obtenir les coefficients spectraux reconstruits $\hat{C} \in \mathbb{R}^{k \times 3}$. Le décodeur est composé d'une première couche entièrement connectée suivie de blocs composés de couches de sur-échantillonnage, de convolutions et d'activation. Pour la visualisation, les coefficients spectraux reconstruits sont transformés dans le domaine spatial pour obtenir les sommets reconstruits avec une multiplication matricielle $\hat{V} = \Phi \cdot \hat{C}$ avec $\hat{V} \in \mathbb{R}^{n \times 3}$. Le choix des valeurs $k$ et $l$ est précisé dans la section 5.4.

Notre objectif est de transmettre un mouvement humain à un réseau de neurons afin qu'il comprenne le contexte du mouvement qui est représenté comme une séquence de sommets spatiaux $V^{1:t} \in \mathbb{R}^{t \times n \times 3}$ avec $t$ le nombre de poses de la séquence. Nous exploitons l'architecture transformeur largement utilisée dans la littérature pour la deuxième partie de notre réseau. Afin de pouvoir donner l'information contenue dans la séquence de sommets spatiaux, nous transformons d'abord chaque pose dans le domaine spectral, donnant une séquence de coefficients spectraux $C^{1:t} \in \mathbb{R}^{t \times k \times 3}$, puis encodons chaque pose de la séquence de coefficients spectraux avec l'encodeur SAE introduit précédemment, donnant une séquence de variables latentes $X^{1:t} \in \mathbb{R}^{t \times l}$.

La génération est formulée comme un problème séquence à séquence. Pour les variables latentes en entrée qui doivent être prédites, avant de les donner au modèle transformeur, soit nous répétons la dernière pose de la séquence si l'objectif est la prédiction, qui est la tâche principale sur laquelle le modèle est évalué, soit nous utilisons une interpolation linéaire pour remplir les valeurs manquantes si l'objectif est la complétion, ce qui est une tâche supplémentaire. Ensuite, la fonction de coût est calculée comme l'erreur entre la sortie du transformeur et les vérités terrain afin d'entraîner le modèle. La figure 5.2 montre comment les séquences sont données au modèle dans les deux cas. Nous sous-échantillonnons chaque séquence de 3 secondes à 25Hz (plus d'informations sur les bases de données utilisées sont données dans la section 5.4), ce qui signifie que $t = 75$. Pour la prédiction, les variables $X^{1:50}$ sont des vérités terrain, et les variables $X^{51:75}$ sont représentées par la variable $X^{50}$ répétée. Pour la complétion, les variables $X^{1:50}$ et $X^{75}$ sont des vérités terrain, et les variables $X^{51:74}$ sont des interpolations entre les variables $X^{50}$ et $X^{75}$.

Le processus dans la partie transformeur est le suivant. Tout d'abord, la séquence en entrée de variables latentes $X^{1:t}$ est projetée sur la dimension du transformeur avec une couche entièrement connectée. Cela donne un ensemble de variables latentes projetées $X_p^{1:t} \in \mathbb{R}^{t \times d}$, $d$ étant la dimension de sortie de la couche entièrement connectée et la dimension du transformeur. La conception de l'architecture du
<figure><img src="image_53.png" /><figcaption>FIGURE 5.2 – Processus du transformeur. Pour la prédiction et la complétion, 2 secondes, ou 50 poses à 25 Hz, sont données en entrée au transformeur (à gauche). Pour la prédiction (au milieu), la dernière pose de la séquence en entrée est répétée pour la partie finale de la séquence. Pour la complétion (à droite), la partie finale est remplacée par une interpolation entre la dernière pose connue et la dernière pose de la séquence. Ensuite, une erreur quadratique moyenne (Mean Squared Error ou MSE) est calculée entre la sortie du transformeur et la vérité terrain en tant que fonction de coût.</figcaption></figure>

transformeur l'empêche de connaître l'ordre des poses en entrée, donc les variables latentes sont additionnées avec un codage positionnel standard $P_e \in \mathbb{R}^{t \times d}$. Le codage positionnel est une matrice apprenable de fonctions sinusoïdales. Le résultat des variables latentes projetées est $X_e^{1:t} = X_p^{1:t} + P_e$, avec $X_e^{1:t} \in \mathbb{R}^{t \times d}$.

Nous utilisons l'architecture encodeur d'un transformeur standard pour traiter les variables latentes projetées. Il est composé de plusieurs couches d'encodeur, cha-cune constituée de couches d'auto-attention multi-têtes (*multi-head self-attention layers*) et de réseaux de neurones à propagation avant (*feed-forward networks*), avec une connexion résiduelle entre les deux couches et une couche de norme (*norm layer*) finale. Les couches d'attention multi-têtes permettent de réaliser un calcul dense entre chaque paire de poses en entrée et de capturer des relations à longue portée. Nous renvoyons le lecteur à la littérature [135] pour plus de détails sur le processus général de cette architecture. L'encodeur du transformeur produit une séquence de variables latentes reconstruites, qui est ensuite projetée dans la dimension de l'es-pace latent du réseau statique à l'aide de couches entièrement connectées, donnant une séquence $\hat{X}^{1:t} \in \mathbb{R}^{t \times l}$. Chaque pose de ces variables latentes reconstruites peut finalement être décodée par le décodeur convolutif du processus statique afin d'ob-tenir des coefficients spectraux reconstruits, qui peuvent ensuite être transformés dans le domaine spatial pour la visualisation.

Les deux réseaux (SAE et transformeur) sont entraînés simultanément. Le premier, représenté comme un encodeur et décodeur statique, est entraîné pour reconstruire les coefficients spectraux en entrée sans utiliser le réseau dynamique. La fonction de coût pour entraîner ce réseau statique est donc une erreur quadratique
moyenne entre les coefficients spectraux *C* et *Ĉ* sans utiliser le transformeur. Le deuxième réseau dynamique, le transformeur, est entraîné afin de reconstruire la séquence des variables latentes. La fonction de coût pour entraîner ce réseau est donc une erreur quadratique moyenne entre les séquences de variables latentes $X^{1:t}$ et $\hat{X}^{1:t}$.

## 5.4 Évaluations

Dans cette section, nous présentons les modèles auxquels notre réseau est comparé, les bases de données utilisées, les métriques d'évaluation et des détails concernant l'implémentation. Ensuite, des tâches de prédiction à court et long terme, de complétion et de généralisation à d'autres bases de données sont exposées.

### 5.4.1 Modèles de référence

Nous évaluons notre modèle par rapport à plusieurs modèles de référence. conv-Seq2Seq [78] utilise un modèle convolutif, mais comme pour les images, les convolutions ne prennent pas en compte les relations entre les éléments distants, ce qui est important pour la compréhension du comportement humain. LTD [91] utilise un GCN pour les informations spatiales en construisant des graphes depuis les articulations des squelettes et des coefficients DCT pour les informations temporelles, conduisant à un modèle réalisant déjà une bonne prédiction. Cependant, cette méthode était encore insuffisante et a été dépassé par Pose Motion Att [90] qui utilise de l'attention couplée à un GCN et des coefficients DCT, qui a été mis à jour avec Motion Att. + Post-fusion [92] en ajoutant les prédictions de trois autres modules fonctionnant au niveau du corps entier, des parties du corps et des articulations individuelles. Ce modèle a obtenu des résultats représentant l'état de l'art jusqu'à ce que siMLPe [57] introduise un perceptron multicouches simple (MLP) opérant sur les positions articulaires des squelettes codées avec une DCT. STS-GCN [122] et STG-GCN [154] utilisent des variantes de GCN, mais ont également été dépassés par siMLPe. Tous ces modèles de référence utilisent l'information contenue dans les articulations des squelettes, ce qui signifie que leurs architectures ne sont pas directement applicables aux sommets de surface en raison de leur grande dimensionnalité et de leur non-ordre. De plus, ces architectures ne sont destinées qu'à la tâche de prédiction. Notre architecture est quant à elle applicable à des surfaces même avec un nombre élevé de sommets, et l'utilisation de l'architecture du transformeur rend notre processus facilement généralisable à d'autres tâches telles que la complétion ou à l'entraînement sur des séquences de différentes longueurs. Enfin, l'utilisation d'une architecture transformeur pourrait être utile, à l'avenir, pour des étapes d'ap-prentissage plus complexes telles que le préentraînement avec masques combiné à un affinage des paramètres avec des fonctions de coût spécifiques à d'autres objectifs.
### 5.4.2 Bases de données

AMASS [89] est une unification de plusieurs autres bases de données utilisant la paramétrisation SMPL. Nous suivons [90, 92, 57] et utilisons plusieurs bases telles que CMU, KIT et d'autres (toutes faisant partie d'AMASS) comme ensemble d'entraînement et AMASS-BMLrub comme ensemble de test. Cet ensemble de données est différent de celui introduit dans le chapitre précédent : plutôt que de contenir des poses individuelles (1 sur 100, voir section 4.3), elle contient des actions dynamiques. Pour la première partie des expériences, nous reprenons les conditions de l'état de l'art et utilisons une identité unique sans mouvement de la main pour que nos résultats soient comparables. Les modèles entraînés sur cette base auront le suffixe OI pour *One Identity*. Pour la deuxième partie des expériences, puisque nous travaillons avec des surfaces et que l'identité d'un maillage a du sens, nous générons le même jeu de données en utilisant différentes identités issues des vérités terrain contenues dans AMASS afin de montrer que notre réseau est capable de comprendre la conservation de l'apparence. Les modèles entraînés sur cette base de données auront le suffixe MI pour *Multiple Identities*. Nous rappelons que les deux bases de données sont composées du même nombre de poses, mais l'une est composée d'une identité unique tandis que l'autre est composée d'identités multiples. De plus, comme elles utilisent la même discrétisation SMPL, les vecteurs propres ne sont calculés qu'une seule fois et sont utilisables pour les deux. De la même manière que dans les travaux comparés, nous ignorons translation et rotation globales des poses et sous-échantillonnons chaque séquence à 25Hz. Après traitement et pour la visualisation uniquement, les séquences sont suréchantillonnées à 60Hz.

Nous reprenons la méthode des travaux antérieurs pour sélectionner les séquences en entrée : nous fixons la longueur à 50 poses (2 secondes) et la longueur de sortie à 25 poses (1 seconde). Ces 75 poses sont sélectionnées à l'aide d'une fenêtre glissante sur les séquences AMASS avec un décalage de 5. Le tout est composé de 7 799 animations et donne un ensemble de 7 475 animations après filtrage puisque certaines animations sont plus courtes que la fenêtre nécessaire, soit 458 104 fenêtres, ce qui équivaut à environ 380 heures de vidéo. Le jeu de test est composé de 3 061 animations et donne 2 640 animations après filtrage et 145 443 fenêtres, soit environ 120 heures de vidéo.

### 5.4.3 Métriques d'évaluation

Comme nous nous concentrons sur des surfaces alors que les travaux précédents n'examinent que les squelettes, une comparaison directe n'est pas possible. Pour nous aligner sur l'état de l'art, nous commençons par présenter les résultats à l'aide de l'erreur de position moyenne par articulation (*Mean Per Joint Position Error* ou MPJPE) [63] calculée sur les coordonnées des jointures de squelettes 3D. Nous obtenons ces positions d'articulations en utilisant une matrice de régression disponible dans la paramétrisation SMPL qui permet de transformer les sommets du maillage en positions d'articulations 3D. Mais cette MPJPE ne compare que les mouvements
générés avec une vérité terrain, et un mouvement généré pourrait toujours être réa-
liste sans avoir un bon score en suivant cette métrique. Ainsi, puisque la MPJPE
ne reflète pas parfaitement la qualité de la génération des mouvements, nous in-
troduisons également une mesure de variation de longueur d'arête qui exprime la
conservation de l'identité. Cette mesure est calculée comme la différence moyenne
absolue entre les paires de longueurs d'arêtes correspondantes de la dernière pose
connue du mouvement en entrée avec les poses prédites de sorte qu'elle ne dépende
pas du mouvement exprimé par la vérité terrain mais plutôt de la conservation de
l'identité. Cette mesure sera nommée *Mean Edge Length Variation* (MELV).

5.4.4 Implémentation

Le nombre de sommets des maillages provenant de SMPL est $n = 6\,890$. Nous fixons la valeur des vecteurs propres utilisés à $k = 512$ sur les 6\,890 disponibles puisque c'est suffisant pour avoir des surfaces assez détaillées et que cela allège le travail du couple de réseaux. Le réseau statique est composé de 3 couches pour l'encodeur et le décodeur chacun, et utilise une fenêtre de convolution de taille 3. La taille latente du réseau statique est fixée à 256, ce qui est identique à la dimension du transformeur. Le transformeur est composé de 4 têtes, 6 couches, a une dimension de 1\,024 et a la fonction GELU comme activation.

Les coefficients spectraux sont d'abord précalculés et stockés. La fonction de
perte du réseau statique est calculée sur les coefficients spectraux bruts pour donner
plus d'importance aux basses fréquences (on rappelle que les coefficients spectraux
de basses fréquences ont des amplitudes plus élevées que ceux de hautes fréquences).
Les variables latentes en entrée sont standardisées et la fonction de coût du trans-
formeur est calculée sur ces variables latentes standardisées. Les réseaux statique et
dynamique sont entraînés simultanément. Le réseau statique est d'abord entraîné
seul pendant deux époques pour qu'il apprenne d'abord à reconstruire approxima-
tivement les maillages statiques. À la troisième époque, l'entraînement du réseau
dynamique commence et les deux réseaux continuent de s'entraîner conjointement.
Comme les poids du réseau statique sont mis à jour pendant l'apprentissage et que
les valeurs des variables latentes sont modifiées, nous utilisons l'algorithme de Wel-
ford [143] pour mettre à jour les moyennes et les écarts types des variables latentes
pendant l'apprentissage pour la standardisation de ces dernières.

Nous utilisons PyTorch pour entraîner les réseaux pendant 100 époques, avec l'optimiseur ADAM, une taille de paquet (batch) de 32 et un taux d'apprentissage de départ de $10^{-4}$ sans échauffement (warm-up) mais avec un ordonnanceur qui réduit le taux d'apprentissage à $10^{-6}$ à la fin de l'entraînement. L'entraînement se fait sur une carte graphique GPU NVIDIA V-100. Plus de détails sur le nombre d'époques sont donnés dans la section des résultats quantitatifs. L'entraînement dure environ 12 heures.

Nous présentons d'abord les résultats sur la tâche principale de prédiction en
utilisant la base de données qui suit les travaux comparés composée d'une seule
<table><caption>TABLE 5.1 – Nous comparons les scores MPJPE de deux de nos modèles sur la base de données utilisant une identité (OI) pour la prédiction à chaque pas de temps (sans tenir compte des poses prédites précédentes), l'un avec arrêt précoce (ES) et le second sans arrêt précoce. Lors d'un arrêt précoce, notre modèle est capable de donner de meilleurs résultats que l'état de l'art pour la prédiction à long terme.</caption><thead><tr><th rowspan="2">Dataset</th><th colspan="8">AMASS-BMLrub</th></tr><tr><th>80</th><th>160</th><th>320</th><th>400</th><th>560</th><th>720</th><th>880</th><th>1000</th></tr></thead><tbody><tr><td>Time (ms)</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>repeating last frame</td><td>24.0</td><td>45.0</td><td>77.5</td><td>89.0</td><td>103.7</td><td>107.7</td><td>101.5</td><td>95.3</td></tr><tr><td>convSeq2Seq [78]</td><td>20.6</td><td>36.9</td><td>59.7</td><td>67.6</td><td>79.0</td><td>87.0</td><td>91.5</td><td>93.5</td></tr><tr><td>LTD-10-10 [91]</td><td>10.3</td><td>19.3</td><td>36.6</td><td>44.6</td><td>61.5</td><td>75.9</td><td>86.2</td><td>91.2</td></tr><tr><td>LTD-10-25 [91]</td><td>11.0</td><td>20.7</td><td>37.8</td><td>45.3</td><td>57.2</td><td>65.7</td><td>71.3</td><td>75.2</td></tr><tr><td>Pose Motion Att [90]</td><td>11.3</td><td>20.7</td><td>35.7</td><td>42.0</td><td>51.7</td><td>58.6</td><td>63.4</td><td>67.2</td></tr><tr><td>Motion Att.</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>+ Post-fusion [92]</td><td>11.0</td><td>20.3</td><td>35.0</td><td>41.2</td><td>50.7</td><td>57.4</td><td>61.9</td><td>65.8</td></tr><tr><td>siMLPe [57]</td><td><b>10.8</b></td><td><b>19.6</b></td><td><b>34.3</b></td><td>40.5</td><td>50.5</td><td>57.3</td><td>62.4</td><td>65.7</td></tr><tr><td>SpecTrHuMS-OI-ES</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>(ours)</td><td>15.4</td><td>22.3</td><td>34.8</td><td><b>39.9</b></td><td><b>47.6</b></td><td><b>52.8</b></td><td><b>56.9</b></td><td><b>59.6</b></td></tr><tr><td>SpecTrHuMS-OI</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>(ours)</td><td>11.9</td><td>21.3</td><td>39.1</td><td>46.2</td><td>56.</td><td>63.1</td><td>69.4</td><td>73.2</td></tr></tbody></table>

identité et en utilisant celle composée de plusieurs identités. Ensuite, nous présentons d'autres applications facilement implémentées à partir de notre processus telles que la prédiction à long terme (en utilisant une génération autorégressive), la complétion (in-betweening) et nous montrons enfin que notre modèle peut être utilisé avec d'autres bases de données constituées de surfaces qui ne peuvent pas être approximées par des squelettes.

### 5.4.5 Application principale : prédiction

La tâche principale présentée dans ce travail est la prédiction : le modèle essaie de générer un mouvement de 1 seconde lorsqu'il a en entrée les 2 secondes précédentes (voir figure 5.2 au milieu). Afin d'être comparable avec la littérature, nous évaluons d'abord notre méthode sur une base de données composée d'une seule identité neutre. Dans ce cas, nous présentons deux modèles : un qui a été entraîné pendant quelques époques (SpecTrHuMS-OI-ES pour SpecTrHuMS utilisant une identité, one identity, avec arrêt précoce, early-stopping), et un autre qui a été entièrement entraîné (SpecTrHuMS-OI). Ensuite, les résultats sur la base de données composée de plusieurs identités sont mis en évidence avec un modèle nommé SpecTrHuMS-MI pour SpecTrHuMS utilisant plusieurs identités (multiple identities).

#### Résultats quantitatifs

Le tableau 5.1 présente les résultats de nos modèles par rapport à ceux des méthodes comparées en utilisant la méthodologie d'évaluation proposée dans [90, 92].
<table><caption>TABLE 5.2 – Nous comparons les scores MPJPE de deux de nos modèles sur une base de données composée d'une seule identité (OI) pour la prédiction moyenne à chaque pas de temps (en tenant compte des poses prédites précédentes), l'un avec arrêt précoce (ES) et le second sans arrêt précoce. Lors d'un arrêt précoce, notre modèle est capable de donner de meilleurs résultats que l'état de l'art pour la prédiction à long terme.</caption><thead><tr><th rowspan="2">Dataset<br>Time (ms)</th><th colspan="8">AMASS-BMLrub</th></tr><tr><th>80</th><th>160</th><th>320</th><th>400</th><th>560</th><th>720</th><th>880</th><th>1000</th></tr></thead><tbody><tr><td>repeating last frame</td><td>18.3</td><td>29.1</td><td>47.7</td><td>55.4</td><td>67.9</td><td>76.6</td><td>81.7</td><td>83.5</td></tr><tr><td>STS-GCN [122]</td><td>10.0</td><td>12.5</td><td>21.8</td><td>24.5</td><td>31.9</td><td>38.1</td><td>42.7</td><td>45.5</td></tr><tr><td>STG-GCN [154]</td><td>10.0</td><td>11.9</td><td>20.1</td><td>24.0</td><td>30.4</td><td>-</td><td>-</td><td>43.1</td></tr><tr><td>siMLPe [57]</td><td><strong>6.1</strong></td><td><strong>10.8</strong></td><td><strong>19.1</strong></td><td><strong>22.8</strong></td><td><strong>29.5</strong></td><td><strong>35.1</strong></td><td><strong>39.7</strong></td><td>42.7</td></tr><tr><td>SpecTrHuMS-OI-ES<br>(ours)</td><td>13.9</td><td>17.2</td><td>23.8</td><td>26.8</td><td>32.</td><td>36.2</td><td><strong>39.7</strong></td><td><strong>42.</strong></td></tr><tr><td>SpecTrHuMS-OI<br>(ours)</td><td>9.8</td><td>14.3</td><td>23.5</td><td>27.7</td><td>34.8</td><td>40.5</td><td>45.4</td><td>48.6</td></tr></tbody></table>

57]. Dans ce tableau, le score d'évaluation ne tient compte que des pas de temps prédits et ne prend pas en compte les prédictions des pas de temps précédents (la MPJPE est calculée entre la vérité terrain et la prédiction seulement au pas de temps correspondant). Le tableau 5.2 présente les résultats obtenus grâce au protocole utilisé dans [122, 154], où les évaluations sont calculées en prenant la moyenne sur les poses précédentes. Les valeurs des autres modèles sont tirées des articles comparés. Nous rapportons également dans les tableaux 5.1 et 5.2 les résultats de la MPJPE lors de la simple répétition de la dernière pose connue comme référence. Pour rappel, nous nous concentrons sur les surfaces, alors que les méthodes comparées opèrent sur les positions des jointures de squelettes. Par conséquent, notre réseau traite des informations supplémentaires qui intègrent les éléments d'identité des surfaces. Bien que nos résultats soient moins précis pour des pas de temps plus courts, notre réseau, lorsqu'il est arrêté tôt, est capable de mieux prédire le mouvement à des pas de temps plus longs en utilisant la métrique MPJPE. Cependant, nous allons voir qu'après un entraînement complet, le modèle ne produit pas de meilleurs résultats en utilisant cette métrique mais plutôt en utilisant la seconde métrique introduite, celle évaluant la conservation des longueurs d'arêtes. Cela indique que le modèle apprend de manière non supervisée d'autres caractéristiques contenues dans les données pendant le processus d'entraînement.

La figure 5.3 illustre la progression des métriques d'évaluation. La MPJPE commence à augmenter à l'époque 5, tandis que la MELV continue de diminuer. Ceci est attribué au fait que le réseau génère des mouvements qui ne reproduisent pas précisément la vérité terrain, mais qui conservent mieux la longueur des arêtes. Ce phénomène met en évidence l'ambiguïté de l'évaluation de la génération du mouvement qui va au-delà d'une simple comparaison entre les positions prédites et les positions réelles des articulations de squelettes. Le tableau 5.3 présente les valeurs
<figure><img src="image_54.png" /><figcaption>FIGURE 5.3 – Courbes d'évolution de la MPJPE moyenne et de la MELV moyenne sur tous les pas de temps lors de l'apprentissage sur l'ensemble de test. Nous pouvons voir que le modèle devient progressivement moins précis en termes de MPJPE mais devient meilleur pour préserver les longueurs d'arête.</figcaption></figure>

<table><caption>TABLE 5.3 – En haut : comparaison de la MELV sur la base de données avec une identité entre la vérité terrain, un modèle arrêté prématurément (SpecTrHuMS-OI-ES) et un modèle entièrement entraîné (SpecTrHuMS-OI). Le modèle entièrement entraîné est capable de mieux préserver les longueurs d'arête que le modèle arrêté prématurément. En bas : comparaison de la MELV sur la base de données avec plusieurs identités entre la vérité terrain et un modèle entièrement entraîné (SpecTrHuMS-MI). La conservation de la longueur des arêtes entre les deux vérités terrain pour les deux ensembles de données a approximativement les mêmes valeurs, montrant que l'évaluation sur les deux ensembles de données est comparable. Le modèle entraîné sur plusieurs identités est capable de préserver correctement la longueur des arêtes par rapport à SpecTrHuMS-OI.</caption><thead><tr><th>Time (ms)</th><th>80</th><th>160</th><th>320</th><th>400</th><th>560</th><th>720</th><th>880</th><th>1000</th></tr></thead><tbody><tr><th colspan="9">Dataset</th></tr><tr><th colspan="9">AMASS-BMLrub-OI (one identity)</th></tr><tr><th>ground truth</th><td>0.13 ± 0.08</td><td>0.23 ± 0.13</td><td>0.38 ± 0.2</td><td>0.43 ± 0.22</td><td>0.49 ± 0.25</td><td>0.51 ± 0.26</td><td>0.49 ± 0.28</td><td>0.47 ± 0.28</td></tr><tr><th>SpecTrHuMS-OI-ES</th><td>0.4 ± 0.17</td><td>0.48 ± 0.21</td><td>0.63 ± 0.31</td><td>0.7 ± 0.35</td><td>0.81 ± 0.43</td><td>0.87 ± 0.47</td><td>0.89 ± 0.5</td><td>0.88 ± 0.52</td></tr><tr><th>SpecTrHuMS-OI</th><td>0.2 ± 0.09</td><td>0.29 ± 0.13</td><td>0.42 ± 0.2</td><td>0.47 ± 0.21</td><td>0.54 ± 0.23</td><td>0.57 ± 0.24</td><td>0.57 ± 0.26</td><td>0.57 ± 0.27</td></tr><tr><th colspan="9">Dataset</th></tr><tr><th colspan="9">AMASS-BMLrub-MI (multiple identities)</th></tr><tr><th>ground truth</th><td>0.13 ± 0.08</td><td>0.24 ± 0.14</td><td>0.39 ± 0.21</td><td>0.44 ± 0.23</td><td>0.5 ± 0.26</td><td>0.52 ± 0.27</td><td>0.5 ± 0.29</td><td>0.48 ± 0.29</td></tr><tr><th>SpecTrHuMS-MI</th><td>0.37 ± 0.14</td><td>0.43 ± 0.15</td><td>0.55 ± 0.2</td><td>0.59 ± 0.21</td><td>0.65 ± 0.23</td><td>0.68 ± 0.24</td><td>0.68 ± 0.26</td><td>0.67 ± 0.27</td></tr></tbody></table>
MELV et leurs écarts types correspondants pour le même modèle arrêté à l'époque donnant les meilleurs résultats de MPJPE et complètement entraîné par rapport aux valeurs de vérités terrain. Les résultats démontrent qu'avec un entraînement plus long, le modèle entièrement entraîné est capable de mieux préserver les longueurs d'arêtes que le modèle arrêté prématurément.

Nous illustrons maintenant comment notre modèle apprend correctement à préserver l'identité d'un maillage tout en le faisant bouger. Nous utilisons pour cela une base de données similaire à la précédente mais en introduisant la variation de l'identité (avec le suffixe MI pour *Multiple Identities*). À notre connaissance, il n'existe aucune recherche qui se concentre sur une tâche de prédiction et qui génère directement des surfaces, ce qui rend impossible la comparaison de la qualité de nos surfaces générées avec celles de travaux antérieurs. Cependant, nous montrons dans le tableau 5.3 que notre modèle, lorsqu'il utilise plusieurs identités, obtient des résultats similaires en terme de préservation des longueurs d'arête par rapport aux modèles qui n'emploient qu'une seule identité. La conservation des longueurs d'arête dans les deux bases de données est approximativement la même, comme l'indiquent les lignes de vérité terrain, ce qui signifie que les valeurs sont comparables (la ligne de vérité terrain dans le tableau 5.3 indique la MELV sur les données contenues dans la base d'entraînement). Plus précisément, on peut observer que l'évolution de la MELV ralentit significativement à 560ms à environ 0.5mm, indiquant que l'évaluation devrait converger vers cette valeur. Nous notons que la longueur moyenne des arêtes de la base de données avec plusieurs identités est d'environ 16 mm.

## Résultats qualitatifs

Dans les figures 5.4 et 5.5, nous comparons des résultats visuels de prédicitions sur l'ensemble de test avec une identité lors de l'utilisation d'un modèle arrêté tôt et donnant les meilleurs résultats en termes de MPJPE et d'un modèle entièrement entraîné. Les MELV sont indiquées dans les légendes de la figure pour les vérités terrain et les prédicitions du modèle. En observant ces valeurs et les représentations visuelles sur les deux figures, il est évident que le modèle entraîné pendant une durée plus longue présente une capacité supérieure à maintenir les longueurs des bras.

Dans les figures 5.6 et 5.7, nous montrons des résultats visuels obtenus depuis le modèle utilisant l'ensemble de données à identités multiples (SpecTrHuMS-MI). Les deux figures montrent la capacité de notre modèle à préserver correctement l'identité. De même que pour le modèle entraîné en utilisant une seule identité, le mouvement généré n'est pas nécessairement proche de la vérité terrain mais reste réaliste. Néanmoins, le modèle est capable de comprendre comment déplacer les coefficients spectraux, et donc les sommets des maillages en entrée, tout en conservant l'apparence du sujet. Cela est une qualité cruciale pour de nombreuses applications du monde réel.

Pour résumer, le modèle présentant les meilleurs résultats est celui entièrement entraîné même si son score MPJPE est moins bon. Ceci est visuellement mis en
<figure><img src="image_55.png" /></figure>

FIGURE 5.4 – Comparaison visuelle de notre modèle utilisant une identité dont l’entraînement a été arrêté prématurément (SpecTrHuMS-OI-ES) avec notre modèle entièrement entraîné (SpecTrHuMS-OI) sur la base de données de test. Alors que le modèle arrêté prématurément donne de meilleurs scores MPJPE, le modèle entièrement entraîné est capable de mieux préserver les longueurs des arêtes. Les maillages bleus représentent les vérités terrain avec une MELV de 0,72 mm. Les maillages oranges représentent la génération de nos modèles, avec une MELV de 2,03 mm pour le SpecTrHuMS-OI-ES et de 0,59 mm pour le SpecTrHuMS-OI. Toutes les MELV indiquées dans cette légende concernent le dernier pas de temps.
<figure><img src="image_56.png" /></figure>

FIGURE 5.5 – Comparaison visuelle de notre modèle utilisant une identité dont l’entraînement a été arrêté prématurément (SpecTrHuMS-OI-ES) avec notre modèle entièrement entraîné (SpecTrHuMS-OI) sur la base de données de test. Alors que le modèle arrêté prématurément donne de meilleurs scores MPJPE, le modèle entièrement entraîné est capable de mieux préserver les longueurs des arêtes. Les maillages bleus représentent les vérités terrain avec une MELV de 0,96 mm. Les maillages oranges représentent la génération de nos modèles, avec une MELV de 2,31 pour le SpecTrHuMS-OI-ES et de 0,64 pour le SpecTrHuMS-OI. Toutes les MELV indiquées dans cette légende concernent le dernier pas de temps.
<figure><img src="image_57.png" /><figcaption>FIGURE 5.6 – Résultats visuels en utilisant un modèle entraîné sur une base de données à identités multiples (SpecTrHuMS-MI) : l’identité des formes est bien préservée tout en générant un mouvement réaliste.</figcaption></figure>

<figure><img src="image_58.png" /><figcaption>FIGURE 5.7 – Résultats visuels en utilisant un modèle entraîné sur une base de données à identités multiples (SpecTrHuMS-MI) : l’identité des formes est bien préservée tout en générant un mouvement réaliste.</figcaption></figure>
évidence dans les figures 5.4 et 5.5 : lorsque les longueurs de bras ne sont pas conser-
vées, la MPJPE est meilleure, ce qui signifie que cette métrique n'est pas adaptée
à notre problématique. C'est pourquoi la métrique MELV est plus pertinente (voir
figure 5.3). Il en résulte des prédictions qui peuvent s'écarter des vérités de terrain
mais qui sont plus réalistes. À l'avenir, des mesures concernant le réalisme d'un
mouvement devraient être introduites.

Nous présentons également des comparaisons visuelles avec siMLPe [57] dans les figures 5.8 et 5.9. Nous rappelons que leur architecture prend en entrée des articulations de squelettes alors que notre modèle prend en entrée des coefficients spectraux contenant l'information géométrique (nous obtenons les positions des articulations à partir des sommets du maillage en utilisant la matrice de régression disponible dans le processus SMPL). Dans la figure 5.8, pour le premier exemple, le mouvement prédit par siMLPe est plus proche de la vérité terrain, tandis que le mouvement prédit par notre modèle s'en écarte tout en restant réaliste, reflétant l'ambiguïté de l'évaluation MPJPE abordée précédemment. Dans les autres exemples, les deux travaux ont tendance à produire des mouvements moins dynamiques que les vérités terrain, mais notre méthode est capable de générer plus de mouvements que siMLPe (voir les figures 5.8 et 5.9 en bas). De plus, dans le cas de siMLPe, les squelettes générés peuvent avoir des longueurs de bras réduites (voir figure 5.9 à la deuxième ligne).

Une vidéo disponible en ligne (https://youtu.be/sIw0vJCzfcg) est fournie afin
de mieux visualiser les résultats.

5.4.6 Autres applications

Nous montrons dans cette section des résultats supplémentaires pour d'autres
applications, d'abord sur une tâche de prédiction à long terme qui ne nécessite
pas un autre entraînement, puis sur une tâche de complétion (in-betweening) qui
nécessite une autre méthode d'apprentissage, et enfin sur une tâche de prédiction
lors de l'utilisation d'une base de données composée de surfaces qui ne peuvent pas
être approximées par des squelettes.

Prédiction à long terme

Afin de prédire à plus long terme un mouvement donné, nous adoptons une
méthode autorégressive. Cette approche consiste à donner un ensemble initial de 50
poses d'un mouvement au modèle et à prédire les 25 suivantes. Les poses prédites
sont ensuite ajoutées à l'ensemble initial, et le processus est répété avec la dernière
seconde du mouvement en entrée et les poses nouvellement prédites. En répétant
ce processus de manière itérative, nous sommes en mesure de générer une séquence
de poses qui extrapole le mouvement d'origine sur une longue période de temps.
La figure 5.10 montre des exemples de cette application. La première ligne montre
la prédiction à long terme d'un mouvement de bras. Sur la deuxième ligne, une
<figure><img src="image_59.png" /></figure>

FIGURE 5.8 – Comparaison visuelle avec siMLPe [57]. Dans notre cas, nous obtenons les positions des articulations à partir des sommets du maillage en utilisant la matrice de régression disponible dans le processus SMPL, tandis que siMLPe fonctionne directement avec les jointures des squelettes.
<figure><img src="image_60.png" /><figcaption>FIGURE 5.9 – Comparaison visuelle avec siMLPe [57]. Dans notre cas, nous obtenons les positions des articulations à partir des sommets du maillage en utilisant la matrice de régression disponible dans le processus SMPL, tandis que siMLPe fonctionne directement avec les jointures des squelettes.</figcaption></figure>
<figure><img src="image_61.png" /></figure>

FIGURE 5.10 – Exemples d'extrapolation. Les maillages bleus sont donnés en entrée au modèle et les maillages oranges sont générés de manière autorégressive : 2 secondes sont données en entrée, 1 seconde est générée, et les secondes suivantes sont générées en donnant en entrée les générations précédentes. Le modèle utilisé est SHTMS-MI, et un total de 6 secondes sont produites. Le modèle est capable d'extrapoler un mouvement tout en conservant l'information d'identité et de mouvement.

animation de marche est générée, similaire à la séquence de base. Le modèle est capable de générer correctement un mouvement tout en conservant les informations de mouvement et d'identité. Il est important de noter que la génération de poses supplémentaires avec cette méthode autorégressive peut être réalisée en temps réel.

## Complétion (in-betweening)

Parce que notre approche utilise une architecture transformeur, elle peut être facilement appliquée à d'autres tâches telles que la complétion. Dans cette application supplémentaire, qui nécessite un nouvel apprentissage, le modèle apprend à prédire le mouvement entre deux poses connues, ce qui nécessite de donner deux secondes de mouvement et une dernière pose supplémentaire. L'adaptation de notre approche à la complétion nécessite uniquement l'ajout d'une pose supplémentaire aux données en entrée et le remplacement des variables latentes inconnues par une interpolation entre la dernière pose des données en entrée et la pose supplémentaire (voir figure 5.2). La figure 5.11 montre un exemple de cette application. Le modèle est capable d'interpoler correctement entre deux poses tout en tenant compte du mouvement précédent et en préservant les longueurs d'arête.

## Application à d'autres bases de données

Afin de prouver la généralisabilité de notre méthode, nous présentons des expériences sur la prédiction de simulations d'un morceau de tissu. A l'aide de Blender [34], nous générons un maillage triangulaire représentant un morceau de tissu (voir figure 5.12) composé de 484 sommets, tout en lui attribuant un *modificateur* permettant la simulation physique et réaliste de la matière. À l'aide de ce maillage, 20 000 simulations de deux secondes sont créées dans lesquelles deux sommets aléatoires différents sont épinglés et dans lesquelles la surface subit la gravité et des
<figure><img src="image_62.png" /><figcaption>FIGURE 5.11 – Exemples de complétion. Le modèle est capable d'interpoler correctement entre deux poses tout en tenant compte du mouvement précédent.</figcaption></figure>

auto-collisions (16 000 sont utilisées pour l'entraînement et 4 000 pour les tests). Le maillage est géométriquement asymétrique de sorte que les simulations générées soient toujours différentes. Le Laplacien topologique avec ses vecteurs propres sont ensuite calculés à partir de la connectivité, permettant de créer des séquences de co-efficients spectraux qui sont données en entrée à notre modèle de la même manière que dans les figures 5.1 et 5.2 dans le cas de la prédiction, mais avec une seconde connue et une seconde de prédiction.

Dans le tableau 5.4, des évaluations quantitatives présentent les racines de l'erreur quadratique moyenne (root-mean-square error ou RMSE) entre les vérités terrain et les surfaces générées à chaque pas de temps sur l'ensemble de données de

<table><caption>TABLE 5.4 – Comparaison des racines de l'erreur quadratique moyenne (root-mean-square error ou RMSE) sur les sommets des maillages pour les modèles entraînés sur l'ensemble représentant des humains et utilisant une seule identité et sur l'ensemble de données de tissu. Les RMSEs sont normalisées par la plus grande boîte englobante de chaque maillage afin que les valeurs soient comparables. Les valeurs sont plus faibles pour l'ensemble de données de tissu, ce qui montre que notre modèle est généralisable.</caption><thead><tr><th>Time (ms)</th><th>80</th><th>160</th><th>320</th><th>400</th><th>560</th><th>720</th><th>880</th><th>1000</th></tr></thead><tbody><tr><th scope="row">Dataset</th><td colspan="8">AMASS-BMLrub-OI</td></tr><tr><th scope="row">SpecTrHuMS-OI</th><td>0.00590</td><td>0.01123</td><td>0.02166</td><td>0.02575</td><td>0.03111</td><td>0.03476</td><td>0.03782</td><td>0.03959</td></tr><tr><th scope="row">Dataset</th><td colspan="8">Cloth dataset</td></tr><tr><th scope="row">SpecTrHuMS-cloth</th><td>0.00625</td><td>0.00672</td><td>0.00769</td><td>0.00819</td><td>0.00935</td><td>0.01069</td><td>0.01228</td><td>0.01369</td></tr></tbody></table>
<figure><img src="image_63.png" /><figcaption>FIGURE 5.12 – Le maillage triangulaire utilisé pour créer une base de données de simulations d’une pièce de tissu. Il est plat (uniquement sur les axes x et y) et composé de 484 sommets. Pour chaque animation, deux sommets aléatoires sont épinglés et le tissu subit la gravité et des auto-collisions. Le maillage est géométriquement asymétrique de sorte que les simulations soient toujours différentes.</figcaption></figure>

test. Les scores sont exprimés en pourcentage de la boîte englobante du maillage correspondant. Les valeurs correspondant à la base de données de tissu sont comparables à celles de l'ensemble représentant des humains, montrant que notre modèle n'a pas à s'appuyer sur des paramétrisations telles que SMPL et est généralisable à des surfaces dynamiques qui ne peuvent pas être approximées avec des squelettes.

Des exemples visuels sont également présentés dans la figure 5.13. Nous pouvons voir que le modèle parvient à prédire des mouvements réalistes d'une simulation de tissu compte tenu du début de la séquence. Les exemples sont présentés sous forme d'images donc les résultats sont difficilement visualisables, mais les auto-collisions sont bien reproduites dans les animations générées. De plus, les plis créés ne sont pas exactement identiques à ceux des vérités terrain, ce qui montre que le modèle n'a pas complètement appris l'ensemble de données mais est plutôt capable de générer un comportement réaliste du tissu sous la gravité. Une vidéo disponible en ligne (https://youtu.be/sIw0vJCzfcg) est fournie afin de mieux visualiser les résultats.

## 5.5 Discussion

Nous avons montré que notre modèle est capable de générer un mouvement humain à court et à long terme en fonction des poses données en entrée, de compléter une partie manquante dans un mouvement, et qu'il est généralisable à d'autres types de surfaces sans avoir à s'appuyer sur des paramétrisations. Néanmoins, l'architecture proposée présente certaines limitations. Premièrement, puisque nous utilisons le Laplacien topologique, seuls les jeux de données constitués de maillages avec une connectivité constante peuvent être fournis en entrée. Dans le cas d'un ensemble de
<figure><img src="image_64.png" /></figure>

FIGURE 5.13 – Exemples visuels de prédictions de simulations de tissu. Pour chaque ligne, une seconde est donnée en entrée (à gauche), en haut se trouvent les vérités terrain et en bas les maillages générés. Pour chaque animation, deux sommets aléatoires sont épinglés (marqués avec des points rouges) et le tissu subit la gravité et des auto-collisions. Notre modèle est capable de reproduire des mouvements, des auto-collisions et des plis réalistes.
données avec un nombre de sommets et une connectivité variables, nous pourrions
prétraiter et remailler tous les échantillons avec une connectivité commune afin qu’ils
soient compatibles avec notre processus. De plus, il est possible d’envisager dans le
futur de pouvoir synchroniser des bases spectrales calculées depuis différentes tri-
angulations en utilisant des cartes fonctionnelles (voir section 3.4). Deuxièmement,
nous n’avons utilisé que 512 fréquences sur les 6 890 disponibles depuis la discré-
tisation SMPL. Cela conduit à des maillages filtrés qui ne montrent pas les détails
des hautes fréquences, en particulier sur le visage, les mains et les pieds. C’est une
limitation, mais aussi un avantage car lors de l’analyse du mouvement d’un corps
humain, les détails contenus dans les hautes fréquences ne sont pas essentiels, et
notre méthode permet un contrôle sur la quantité d’information à laquelle le réseau
a accès. Donner des hautes fréquences à notre modèle est simple, tandis que des
méthodes telles que SMPL nécessitent une mise à niveau pour augmenter la qualité
des maillages [106]. À l’avenir, cet aspect pourrait être amélioré soit en travaillant
avec plus de fréquences, soit en introduisant un réseau de neurones supplémentaire
dont la tâche est de compléter les détails contenus dans les hautes fréquences en
fonction de l’information disponible dans les basses.

5.6 Conclusion

Dans ce chapitre, nous avons présenté SpecTrHuMS, un transformeur spectral
qui peut traiter efficacement des séquences de maillages triangulaires 3D. Notre
modèle est capable de capturer à la fois les dépendances spatiales et temporelles
des formes en travaillant directement avec une représentation compressée de la géo-
métrie. Contrairement à la plupart des travaux antérieurs dans ce domaine, notre
modèle ne repose pas uniquement sur des articulations de squelettes et est capable
de conserver l’information d’identité des formes. De plus, notre modèle est capable
de contrôler le nombre de fréquences données en entrée et donc la quantité d’infor-
mation à laquelle il a accès, et est généralisable à d’autres bases de maillages qui ne
peuvent pas être modélisés à l’aide de squelettes.

Nous avons évalué notre réseau sur une tâche de prédiction principale sur AMASS,
une base de données de séquences de surfaces humaines. De plus, grâce à l'architec-
ture utilisée, nous avons proposé des applications supplémentaires qui peuvent être
facilement implémentées. Nos expériences montrent que notre modèle est capable de
générer correctement une séquence en préservant la longueur des arêtes, produisant
des mouvements réalistes tout en préservant l'identité d'un sujet. Ces résultats dé-
montrent l'efficacité de notre approche pour capturer à la fois les attributs physiques
d'un objet et les variations des caractéristiques de maillages au fil d'une séquence.
Cela suggère que ce travail représente une avancée dans la représentation efficace
de séquences de maillages triangulaires et ouvre de nouvelles possibilités d'applica-
tions dans les domaines de l'animation, de la réalité virtuelle et de l'infographie.
Dans l'ensemble, notre approche consistant à combiner l'information spectrale avec
un autoencodeur convolutif et un transformeur fournit une direction potentiellement
intéressante pour des futurs travaux dans le domaine de l'analyse et du traitement de
formes 4D. À l'avenir, nos efforts seront dirigés vers des entraînements sur des bases
de données plus étendues et vers la modification du processus pour permettre aux
utilisateurs d'influencer la génération. Cela comprendra la modification du nombre
de coefficients spectraux utilisés pour générer des surfaces avec différents degrés de
détail, ainsi que la possibilité de saisir un texte spécifique pour générer des actions
ciblées.
# Chapitre 6

# Conclusion et perspectives

## 6.1 Conclusion

Ce travail s'inscrit dans le projet national ANR Human4D qui souhaite relever de nouveaux défis en proposant une nouvelle modélisation 4D efficiente du corps humain en mouvement et en s'intéressant à la problématique de la génération de séquences de données. Les plateformes permettant la capture de formes dynamiques deviennent de plus en plus accessibles et vont permettre un accès facilité à des bases de données composées de surfaces évoluant dans le temps et contenant l'information détaillée de l'apparence et du mouvement. Le coût de ces acquisitions reste tout de même non négligeable en terme de sujets sollicités pour effectuer la capture ou encore de matériel invoqué pour la numérisation et le nettoyage des données. Plus particulièrement, nous nous sommes intéressés à la création réaliste de nouvelles données en s'appuyant sur l'utilisation de techniques d'analyse spectrale appliquées à des maillages triangulaires et de techniques d'apprentissage profond génératif. Nous avons abordé les différents sujets qui concernent le développement d'un tel processus et introduit deux contributions qui permettent de créer une représentation adaptée au corps humain puis de comprendre et générer des données incluant une dimension temporelle.

Le chapitre 1 introduit le contexte dans lequel se sont déroulés les travaux en présentant les principales méthodes d'apprentissage profond dont s'inspirent les contributions de ce document, en quoi les appliquer aux données traitées est encore aujourd'hui un défi et enfin en quoi traiter la dynamique représente un défi supplémentaire.

Le chapitre 2 présente le formalisme SMPL utilisé durant la thèse pour générer des données d'entraînement ainsi que des maillages issus de la plateforme KINOVIS représentant des objets auxquels notre méthode peut être appliquée dans de futurs travaux. Aussi, les outils permettant l'entraînement et la visualisation des structures générées sont présentés.

Le chapitre 3 aborde la notion d'analyse spectrale appliquée à des maillages triangulaires. La transformée de Fourier permet la mise en œuvre de nombreuses techniques de traitement de signaux et d'images et trouve de nombreuses applications
dans des domaines tels que la reconnaissance vocale, les transmissions numériques ou encore le milieu biomédical. Son lien avec l'opérateur Laplacien est d'abord montré, ce qui permet d'introduire la transformée dans le domaine des fréquences de signaux définis sur des surfaces. Ce document met l'accent sur la projection des signaux définissant la géométrie des objets étudiés, permettant d'obtenir les coefficients spectraux qui en sont une version compactée et ordonnée. L'analyse spectrale de données 3D a largement été utilisée dans la littérature et est aujourd'hui combinée à des réseaux de neurones en exploitant l'information provenant des valeurs propres, des vecteurs propres ou de descripteurs découlant de l'opérateur utilisé. Cependant, les travaux de la littérature ne tirent pas d'avantages directs de ces coefficients spectraux et reposent toujours sur le domaine spatial dans lequel les contraintes sont toujours présentes. Ce travail permet de montrer qu'il est possible de développer des applications d'apprentissage profond génératif en ne se reposant que sur le domaine spectral.

Le chapitre 4 s'intéresse premièrement à un traitement statique de l'information et représente la première contribution. En utilisant une architecture autoencodeur simple prenant en entrée les coefficients spectraux correspondant à des poses, il est possible d'obtenir une représentation simplifiée et adaptée au corps humain. Le fait de donner l'information contenue dans ces coefficients à un réseau de neurones permet de s'affranchir de plusieurs problématiques telles que la non-régularité des sommets dans le domaine spatial ou encore leur grand nombre. En comparaison aux travaux de l'état de l'art, notre méthode permet d'obtenir des résultats compétitifs en terme de reconstruction, de génération et surtout en terme de temps de calcul, permettant de s'entraîner sur des bases de données denses sans temps d'entraînement trop long en raison de la capacité de contrôle sur la quantité d'information (le nombre de fréquences) donnée au réseau. Ce traitement statique permet une compréhension pseudo-dynamique des données en entrée : une interpolation dans l'espace latent construit par le réseau entre deux poses génère un mouvement réalisté. Cependant, le corps humain est capable de se transformer de manière presque isométrique et complexe, et la variété de mouvements possibles entre deux poses ne peut pas être correctement représentée en utilisant de simples interpolations, ce qui implique d'utiliser une architecture qui comprenne le contexte d'une séquence de données. Aussi, l'information d'identité et de pose n'est pas séparée dans l'espace initial des données, et une tâche importante est de développer un algorithme capable de séparer cette information en utilisant les annotations disponibles et sans ajouter de règles géométriques à respecter qui compliqueraient le processus d'apprentissage.

Le chapitre 5 s'intéresse ensuite aux deux problématiques induites par un simple traitement statique. Comprendre le contexte d'une séquence temporelle de données à l'aide de réseaux de neurones est une tâche largement étudiée dans la littérature. L'architecture transformeur récemment introduite permet de traiter ce genre de données efficacement en créant des liens entre des échantillons d'une séquence même s'ils sont temporellement éloignés. Néanmoins, l'entraînement de ce genre d'architectures est déjà coûteux en temps de calcul sur des données à une dimension rendant leur application directe à des données 3D impossible. La représentation créée par le
réseau introduit dans le chapitre précédent permet de s'affranchir de cette problématique. L'espace latent construit par le réseau de la première contribution est une représentation encore plus compacte que le domaine fréquentiel de surfaces et, en raison de sa faible dimension, peut être donné en entrée à une architecture transformeur. Ce processus représente la seconde contribution de la thèse dont le principal apport est, en comparaison à l'état de l'art concernant la prédiction, l'inclusion de l'information surfacique dans un traitement dynamique de corps humain en mouvement. Aussi, notre processus peut être employé pour traiter des surfaces qui ne sont pas approximables par des squelettes. Le modèle est principalement évalué sur une tâche de prédiction de mouvement, mais la structure de l'architecture utilisée le rend facilement applicable à d'autres tâches comme de la génération à long terme. Le fait que le modèle réussisse à générer des mouvements réalistes tout en conservant l'identité du sujet montre enfin que la séparation de l'information d'identité et de pose est partiellement réalisée de manière semi-supervisée (en utilisant l'annotation d'identité) et sans ajouter de propriétés géométriques à respecter.

Les travaux présentés contribuent au domaine de l'informatique graphique en permettant de générer des séquences de surfaces représentant des corps humains en mouvement. La méthode proposée permet de résoudre des problèmes liés au domaine d'étude de l'apprentissage profond géométrique (Geometric Deep Learning) récemment introduit et présente des avantages qui introduisent une nouvelle manière de traiter des données 3D et 4D. Mais la manière de traiter l'information présente aussi des limitations, ouvrant des perspectives pour de futurs travaux.

## 6.2 Perspectives

La littérature concernant le développement d'architectures d'apprentissage profond est en expansion constante, avec de nombreuses contributions qui enrichissent notre compréhension générale de ce domaine. Les méthodes d'apprentissage et architectures exploitées ici sont relativement simples, et une première perspective est d'envisager l'utilisation de techniques plus poussées qui pourraient améliorer les résultats obtenus pour le traitement statique ou dynamique de l'information. Par exemple, l'autoencodeur pourrait être remplacé par un GAN, un VAE, un transformeur ou une de leurs variantes (voir section 1.1.1). Cela permettrait éventuellement de créer un espace latent de meilleure qualité, proposant une meilleure génération de poses possibles et améliorant les résultats obtenus avec le processus dynamique qui utilise ce dernier. Aussi, le transformeur utilisé pour les séquences pourrait être remplacé par une version créant lui aussi un espace latent dans lequel des interpolations entre animations seraient possibles. Le modèle de diffusion, largement utilisé ces dernières années dans la littérature, pourrait être utilisé afin de donner une réelle possibilité de générer du contenu. L'ajout de conditionnement pourrait enfin apporter un contrôle de l'utilisateur sur le processus de génération.

La base de données AMASS utilise le formalisme SMPL, ce qui génère des maillages ayant un faible nombre de sommets et possédant peu de détails concernant
la surface. L'accès à une base de données possédant plus de détails sur les surfaces (morphologiques ou textiles) et assez dense pour un apprentissage pourrait donner l'occasion de mettre plus en avant l'utilisation de la compaction de l'énergie du domaine spectral et le contrôle offert par notre méthode sur la quantité d'information donnée. Utiliser des objets comprenant plus de détails et une géométrie plus précise implique de traiter plus d'information. D'autres travaux pourraient concerner l'apport de plus de fréquences aux modèles afin d'augmenter la quantité d'information fournie aux réseaux sans détériorer la qualité des résultats et sans temps de calcul plus longs.

Une autre caractéristique importante du formalisme SMPL est la connectivité commune entre les échantillons, permettant la projection des géométries de tous les maillages sur une base commune obtenue depuis le Laplacien topologique. Dans le cas d'une base de données composée de plusieurs connectivités différentes, notre méthode n'est plus applicable. Une solution simple est de remailler tous les échantillons afin qu'ils aient la même discrétisation, permettant l'application directe de notre méthode à cette dernière. Autrement, une méthode consisterait à synchroniser les domaines spectraux des différentes connectivités. Pour l'instant, le calcul des cartes fonctionnelles (*Functional Maps*) ne permet pas de trouver facilement des synchronisations entre différents domaines spectraux, mais de futurs travaux concernant ce processus pourraient améliorer leur qualité. Cette méthode nécessite de calculer un opérateur pour chaque échantillon, impliquant un temps de calcul beaucoup plus long. Des recherches pour optimiser le calcul d'un opérateur seraient donc aussi nécessaires.

Notre méthode n'utilise que les coefficients spectraux en entrée du modèle. Il serait envisageable de donner plus d'information telle que des descripteurs calculés depuis les valeurs ou vecteurs propres. Cela permettrait au réseau de générer des surfaces qui respectent certaines contraintes géométriques telles que des distances géodésiques ou encore des quantités de diffusion de l'information calculées sur les surfaces.

Finalement, de manière plus générale, notre méthode pourrait être utilisée pour étudier tout type d'objets dynamiques : animaux, protéines, réseaux sociaux et financiers ou même des structures cosmologiques. L'analyse temporelle de surfaces dynamiques n'est pas seulement applicable à la compréhension du mouvement du corps humain, et les travaux réalisés dans cette thèse sont en lien avec un domaine d'étude bien plus large et précurseur qui prendra probablement de plus en plus de place dans le paysage de l'apprentissage profond génératif ces prochaines années : l'analyse et la création de données 3D/4D assistée par intelligence artificielle.
Bibliographie

[1] Eman Ahmed, Alexandre Saint, Abd El Rahman Shabayek, Kseniya Cherenkova, Rig Das, Gleb Gusev, Djamila Aouada, and Bjorn Ottersten. A survey on Deep Learning Advances on Different 3D Data Representations. 2018. Publisher: arXiv Version Number: 2.

[2] Emre Aksan, Manuel Kaufmann, Peng Cao, and Otmar Hilliges. A Spatio-temporal Transformer for 3D Human Motion Prediction. In *2021 International Conference on 3D Vision (3DV)*, pages 565–574, London, United Kingdom, December 2021. IEEE.

[3] Muhammad Shamsul Alam, Farhan Bin Mohamed, Ali Selamat, and Akm Belal Hossain. A Review of Recurrent Neural Network Based Camera Localization for Indoor Environments. *IEEE Access*, 11 :43985–44009, 2023.

[4] Andrea Apicella, Francesco Donnarumma, Francesco Isgrò, and Roberto Prevete. A survey on modern trainable activation functions. *Neural Networks*, 138 :14–32, June 2021.

[5] Andrea Asperti, Davide Evangelista, and Elena Loli Piccolomini. A Survey on Variational Autoencoders from a Green AI Perspective. *SN Computer Science*, 2(4) :301, July 2021.

[6] James Atwood and Don Towsley. Diffusion-Convolutional Neural Networks, July 2016. arXiv :1511.02136 [cs].

[7] Mathieu Aubry, Ulrich Schlickewei, and Daniel Cremers. The wave kernel signature: A quantum mechanical approach to shape analysis. In *2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops)*, pages 1626–1633, Barcelona, Spain, November 2011. IEEE.

[8] Tristan Aumentado-Armstrong, Stavros Tsogkas, Sven Dickinson, and Allan Jepson. Disentangling Geometric Deformation Spaces in Generative Latent Shape Models. *International Journal of Computer Vision*, 131(7) :1611–1641, July 2023.

[9] Tristan Aumentado-Armstrong, Stavros Tsogkas, Allan Jepson, and Sven Dickinson. Geometric Disentanglement for Generative Latent Shape Models. In *2019 IEEE/CVF International Conference on Computer Vision (ICCV)*, pages 8180–8189, Seoul, Korea (South), October 2019. IEEE.

[10] Dor Bank, Noam Koenigstein, and Raja Giryes. Autoencoders. In Lior Rokach, Oded Maimon, and Erez Shmueli, editors, *Machine Learning for Data Science Handbook*, pages 353–374. Springer International Publishing, Cham, 2023.
[11] Maysam Behmanesh, Maximilian Krahn, and Maks Ovsjanikov. TIDE: Time Derivative Diffusion for Deep Learning on Graphs, June 2023. arXiv:2212.02483 [cs].

[12] Filippo Maria Bianchi, Daniele Grattarola, and Cesare Alippi. Spectral Clustering with Graph Neural Networks for Graph Pooling, December 2020. arXiv:1907.00481 [cs, stat].

[13] Federica Bogo, Javier Romero, Matthew Loper, and Michael J. Black. FAUST: Dataset and Evaluation for 3D Mesh Registration. In *2014 IEEE Conference on Computer Vision and Pattern Recognition*, pages 3794–3801, Columbus, OH, USA, June 2014. IEEE.

[14] Federica Bogo, Javier Romero, Gerard Pons-Moll, and Michael J. Black. Dynamic FAUST: Registering Human Bodies in Motion. In *2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)*, pages 5573–5582, Honolulu, HI, July 2017. IEEE.

[15] Davide Boscaini, Jonathan Masci, Emanuele Rodolà, and Michael Bronstein. Learning shape correspondence with anisotropic convolutional neural networks. In D. Lee, M. Sugiyama, U. Luxburg, I. Guyon, and R. Garnett, editors, *Advances in Neural Information Processing Systems*, volume 29. Curran Associates, Inc., 2016.

[16] Giorgos Bouritsas, Sergiy Bokhnyak, Stylianos Ploumpis, Stefanos Zafeiriou, and Michael Bronstein. Neural 3D Morphable Models: Spiral Convolutional Networks for 3D Shape Representation Learning and Generation. In *2019 IEEE/CVF International Conference on Computer Vision (ICCV)*, pages 7212–7221, Seoul, Korea (South), October 2019. IEEE.

[17] Michael M. Bronstein, Joan Bruna, Yann LeCun, Arthur Szlam, and Pierre Vandergheynst. Geometric Deep Learning: Going beyond Euclidean data. *IEEE Signal Processing Magazine*, 34(4):18–42, July 2017.

[18] Michael M. Bronstein and Iasonas Kokkinos. Scale-invariant heat kernel signatures for non-rigid shape recognition. In *2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition*, pages 1704–1711, San Francisco, CA, USA, June 2010. IEEE.

[19] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared K plan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCand- lish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. 2020. Publisher: arXiv Version Number: 4.

[20] Joan Bruna, Wojciech Zaremba, Arthur Szlam, and Yann LeCun. Spectral Networks and Locally Connected Networks on Graphs, May 2014. arXiv:1312.6203 [cs].
[21] Judith Butepage, Michael J. Black, Danica Kragic, and Hedvig Kjellstrom. Deep Representation Learning for Human Motion Prediction and Classification. In *2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)*, pages 1591–1599, Honolulu, HI, July 2017. IEEE.

[22] Judith Butepage, Hedvig Kjellstrom, and Danica Kragic. Anticipating Many Futures: Online Human Motion Prediction and Generation for Human-Robot Interaction. In *2018 IEEE International Conference on Robotics and Automation (ICRA)*, pages 4563–4570, Brisbane, QLD, May 2018. IEEE.

[23] Yujun Cai, Lin Huang, Yiwei Wang, Tat-Jen Cham, Jianfei Cai, Junsong Yuan, Jun Liu, Xu Yang, Yiheng Zhu, Xiaohui Shen, Ding Liu, Jing Liu, and Na-dia Magnenat Thalmann. Learning Progressive Joint Propagation for Human Motion Prediction. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, *Computer Vision – ECCV 2020*, volume 12352, pages 226–242. Springer International Publishing, Cham, 2020. Series Title: Lecture Notes in Computer Science.

[24] Wenming Cao, Canta Zheng, Zhiyue Yan, and Weixin Xie. Geometric deep learning: progress, applications and challenges. *Science China Information Sciences*, 65(2):126101, February 2022.

[25] Yihan Cao, Siyu Li, Yixin Liu, Zhiling Yan, Yutong Dai, Philip S. Yu, and Li-chao Sun. A Comprehensive Survey of AI-Generated Content (AIGC): A History of Generative AI from GAN to ChatGPT, March 2023. arXiv:2303.04226 [cs].

[26] Benjamin Chamberlain, James Rowbottom, Davide Eynard, Francesco Di Giovanni, Xiaowen Dong, and Michael Bronstein. Beltrami Flow and Neural Diffusion on Graphs. In M. Ranzato, A. Beygelzimer, Y. Dauphin, P. S. Liang, and J. Wortman Vaughan, editors, *Advances in Neural Information Processing Systems*, volume 34, pages 1594–1609. Curran Associates, Inc., 2021.

[27] Benjamin Paul Chamberlain, James Rowbottom, Maria Gorinova, Stefan Webb, Emanuele Rossi, and Michael M. Bronstein. GRAND: Graph Neural Diffusion, September 2021. arXiv:2106.10934 [cs, stat].

[28] R. Qi Charles, Hao Su, Mo Kaichun, and Leonidas J. Guibas. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. In *2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)*, pages 77–85, Honolulu, HI, July 2017. IEEE.

[29] Chaoqi Chen, Yushuang Wu, Qiyuan Dai, Hong-Yu Zhou, Mutian Xu, Sibei Yang, Xiaoguang Han, and Yizhou Yu. A Survey on Graph Neural Networks and Graph Transformers in Computer Vision: A Task-Oriented Perspective, October 2022. arXiv:2209.13232 [cs].

[30] Zhixiang Chen and Tae-Kyun Kim. Learning Feature Aggregation for Deep 3D Morphable Models, May 2021. arXiv:2105.02173 [cs].

[31] Hsu-Kuang Chiu, Ehsan Adeli, Borui Wang, De-An Huang, and Juan Carlos Niebles. Action-Agnostic Human Pose Forecasting. In *2019 IEEE Winter
*Conference on Applications of Computer Vision (WACV)*, pages 1423–1432, Waikoloa Village, HI, USA, January 2019. IEEE.

[32] Kyunghyun Cho, Bart Van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. In *Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, pages 1724–1734, Doha, Qatar, 2014. Association for Computational Linguistics.

[33] Sakib H. Chowdhury, Md. Robius Sany, Md. Hafiz Ahamed, Sajal K. Das, Faisal Rahman Badal, Prangon Das, Zinat Tasneem, Md. Mehedi Hasan, Md. Robiul Islam, Md. Firoj Ali, Sarafat Hussain Abhi, Md. Manirul Islam, and Subrata Kumar Sarker. A State-of-the-Art Computer Vision Adopting Non-Euclidean Deep-Learning Models. *International Journal of Intelligent Systems*, 2023 :1–33, May 2023.

[34] Blender Online Community. *Blender - a 3D modelling and rendering package*. Blender Foundation, Stichting Blender Foundation, Amsterdam, 2018.

[35] Luca Cosmo, Antonio Norelli, Oshri Halimi, Ron Kimmel, and Emanuele Rodolà. LIMP : Learning Latent Shape Representations with Metric Preservation Priors. In Andrea Vedaldi, Horst Bischof, Thomas Brox, and Jan-Michael Frahm, editors, *Computer Vision – ECCV 2020*, volume 12348, pages 19–35. Springer International Publishing, Cham, 2020. Series Title : Lecture Notes in Computer Science.

[36] Luca Cosmo, Mikhail Panine, Arianna Rampini, Maks Ovsjanikov, Michael M. Bronstein, and Emanuele Rodolà. Isospectralization, or how to hear shape, style, and correspondence. In *2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)*, pages 7521–7530, June 2019. arXiv:1811.11465 [cs].

[37] Keenan Crane, Ulrich Pinkall, and Peter Schröder. Spin transformations of discrete surfaces. *ACM Transactions on Graphics*, 30(4):1–10, July 2011.

[38] Keenan Crane, Clarisse Weischedel, and Max Wardetzky. Geodesics in heat : A new approach to computing distance based on heat flow. *ACM Transactions on Graphics*, 32(5):1–11, September 2013.

[39] Florinel-Alin Croitoru, Vlad Hondru, Radu Tudor Ionescu, and Mubarak Shah. Diffusion Models in Vision : A Survey. *IEEE Transactions on Pattern Analysis and Machine Intelligence*, 45(9):10850–10869, September 2023.

[40] Michaël Defferrard, Xavier Bresson, and Pierre Vandergheynst. Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering, February 2017. arXiv:1606.09375 [cs, stat].

[41] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding, May 2019. arXiv:1810.04805 [cs].

[42] Nicolas Donati, Abhishek Sharma, and Maks Ovsjanikov. Deep Geometric Functional Maps : Robust Feature Learning for Shape Correspondence. In
*Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)*, June 2020.

[43] Bardia Doosti, Shujon Naha, Majid Mirbagheri, and David J. Crandall. HOPE-Net : A Graph-Based Model for Hand-Object Pose Estimation. In *2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)*, pages 6607–6616, Seattle, WA, USA, June 2020. IEEE.

[44] Ke-Lin Du, Chi-Sing Leung, Wai Ho Mow, and M. N. S. Swamy. Perceptron : Learning, Generalization, Model Selection, Fault Tolerance, and Role in the Deep Learning Era. *Mathematics*, 10(24) :4730, December 2022.

[45] Yinglin Duan, Tianyang Shi, Zhengxia Zou, Yenan Lin, Zhehui Qian, Bohan Zhang, and Yi Yuan. Single-Shot Motion Completion with Transformer, March 2021. arXiv :2103.00776 [cs].

[46] David Duvenaud, Dougal Maclaurin, Jorge Aguilera-Iparraguirre, Rafael Gómez-Bombarelli, Timothy Hirzel, Alán Aspuru-Guzik, and Ryan P. Adams. Convolutional Networks on Graphs for Learning Molecular Fingerprints, November 2015. arXiv :1509.09292 [cs, stat].

[47] Jeffrey L. Elman. Finding Structure in Time. *Cognitive Science*, 14(2) :179–211, March 1990.

[48] Victoria Fernández Abrevaya, Sandeep Manandhar, Franck Hétroy-Wheeler, and Stefanie Wuhrer. A 3D+t Laplace operator for temporal mesh sequences. *Computers & Graphics*, 58 :12–22, August 2016.

[49] Matthias Fey, Jan Eric Lenssen, Frank Weichert, and Heinrich Muller. SplineCNN : Fast Geometric Deep Learning with Continuous B-Spline Kernels. In *2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition*, pages 869–877, Salt Lake City, UT, June 2018. IEEE.

[50] Miroslav Fiedler. Algebraic connectivity of graphs. *Czechoslovak Mathematical Journal*, 23(2) :298–305, 1973. Publisher : Institute of Mathematics, Academy of Sciences of the Czech Republic.

[51] Simone Foti, Bongjin Koo, Danail Stoyanov, and Matthew J. Clarkson. 3D Generative Model Latent Disentanglement via Local Eigenprojection. *Computer Graphics Forum*, 42(6) :e14793, September 2023.

[52] Katerina Fragkiadaki, Sergey Levine, Panna Felsen, and Jitendra Malik. Recurrent Network Models for Human Dynamics. In *2015 IEEE International Conference on Computer Vision (ICCV)*, pages 4346–4354, Santiago, Chile, December 2015. IEEE.

[53] Shunwang Gong, Lei Chen, Michael Bronstein, and Stefanos Zafeiriou. SpiralNet++ : A Fast and Highly Efficient Mesh Convolution Operator. In *2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW)*, pages 4141–4148, Seoul, Korea (South), October 2019. IEEE.

[54] Carolyn Gordon, David L. Webb, and Scott Wolpert. One cannot hear the shape of a drum, June 1992. arXiv :math/9207215.
[55] M. Gori, G. Monfardini, and F. Scarselli. A new model for learning in graph domains. In *Proceedings. 2005 IEEE International Joint Conference on Neural Networks, 2005.*, volume 2, pages 729–734, Montreal, Que., Canada, 2005. IEEE.

[56] Liang-Yan Gui, Yu-Xiong Wang, Xiaodan Liang, and José M. F. Moura. Adversarial Geometry-Aware Human Motion Prediction. In *Vittorio Ferrari, Martial Hebert, Cristian Sminchisescu, and Yair Weiss, editors, Computer Vision – ECCV 2018, volume 11208, pages 823–842*. Springer International Publishing, Cham, 2018. Series Title: Lecture Notes in Computer Science.

[57] Wen Guo, Yuming Du, Xi Shen, Vincent Lepetit, Xavier Alameda-Pineda, and Francesc Moreno-Noguer. Back to MLP: A Simple Baseline for Human Motion Prediction. In *2023 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)*, pages 4798–4808, Waikoloa, HI, USA, January 2023. IEEE.

[58] Rana Hanocka, Amir Hertz, Noa Fish, Raja Giryes, Shachar Fleishman, and Daniel Cohen-Or. MeshCNN: a network with an edge. *ACM Transactions on Graphics*, 38(4):1–12, August 2019.

[59] Alejandro Hernandez, Jurgen Gall, and Francesc Moreno. Human Motion Prediction via Spatio-Temporal Inpainting. In *2019 IEEE/CVF International Conference on Computer Vision (ICCV)*, pages 7133–7142, Seoul, Korea (South), October 2019. IEEE.

[60] Sepp Hochreiter and Jürgen Schmidhuber. Long Short-Term Memory. *Neural Computation*, 9(8):1735–1780, November 1997.

[61] Tim Hoffmann and Zi Ye. A Discrete Extrinsic and Intrinsic Dirac Operator. *Experimental Mathematics*, 31(3):920–935, July 2022.

[62] Qixing Huang, Xiangru Huang, Bo Sun, Zaiwei Zhang, Junfeng Jiang, and Chandrajit Bajaj. ARAPReg: An As-Rigid-As Possible Regularization Loss for Learning Deformable Shape Generators, September 2021. arXiv:2108.09432 [cs].

[63] Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Human3.6M: Large Scale Datasets and Predictive Methods for 3D Human Sensing in Natural Environments. *IEEE Transactions on Pattern Analysis and Machine Intelligence*, 36(7):1325–1339, July 2014.

[64] Ashesh Jain, Amir R. Zamir, Silvio Savarese, and Ashutosh Saxena. Structural-RNN: Deep Learning on Spatio-Temporal Graphs. In *2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)*, pages 5308–5317, Las Vegas, NV, USA, June 2016. IEEE.

[65] Thomas N. Kipf and Max Welling. Semi-Supervised Classification with Graph Convolutional Networks, February 2017. arXiv:1609.02907 [cs, stat].

[66] Thomas N. Kipf and Max Welling. Semi-Supervised Classification with Graph Convolutional Networks, February 2017. arXiv:1609.02907 [cs, stat].
[67] Serkan Kiranyaz, Onur Avci, Osama Abdeljaber, Turker Ince, Moncef Gab-bouj, and Daniel J. Inman. 1D convolutional neural networks and applica-tions : A survey. *Mechanical Systems and Signal Processing*, 151 :107398, April 2021.

[68] Ilya Kostrikov, Zhongshi Jiang, Daniele Panozzo, Denis Zorin, and Joan Bruna. Surface Networks. In *2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition*, pages 2540–2548, Salt Lake City, UT, June 2018. IEEE.

[69] Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton. ImageNet classification with deep convolutional neural networks. *Communications of the ACM*, 60(6) :84–90, May 2017.

[70] Lalit Kumar and Dushyant Kumar Singh. A comprehensive survey on generative adversarial networks used for synthesizing multimedia content. *Multimedia Tools and Applications*, March 2023.

[71] Tim Lebailly, Sena Kiciroglu, Mathieu Salzmann, Pascal Fua, and Wei Wang. Motion Prediction Using Temporal Inception Module. In Hiroshi Ishikawa, Cheng-Lin Liu, Tomas Pajdla, and Jianbo Shi, editors, *Computer Vision – ACCV 2020*, volume 12623, pages 651–665. Springer International Publishing, Cham, 2021. Series Title: Lecture Notes in Computer Science.

[72] Andreas M. Lehrmann, Peter V. Gehler, and Sebastian Nowozin. Efficient Nonlinear Markov Models for Human Motion. In *2014 IEEE Conference on Computer Vision and Pattern Recognition*, pages 1314–1321, Columbus, OH, USA, June 2014. IEEE.

[73] Na Lei, Zezeng Li, Zebin Xu, Ying Li, and Xianfeng Gu. What's the Situation With Intelligent Mesh Generation : A Survey and Perspectives. *IEEE Transactions on Visualization and Computer Graphics*, pages 1–20, 2023.

[74] Clément Lemeunier, Florence Denis, Guillaume Lavoué, and Florent Dupont. Representation learning of 3D meshes using an Autoencoder in the spectral domain. *Computers & Graphics*, 107 :131–143, October 2022.

[75] Clément Lemeunier, Florence Denis, Guillaume Lavoué, and Florent Dupont. SpecTrHuMS : Spectral transformer for human mesh sequence learning. *Computers & Graphics*, 115 :191–203, October 2023.

[76] Ron Levie, Federico Monti, Xavier Bresson, and Michael M. Bronstein. Cayley-Nets : Graph Convolutional Neural Networks With Complex Rational Spectral Filters. *IEEE Transactions on Signal Processing*, 67(1) :97–109, January 2019.

[77] B. Levy. Laplace-Beltrami Eigenfunctions Towards an Algorithm That "Understands" Geometry. In *IEEE International Conference on Shape Modeling and Applications 2006 (SMI'06)*, pages 13–13, Matsushima, Japan, 2006. IEEE.

[78] Chen Li, Zhen Zhang, Wee Sun Lee, and Gim Hee Lee. Convolutional Sequence to Sequence Model for Human Dynamics. In *2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition*, pages 5226–5234, Salt Lake City, UT, June 2018. IEEE.
[79] Yujia Li, Daniel Tarlow, Marc Brockschmidt, and Richard Zemel. Gated Graph Sequence Neural Networks, September 2017. arXiv:1511.05493 [cs, stat].

[80] Zewen Li, Fan Liu, Wenjie Yang, Shouheng Peng, and Jun Zhou. A Survey of Convolutional Neural Networks: Analysis, Applications, and Prospects. *IEEE Transactions on Neural Networks and Learning Systems*, 33(12):6999-7019, December 2022.

[81] Fan Liang, Cheng Qian, Wei Yu, David Griffith, and Nada Golmie. Survey of Graph Neural Networks and Applications. *Wireless Communications and Mobile Computing*, 2022:1-18, July 2022.

[82] Isaak Lim, Alexander Dielen, Marcel Campen, and Leif Kobbelt. A Simple Approach to Intrinsic Correspondence Learning on Unstructured 3D Meshes. In Laura Leal-Taixé and Stefan Roth, editors, *Computer Vision - ECCV 2018 Workshops*, volume 11131, pages 349-362. Springer International Publishing, Cham, 2019. Series Title: Lecture Notes in Computer Science.

[83] Lequan Lin, Zhengkun Li, Ruikun Li, Xuliang Li, and Junbin Gao. Diffusion Models for Time Series Applications: A Survey, April 2023. arXiv:2305.00624 [cs].

[84] Or Litany, Tal Remez, Emanuele Rodola, Alex Bronstein, and Michael Bronstein. Deep Functional Maps: Structured Prediction for Dense Shape Correspondence. In *Proceedings of the IEEE International Conference on Computer Vision (ICCV)*, October 2017.

[85] Hsueh-Ti Derek Liu, Alec Jacobson, and Keenan Crane. A Dirac Operator for Extrinsic Shape Analysis. *Computer Graphics Forum*, 36(5):139-149, August 2017.

[86] Zhenguang Liu, Shuang Wu, Shuyuan Jin, Qi Liu, Shijian Lu, Roger Zimmermann, and Li Cheng. Towards Natural and Accurate Future Motion Prediction of Humans and Animals. In *2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)*, pages 9996-10004, Long Beach, CA, USA, June 2019. IEEE.

[87] Matthew Loper, Naureen Mahmood, Javier Romero, Gerard Pons-Moll, and Michael J. Black. SMPL: a skinned multi-person linear model. *ACM Transactions on Graphics*, 34(6):1-16, November 2015.

[88] Tiezheng Ma, Yongwei Nie, Chengjiang Long, Qing Zhang, and Guiqing Li. Progressively Generating Better Initial Guesses Towards Next Stages for High-Quality Human Motion Prediction. In *2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)*, pages 6427-6436, New Orleans, LA, USA, June 2022. IEEE.

[89] Naureen Mahmood, Nima Ghorbani, Nikolaus F. Troje, Gerard Pons-Moll, and Michael Black. AMASS: Archive of Motion Capture As Surface Shapes. In *2019 IEEE/CVF International Conference on Computer Vision (ICCV)*, pages 5441-5450, Seoul, Korea (South), October 2019. IEEE.

[90] Wei Mao, Miaomiao Liu, and Mathieu Salzmann. History Repeats Itself: Human Motion Prediction via Motion Attention. In Andrea Vedaldi, Horst
Bischof, Thomas Brox, and Jan-Michael Frahm, editors, *Computer Vision - ECCV 2020*, volume 12359, pages 474-489. Springer International Publishing, Cham, 2020. Series Title: Lecture Notes in Computer Science.

[91] Wei Mao, Miaomiao Liu, Mathieu Salzmann, and Hongdong Li. Learning Trajectory Dependencies for Human Motion Prediction. In *2019 IEEE/CVF International Conference on Computer Vision (ICCV)*, pages 9488-9496, Seoul, Korea (South), October 2019. IEEE.

[92] Wei Mao, Miaomiao Liu, Mathieu Salzmann, and Hongdong Li. Multi-level Motion Attention for Human Motion Prediction. *International Journal of Computer Vision*, 129(9):2513-2535, September 2021.

[93] Riccardo Marin, Arianna Rampini, Umberto Castellani, Emanuele Rodola, Maks Ovsjanikov, and Simone Melzi. Instant recovery of shape from spectrum via latent space connections. In *2020 International Conference on 3D Vision (3DV)*, pages 120-129, Fukuoka, Japan, November 2020. IEEE.

[94] Riccardo Marin, Arianna Rampini, Umberto Castellani, Emanuele Rodolà, Maks Ovsjanikov, and Simone Melzi. Instant recovery of shape from spectrum via latent space connections, November 2020. arXiv:2003.06523 [cs].

[95] Riccardo Marin, Arianna Rampini, Umberto Castellani, Emanuele Rodolà, Maks Ovsjanikov, and Simone Melzi. Spectral Shape Recovery and Analysis Via Data-driven Connections. *International Journal of Computer Vision*, 129(10):2745-2760, October 2021.

[96] Riccardo Marin, Arianna Rampini, Umberto Castellani, Emanuele Rodolà, Maks Ovsjanikov, and Simone Melzi. Spectral Shape Recovery and Analysis Via Data-driven Connections. *International Journal of Computer Vision*, 129(10):2745-2760, October 2021.

[97] Mathieu Marsot, Stefanie Wuhrer, Jean-Sebastien Franco, and Stephane Durocher. A structured latent space for human body motion generation, September 2022. arXiv:2106.04387 [cs].

[98] Julieta Martinez, Michael J. Black, and Javier Romero. On Human Motion Prediction Using Recurrent Neural Networks. In *2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)*, pages 4674-4683, Honolulu, HI, July 2017. IEEE.

[99] Jonathan Masci, Davide Boscaini, Michael M. Bronstein, and Pierre Vanderheynst. Geodesic Convolutional Neural Networks on Riemannian Manifolds. In *2015 IEEE International Conference on Computer Vision Workshop (ICCVW)*, pages 832-840, Santiago, Chile, December 2015. IEEE.

[100] Mark Meyer, Mathieu Desbrun, Peter Schröder, and Alan H. Barr. Discrete Differential-Geometry Operators for Triangulated 2-Manifolds. In Gerald Farin, Hans-Christian Hege, David Hoffman, Christopher R. Johnson, Konrad Polthier, Hans-Christian Hege, and Konrad Polthier, editors, *Visualization and Mathematics III*, pages 35-57. Springer Berlin Heidelberg, Berlin, Heidelberg, 2003. Series Title: Mathematics and Visualization.
[101] Francesco Milano, Antonio Loquercio, Antoni Rosinol, Davide Scaramuzza, and Luca Carlone. Primal-Dual Mesh Convolutional Neural Networks, October 2020. arXiv:2010.12455 [cs].

[102] Federico Monti, Davide Boscaini, Jonathan Masci, Emanuele Rodola, Jan Svo-boda, and Michael M. Bronstein. Geometric Deep Learning on Graphs and Manifolds Using Mixture Model CNNs. In *2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)*, pages 5425–5434, Honolulu, HI, July 2017. IEEE.

[103] Mathias Niepert, Mohamed Ahmed, and Konstantin Kutzkov. Learning Convolutional Neural Networks for Graphs, June 2016. arXiv:1605.05273 [cs, stat].

[104] Rajendran Nirthika, Siyamalan Manivannan, Amirthalingam Ramanan, and Ruixuan Wang. Pooling in convolutional neural networks for medical image analysis: a survey and an empirical study. *Neural Computing and Applications*, 34(7):5321–5347, April 2022.

[105] Maks Ovsjanikov, Mirela Ben-Chen, Justin Solomon, Adrian Butscher, and Leonidas Guibas. Functional maps: a flexible representation of maps between shapes. *ACM Transactions on Graphics*, 31(4):1–11, August 2012.

[106] Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. Osman, Dimitrios Tzionas, and Michael J. Black. Expressive Body Capture: 3D Hands, Face, and Body From a Single Image. In *2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)*, pages 10967–10977, Long Beach, CA, USA, June 2019. IEEE.

[107] M. Pegoraro, S. Melzi, U. Castellani, R. Marin, and E. Rodolà. Localized Shape Modelling with Global Coherence: An Inverse Spectral Approach. *Computer Graphics Forum*, 41(5):13–24, August 2022.

[108] Mathis Petrovich, Michael J. Black, and Gül Varol. TEMOS: Generating Diverse Human Motions from Textual Descriptions. In Shai Avidan, Gabriel Brostow, Moustapha Cissé, Giovanni Maria Farinella, and Tal Hassner, editors, *Computer Vision – ECCV 2022*, volume 13682, pages 480–497. Springer Nature Switzerland, Cham, 2022. Series Title: Lecture Notes in Computer Science.

[109] Ulrich Pinkall and Konrad Polthier. Computing Discrete Minimal Surfaces and Their Conjugates. *Experimental Mathematics*, 2(1):15–36, January 1993.

[110] Abhinanda R. Punnakkal, Arjun Chandrasekaran, Nikos Athanasiou, Alejandra Quiros-Ramirez, and Michael J. Black. BABEL: Bodies, Action and Behavior with English Labels, June 2021. arXiv:2106.09696 [cs].

[111] Charles R. Qi, Hao Su, Kaichun Mo, and Leonidas J. Guibas. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation, April 2017. arXiv:1612.00593 [cs].

[112] Marie-Julie Rakotosaona and Maks Ovsjanikov. Intrinsic Point Cloud Interpolation via Dual Latent Space Navigation. In Andrea Vedaldi, Horst Bischof,
Thomas Brox, and Jan-Michael Frahm, editors, *Computer Vision - ECCV 2020*, volume 12347, pages 655-672. Springer International Publishing, Cham, 2020. Series Title: Lecture Notes in Computer Science.

[113] Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, and Ilya Sutskever. Zero-Shot Text-to-Image Generation. In *Marina Meila and Tong Zhang, editors, Proceedings of the 38th International Conference on Machine Learning*, volume 139 of *Proceedings of Machine Learning Research*, pages 8821–8831. PMLR, July 2021.

[114] Anurag Ranjan, Timo Bolkart, Soubhik Sanyal, and Michael J. Black. Generating 3D Faces Using Convolutional Mesh Autoencoders. In Vittorio Ferrari, Martial Hebert, Cristian Sminchisescu, and Yair Weiss, editors, *Computer Vision - ECCV 2018, volume 11207*, pages 725–741. Springer International Publishing, Cham, 2018. Series Title: Lecture Notes in Computer Science.

[115] Dan Raviv, Michael M. Bronstein, Alexander M. Bronstein, and Ron Kimmel. Volumetric heat kernel signatures. In *Proceedings of the ACM workshop on 3D object retrieval*, pages 39–44, Firenze Italy, October 2010. ACM.

[116] Javier Romero, Dimitrios Tzionas, and Michael J. Black. Embodied hands: modeling and capturing hands and bodies together. *ACM Transactions on Graphics*, 36(6):1–17, December 2017.

[117] R. Rostami, F. S. Bashiri, B. Rostami, and Z. Yu. A Survey on Data-Driven 3D Shape Descriptors. *Computer Graphics Forum*, 38(1):356–393, February 2019.

[118] Raif M. Rustamov. Laplace-Beltrami Eigenfunctions for Deformation Invariant Shape Representation. page 9 pages, 2007. Artwork Size : 9 pages ISBN : 9783905673463 Publisher : The Eurographics Association.

[119] F. Scarselli, M. Gori, Ah Chung Tsoi, M. Hagenbuchner, and G. Monfardini. The Graph Neural Network Model. *IEEE Transactions on Neural Networks*, 20(1):61–80, January 2009.

[120] Nicholas Sharp, Souhaib Attaiki, Keenan Crane, and Maks Ovsjanikov. DiffusionNet: Discretization Agnostic Learning on Surfaces. *ACM Transactions on Graphics*, 41(3):1–16, June 2022.

[121] Nicholas Sharp, Souhaib Attaiki, Keenan Crane, and Maks Ovsjanikov. DiffusionNet: Discretization Agnostic Learning on Surfaces. *ACM Transactions on Graphics*, 41(3):1–16, June 2022.

[122] Theodoros Sofianos, Alessio Sampieri, Luca Franco, and Fabio Galasso. Space-Time-Separable Graph Convolutional Network for Pose Forecasting. In *2021 IEEE/CVF International Conference on Computer Vision (ICCV)*, pages 11189–11198, Montreal, QC, Canada, October 2021. IEEE.

[123] Kihyuk Sohn, Honglak Lee, and Xinchen Yan. Learning Structured Output Representation using Deep Conditional Generative Models. In C. Cortes, N. Lawrence, D. Lee, M. Sugiyama, and R. Garnett, editors, *Advances in Neural Information Processing Systems*, volume 28. Curran Associates, Inc., 2015.
[124] Olga Sorkine. Laplacian Mesh Processing. *Eurographics 2005 - State of the Art Reports*, page 18 pages, 2005. Artwork Size : 18 pages Publisher : The Eurographics Association.

[125] Yuanhang Su and C.-C. Jay Kuo. Recurrent Neural Networks and Their Memory Behavior: A Survey. *APSIPA Transactions on Signal and Information Processing*, 11(1), 2022.

[126] Jian Sun, Maks Ovsjanikov, and Leonidas Guibas. A Concise and Provably Informative Multi-Scale Signature Based on Heat Diffusion. *Computer Graphics Forum*, 28(5):1383–1392, July 2009.

[127] Zhiyu Sun, Ethan Rooke, Jerome Charton, Yusen He, Jia Lu, and Stephen Baek. ZerNet: Convolutional Neural Networks on Arbitrary Surfaces Via Zernike Local Tangent Space Estimation. *Computer Graphics Forum*, 39(6):204–216, September 2020.

[128] Yongyi Tang, Lin Ma, Wei Liu, and Weishi Zheng. Long-Term Human Motion Prediction by Modeling Motion Context and Enhancing Motion Dynamic, May 2018. arXiv:1805.02513 [cs].

[129] Gabriel Taubin. A signal processing approach to fair surface design. In *Proceedings of the 22nd annual conference on Computer graphics and interactive techniques - SIGGRAPH '95*, pages 351–358, Not Known, 1995. ACM Press.

[130] Graham W Taylor, Geoffrey E Hinton, and Sam Roweis. Modeling Human Motion Using Binary Latent Variables. In B. Schölkopf, J. Platt, and T. Hoffman, editors, *Advances in Neural Information Processing Systems*, volume 19. MIT Press, 2006.

[131] Guy Tevet, Sigal Raab, Brian Gordon, Yonatan Shafir, Daniel Cohen-Or, and Amit H. Bermano. Human Motion Diffusion Model, October 2022. arXiv:2209.14916 [cs].

[132] Hugues Thomas, Charles R. Qi, Jean-Emmanuel Deschaud, Beatriz Marotegui, François Goulette, and Leonidas J. Guibas. KPCConv: Flexible and Deformable Convolution for Point Clouds, August 2019. arXiv:1904.08889 [cs].

[133] Matthew Thorpe, Tan Minh Nguyen, Hedi Xia, Thomas Strohmer, Andrea Bertozzi, Stanley Osher, and Bao Wang. GRAND++: Graph Neural Diffusion with A Source Term. In *International Conference on Learning Representations*, 2022.

[134] B. Vallet and B. Lévy. Spectral Geometry Processing with Manifold Harmonics. *Computer Graphics Forum*, 27(2):251–260, April 2008.

[135] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is All you Need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Visshwanathan, and R. Garnett, editors, *Advances in Neural Information Processing Systems*, volume 30. Curran Associates, Inc., 2017.
[136] Nitika Verma, Edmond Boyer, and Jakob Verbeek. FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis. In *2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition*, pages 2598–2606, Salt Lake City, UT, June 2018. IEEE.

[137] He Wang and Juyong Zhang. A Survey of Deep Learning-Based Mesh Processing. *Communications in Mathematics and Statistics*, 10(1):163–194, March 2022.

[138] J.M. Wang, D.J. Fleet, and A. Hertzmann. Gaussian Process Dynamical Models for Human Motion. *IEEE Transactions on Pattern Analysis and Machine Intelligence*, 30(2):283–298, February 2008.

[139] Yiqun Wang, Jianwei Guo, Dong-Ming Yan, Kai Wang, and Xiaopeng Zhang. A Robust Local Spectral Descriptor for Matching Non-Rigid Shapes With Incompatible Shape Structures. In *2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)*, pages 6224–6233, Long Beach, CA, USA, June 2019. IEEE.

[140] Yiqun Wang, Jing Ren, Dong-Ming Yan, Jianwei Guo, Xiaopeng Zhang, and Peter Wonka. MGCN: descriptor learning using multiscale GCNs. *ACM Transactions on Graphics*, 39(4), August 2020.

[141] Yu Wang, Mirela Ben-Chen, Iosif Polterovich, and Justin Solomon. Steklov Spectral Geometry for Extrinsic Shape Analysis. *ACM Transactions on Graphics*, 38(1):1–21, February 2019.

[142] Yu Wang and Justin Solomon. Intrinsic and extrinsic operators for shape analysis. In *Handbook of Numerical Analysis*, volume 20, pages 41–115. Elsevier, 2019.

[143] B. P. Welford. Note on a Method for Calculating Corrected Sums of Squares and Products. *Technometrics*, 4(3):419–420, August 1962.

[144] Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang, and Philip S. Yu. A Comprehensive Survey on Graph Neural Networks. *IEEE Transactions on Neural Networks and Learning Systems*, 32(1):4–24, January 2021.

[145] Yun-Peng Xiao, Yu-Kun Lai, Fang-Lue Zhang, Chunpeng Li, and Lin Gao. A survey on deep geometry learning: From a representation perspective. *Computational Visual Media*, 6(2):113–133, June 2020.

[146] Kai Xu, Vladimir G. Kim, Qixing Huang, Niloy Mitra, and Evangelos Kalogerakis. Data-driven shape analysis and processing. In *SIGGRAPH ASIA 2016 Courses*, pages 1–38, Macau, November 2016. ACM.

[147] Ling Yang, Zhilong Zhang, Yang Song, Shenda Hong, Runsheng Xu, Yue Zhao, Wentao Zhang, Bin Cui, and Ming-Hsuan Yang. Diffusion Models: A Comprehensive Survey of Methods and Applications, March 2023. arXiv:2209.00796 [cs].

[148] Xiangli Yang, Zixing Song, Irwin King, and Zenglin Xu. A Survey on Deep Semi-supervised Learning. 2021. Publisher: arXiv Version Number: 2.
[149] Zi Ye, Olga Diamanti, Chengcheng Tang, Leonidas Guibas, and Tim Hoffmann. A unified discrete framework for intrinsic and extrinsic Dirac operators for geometry processing. *Computer Graphics Forum*, 37(5):93–106, August 2018.

[150] Rex Ying, Jiaxuan You, Christopher Morris, Xiang Ren, William L. Hamilton, and Jure Leskovec. Hierarchical Graph Representation Learning with Differentiable Pooling, February 2019. arXiv:1806.08804 [cs, stat].

[151] Afia Zafar, Muhammad Aamir, Nazri Mohd Nawi, Ali Arshad, Saman Riaz, Abdulrahman Alruban, Ashit Kumar Dutta, and Sultan Almotairi. A Comparison of Pooling Methods for Convolutional Neural Networks. *Applied Sciences*, 12(17):8643, August 2022.

[152] Chenshuang Zhang, Chaoning Zhang, Mengchun Zhang, and In So Kweon. Text-to-image Diffusion Models in Generative AI: A Survey, April 2023. arXiv:2303.07909 [cs].

[153] H. Zhang, O. Van Kaick, and R. Dyer. Spectral Mesh Processing. *Computer Graphics Forum*, 29(6):1865–1894, September 2010.

[154] Chongyang Zhong, Lei Hu, Zihao Zhang, Yongjing Ye, and Shihong Xia. Spatio-Temporal Gating-Adjacency GCN for Human Motion Prediction. In *2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)*, pages 6437–6446, New Orleans, LA, USA, June 2022. IEEE.

[155] Yi Zhou, Chenglei Wu, Zimo Li, Chen Cao, Yuting Ye, Jason Saragih, Hao Li, and Yaser Sheikh. Fully Convolutional Mesh Autoencoder using Efficient Spatially Varying Kernels, October 2020. arXiv:2006.04325 [cs].

[156] Hao Zou, Zae Myung Kim, and Dongyeop Kang. A Survey of Diffusion Models in Natural Language Processing, June 2023. arXiv:2305.14671 [cs].

[157] Silvia Zuffi, Angjoo Kanazawa, David Jacobs, and Michael J. Black. 3D Menagerie: Modeling the 3D shape and pose of animals, April 2017. arXiv:1611.07700 [cs].