Synthèse de gestes communicatifs via STARGATE (2024)

Abstract: La synthèse de gestes lié à la parole est un domaine de recherche en pleine expansion. Cependant, les nouveaux systèmes utilisent souvent des architectures complexes, les rendant souvent inadaptés à leur utilisation dans des agents conversationnels incarnés ou dans d’autres domaines de recherche comme la linguistique, où le lien entre la parole et les gestes est difficile à étudier manuellement. Cet article présente STARGATE, une nouvelle architecture tirant parti de l’autorégression pour fournir des capacités en temps réel, mais aussi des convolutions de graphe couplées à l’attention pour incorporer des connaissances structurelles explicites et permettre une forte compréhension spatiale et temporelle du geste. Nous avons démontré que notre modèle est capable de générer des gestes convaincants en surpassant l’état de l’art dans une étude quantitative, tout en obtenant des scores légèrement meilleurs en termes de cohérence et de crédibilité des gestes générés liés à la parole sur une étude perceptive.

## introduction la synthèse de gestes à partir de la parole est un domaine émergent qui a fait l'objet d'une attention particulière au cours des dernières années. bien que les mécanismes mettant en oeuvre la relation entre la production des gestes et la parole sont encore peu connus, des progrès considérables ont été faits dans le développement de techniques de génération de gestes à partir de la parole. l'omniprésence des gestes dans la communication humaine souligne leur importance dans les interactions humaines naturelles. afin de capturer l'essence des gestes humains et de les intégrer dans des systèmes de communication artificiels, plusieurs chercheurs ont analysé et tenté de classifier les gestes. au départ, des systèmes basés sur des règles ont été utilisés pour développer des agents conversationnels incarnés (eca) @xcite , en s'appuyant sur les connaissances des neurosciences et de la linguistique. les premiers systèmes étaient rudimentaires et souvent incompatibles avec les conclusions émises dans la littérature. l'absence d'un système de classification unifié pour les gestes (par exemple @xcite @xcite ) et les conclusions disparates concernant la relation entre les gestes et la parole ( @xcite @xcite ) au sein de ces cadres ont entravé l'élaboration de règles cohérentes et fiables. ces dernières années, les approches basées sur les données sont apparues comme une voie prometteuse pour extraire implicitement les modèles et les règles complexes qui régissent la relation entre la parole et le geste. ces approches utilisent une variété d'architectures, allant des simples autoencodeurs @xcite aux autoencodeurs variationnels (vae) et aux vae conditionnels @xcite , pour couvrir une plus large distribution de gestes et un meilleur conditionnement à partir de la parole. les systèmes basés sur la diffusion @xcite @xcite ont également fait l'objet d'une attention particulière, produisant des séquences de gestes de haute qualité. dans la littérature, le travail de @xcite , stylegestures, se distingue par son architecture autorégressive innovante utilisant les flux de normalisation @xcite . les flux de normalisation sont un type spécialisé de réseau de neurones qui permet de modéliser efficacement des distributions complexes. cette structure de réseau particulière a été largement reconnue comme une référence pour l'évaluation des performances des systèmes de synthèse gestuelle, comme en témoigne son adoption massive dans les recherches ultérieures @xcite @xcite . il a notamment été sélectionné comme référence pour le genea challenge 2020 @xcite , un défi visant à faire progresser l'état de l'art en matière de synthèse gestuelle. compte tenu de son architecture autorégressive et de son utilisation intensive en tant que référence, nous avons adopté stylegestures comme référence de l'état de l'art pour nos comparaisons. malgré les recherches approfondies sur la synthèse de gestes liés à la parole, il n'existe que peu d'études sur l'explicabilité et l'interprétabilité de ces méthodes de génération des gestes, indépendamment de leur cohérence ou de leur complexité. ce manque d'explication pose un défi important dans un domaine qui recherche de nouveaux cadres théoriques pour approfondir la relation complexe entre la parole et le geste. pour relever ce défi, nous explorons des mécanismes plus simples et plus interprétables, tels que les convolutions de graphe @xcite . inspirées par leur application réussie dans le domaine de la synthèse de mouvement, sans l'implication de la parole (par exemple, marcher, danser, se battre), les convolutions de graphe sont prometteuses pour améliorer notre compréhension du comportement des réseaux d'apprentissage profond et pour permettre la création de représentations latentes des gestes plus intéressantes. inspirés par ces avancées, nous proposons une nouvelle architecture de réseau qui vise à remédier aux limites susmentionnées de la synthèse de gestes. l'architecture que nous proposons vise à atteindre trois objectifs clés : ## méthodes nous proposons une nouvelle architecture appelée stargate (pour spatio-temporal auto-regressive graph from audio-text embeddings), illustré dans la figure 1. nous suivons une structure encodeur-décodeur, avec une approche autorégressive par blocs. cela se traduit par un réseau qui prend 3 modalités différentes en entrée : ## conclusion nous avons développé stargate, une nouvelle architecture autorégressive par blocs qui utilise trois modalités d'entrée pour construire une représentation latente unifiée de la parole et des gestes, et synthétise des gestes liés à la parole. à notre connaissance, cette architecture est la première à utiliser des convolutions de graphe au lieu de convolutions traditionnelles, en incorporant explicitement une connaissance de la structure du squelette humain. nous avons évalué cette architecture à l'aide de mesures quantitatives et d'études subjectives, démontrant sa capacité à générer des gestes convaincants, non seulement des gestes de battement, mais aussi des gestes plus complexes tels que des gestes iconiques et métaphoriques. ces gestes exigent une compréhension approfondie du contenu linguistique, de la parole et de la coordination des mouvements du corps. en outre, nos tests de performance indiquent que notre architecture peut générer des gestes en temps réel, même lorsqu'un calcul d'embeddings bert est incorporé. dans nos travaux futurs, nous visons à améliorer l'explicabilité et l'interprétabilité de nos résultats. nous avons l'intention d'analyser en profondeur le comportement du réseau pour comprendre comment la génération de gestes complexes est déclenchée au sein du réseau et comment la structure du graphe favorise les connexions entre les gestes et la parole. les matrices d'adjacence dynamiques peuvent nous aider à interpréter visuellement le comportement du réseau. une telle analyse pourrait fournir une perspective nouvelle et unique sur la corrélation entre la parole et la production de gestes.