Modélisation bayésienne de la planification motrice des gestes de parole: Évaluation du rôle des différentes modalités sensorielles ( B ayesian modeling of speech gesture motor planning: Evaluating the role of different sensory modalities ) (2016)

Abstract: La prise en compte des informations auditives et proprioceptives dans le contrôle de la parole est mise en évidence par un nombre croissant de résultats expérimentaux. Cependant, les modèles de production imposent le plus souvent l’une ou l’autre des modalités, ou n’offrent pas de cadre formel pour évaluer leurs contributions respectives. Nous proposons d’explorer le rôle de ces modalités sensorielles dans la planification des gestes de parole à partir d’un modèle bayésien représentant la structure des connaissances mises en jeu dans cette tâche. Le modèle permet d’envisager trois mécanismes de planification, reposant sur la modalité auditive, proprioceptive ou sur les deux conjointement. Nous comparons des simulations obtenues par les deux premiers mécanismes de planification. Les résultats indiquent des réalisations articulatoires différentes mais donnant néanmoins des réalisations auditives qualitativement similaires dans leur variabilité.

## introduction la remarquable capacité d'adaptation des gestes de parole à différents contextes et perturbations démontre que leur contrôle n'est pas le résultat d'un simple apprentissage stéréotypé mais met en jeu des mécanismes de planification, qui se révèlent en particulier par des stratégies d'anticipation @xcite . quelles connaissances sont mises en jeu dans ces mécanismes et comment sont-elles structurées ? de nombreuses études expérimentales ont mis en évidence la prise en compte des information auditives et somato-sensorielles dans le contrôle et l'adaptation des gestes de parole @xcite . le poids spécifique de ces retours sensoriels dans la la caractérisation des buts physiques associés aux unités phonologiques n'est pas connu et fait l'objet de nombreux débats, allant jusqu'à des enjeux importants en phonologie @xcite . comment sont-ils pris en compte ? ont-ils le même statut vis-à-vis du contrôle ? sont-ils pris en compte de façon indépendante ou en combinaison ? cependant, à l'exception de diva @xcite , la plupart des modèles de production définissent les buts de parole dans l'une ou l'autre seulement de ces modalités sensorielles @xcite et n'offrent pas de cadre formel pour une évaluation de leurs contributions respectives. ce travail propose une méthodologie de modélisation pour étudier ces questions dans la planification des gestes de parole à partir d'un modèle bayésien des connaissances mises en jeu dans cette tâche @xcite . ce modèle, qui est une extension d'un modèle précédent @xcite , permet de définir et évaluer trois mécanismes de planification, reposant soit sur la modalité auditive, sur la modalité proprioceptive ou sur les deux conjointement. nous considérons la question de la planification des commandes motrices envoyées aux muscles de la langue pour la production de phonèmes isolés. les six muscles les plus importants pour expliquer les déformations de la langue dans le plan sagittal sont représentés dans un modèle biomécanique bi-dimensionnel de la langue @xcite . le niveau d'activation de chaque muscle est contrôlé selon la théorie du point d'équilibre par une variable de contrôle qui spécifie une longueur seuil pour le muscle, au delà de laquelle une force musculaire active est générée @xcite . les caractéristiques spectrales du signal acoustique correspondant à chaque configuration de langue sont obtenues par le calcul de la fonction d'aire, puis par l'utilisation d'un modèle harmonique de la propagation des ondes dans le conduit vocal @xcite . nous considérons les trois premiers formants comme la représentation auditive des signaux acoustiques à produire @xcite . la nature précise des indices sensoriels caractérisant la proprioception de la langue est encore mal connue. nous supposons qu'ils sont caractérisés par les longueurs des fibres des six muscles considérés. nous supposons que le cerveau dispose de deux modèles internes lui permettant de prédire les images auditives et proprioceptives correspondant à chaque configuration de paramètres de contrôle @xcite . nous supposons également que le cerveau dispose d'une représentation des buts auditifs et proprioceptifs associés à chaque phonème et de leurs domaines de variabilité compatibles avec une production correcte du phonème @xcite . ceci caractérise les distributions des images auditives et proprioceptives attendues pour chaque phonème. nous supposons finalement que le cerveau est en mesure de comparer les prédictions sensorielles effectuées par les modèles internes moteurs avec les attentes correspondant aux caractérisations sensorielles des phonèmes @xcite . la section 2 présente la construction du modèle, par une traduction de ces hypothèses dans le formalisme bayésien. la section 3 expose les résultats de simulations de production de phonèmes isolés selon la modalité sensorielle considérée. s m a et s a représentent les informations auditives mises en jeu dans la planification. s m a est générée à partir de la variable motrice m via le modèle interne auditif. s a correspond à la représentation des buts auditifs associés à chaque phonème. ce sont des variables tridimensionnelles continues caractérisées par les valeurs des trois premiers formants du signal acoustique : s m, a ⌘ (f 1 , f 2 , f 3 ). s m p et s p représentent les informations proprioceptives mises en jeu dans la planification. s m p et s p sont respectivement associées à m et via le modèle interne et la représentation des buts proprioceptifs de chaque phonème. on définit alors s m p et s p comme deux variables continues 6-dimensionnelles s m, p ⌘ (l 1 , . . . , l 6 ), où l i est la longueur spécifiée du muscle i. les domaines des variables m , s m a,p et s a,p sont définis par les domaines de variation admissibles dans le modèle biomécanique. c a et c p sont deux variables introduites pour contraindre la cohérence entre les valeurs prises respectivement par les variables s m a et s a d'une part et s m p et s p d'autre part. ce sont des variables binaires égales à 1 ou 0 selon que les valeurs prises par s m a et s a et s m p et s p sont identiques ou pas. lorsqu'elles sont fixées à 1 elles imposent la cohérence des prédictions motrices s m a,p et des attentes s a,p liées à la caractérisation des buts associés aux phonèmes. décomposition le schéma de la figure 1 décrit l'organisation des connaissances proposée dans notre modèle. il permet de formuler la distribution de probabilité conjointe de l'ensemble des variables p (m s m a s m p s a s p c a c p ) par la décomposition suivante : cette décomposition traduit, par ses hypothèses simplificatrices, les relations supposées entre variables. par exemple, le terme p (s a | m ) traduit une hypothèse d'indépendance entre s a et s p conditionnellement à la connaissance de m , qui est suggérée par l'hypothèse du modèle interne moteur, d'après lequel m seul suffit à caractériser s a . en d'autres termes, s p n'apporte aucune information supplémentaire à l'identification de s a si m est connue. ## discussion et conclusion la comparaison des planifications vers des cibles gaussiennes définies dans l'espace proprioceptif et dans l'espace auditif a permis de mettre en évidence deux points importants. tout d'abord l'approximation par un noyau gaussien des régions proprioceptives associées aux cibles auditives, elles figure 3 : réalisations auditives (gauche) et proprioceptives (droite) obtenues par le modèle biomécanique de langue à partir de 100 commandes motrices obtenues par planification auditive (haut) et planification proprioceptive (bas) pour les sept phonèmes considérés. les ellipses grises représentent les ellipses de dispersion des données générées. les ellipses noires représentent les noyaux gaussiens caractérisant les cibles auditive (images de gauche) et proprioceptive (images de droite) pour chaque phonème aussi gaussiennes, ne permet pas d'extraire toute la complexité de la distribution des configurations articulatoires donnant lieu à un même phonème. la planification dans l'espace proprioceptif donne donc naturellement des réalisations d'un même phonème moins variables, plus prototypiques. cette planification ne permet pas l'exploitation de toutes les possibilités d'équivalence motrice. on peut alors s'attendre à ce que la planification de séquences de phonèmes dans le domaine proprioceptif révèle une coarticulation de moins grande amplitude qu'une planification dans l'espace auditif. ensuite, malgré la restriction des configurations articulatoires imposée par notre hypothèse de planification proprioceptive, la variabilité auditive observée est qualitativement similaire à celle générée par la planification auditive, bien que cette dernière exploite davantage de configurations articulatoires. ainsi, d'un point de vue purement acoustique nos résultats suggèrent que, pour ce qui est de la production de phonèmes isolés du moins, les deux stratégies de planification seraient difficiles à distinguer. dans la production de séquences de phonèmes cependant, on s'attend à ce qu'une planification reposant sur des cibles proprioceptives prototypiques induise des patrons de coarticulation différents. globalement, la modélisation que nous proposons des cibles auditives ou proprioceptives, ainsi que de la planification auditive ou proprioceptive, offre un cadre précis qui permet de prédire les propriétés des phonèmes planifiés selon l'une ou l'autre de ces modalités. il convient maintenant d'évaluer la validité de ces prédictions par des expériences où des sujets seront placés dans des conditions favorisant l'une ou l'autre de ces planifications. c'est ce à quoi nous nous attachons désormais.