Chunker différents types de discours oraux : défis pour l’apprentissage automatique (Chunking different spoken speech types : challenges for machine learning) (2019)

Abstract: Le travail décrit le développement d’un chunker pour l’oral par apprentissage supervisé avec les CRFs, à partir d’un corpus de référence de petite taille et composé de productions de nature différente : monologue préparé vs discussion spontanée. La méthodologie respecte les spécificités des données traitées. L’apprentissage tient compte des résultats proposés par différents étiqueteurs morpho-syntaxiques disponibles sans correction manuelle de leurs résultats. Les expériences montrent que le genre de discours (monologue vs discussion), la nature de discours (spontané vs préparé) et la taille du corpus peuvent influencer les résultats de l’apprentissage, ce qui confirme que la nature des données traitées est à prendre en considération dans l’interprétation des résultats.

## introduction la notion de phrase étant généralement considérée comme peu pertinente pour l'analyse et le traitement de l'oral @xcite , différents types d'unités de segmentation de l'oral ont été proposés par des recherches menées dans le cadre de projets comme rhapsodie ou orfeo. le projet segcor foot_0 porte aussi sur la segmentation des corpus oraux et propose une segmentation multiniveau. son premier niveau est une segmentation en unités minimales syntaxiques en termes de constituance, appelées chunks. les chunks sont des constituants continus et non récursifs @xcite . le chunking identifie la structure syntaxique superficielle d'un énoncé et peut être effectué automatiquement. il est fondé sur un étiquetage morphosyntaxique préalablement réalisé. ce type d'annotation est particulièrement pertinent pour l'oral car le discours oral est parfois composé d'énoncés non « finalisés » ce qui rend une analyse syntaxique complète difficile. blanche-benveniste (1997) a démontré que ces constituants sont le lieu de réalisation privilégié des réparations à l'oral. plusieurs stratégies sont possibles pour développer un chunker. les méthodes symboliques ont été testées dans le cadre des travaux de @xcite @xcite où des cascades de transducteurs développées chunkent des transcriptions de l'oral en se fondant sur des ressources lexicales et syntaxiques. l'apprentissage automatique supervisé semble être particulièrement performant sur cette tâche comme montrent les recherches de @xcite @xcite . dans la suite du travail de @xcite , la recherche présentée ici utilise la méthode de l'apprentissage supervisé. les productions orales se caractérisent par une grande variété discursive : variété situationnelle (conversation privée, débat public…), tâches langagières (expliquer, raconter, décrire…), genres (récits de voyage, interview…) ou registre de langue (courant, familier, soutenu). la nature des données traitées influence et guide le processus d'apprentissage. dans le travail de @xcite , le corpus de référence était composé d'entretiens sociolinguistiques ; dans celui-ci nous nous fondons sur deux autres situations de communication : une conférence et une discussion spontanée entre plusieurs personnes lors d'un repas. ## constitution du corpus de référence les données traitées proviennent de deux grands corpus de français parlé contemporain : eslo2 foot_1 et clapi foot_2 . deux types de discours sont sélectionnés : une conférence donnée par un locuteur, un monologue préparé (10 minutes, 2120 tokens) dans le corpus eslo2 (m) et une discussion entre trois personnes, une interaction spontanée, se déroulant dans un contexte d'ordre privé (10 minutes, 2461 tokens) dans le corpus clapi (r). ## apprentissage automatique l'apprentissage automatique vise à indiquer des frontières de chaque chunk, mais aussi à déterminer son type. le corpus de référence ayant une petite taille, nous optons pour le modèle des crfs (conditional random fields) linéaires @xcite qui a déjà fait preuve d'une bonne performance pour cette tâche @xcite @xcite . le chunking s'applique sur le corpus étiqueté en pos. @xcite ont montré qu'on peut apprendre un chunker propre à l'oral avec des pos non corrigées et avec un corpus de référence de petite taille. les auteurs arrivent à 88% de micro-average. nous poursuivons la même démarche mais avec une méthodologie redéfinie en fonction de la spécificité des données orales : (1) les données traitées sont plus hétérogènes car elles comprennent deux types de discours oral ; (2) les annotateurs humains ont systématiquement recours à l'écoute du son pour déterminer les choix d'annotation ; (3) le jeu d'étiquettes est retravaillé (l'ajout de deux nouvelles étiquettes artic et fno); (4) les résultats de plusieurs étiquetages morpho-syntaxiques sont ajoutés dans les traits intégrés au modèle crf ce qui permet de vérifier si une série d'étiquettes pos non corrigées proposées par différents étiqueteurs pour le même mot améliore les résultats du chunking et quels outils parmi ceux testés sont les plus pertinents pour le corpus oral traité. quatre étiqueteurs sont testés : treetagger @xcite ; sem @xcite exploité par @xcite et utilisant les étiquettes morpho-syntaxiques de @xcite ; parseur en dépendance syntaxique @xcite développé dans le cadre du projet orfeo, d'où nous extrayons uniquement les pos et les pos du gouverneur syntaxique du token courant ; perceo @xcite , étiqueteur adapté pour l'oral qui a la particularité de posséder une étiquette fno, étiquette aussi présente dans notre typologie de chunks. les expériences sont effectuées sur trois corpus : eslo2 (m), clapi (r), eslo2+clapi (m+r). l'objectif est de vérifier si le genre de discours (monologue/discussion entre 3 personnes), la nature de discours (spontané/préparé) et la taille du corpus peuvent influencer les résultats d'apprentissage. de nombreuses configurations sont testées afin d'obtenir des résultats exhaustifs en combinant et variant le nombre de patrons [token + pos] pris en compte 7 . pour le parseur d'orfeo, deux combinaisons supplémentaires sont testées (1) en prenant en compte uniquement l'étiquette pos du token, (2) l'étiquette pos du token et de son gouverneur. en premier lieu, pour chacune des combinaisons la prise en compte du token de la ligne courante est testée. ensuite, les trois combinaisons donnant les meilleurs résultats pour chaque corpus sont sélectionnées pour les tests en incluant token+1 et token-1. après isolation du meilleur résultat, d'autres colonnes sont ajoutées comme par exemple le lemme, récupéré depuis l'annotation treetagger, pour tester une possible amélioration du score. la figure 2 montre les meilleures combinaisons de patrons pour chaque corpus. 4 résultats et évaluation m r m+r 85,8% 83,2% 85,7% pos treetagger x x x pos perceo x x x pos orfeo x x gouv orfeo x tok_courant tok_precedent x x x tableau 1 : tableau de meilleurs résultats obtenus en termes de micro-average pour le corpus r, les meilleurs résultats sont produits par la combinaison qui regroupe les outils treetagger, perceo et le parseur d'orfeo auxquels s'ajoutent le token courant et le token précédent (83,2 %). les meilleurs scores obtenus pour le corpus m proviennent de l'application d'une combinaison similaire à celle de r sauf qu'en plus de l'étiquette pos récupérée par le parsing en dépendance du parseur d'orfeo, l'étiquette du gouverneur est aussi présente (85,8 %). le monologue, extrait d'une conférence, est composé d'énoncés plus longs et ne contient pas d'interaction, les liens de dépendances y sont plus présents. dans le cas du corpus m+r, les meilleurs résultats sont obtenus en n'utilisant que les pos de treetagger et de perceo, en plus du token précédent au token courant (85,7 %). ces résultats montrent que l'utilisation des étiquettes proposées par deux outils de l'oral, perceo et le parseur d'orfeo, dans les patrons est tout à fait pertinente. la taille du corpus est un critère important aussi car le corpus plus long n'a pas besoin de beaucoup d'étiquettes pos et peut se contenter des résultats de deux outils. il est étonnant que treetagger semble être plus pertinent dans ce cas que le parseur d'orfeo. le corpus m, un monologue préparé, se prête mieux à l'apprentissage que le corpus r, la discussion spontanée. l'évaluation du chunker par étiquette montre que l'étiquette fno obtient les moins bons résultats (23,52% de f-mesure). en effet, certains tokens sont ambigus, comme par exemple oui , ouais, non, tantôt fno, tantôt articulateurs (marqueurs discursifs). ainsi, un ouais en réponse à une question sera considéré comme prédicat autonome (un « mot-phrase ») et donc annoté (fno), comme ici : eli je [vp b] vous [vp i] sers [vp l] ? bea ouais [fno u] en revanche cette même forme peut être considérée comme élément périphérique au prédicat. il s'agira alors d'un articulateur discursif non autonome, comme dans l'exemple ci-dessous, où ouais opère comme balise de clôture du tour de eli : eli non [artic u] mais [artic u] tu [vp b] sais [vp l] tu [vp b] en [vp i] mets [vp l] pas [adp b] beaucoup [adp l] tu [vp b] en [vp i] mets [vp l] un [np b] fond [np l] ouais [artic u] on relève quelques autres erreurs courantes. ainsi, de nombreux chunks np sont annotés comme pp à cause de l'ambiguïté entre la préposition de suivi du déterminant défini et l'article partitif (du, de la, etc.), tous les deux ayant la même forme. par ailleurs, un quart des ap sont considérés comme des vp car souvent un token de type ap suit un chunk de type vp. d'une manière générale, les frontières de chunks (les étiquettes b, l, u) sont mieux annotées (tableau 2). b i l u r 0,94 0,86 0,91 0,94 m 0,92 0,87 0,93 0,9 m+r 0,93 0,86 0,92 0,93 tableau 2 : résultats de f-mesure pour les étiquettes bilu 5 conclusion les productions orales se caractérisent par une grande variété discursive. l'article décrit le développement d'un chunker par apprentissage automatique avec les crfs en utilisant un corpus de référence de petite taille comprenant les données orales de nature différente : monologue dans le cadre d'une conférence vs discussion spontanée entre 3 personnes lors d'un repas. un genre et un type de discours peuvent influencer les résultats d'apprentissage. ainsi, les résultats du parsing en dépendance sont plus pertinents à intégrer au modèle crf pour le monologue où les énoncés longs se prêtent plus à ce type d'analyse. les fno obtiennent de meilleurs scores dans une discussion car ils y sont plus nombreux. la nature des données traitées est donc à prendre en considération dans l'interprétation des résultats. plusieurs perspectives sont envisagées : (1) d'ajouter certaines informations issues des enregistrements comme la prosodie ; (2) de laisser les deux options dans les cas où les annotateurs humains hésitent entre différentes étiquettes possibles ce qui améliorera les résultats du chunker ; (3) d'ajouter des règles d'annotation pour certains phénomènes récurrents et systématiques comme la précision qu'un tour de parole commence toujours par une frontière b ou u ; (4) d'intégrer dans le corpus d'apprentissage le maximum de situations de communication pour généraliser le développement d'un chunker pour l'oral.