Quel type de systèmes utiliser pour la transcription automatique du français ? Les HMM font de la résistance (What system for the automatic transcription of F rench in audiovisual broadcasts ?) (2020)

Abstract: Forts d’une utilisation couronnée de succès en traduction automatique, les systèmes end-to-end dont la sortie réside en une suite de caractères, ont vu leur utilisation étendue à la transcription automatique de la parole. De nombreuses comparaisons ont alors été effectuées sur des corpus anglais libres de droits, de parole lue. Nous proposons ici de réaliser une comparaison entre deux systèmes état de l’art, non pas sur de la parole lue mais bel et bien sur un corpus d’émissions audiovisuelles françaises présentant différents degrés de spontanéité. Le premier est un end-to-end et le second est un système hybride (HMM/DNN). L’obtention de résultats satisfaisants pour le end-to-end nécessitant un lexique et modèle de langage dédiés, il est intéressant de constater qu’une meilleure intégration dans les systèmes hybrides (HMM/DNN) est source de performances supérieures, notamment en Français où le contexte est primordial pour capturer un énoncé.

## introduction depuis leur apparition dans le domaine de la transcription automatique de la parole en proposant en 2013 une transcription en phonèmes suivie en 2014 par une transcription en mots sans connaissances phonétiques @xcite , les systèmes end-to-end s'imposent comme une alternative sérieuse aux systèmes à base de hmm. @xcite rapportent une évaluation sur le test du corpus librispeech @xcite , obtenue en utilisant un corpus d'apprentissage d'une dizaine de milliers d'heures. les résultats sont notamment comparés avec la performance d'un locuteur humain. la taille du corpus employé pose cependant un net problème de reproductibilité des expériences. @xcite font état de meilleurs résultats avec une architecture de réseaux différente sur librispeech ( 3,26% partie clean , 12,76% partie other) en utilisant "seulement" 960 heures qui correspondent à l'apprentissage de ce même corpus. dans ce même article, les résultats sont comparés avec ceux d'un système hybride (hmm/dnn) @xcite ( 3,51% partie clean, 8,58% partie other). enfin, @xcite présentent deux architectures : l'une hybride (hmm/dnn), l'autre de type end-to-end dont les résultats sont respectivement de 5.0% et 9.3% sur la partie other. toutes les modélisations end-to-end utilisent un modèle de langage construit sur des données textuelles en appui du dnn appris, lui, sur les corpus oraux. il ressort que les différences avec un modèle hybride portent sur l'utilisation de connaissances phonétiques préalables comme le dictionnaire de phonétisation et le processus d'alignement signal/symbole : hmm dans un cas, neuronal (convolution, encodeur-décodeur) dans l'autre. comme l'ensemble des évaluations de ces systèmes end-to-end est présenté en langue anglaise sur des corpus de parole lue, nous proposons d'étudier ces différences sur du français, avec un corpus d'émissions audiovisuelles comprenant une part non négligeable de parole spontanée. nous pourrons ainsi considérer l'influence de la langue, y compris et surtout dans sa dimension spontanée, sur les résultats. l'article se compose d'une description des systèmes et corpus utilisés. nous présentons ensuite les processus d'apprentissage, les expériences de transcription et leur évaluation. enfin, nous analysons les résultats obtenus. ## description des systèmes avant de décrire les 2 types de systèmes utilisés, nous présentons les 2 composants communs des systèmes construits, à savoir une étape de segmentation automatique préalable au décodage et une modélisation du langage. la segmentation automatique est obligatoire puisqu'aucun des deux systèmes ne permet un décodage en flux. en outre, il n'est pas question d'utiliser une segmentation manuelle pour l'évaluation car la segmentation automatique influence les résultats. cette segmentation est réalisée par le système lium spkdiarization @xcite sans utiliser la tâche de détection parole/silence/musique, car le décodeur réalise cette tâche de meilleure manière. en outre, le regroupement de locuteurs à l'aide du critère de vraisemblance croisée pour obtenir une homogénéité des classes n'est pas utile dans le décodage. il est donc omis. pour réaliser les modèles de langage, nous avons opté pour une modélisation avec repli, la différence avec les modèles continus étant limitée jusqu'à l'apparition des modèles de langage à transformer introduit dans @xcite . nos modèles de langage sont construits avec l'outil pocolm foot_0 qui optimise le poids des différents corpus en fonction de la cible de manière plus pertinente que les autres boîtes à outils.