Vers la production automatique de sous-titres adaptés à l’affichage (Towards automatic adapted monolingual captioning) (2021)

Abstract: Une façon de réaliser un sous-titrage automatique monolingue est d’associer un système de reconnaissance de parole avec un modèle de traduction de la transcription vers les sous-titres. La tâche de « traduction » est délicate dans la mesure où elle doit opérer une simplification et une compression du texte, respecter des normes liées à l’affichage, tout en composant avec les erreurs issues de la reconnaissance vocale. Une difficulté supplémentaire est la relative rareté des corpus mettant en parallèle transcription automatique et sous-titres sont relativement rares. Nous décrivons ici un nouveau corpus en cours de constitution et nous expérimentons l’utilisation de méthodes de contrôle plus ou moins direct de la longueur des phrases engendrées, afin d’améliorer leur qualité du point de vue linguistique et normatif.

## introduction du fait de l'augmentation générale des sources de contenu audio-visuel, du besoin de leur assurer une diffusion large (en d'autres langues) et des obligations légales concernant l'accessibilité de ces contenus, la production automatique de sous-titres monolingues ou traduits est aujourd'hui un champ d'application très actif du traitement automatique des langues. la création de sous-titres monolingues nécessite en général d'effectuer une simplification du contenu, de manière à rendre le texte plus abordable pour les lecteurs potentiels. ceux-ci sont en effet susceptibles de ne pas parfaitement maîtriser la langue écrite ; il peut s'agir par exemple de personnes ayant une autre langue maternelle, ou bien de personnes sourdes ou malentendantes locutrices de la langue des signes (pour qui l'écrit est assimilable à une langue étrangère) @xcite . de plus, les sous-titres doivent satisfaire des contraintes spatiales (les tronçons de phrases doivent rentrer dans la largeur du moniteur, sans trop obstruer le champ de vision) et temporelles (le texte doit être approximativement synchronisé avec les paroles ou l'image, et doit rester affiché suffisamment longtemps pour permettre une lecture confortable à l'écran 1 ). récemment, les modèles neuronaux ont apporté des avancées significatives dans le domaine de la traduction automatique @xcite , avant d'être adaptés au domaine de la « traduction monolingue », et ont notamment été utilisés pour des tâches de simplification @xcite et de compression de phrases @xcite . toutefois, ces méthodes demandent de grandes quantités de données parallèles représentant la transformation attendue pour pouvoir être mises en oeuvre avec succès. pour les applications de sous-titrage, les ressources de ce type sont encore relativement lacunaires @xcite . nous décrivons ici un nouveau corpus 2 associant des transcriptions automatiques et des sous-titres en français, obtenu à partir du traitement automatique de programmes télévisés contemporains. ce corpus est utilisé pour mettre en place une chaîne de traitements capable de produire sans intervention humaine le fichier de sous-titres correspondant à une entrée vidéo. les expériences décrites ici s'intéressent en particulier à l'usage de mécanismes pour contrôler la longueur @xcite , et par extension le taux de compression et le débit des phrases engendrées. nous comparons également différentes stratégies pour mieux contrôler la segmentation du texte en tronçons compatibles avec les normes d'affichage, en fonction du type d'émissions à sous-titrer. les questions que nous étudions sont les suivantes : ## méthodes les systèmes de production de sous-titres que nous évaluons ont pour entrée des phrases issues de la transcription automatique des paroles prononcées dans une émission. nous prenons comme référentiel un système qui conserve telle quelle la transcription mot-à-mot réalisée par l'outil de reconnaissance de parole (ce système est noté source dans le tableau 2). nos modèles réalisent l'architecture globale des modèles est représentée sur la figure 2. ## résultats le tableau 2 présente les résultats de l'évaluation que nous avons réalisée sur un ensemble de 10 vidéos d'émissions représentatives des programmes traités, pour une durée cumulée d'environ 10 h. les segments sous-titres de références ont été constitués par alignement automatique avec les phrases de la transcription automatique 6 . il apparaît que les mécanismes de contrôle de longueur n'améliorent pas la qualité de la simplification, les modèles transformer à encodage positionnel classique obtenant des scores bleu et sari meilleurs. les scores ter-br légèrement inférieurs semblent néanmoins indiquer que lrpe et ldpe permettent un meilleur positionnement des coupures dans les phrases. ces modèles respectent aussi de façon plus régulière la norme sur la fréquence d'affichage des caractères (en particulier lorsque l'objectif de longueur est modulé pour suivre une fréquence constante). l'ajout d'une balise pour spécifier le type d'émission (stock ou direct) semble être bénéfique pour la segmentation, dans la mesure où transf bt est meilleur que transf b pour ter-br, @xmath0, tout en étant comparable par ailleurs. la précision du contrôle de longueur est relative, puisque la différence entre la consigne de longueur et sa réalisation représente en moyenne entre 16 et 20 % de la longueur source (eam). lrpe et ldpe sont ici comparables du point de vue de l'effectivité de ce contrôle. concernant la qualité des phrases produites (sari, bleu, bleu-br), lrpe est supérieur à ldpe, et la poursuite d'une fréquence de caractères constante semble préférable à l'application d'un unique taux de compression (ce qui paraît effectivement plus proche de ce que ferait un sous-titreur humain). afin d'estimer l'importance dans les résultats des erreurs liées à la reconnaissance automatique de parole, nous avons fait réaliser une transcription manuelle (professionnelle) des émissions de notre ensemble de test, et avons évalué certains de nos modèles à partir de cette transcription considérée comme une version « idéale » de la transcription automatique. nous observons dans ces cas un gain substantiel pour le score bleu (entre 1,5 et 2 points), mais une baisse de sari (d'entre 2 et 2,5 points) : les défauts dans la transcription automatique pourraient pousser les systèmes à réaliser certaines simplifications pour produire des phrases plausibles. à titre @xcite obtiennent des scores bleu de l'ordre de 30 sur une traduction anglais-italien à partir d'une transcription automatique, et @xcite donnent des scores bleu-br de l'ordre de 40 pour un documentaire et 30 pour une sitcom, pour un sous-titrage multilingue de l'anglais en espagnol (ces tâches sont néanmoins plus difficiles que la nôtre). une première observation qui se dégage du tableau 3 est la grande variabilité des scores selon les émissions. les variations sont similaires pour les différents modèles : les meilleurs résultats (pour la qualité des phrases au moins) sont obtenus sur la catégorie journal, et les moins bons sur la catégorie jeu, la catégorie magazine étant intermédiaire. ces écarts s'expliquent en partie par la qualité de la 5. les balises de segmentation étaient également utilisées avec ce système. 6. une partie des phrases transcrites (représentant dans l'ensemble ∼ 6 % des mots) n'ont pas pu être alignées avec les phrases des sous-titres ; nous avons décidé de les écarter pour l'évaluation. ## travaux connexes les besoins d'accessibilité audio-visuelle ainsi que l'exportation de programmes vidéos ont depuis un certain temps suscité un intérêt pour l'automatisation du sous-titrage @xcite . la procédure fondée sur la mise en cascade d'un système de reconnaissance de parole et d'un système de simplification / compression a longtemps été privilégiée pour le soustitrage intralingue @xcite . récemment, les progrès dans la direction de la traduction de parole sans transcription intermédiaire @xcite ont permis l'émergence d'approches bout-en-bout pouvant prendre en compte les indices prosodiques @xcite . la simplification et la compression de phrases ont abondamment été étudiées pour leur multiples applications, parmi lesquelles la production de sous-titres. ces tâches ont particulièrement été abordées en reprenant les méthodes de la traduction automatique, des systèmes à règles @xcite aux modèles neuronaux @xcite . pour le sous-titrage automatique, la question du contrôle de la longueur des phrases engendrées est essentielle du fait des contraintes spatiales et temporelles @xcite . @xcite ont mis en place un tel contrôle en introduisant des consignes de longueur dans les états cachés d'un rnn. @xcite ont adapté cette idée à l'architecture transformer, en tirant parti de l'encodage positionnel pour intégrer l'objectif de longueur. l'ajout d'une étiquette spécifique en début de séquence afin de qualifier un attribut attendu dans la phrase de sortie rejoint une riche littérature de production contrôlée de texte, cette stratégie ayant notamment mise en oeuvre pour la formalité @xcite , le domaine @xcite ou encore la longueur @xcite . tr suite à votre passage dans l'émission comment les élèves à l'époque avait réagi. transf b suite à votre @xmath1, comment les élèves <@xmath2;f suite à votre @xmath3. <@xmath4, <@xmath5, on va laisser finir. transf b on monte les mâts. <@xmath6;f on monte les mâts. <@xmath7. <@xmath8, on monte les mâts. <@xmath9. <@xmath10. on va les laisser finir. <@xmath11, les anti-avortement sont majoritaires, 70 pourcent des habitants se déclarent pour une interdiction de l'ivg. transf b en alabama, les anti-@xmath12. <@xmath13. <@xmath14;f en alabama, les anti-@xmath15. <@xmath16. <@xmath17, les anti-@xmath18. <@xmath19. <@xmath20;@xmath21,5 , comparées à la transcription initiale (tr) et au sous-titre de référence (st). ## conclusion nous avons présenté un nouveau corpus pour le sous-titrage automatique, et en avons fait une première utilisation en comparant différentes stratégies pour la production de sous-titres segmentés en vue de l'affichage sur un écran. dans nos premiers essais, l'implémentation d'un contrôle de longueur améliore le respect de certaines normes superficielles, mais diminue la qualité de la simplification. l'ajout de balises caractérisant le type d'émission pour lequel sont engendrés les sous-titres semble être modérément bénéfique. compte tenu des variations de résultats observées entre émissions, il pourrait être intéressant à l'avenir d'utiliser des balises pour des catégories d'émissions plus spécifiques. l'apprentissage pourrait être renforcé en intégrant davantage de données, provenant de ressources accessibles publiquement (mooc ou tedtalk par exemple), ou créées artificiellement à partir de sous-titres sans transcription parallèle (une pseudo-transcription peut être engendrée automatiquement, par rétro-traduction notamment). enfin il est envisageable de tester des architectures alternatives, adaptées à la traduction monolingue, telles que levenshtein transformer @xcite , ou encore pointer networks @xcite .