Projet AMIS : résumé et traduction automatique de vidéos ( AMIS project : automatic summarization and translation of videos) (2020)

Abstract: La démonstration de résumé et de traduction automatique de vidéos résulte de nos travaux dans le projet AMIS. L’objectif du projet était d’aider un voyageur à comprendre les nouvelles dans un pays étranger. Pour cela, le projet propose de résumer et traduire automatiquement une vidéo en langue étrangère (ici, l’arabe). Un autre objectif du projet était aussi de comparer les opinions et sentiments exprimés dans plusieurs vidéos comparables. La démonstration porte sur l’aspect résumé, transcription et traduction. Les exemples montrés permettront de comprendre et mesurer qualitativement les résultats du projet.

## introduction imaginons un voyageur dans une ville à l'étranger. un événement local survient, qui fait la une des journaux télévisés. le voyageur passe d'une chaîne à une autre, mais ne comprend que partiellement ce qu'il se passe. pourtant, cela peut avoir un impact fort sur son séjour (fermeture d'aéroport, limitation de circulation). le voyageur a donc besoin, depuis son hôtel, d'avoir un point rapide sur la situation dans sa propre langue. concrètement, répondre à ce besoin implique plusieurs défis scientifiques : extraire un résumé d'une vidéo en se basant sur l'information vidéo (résumé de vidéo) et sonore (résumé de texte), et traduire le flux sonore dans une autre langue (traduction parole-texte, ou même parole-parole). un autre défi est la recherche du flux de traitement le plus performant, sachant que chaque étape entraîne des erreurs : comment tenir compte des critères de résumé vidéo (rendre compte des différents lieux filmés, et peut-être ne pas insister trop longtemps sur le présentateur du journal) et des critères de résumé textuel (tenir compte des idées exprimées) et marier ces critères ? doit-on transcrire et traduire le résumé, ou bien transcrire, traduire la totalité de la vidéo, puis la résumer, etc. ? toute la combinatoire est possible. le projet amis 1 a cherché à répondre à ces questions. au-delà, un objectif était aussi de permettre à l'utilisateur de comprendre les différents points de vue via la comparaison en termes de sentiments et d'opinions de plusieurs vidéos comparables ; mais la démonstration ne concernera que les aspects de traduction et résumé. ce projet de type chist-era implique plusieurs partenaires internationaux experts en extraction d'information vidéo (agh 2 , cracovie, pologne), en résumé de texte (lia 3 , avignon, france), en transcription et traduction automatique de parole (loria 4 , nancy, france), en test utilisateur (deusto 5 , bilbao, espagne). nous décrivons ci-après les différentes configurations de résumé-vidéo-texte-traduction (section 2) issues du projet, puis nous présentons la démonstration que nous montrerons pendant la conférence (section 3). ## le processus de résumé/traduction le projet a abouti à quatre scénarios de fabrication d'un résumé vidéo dans une autre langue. les scénarios reposent sur l'utilisation de la reconnaissance de la parole, de la traduction de texte, et sur diverses approches de résumé automatique : à partir des images, de l'audio ou du texte. ces différents composants ont d'abord été évalués individuellement sur la base des métriques d'évaluation usuelles @xcite . puis les scénarios ont été comparés sur la base de retours utilisateur concernant la compréhensibilité du résumé, et son adéquation par rapport à la vidéo source. les quatre scénarios mis en oeuvre et schématisés sur la figure 1 sont les suivants : ## la démonstration au cours de la démonstration, nous montrerons des vidéos en langue arabe, et leur résumé en langue anglaise (voir figure 2 ). du fait des temps de calcul non temps réel, le processus de résumé/traduction