Évaluation de la description automatique de scènes audio par la tâche d’Audio Question Answering (2025)

Abstract: Nous explorons l’évaluation de la tâche de description automatique de scènes audio à travers une approche indirecte basée sur la réponse aux questions sur des documents audio. En l’absence de métriques d’évaluation robustes et automatiques pour la tâche de description automatique de scènes audio, nous nous appuyons sur le benchmark MMAU, un jeu de questions à choix multiple sur des extraits audio variés. Nous introduisons une architecture en cascade qui dépasse les performances de certains modèles de référence de taille comparable. Toutefois, nos résultats mettent en évidence des limitations du benchmark MMAU, notamment un biais textuel et une capacité limitée à évaluer l’intégration conjointe des informations relatives à la parole et aux événements sonores. Nous suggérons des pistes d’amélioration pour rendre les évaluations futures plus fidèles aux enjeux de la tâche de description automatique de scènes audio.

## introduction une scène audio désigne la représentation sonore d'un environnement réel, telle qu'elle est perçue ou enregistrée par un ou plusieurs microphones. ainsi l'objectif de la tâche de description automatique de scènes audio est de générer, à partir d'un signal audio, une représentation sémantique structurée de l'environnement acoustique, reflétant sa dynamique globale et sa cohérence, plutôt qu'une simple énumération d'événements isolés comme la parole, la musique ou les bruits. le niveau le plus élémentaire de cette tâche consiste à générer une transcription enrichie à partir de l'audio @xcite . cette transcription va au-delà de la reconnaissance de la suite de mots et intègre plusieurs dimensions complémentaires : indications temporelles, identification des locuteurs, détection des événements sonores, ainsi qu'extraction d'entités nommées @xcite . chacune de ces sous-tâches peut être évaluée à l'aide de métriques automatiques : le word error rate pour la reconnaissance automatique de la parole, le slot error rate pour l'extraction d'entités @xcite , et le f-score pour la détection d'événements ou l'attribution correcte des segments de parole aux locuteurs, en tenant compte d'une tolérance temporelle @xcite . la description automatique de scènes audio s'inscrit dans un continuum allant de la transcription enrichie au résumé synthétique, ce dernier ne retenant que les éléments jugés saillants ou pertinents selon un objectif ou un profil utilisateur. plus on s'oriente vers le résumé, plus le processus de sélection devient subjectif, car il implique des choix explicites sur les informations à conserver ou à omettre. pour cette raison l'évaluation d'un résumé audio demeure complexe, d'autant plus qu'elle s'appuie majoritairement sur des métriques issues de la traduction automatique, peu adaptées à cette tâche @xcite @xcite . n'ayant pas identifié de méthodes d'évaluation satisfaisantes pour la tâche de description automatique de scènes audio, nous proposons d'adopter une tâche proxy plus facilement mesurable : la réponse aux questions sur des documents audio (ou "aqa" pour audio question answering) @xcite . en concevant un questionnaire à choix multiple couvrant un large éventail de tâches audio, il devient alors possible d'évaluer les performances d'un modèle à partir de son taux de bonnes réponses. toutefois, l'utilisation de questions en langage écrit rend préférable le recours à un module de traitement automatique du langage naturel. c'est pourquoi nous avons retenu, pour cette étude, des modèles multimodaux combinant texte et audio, couramment désignés sous le terme de modèles de langage basés sur l'audio (ou alm pour audio language models) @xcite . notre étude s'articulera en deux sections. nous commencerons par un état de l'art sur les alm, avant de présenter les principaux benchmarks d'aqa utilisés pour évaluer ces modèles. nous introduirons ensuite un modèle simple conçu pour la tâche de description automatique de scènes audio, dont nous analyserons les performances sur un benchmark d'aqa. enfin, nous discuterons des limites potentielles de ce benchmark, afin d'ouvrir la voie à des perspectives d'amélioration pour l'évaluation de la tâche de description automatique de scènes audio. ## état de l'art dans ce qui suit, nous proposons une revue ciblée des travaux relatifs en aqa, en nous intéressant à la fois aux modèles existants développés pour cette tâche, ainsi qu'aux méthodes d'évaluation employées pour mesurer leur performance. ## expérimentations cette section présente la conception d'un modèle multimodal en cascade pour la description automatique de scènes audio. nous évaluons les performances de notre modèle sur le benchmark mmau avant d'analyser les limites potentielles de ce benchmark pour l'évaluation de notre tâche initiale. ## conclusion dans cet article, nous étudions la pertinence de l'utilisation de la tâche d'audio question answering comme proxy pour l'évaluation de la description automatique de scènes audio. à cette fin, nous proposons un modèle multimodal en cascade, simple et sans phase d'entraînement. l'évaluation de ce modèle est réalisée à l'aide du benchmark mmau, un questionnaire à choix multiple conçu pour des enregistrements audio comprenant des sons, de la musique et de la parole, et couvrant un large éventail de tâches de compréhension audio. cependant, une analyse du benchmark mmau révèle certaines limites méthodologiques susceptibles de biaiser l'évaluation comparative des approches basées sur les llm. en effet, il apparait que plusieurs paires question/réponse se révèlent mal construites, notamment en raison du processus semi-automatique de leur génération via un llm. une amélioration possible consisterait à enrichir le prompt de génération des distracteurs en y intégrant des informations relatives au contenu audio, contrairement à mmau qui se limite actuellement à la question et à la réponse. de même, un llm pourrait être mobilisé pour reformuler les questions de manière à éliminer toute information