Un jeu de données pour répondre à des questions visuelles à propos d’entités nommées en utilisant des bases de connaissances ( V i Q u AE , a Dataset for Knowledge-based Visual Question Answering about Named Entities) (2022)

Abstract: Dans le contexte général des traitements multimodaux, nous nous intéressons à la tâche de réponse à des questions visuelles à propos d’entités nommées en utilisant des bases de connaissances (KVQAE). Nous mettons à disposition ViQuAE, un nouveau jeu de données de 3 700 questions associées à des images, annoté à l’aide d’une méthode semi-automatique. C’est le premier jeu de données de KVQAE comprenant des types d’entités variés associé à une base de connaissances composée d’1,5 million d’articles Wikipédia, incluant textes et images. Nous proposons également un modèle de référence de KVQAE en deux étapes : recherche d’information puis extraction des réponses. Les résultats de nos expériences démontrent empiriquement la difficulté de la tâche et ouvrent la voie à une meilleure représentation multimodale des entités nommées.

## introduction et travaux connexes la fusion de modalités telles que l'image et le texte pour rechercher des informations est un problème ancien et difficile du fait de la différence de niveaux de leurs sémantiques @xcite . c'est particulièrement vrai pour répondre à des questions visuelles à propos d'entités nommées en utilisant des bases de connaissances (kvqae, knowledge-based visual question answering about named requête (entrée) article pertinent dans la base de connaissances "which constituency did this man represent when he was prime minister ?" "macmillan indeed lost stockton in the landslide labour victory of 1945, but returned to parliament in the november 1945 by-election in bromley." "in which year did this ocean liner make her maiden voyage ?" "queen elizabeth 2, often referred to simply as qe2, is a floating hotel and retired ocean liner built for the cunard line which was operated by cunard as both a transatlantic liner and a cruise ship from 1969 to 2008." figure 1 -exemple de questions du jeu de données viquae avec leur image contextuelle et la source de la réponse (issue de la base de connaissances). entities), la tâche considérée dans cet article, où différents types de relations peuvent lier une question et l'image qui lui est associée comme contexte (cf. figure 1 ). dans la tâche classique de réponse à des questions visuelles (vqa, visual question answering), le contenu de l'image associée, par exemple la couleur d'un objet ou le nombre d'objets, est le sujet de la question @xcite . la vqa fondée sur les connaissances @xcite @xcite utilise quant à elle l'image comme contexte pour poser des questions et trouver des réponses dans des bases de connaissances (bc). cependant, ces deux champs de recherche se focalisent principalement sur des catégories d'objets à gros grain en s'appuyant sur un prétraitement de détection d'objets @xcite . dans cette optique, la seconde question de la figure 1 pourrait porter sur le type de bateau : "est-ce un bateau de pêche ?" au contraire, notre travail se concentre sur des questions nécessitant des connaissances à propos des entités nommées, telles que le bateau queen elizabeth 2. nous avons conçu et publions le jeu de données viquae dans ce but 1 . notre jeu de données a été conçu comme un benchmark pour suivre les progrès des systèmes de kvqae. en effet, nous pensons que la kvqae est une tâche bien définie qui peut être évaluée facilement. elle est donc appropriée pour rendre compte des progrès de la qualité des représentations multimodales d'entités nommées. la représentation multimodale des entités est une question centrale qui permettra de rendre les interactions homme-machine plus naturelles. par exemple, en regardant un film, on peut se demander "où ai-je déjà vu cette actrice ?" ou "est-ce qu'elle a déjà gagné un oscar ?" les questions sur les entités nommées sont très difficiles, car les bc actuelles en contiennent des millions. de ce point de vue, utiliser chaque modalité indépendamment n'est pas suffisamment discriminant pour répondre au besoin de l'utilisateur. à titre d'exemple, dans les images de la figure 1 , il est assez complexe de reconnaître harold macmillan au sein d'une bc contenant des millions de personnes. cependant, on peut déduire de la question qu'il était premier ministre, ce qui permet de filtrer les candidats à quelques centaines. shah et al. (2019) ont déjà travaillé sur la kvqae mais se sont limités aux entités nommées de type personne. au contraire, viquae comprend divers types d'entités. cette diversité est une question centrale dans la kvqae, notamment en raison de l'hétérogénéité des représentations visuelles qui en résulte. entre autres entités, les entreprises peuvent être ainsi représentées par un bâtiment (e.g. leur siège), un produit manufacturé qu'elles vendent ou simplement leur logo. la kvqae nécessite donc une représentation multimodale des connaissances, ce qui la distingue clairement de la recherche d'image par le contenu. cette diversité implique également la nécessité d'étudier d'autres types d'entités que les personnes, qui peuvent assez bien être reconnues visuellement à partir de leur seul visage. par ailleurs, les questions du jeu de données de shah et al. sont générées automatiquement à partir de patrons et de wikidata, ce qui limite en particulier leur diversité de formes et de sujets. enfin, shah et al. utilisent une base de connaissances construite à partir d'un graphe de connaissances au lieu d'un texte non structuré, ce qui est aussi une différence importante avec notre travail. sur un autre plan, viquae, avec ses 3 700 questions, s'inscrit dans le courant des travaux sur l'apprentissage sans (zero-shot) ou avec peu d'exemples (few-shot), avec une double idée : d'une part, la diversité des tâches unissant texte et image ne permet pas de développer des jeux de données d'une taille suffisante pour entraîner de gros modèles à partir de zéro ; d'autre part, les percées des travaux reposant sur les foundation models (bommasani et al., 2021) permettent de s'affranchir d'un tel entraînement. nous espérons ainsi que viquae encouragera les études vers des modèles transférables ou des techniques d'apprentissage sans ou avec peu d'exemples, nécessaires pour la kvqae. plus spécifiquement, nous présentons dans cet article trois principales contributions : (i) nous fournissons un nouveau jeu de données pour la kvqae, le premier à inclure divers types d'entités ainsi qu'une procédure extensible pour l'annotation semi-automatique ; (ii) nous rendons disponible une bc multimodale d'1,5 million d'entités fondée sur wikipédia ; (iii) nous proposons et mettons en libre accès des méthodes d'apprentissage avec peu ou sans exemple pour traiter la kvqae, étant les premiers à traiter la tâche sur divers types d'entités et en utilisant une bc textuelle.