Recherche cross-modale pour répondre à des questions visuelles (2023)

Abstract: Répondre à des questions visuelles à propos d’entités nommées (KVQAE) est une tâche difficile qui demande de rechercher des informations dans une base de connaissances multimodale. Nous étudions ici comment traiter cette tâche avec une recherche cross-modale et sa combinaison avec une recherche mono-modale, en se focalisant sur le modèle CLIP, un modèle multimodal entraîné sur des images appareillées à leur légende textuelle. Nos résultats démontrent la supériorité de la recherche cross-modale, mais aussi la complémentarité des deux, qui peuvent être combinées facilement. Nous étudions également différentes manières d’ajuster CLIP et trouvons que l’optimisation cross-modale est la meilleure solution, étant en adéquation avec son pré-entraînement. Notre méthode surpasse les approches précédentes, tout en étant plus simple et moins coûteuse. Ces gains de performance sont étudiés intrinsèquement selon la pertinence des résultats de la recherche et extrinsèquement selon l’exactitude de la réponse extraite par un module externe. Nous discutons des différences entre ces métriques et de ses implications pour l’évaluation de la KVQAE.

## introduction répondre à des questions visuelles à propos d'entités nommées (kvqae 1 ) est une tâche difficile qui demande d'analyser des données multimodales @xcite @xcite . les représentations multimodales d'entités nommées y sont centrales, ce qui lie cette tâche à la désambiguïsation multimodale d'entités nommées @xcite . la kvqae, comme d'autres tâches multimodales, vise à fluidifier et rendre plus naturelle l'interaction entre l'utilisateur et la machine. par exemple, en regardant un film, on peut se demander « où ai-je déjà vu cette actrice ? » ou « est-ce qu'elle a déjà gagné un oscar ? » un système de question-réponse multimodal nous éviterait alors la fastidieuse tâche de parcourir le générique du film et de chercher des informations à propos de ladite actrice. la figure 1 montre deux exemples de questions visuelles ainsi que des passages visuels pertinents correspondants, tirés du jeu de données viquae @xcite et de sa base de connaissances (bc) multimodale. une question visuelle est constituée plus précisément d'une question textuelle, accompagnée d'une image qui lui est liée, et symétriquement, un passage visuel est la réunion d'un passage textuel, issu d'un document lié à une entité, et d'une image associée. par ailleurs, à la différence de sa définition la plus courante en représentation des connaissances, le terme de base de connaissances renvoie ici à un contenu non structuré, formé de passages visuels. contrairement aux questions visuelles classiques @xcite , qui visent le contenu de l'image (par exemple « de quelle couleur est la voiture ? »), les questions en kvqae visent des entités nommées et nécessitent donc de rechercher des informations dans une bc. d'autres travaux se situent à mi-chemin mais sont limités à des catégories d'objet « gros grain », par exemple « personne » et « monument » au lieu de « charles de gaulle » et « arc de triomphe » @xcite . dans cette étude, nous définissons deux types d'interactions mono-modales, textuelle (tqtp) et visuelle (iqip) entre question et passage, ainsi que trois cross-modales : au sein de la question visuelle (tqiq), du passage visuel (tpip) ou entre les deux foot_0 (iqtp), comme illustré par la figure 1 . nous nous focalisons principalement sur cette dernière interaction. la kvqae ayant été introduite très récemment, elle reste largement à explorer. @xcite et @xcite l'ont abordée en s'appuyant sur des représentations spécialisées pour les images, en l'occurrence en lien avec les visages, tandis que @xcite ont proposé une méthode de pré-entraînement pour la recherche d'information (ri) multimodale. leur méthode combine implicitement recherche mono-et cross-modale mais demande un pré-entraînement coûteux et n'exploite pas les modèles pré-entraînés existant pour la recherche cross-modale, tels que clip @xcite . clip est fondé sur un double encodeur, un pour chaque modalité, entraîné à partir d'images et de leurs légendes de façon cross-modale. cette architecture permet d'être très efficient à la fois pour la recherche cross-modale mais aussi pour l'entraînement dans un cadre d'apprentissage contrastif, c'est-à-dire en comparant les représentations d'exemples selon leur similarité sémantique. clip s'est imposé comme un modèle fondateur @xcite de par ses multiples applications en vision par ordinateur, traitement automatique des langues et recherche cross-modale @xcite @xcite . dans ce travail, nous montrons comment aborder la kvqae grâce à clip, à la fois pour la recherche mono-modale mais aussi cross-modale, les deux pouvant être combinées aisément. @xcite ont utilisé l'encodeur visuel de clip (clip v ) pour la recherche visuelle mais pas son encodeur textuel (clip t ). @xcite ont combiné clip v et bert @xcite pour la ri multimodale mais suggèrent que les bénéfices de leur modèle viennent des interactions cross-modales entre l'image de la question et le texte du passage visuel (iqtp, en bleu dans la figure 1 ). or, celles-ci sont possibles directement avec clip t . de plus, la méthode de pré-entraînement de @xcite est coûteuse. nous montrons ici comment ajuster clip avec le peu de données de viquae @xcite , sans pré-entraînement supplémentaire. nos résultats suggèrent que la recherche cross-modale est supérieure à la mono-modale, ce qui est intéressant car les modèles cross-modaux tels que clip peuvent être entraînés de façon faiblement supervisée. de plus, nous montrons que les deux sortes de recherche peuvent être combinées très facilement, sans entraînement supplémentaire, et que cette recherche hybride apporte des gains de performance conséquents. enfin, nos expérimentations suggèrent que l'ajustement (fine-tuning) de clip est plus efficace en condition cross-modale, comme pour son pré-entraînement. les gains de performance sont étudiés intrinsèquement selon la pertinence des résultats de la ri et extrinsèquement selon l'exactitude de la réponse extraite par un module externe. nous discutons des différences entre ces métriques. ## travaux connexes notre travail se situe à l'intersection de plusieurs domaines de la ri : textuelle, visuelle et cross-modale, appliquée à des questions ou plus généralement à des requêtes. l'apprentissage de représentations denses pour la ri est transverse à ces trois domaines. avec une représentation adéquate, la ri se ramène alors à un problème de recherche des plus proches voisins. recherche cross-modale @xcite explorent les possibilités d'analogie multimodale avec les représentations de clip. par exemple, la reine est au roi ce qu'une photo de femme est à une photo d'homme. ils montrent que les représentations de clip ne sont pas à l'origine adaptées pour cet usage mais peuvent être ajustées facilement avec une simple projection linéaire en gardant le même objectif d'entraînement. puisque ces analogies prennent la forme d'opérations arithmétiques sur des vecteurs, elles combinent recherche mono-et cross-modale de manière assez semblable à notre travail. @xcite emploient clip pour la recherche cross-modale dans le cadre d'une tâche connexe à la kvqae : la désambiguïsation visuelle d'entités nommées. ils montrent que clip surpasse un modèle de reconnaissance faciale, même en zero-shot. nos résultats suggèrent le contraire mais @xcite utilisent un modèle de reconnaissance faciale différent du nôtre et ne précisent pas la version ni la taille du modèle clip avec lequel ils expérimentent. leur travail se focalise sur le jeu de données qu'ils proposent et n'emploie ainsi clip que de manière cross-modale, avec un ajustement laissant les encodeurs fixes et donc, en ajoutant un perceptron multi-couches. il reprend en cela le modèle clip-adapter de @xcite , qui supposent que l'ajustement de l'ensemble des paramètres de clip conduirait inévitablement au sur-apprentissage. toutefois, @xcite ne vérifient pas cette hypothèse et se comparent principalement aux approches de prompting. au contraire de @xcite , nous utilisons clip à la fois pour la recherche mono-et cross-modale et ajustons l'ensemble de ses paramètres sans en introduire de nouveaux. @xcite utilisent quant à eux un objectif d'apprentissage contrastif à la fois mono-et cross-modal ayant pour fin la recherche cross-modale. contrairement à notre cadre où l'on vise à rapprocher une image du nom de l'entité représentée et de son image de référence, les auteurs regroupent les représentations mono-modales par catégorie « gros grain » (par exemple les 20 catégories du jeu de données pascal ; @xcite . questions cross-modales @xcite travaillent sur le jeu de questions cross-modales webqa @xcite . bien que webqa ait à l'origine été proposé comme une évaluation de reading comprehension, @xcite traitent ses questions cross-modales sorties de leur contexte et travaillent donc sur la partie ri, visant justement à retrouver le contexte pertinent. on pourrait ainsi qualifier webqa de « questions visuelles sans images » car les questions sont purement textuelles mais les réponses se trouvent dans une image. par exemple, on peut répondre « helmet » à la question « what is the sculpted bust at the baroque library, prague wearing on its head ? » à condition de trouver une image pertinente. @xcite utilisent clip pour chercher des images à partir de la question. ils exploitent également la légende des images et combinent ainsi les informations de manière similaire à la nôtre (cf. section 3), sauf que leur requête est textuelle et non pas visuelle. questions visuelles de sens commun gui et al. (2022) intègrent clip dans un encodeur-décodeur t5 @xcite entraîné à générer la réponse à la manière de lewis et al. @xcite . clip, qui reste fixé, sert alors à la recherche cross-modale entre l'image de la question et le nom d'une entité accompagné de sa description dans un sous-graphe de wikidata. les auteurs expérimentent avec le jeu de données ok-vqa @xcite , qui se focalise sur des questions de sens commun (commonsense) et vise ainsi des catégories d'objets « gros grain » plutôt que des entités nommées. questions visuelles à propos d'entités nommées (kvqae) garcia-olano et al. (2022) et heo et al. (2022) travaillent sur la kvqae avec le jeu de données @xcite . cependant, il est difficile de comparer leurs approches à la nôtre car leurs systèmes prennent en entrée la légende de l'image, ce qui rend l'image elle-même redondante. @xcite ont proposé kvqa, le premier jeu de données pour la kvqae. ils traitent la multimodalité de la tâche par une fusion tardive au niveau de la décision : les entités nommées sont détectées et désambiguïsées à la fois dans la question et l'image par des modules indépendants avant d'être regroupées. un sous-graphe de wikidata est ensuite construit à partir de ces entités et traité par un memory network @xcite . notre travail est plus proche de @xcite , qui utilisent une bc fondée sur wikipédia, faite donc d'images et de textes non-structurés (comme dans la figure 1 ). ils traitent la tâche en deux étapes, où l'extraction des réponses suit la ri. la ri est une combinaison de deux recherches mono-modales : textuelle avec dpr @xcite et visuelle avec une combinaison de clip v , arcface @xcite et un modèle resnet entraîné sur imagenet @xcite . nous cherchons d'une part à simplifier ce système en supprimant la dépendance vis-à-vis d'arcface et imagenet, deux modèles supervisés qui fournissent a priori des représentations moins génériques que clip, et d'autre part à exploiter pleinement clip en combinant recherche mono-modale et cross-modale. après la ri, @xcite extraient les réponses des passages de texte grâce à bert multi-passage @xcite . pour leur part, @xcite se sont, comme nous, focalisés sur la ri. afin de modéliser les interactions cross-modales tqiq et tpip, ils représentent de façon jointe le texte et l'image, inspirés par les bert multimodaux qui dominent les travaux sur les questions visuelles classiques ces dernières années @xcite . néanmoins, ces architectures demandent un pré-entraînement coûteux et @xcite suggèrent finalement que leur modèle exploite surtout l'interaction iqtp. nos conclusions se rejoignent car notre modèle surpasse le leur -sans pré-entraînement supplémentaire -en modélisant explicitement iqtp via clip, comme décrit dans la section suivante. ## méthodes étant donné une question visuelle (t q , i q ) et une bc consistant en une collection de passages visuels (t p , i p ), nous cherchons à trouver des passages pertinents, c'est-à-dire permettant de répondre à la question. nous nous concentrons ici sur les interactions cross-modales entre les questions et les passages. nous laissons donc de côté les interactions cross-modales au sein des questions (tqiq) et des passages (tpip) (cf. figure 1 ). par ailleurs, nous ne considérons pas non plus la similarité tqip entre la question et l'image du passage dans ce cadre car nous jugeons que la spécification de l'entité par le biais de la seule partie textuelle de la question est très peu discriminante du point de vue de l'entité référencée. par conséquent, nous nous focalisons sur la recherche visuelle à partir de l'image i q . pour ce faire, nous définissons la fonction de similarité suivante, qui combine similarités mono-et cross-modale (cf. figure 1 ) : ## résultats nous évaluons la ri à deux niveaux : ## discussion la section précédente rapporte des différences importantes entre les métriques de ri au niveau du passage visuel et de l'extraction des réponses. notre système peut être replacé dans le cadre de l'apprentissage augmenté par ri défini par @xcite . les métriques de ri constituent alors une évaluation intrinsèque des modèles de ri tandis que l'extraction de réponse est une évaluation extrinsèque. il est intéressant de noter que les métriques de ri que nous utilisons ont été conçues pour des utilisateurs humains et que les modèles d'apprentissage exploitent les résultats de la ri de 16. la section 5.1 présente les résultats sur le jeu de validation mais ils sont similaires sur le jeu de test. manière assez différente. par exemple, le modèle bert multi-passage ne tient pas compte du rang du passage visuel, les top-k passages étant traités en parallèle. de plus, les métriques d'extraction de réponse sont moins sensibles au biais textuel inhérent à la kvqae. pour reprendre le deuxième exemple de la figure 1 , « combien y a-t-il d'avenues autour de ce bâtiment ? », on peut énumérer les chiffres de 1 à 20, sans regarder l'image, et obtenir ainsi un hits@20 = 1. néanmoins, un modèle d'extraction de réponse tel que bert multi-passage aura seulement une chance sur 20 environ d'extraire la bonne réponse car elles sont toutes plus ou moins plausibles, comme discuté dans @xcite . au contraire, avec une ri purement visuelle, donc exempte de biais textuel, on récupère les passages de l'article wikipédia de l'arc de triomphe ou d'autres monuments ressemblants. les métriques de ri sont alors mauvaises car la plupart des passages ne sont pas pertinents mais il suffit d'un seul passage pertinent dans le top-24 pour que bert multi-passage puisse extraire la réponse sans ambiguïté car seuls les passages pertinents fournissent alors des réponses plausibles. on peut observer ce phénomène quantitativement : entre la recherche purement textuelle (dpr) et la baseline multimodale (dpr + clip mono-modal zero-shot), il n'y a presque pas de différence pour les métriques de ri au niveau du passage (cf. tableau 3), voire une détérioration de la précision@20, alors que les métriques d'extraction de réponse (cf. tableau 4) montrent 16 % à 17 % d'amélioration relative pour la ri multimodale baseline. de la même manière, les modèles de fusion précoce de @xcite sont plus à même d'exploiter les biais textuels que clip, qui cherche seulement à partir de l'image. deux exemples sont montrés à la figure 2 . bien que cette évaluation extrinsèque corrige certains biais de l'évaluation intrinsèque, puisqu'elle repose sur un modèle externe, elle ajoute aussi plusieurs facteurs, notamment : ## conclusion dans cet article, nous étudions la recherche cross-modale et sa combinaison avec la recherche monomodale pour répondre à des questions visuelles à propos d'entités nommées (kvqae), en nous focalisant sur le modèle clip. nos résultats démontrent la supériorité de la recherche cross-modale, mais aussi la complémentarité des deux, qui peuvent être combinées facilement. il serait intéressant d'étudier si ces résultats se généralisent à d'autres tâches. cette méthode pourrait par exemple bénéficier à la recherche visuelle par le contenu dans un contexte de navigation web. bien que ce soit l'abondance de données cross-modales qui ait permis d'entraîner un modèle avec la capacité de clip, ce qui aurait été difficile avec une annotation mono-modale, cela limite nos résultats car il est difficile de contrôler une telle masse de données et donc d'estimer les capacités de généralisation de clip. nous étudions également différentes manières d'ajuster clip et trouvons que l'optimisation crossmodale est la meilleure solution, encore une fois grâce à son adéquation avec son pré-entraînement. cette conclusion pourrait changer si nous disposions de suffisamment de données pour réorganiser l'espace de représentations. notre méthode surpasse la baseline (recherche mono-modale) mais aussi les méthodes @xcite et @xcite , tout en étant plus simple et moins coûteuse. nos résultats questionnent toutefois les métriques utilisées pour évaluer les modèles de ri, notamment l'évaluation intrinsèque des passages, qui est sujette aux biais textuels. nous préconisons donc de comparer prudemment des modèles fondés sur les mêmes données, comme dans la section 5.1, ou bien d'évaluer extrinsèquement les résultats via un modèle d'extraction de réponse (section 5.3). toutefois, l'utilisation d'un modèle d'apprentissage pour évaluer les résultats est source de variabilité et pourrait donc changer les conclusions d'une étude. nous avons notamment identifié trois facteurs importants dans la section 6 qui devraient être étudiés dans de futurs travaux. il serait également intéressant d'étudier l'optimisation jointe de la ri et de l'extraction/génération de réponse. de récents travaux ont montré sa faisabilité pour des tâches connexes à la @xcite .