Correction automatique d’attachements prépositionnels par utilisation de traits visuels ( PP -attachement resolution using visual features) (2018)

Abstract: La désambiguïsation des rattachements prépositionnels est une tâche syntaxique qui demande des connaissances sémantiques, pouvant être extraites d’une image associée au texte traité. Nous présentons et analysons les difficultés de cette tâche pour laquelle nous construisons un système complet entraîné sur une version étendue des annotations du corpus Flickr30k Entities. Lorsque la sémantique lexicale n’est pas disponible, l’information visuelle apporte 3 % d’amélioration.

## introduction les langues naturelles sont intrinsèquement ambiguës. une partie de ces ambiguïtés peut être levée en utilisant des indices présents dans la phrase, mais d'autres requièrent un accès au contexte dans lequel elles ont été produites. pour reprendre l'exemple célèbre « jean regard l'homme avec un télescope », l'ambiguïté du rattachement de la préposition pour pourrait facilement être levée si nous avions la possibilité de voir la scène. nous proposons dans cet article une méthode de résolution de rattachements prépositionnels fondée sur l'utilisation d'indices visuels. pour cela, nous utilisons un corpus constitué de paires composées d'une photo et d'une légende décrivant cette dernière. ce corpus a été annoté manuellement à différents niveaux. au niveau de l'image, des rectangles (que nous appellerons boîtes), ont été identifiés et une catégorie sémantique a été associée à chacune d'entre elles. au niveau du texte, certains groupes nominaux ont été identifiés, ainsi que certains rattachements prépositionnels, pour un sous ensemble de prépositions fréquentes. de plus les boîtes correspondant à des groupes nominaux ont été appariées à ces derniers. le fait de disposer simultanément de l'analyse de l'image (par l'intermédiaire des boîtes), et du texte, (à travers certains rattachements prépositionnels) ainsi que l'appariement entre boîtes et groupes nominaux permet d'établir un lien entre les deux modalités et d'utiliser des informations provenant de l'image pour traiter le texte. le système que nous proposons repose sur un détecteur d'erreurs de rattachement, proposant un rattachement alternatif s'il détecte une erreur. l'originalité de ce détecteur est qu'il permet de prendre en entrée des indices lexicaux, mais aussi visuels et conceptuels. dans le groupe nominal a ball in_front_of a dog with a red collar (une balle face_à un chien avec collier rouge), par exemple, correspondant à l'image reproduite en figure 1 , la décision de rattacher with à dog plutôt qu'à ball peut se fonder sur des indices lexicaux évidents, mais pourrait aussi se fonder sur des indices visuels en étudiant, par exemple, les positions relatives des boîtes correspondant à ball, dog et collar. la structure de l'article est la suivante. nous dressons l'état de l'art du problème du rattachement prépositionnel dans la section 2, en se focalisant sur les études les plus pertinentes pour nos travaux. notre corpus d'étude est présenté dans la section 3. la section 4 traite du problème de la détection des boîtes et de leur appariement avec des groupes nominaux. le détecteur d'erreurs de rattachement est décrit dans la section 5 et la section 6 décrit les résultats obtenus sur notre corpus d'étude. ## état de l'art le problème du rattachement prépositionnel a fait l'objet d'un grand nombre d'études en traitement automatique des langues. il constitue un problème important et difficile pour les analyseurs syntaxiques. de nombreuses sources d'informations et méthodes ont été proposées pour le résoudre. nous passons ici en revue les plus pertinentes pour nos travaux. deux sortes de ressources ont largement été utilisées dans la littérature pour résoudre le problème des rattachements prépositionnels : des bases de connaissances sémantiques @xcite , et des corpus @xcite @xcite . à notre connaissance, peu de travaux utilisent des informations multimodales pour traiter ce problème. les travaux les plus pertinents pour nous sont ceux de @xcite ; leur approche consiste à réaliser simultanément l'analyse visuelle (identification de boîtes) et l'analyse syntaxique pour des paires (image, phrase) puis ils considèrent le produit cartésien des analyses syntaxiques et visuelles. les différents paires se voient attribuer un score et la paire obtenant le meilleur score est alors sélectionnée. la différence principale entre nos travaux et les leurs est que nous produisons une unique analyse syntaxique et que cette dernière est corrigée en fonction des informations visuelles. de plus, nous menons des expériences sur un nombre de paires (images/légendes) beaucoup plus important (22800 contre 1822). de nombreux travaux se sont intéressés à la mise en correspondance d'un segment de phrase et d'une partie d'image, pour différentes sortes d'applications, tel la génération de légende @xcite @xcite et la recherche d'image @xcite . notre système réalise aussi l'alignement de segments de phrases (plus précisément des groupes nominaux) avec des boîtes dans l'image afin de pouvoir utiliser des caractéristiques multimodales, sans que cela soit notre objectif principal. nos travaux sont aussi en lien avec ceux sur l'apprentissage de relations visuelles. les travaux les plus pertinents sont ceux de @xcite dans lesquels les auteurs développent de nouveaux descripteurs visuels pour la représentation de relations entre les objets d'une image. leur modèle repose sur des représentations multimodales des configurations d'objets pour chaque relation, et entraînent des classifieurs sur la relation des objets avec une supervision au niveau de l'image seulement (i.e. des annotations du niveau image comme person on bike, sans annoter les objets impliqués dans la relation). alors que nous pourrions utiliser leurs classifieurs de relations spatiales, l'objectif de notre travail est différent. nous nous intéressons au problème de la désambiguïsation des rattachements prépositionnels. nous utilisons des caractéristiques visuelles similaires pour représenter la configuration spatiale des objets, mais les objets sont détectés et représentés d'une manière différente (en utilisant yolov2 vs fast r-cnn). de nombreux chercheurs en psycholinguistique et en psychologie cognitive ont également étudié l'interaction entre la vision et le langage lors du traitement des phrases par l'humain @xcite . ces travaux démontrent la pertinence de l'information visuelle pour les humains afin de résoudre l'ambiguïté linguistique. cette information est également d'une grande importance au cours des premières étapes de l'acquisition du langage chez l'enfant, puisque la plupart des phrases reçues par les enfants sont liées à leur environnement visuel immédiat @xcite . même si les objectifs sont éloignés, nos travaux s'inspirent de ces idées. ## le corpus flickr30k entities il existe peu de corpus multimodaux (texte, image) qui associent des régions de l'image à des séquences de mots du texte. dans cet article nous avons utilisé le corpus multimodal flickr30k entities @xcite (f30ke) qui fournit ce type d'annotations et qui constitue une extension du corpus flickr30k @xcite , une référence bien connue pour la description d'images par des phrases. f30ke est composé de 32k images, chacune associée à cinq phrases la décrivant. les chaînes de coréférences se rapportant aux mêmes entités sont annotées et liées aux boîtes englobantes des objets correspondant dans l'image (244k chaînes de coréférence et 276k boîtes sont fournies). de plus, chaque boîte est associée à une des catégories sémantiques suivantes : personnes, parties du corps, animaux, vêtements, instruments, véhicules, scène, et autres. un exemple issu de ce corpus est reproduit dans la figure 1 . nous avons enrichi ce corpus avec une analyse syntaxique automatique des phrases, suivi d'une vérification manuelle des 29068 rattachements prépositionnels potentiellement ambigus du corpus. la correction de rattachement a été faite par un seul annotateur, qui avait à sa disposition uniquement la préposition cible dans la phrase et l'image. ## appariement automatique de boîtes et de groupes nominaux le modèle de correction que nous proposons suppose un appariement entre les boîtes détectées dans l'image et des groupes nominaux des légendes. cette tâche se décompose en trois étapes : la détection des boîtes dans l'image, la détection des groupe nominaux dans la légende et, enfin, leur appariement. elles sont décrites successivement dans les trois sections suivantes et illustrés dans la figure 2. ## cadre expérimental les expériences ont été réalisées à l'aide d'un analyseur en transitions entraîné sur le corpus penn treebank @xcite . le corpus f30ke, enrichi des 29068 occurrences de préposition manuellement rattachées à leur gouverneur, a été subdivisé en trois ensembles : apprentissage (23254 prépositions), développement (2907 prépositions) et test (2907 prépositions). l'ensemble d'apprentissage a été utilisé pour entraîner le détecteur d'erreurs. les phrases de l'ensemble de test sont d'abord analysées puis les analyses produites sont fournies en entrée au détecteur d'erreurs qui propose éventuellement de modifier certains attachements prépositionnels. la