État des lieux des Transformers Vision-Langage : Un éclairage sur les données de pré-entraînement (2023)

Abstract: Après avoir été développée en traitement automatique du langage, l’architecture Transformer s’est démocratisée dans de nombreux domaines de l’apprentissage automatique. Elle a permis de surpasser l’état de l’art dans de nombreuses tâches et a conduit à la création de très grands jeux de données afin d’améliorer les performances des modèles. En multimodalité vision-langage, les résultats encourageants des Transformers favorisent la collecte de données image-texte à très grande échelle. Cependant, il est difficile d’évaluer la qualité de ces nouveaux jeux de données, ainsi que leur influence sur la performance de ces modèles, car notre compréhension des Transformers vision-langage est encore limitée. Nous explorons les études du domaine pour mieux comprendre les processus de collecte des jeux de données, les caractéristiques de ces données et leurs impacts sur les performances des modèles.

## introduction l'architecture transformer a été développée en traitement automatique du langage, permettant de surpasser l'état de l'art dans de nombreuses tâches, comme la traduction automatique ou les questionsréponses. cependant, l'utilisation de cette architecture conjointement avec l'auto-supervision nécessite de grandes quantités de données pour améliorer les performances, conduisant au développement de modèles entraînées sur toujours plus de données, comme gpt-3 @xcite ou bloom @xcite . cette configuration mène à l'émergence de comportements intéressant tels que la capacité de traiter de nouvelles tâches sans supervision classique @xcite . suite à ces succès, d'autres domaines applicatifs de l'apprentissage automatique ont incorporé l'architecture transformers et l'auto-supervision aux systèmes qu'ils produisent. c'est notamment le cas des modèles multimodaux vision-langage @xcite qui, à partir de données textuelles et visuelles, sont capables de réaliser des tâches multimodales comme les questions-réponses visuelles ou le raisonnement sur une image et du texte. de même que pour les modèles de langage, les modèles vision-langage plus récents sont ainsi entraînés avec un apport de données considérable, par auto-supervision, notamment sur la tâche d'association entre une image et sa légende. par exemple, clip @xcite a montré que le passage à l'échelle en termes de données peut entraîner des gains très importants en termes de performances des modèles et de robustesse à différentes tâches. cela a ainsi conduit à la collecte de nouveaux jeux de données appropriés pour l'apprentissage autosupervisé. cependant, la taille d'un jeu de données vision-langage n'est pas la seule caractéristique qui peut grandement influencer le pré-entraînement. toutefois, il est coûteux de réaliser des études d'ablations analysant précisément l'influence de la qualité des données sur les performances d'un modèle. en effet, les modèles les plus performants sont maintenant entraînés sur plus d'une dizaine de millions de paires d'image et texte. la réalisation de telles études demande donc beaucoup de ressources. dans cet article, nous soulevons certaines questions liées à l'utilisation de jeux de données image-texte pour le pré-entraînement de transformers vision-langage : nous parcourons les études réalisées dans ce domaine, ainsi que dans les domaines de traitement du langage et de vision par ordinateur. nous voulons ainsi apporter des éléments de réponse avec un impact potentiel sur ces questions, indépendamment de la modalité. la tendance actuelle des divers domaines du traitement automatique du langage et de la vision par ordinateur semble progresser vers une augmentation de la taille des modèles et jeux de données. c'est d'autant plus le cas pour les modèles basés sur l'architecture transformers. cependant, certaines études portent un regard critique sur l'utilisation de jeux de données toujours plus gros. en traitement automatique du langage les itérations successives du modèle gpt @xcite sont une illustration d'une règle qui s'est installée pour les nouveaux modèles de langues : des modèles constitués de plus de paramètres, pré-entraînés sur des jeux de données plus importants, aideront à obtenir de meilleures performances. de fait, (hendrycks et al., 2020) montre que la robustesse des modèles transformers semble s'améliorer quand ceux-ci sont entraînés sur plus de données, en comparant bert @xcite et roberta @xcite . plus les données sont diversifiées, meilleure sera la capacité de généralisation du modèle. cependant, le coût économique et environnemental de cette tendance est non négligeable @xcite . le coût de certains modèles est quantifié dans @xcite . une manière de l'atténuer serait de prendre en compte l'efficacité du pré-entraînement d'un modèle lors de l'évaluation de celui-ci. d'autre part, une grande quantité de données n'est pas nécessairement équivalente à une grande diversité dans les données. en effet, les méthodes de collecte et de filtrage des données peuvent engendrer des biais considérables qui pourraient être dommageables à l'utilisation de ces modèles. par exemple, elles peuvent privilégier des points de vue hégémoniques @xcite . la taille des jeux de données peut également faire passer inaperçu un manque de qualité de sous-ensembles de données. en étudiant des jeux de données multilingues, @xcite font apparaître un taux d'erreurs significatif, particulièrement pour des langues à faibles ressources. en vision par ordinateur contrairement aux modèles convolutionnels, les modèles transformers n'ont pas l'architecture nécessaire pour apprendre à reconnaître efficacement la structure locale des images. pour obtenir de bonnes performances, ils nécessitent de larges jeux de données @xcite . bien que des modèles plus efficaces continuent à être élaborés @xcite , la taille des jeux de données reste l'un des principaux facteurs limitants @xcite . qualité des données en traitement automatique du langage, plusieurs méthodes de filtrages ont été développées afin d'améliorer la qualité @xcite des données de pré-entraînement. la création d'un tel protocole est souvent itérative, car il peut être difficile d'évaluer la qualité et l'impact de ces corpus. l'utilisation de jeux de données multilingues, notamment, nécessite de porter une plus grande attention au filtrage des données @xcite . en multimodalité vision-langage, de tels jeux de données n'ont été collectés que récemment, et ne sont parfois pas rendus publics pour des questions juridiques. il est intéressant de se pencher sur le processus de collecte de ces corpus image-texte, leurs caractéristiques et leurs impacts sur le pré-entraînement des modèles. ## transformers vision-langage nous présentons dans cette section les transformers vision-langage ainsi que leurs données de préentraînement. ces modèles ont été développés pour associer des concepts textuels et visuels afin de construire des représentations multimodales. comme pour les modèles de langue, ils peuvent ensuite être affinés puis utilisés pour de nombreuses tâches liées aux modalités textuelles et visuelles. cellesci incluent le raisonnement visuel en langage naturel @xcite , la recherche multimodale d'images et de textes @xcite , ou la génération de légendes @xcite . afin de générer des représentations multimodales, ces modèles sont pré-entraînés sur des tâches autosupervisées textuelles, visuelles et multimodales sur une grande quantité de données. ces tâches se sont d'abord inspirées des tâches développées en traitement automatique du langage. ainsi, les modèles sont généralement pré-entraînés en utilisant une tâche de 'masked language modeling', inspirée par bert @xcite et son équivalent en tâche visuelle. les modèles utilisent également diverses tâches d'alignement entre image et texte pour obtenir une meilleure compréhension des interactions multimodales. l'architecture des transformers multimodaux a évolué depuis les premiers modèles. ceux-ci utilisaient d'abord des représentations issues de détecteurs d'objets pour incorporer des informations visuelles @xcite . depuis le développement des transformers en vision @xcite , de nouvelles architectures sont apparues. ainsi, de nouveaux modèles utilisent des transformers monomodaux pour extraire les informations de chaque modalité ainsi qu'un transformer multimodal qui combine les modalités @xcite . ## évaluer la qualité d'un jeu de données texte-image dans cette section, nous voulons évaluer un jeu de données de pré-entraînement pour un modèle qui serait utilisé sur une grande variété de domaines et de tâches. les relations vision-langage peuvent différer en fonction de leur information mutuelle, statut et corrélation sémantique comme le décrit @xcite . dans les jeux de données usuels des tâches vision-langage, le texte est subordonné à l'image, et sert d'ancrage (anchorage) en offrant une manière de décrire l'image. nous voulons donc évaluer la qualité d'un tel jeu de données en nous concentrant sur les images et les textes de manière indépendante, ainsi que la relation d'ancrage de ces images et textes. nous étudions des méthodes permettant de vérifier que les données répondent à certains critères de la variabilité, d'exactitude, de compositionnalité et de réduction des biais, en réponse aux analyses de la partie 4. ## conclusion comme en traitement automatique des langues, l'utilisation de très grands jeux de données améliore très fortement le pré-entraînement des transformers vision-langage. cependant, l'utilisation de plus grandes quantités de données conduit à un coût environnemental et économique non négligeable, ce qui rend leur démocratisation difficile. d'autres problèmes éthiques sont également soulevés, comme l'absence de consentement explicite lors de la collecte de ces données. outre la taille des données, d'autres caractéristiques des jeux de pré-entraînement peuvent avoir un impact majeur sur la performance des modèles. en étudiant diverses analyses des transformers vision-langage, nous regroupons ces caractéristiques en variabilité, exactitude, compositionnalité et biais. nous défendons un filtrage plus précis des grands jeux de données texte-image, pour mieux répondre à ces critères. nous espérons qu'en accentuant l'importance de la qualité des données plutôt que leur quantité, le pré-entraînement des modèles vision-langage devienne plus efficace, et moins coûteux. des études supplémentaires permettraient d'affiner les règles proposées. on obtient p 1 @xmath0, p 1 @xmath1. la prévalence de noms propres dans le jeu de données laion peut augmenter le risque de biais.