Les modèles multimodaux peuvent-ils aider à l’interprétation de cartes ? Une étude exploratoire avec GPT -4o (2025)

Abstract: Cet article explore l’utilisation des modèles de langage multimodaux, en particulier GPT-4o, pour l’interprétation automatisée de cartes de risque d’inondation. Un prototype a été développé afin de permettre à des utilisateurs non-experts de poser des questions en langage naturel et d’obtenir des réponses ancrées sur des données géospatiales visuelles. Un jeu de données ad hoc a été constitué pour évaluer la capacité du modèle à répondre à des questions fermées, selon différentes stratégies de génération. Malgré certaines améliorations grâce à l’usage de schémas de génération structurée et de raisonnements intermédiaires, les résultats révèlent une forte tendance aux hallucinations et des performances insuffisantes pour une application en contexte critique. Cette étude met en évidence les limites actuelles des modèles multimodaux pour l’analyse cartographique, et souligne la nécessité de recherches fondamentales et de corpus plus étendus pour fiabiliser ces approches.

## introduction les agences gouvernementales et les médias sont généralement responsables de la préparation et de la centralisation de l'information en vue de répondre efficacement aux catastrophes environnementales et de protéger les communautés. cependant, les retards de communication, les lacunes dans la préparation et l'absence d'outils adaptés aux non-spécialistes restent fréquents, même dans des contextes où l'information est disponible. des exemples tristement célèbres, meurtriers et coûteux de réponses tardives incluent l'ouragan @xcite , le cyclone nargis @xcite , les incendies de forêt en russie (2010) ou encore les feux de brousse en @xcite . malgré l'amélioration des capacités de prévision, les outils permettant une interprétation compréhensible et rapide des données par le grand public restent limités. alors que les catastrophes liées au climat deviennent plus fréquentes et intenses, la capacité à transmettre rapidement des informations claires, fiables et visuellement ancrées devient un enjeu critique pour la gestion des risques. ce besoin est d'autant plus pressant pour les communautés non-expertes, souvent éloignées des systèmes d'alerte professionnels. les modèles de langage de grande taille (llms) ont démontré des performances remarquables dans un large éventail de tâches, y compris dans des domaines pour lesquels ils n'avaient pas été spécifiquement entraînés. toutefois, l'exploitation de données géospatiales cartographiques par ces modèles reste largement inexplorée, en particulier dans des formats visuels bruts tels que les cartes. l'émergence de modèles multimodaux, tels que gpt-4o @xcite , capables d'intégrer simultanément des entrées textuelles et visuelles, offre une opportunité nouvelle d'interagir avec ces documents. ce travail propose d'explorer les capacités réelles de ce type de modèle pour interpréter des cartes de risque d'inondation, dans une optique d'assistance au grand public ou aux acteurs de la gestion de crise. nous avons ainsi développé un prototype (disponible à l'adresse https://ogc-demo.crim . ca/) permettant une interaction en langage naturel avec des cartes issues de données officielles, et construit un jeu de données spécifique pour évaluer la performance du modèle dans un cadre contrôlé. nous mettons en évidence les limites actuelles de ces approches, en particulier la fréquence des hallucinations et les difficultés à ancrer les réponses dans les éléments visuels réels. nos résultats suggèrent que, malgré certaines améliorations techniques possibles, ces modèles restent à ce jour insuffisamment matures pour une utilisation dans des contextes sensibles. ## prototype développé le prototype développé vise à explorer le potentiel des modèles génératifs multimodaux dans l'analyse de données cartographiques, en particulier les cartes de risque d'inondation. l'objectif principal est de permettre à un utilisateur non-expert d'interagir en langage naturel avec un assistant virtuel qui s'appuie sur des sources de données géospatiales pour fournir des réponses contextualisées et vérifiables. contrairement aux systèmes classiques basés sur des données structurées, ce prototype repose sur l'analyse d'images. cela ouvre la possibilité d'interroger tout type de carte dans un contexte similaire. le fonctionnement du prototype repose sur les étapes suivantes :