Étude des déterminants impactant la qualité de l’information géographique chez les LLM s : famille, taille, langue, quantization et fine-tuning (2025)

Abstract: Nous analysons l’impact de plusieurs facteurs d’optimisation sur la qualité des informations géographiques contenues dans des grands modèles de langue (LLMs) : famille, taille, «quantization», «instruction fine-tuning», prompt et langue. Nous évaluons également la qualité des représentations internes, en particulier pour les modèles génératifs ayant des difficultés à suivre les instructions. Nos résultats montrent que la quantization dégrade nettement les performances, tandis que les versions conversationnelles («Instruct») perdent généralement en qualité d’informations par rapport à leur version «base», à l’exception des modèles de petite taille. L’ensemble de notre protocole d’évaluation est entièrement reproductible et disponible en accès libre.

## introduction les grands modèles de langue (large language models, llms), notamment via les différents services web d'agent conversationnel ou assistant personnel, deviennent progressivement des concurrents aux moteurs de recherche pour la vérification et la recherche d'informations. en particulier, le troisième usage le plus fréquent des llms est de répondre à des questions de géographie @xcite , bien que ces informations soient aisément accessibles via des encyclopédies en ligne ou des services de cartographie comme wikipédia ou openstreetmap. aujourd'hui, l'offre de llms disponible pour les utilisateurs est en pleine expansion, avec des modèles déclinés en différentes tailles et variantes (notamment par instruction fine-tuning et par niveau de quantization). pour les utilisateurs souhaitant héberger localement un modèle, ou du moins éviter d'utiliser des llms hébergés sur des plateformes privées, le choix du modèle repose sur un compromis entre le coût des ressources matérielles et la pertinence des réponses fournies. l'objectif de ce travail est d'évaluer les critères ayant le plus d'impact sur la qualité des informations géographiques des modèles. la géographie étant un domaine où la vérification des réponses est aisée, cette évaluation sert également de proxy pour identifier les facteurs influençant la qualité des informations détenues par les modèles. nous nous concentrons uniquement sur les informations géographiques intrinsèques aux modèles (sans agent et sans accès externe) et comparons l'impact des critères suivants : notre évaluation, reproductible et accessible sur https://github.com/adrienguille/ geo-llm, aboutit à quelques recommandations : la quantization a un impact important, il est préférable d'utiliser un modèle avec moins de paramètres mais sans quantization. la phase d'ajustement aux instructions (i.e. instruction fine-tuning) appliquée aux modèles de base pour obtenir les variantes "instruct" ou "chat" détériore les informations géographiques intrinsèques aux modèles (hormis pour les modèles de petite taille). la figure 1 illustre les différences de qualité de l'information géographique restituée par les llms. cette carte affiche les coordonnées prédites des villes frontalières françaises montrant ainsi l'impact sur les frontières en chaînant par sens trigonométrique les coordonnées prédites. ## état de l'art bien avant l'émergence des modèles de langue, des travaux ont mis en évidence que l'information géographique pouvait être implicitement encodée dans le langage naturel. en analysant les cooccurrences de toponymes dans des corpus, @xcite ont montré qu'il était possible d'inférer, avec une certaine fiabilité, la proximité géographique entre les lieux mentionnés. cette information géographique, présente dans les textes, est naturellement captée par les modèles de langue. en particulier, les représentations vectorielles (embeddings) issues de ces modèles intègrent en partie des dimensions géographiques et culturelles (decoupes et al., 2025; gurnee & tegmark, 2024). cependant, les modèles de langue, souvent considérés comme des boîtes noires, sont connus pour reproduire ou amplifier divers biais, qu'ils soient politiques, raciaux, sexistes, etc (kotek et al., 2023). de plus, plusieurs études récentes (decoupes et al., 2025; kruspe & stillman, 2024; liu et al., 2024) ont mis en évidence l'existence de biais géographiques, définis comme une représentation inégale ou un traitement différencié selon les régions, les pays ou les cultures. cette problématique est d'autant plus préoccupante que les jeux de données utilisés pour l'entraînement et l'alignement de ces modèles sont rarement accessibles, du fait d'une concurrence accrue entre les acteurs industriels. or, une part importante des biais réside précisément dans ces jeux de données. face à cela, la communauté en traitement automatique des langues (tal) a développé plusieurs benchmarks pour évaluer les performances des modèles. néanmoins, l'information géographique y reste largement sous-représentée. par exemple, le corpus common crawl ne contient que 18,7 % de documents géolocalisables (ilyankou et al., 2024), avec une couverture très inégale du globe. les zones urbaines, économiquement prospères et anglophones y sont nettement surreprésentées. plusieurs travaux se sont intéressés à l'étude des biais géographiques, en analysant par exemple la présence de stéréotypes ou les variations de performance selon les régions. toutefois, à notre connaissance, aucune étude ne s'est encore penchée sur l'impact des différents paramètres de configuration des modèles sur ces biais. ## méthodologie générale le processus d'évaluation de l'impact des différents critères sur la qualité des informations géographiques se compose de plusieurs étapes. la première consiste à charger les différentes variantes de modèles, puis à leur soumettre une série de prompts afin de récupérer deux types de sorties : d'une part, la réponse textuelle du modèle, et d'autre part, l'embedding associé au lieu recherché. deux traitements distincts sont ensuite réalisés. le premier, en langage naturel, consiste à calculer la distance géographique entre les coordonnées gps inférées par le modèle et les coordonnées exactes. le second vise à entraîner un modèle de régression linéaire afin de prédire les coordonnées gps à partir des embeddings des lieux. l'évaluation des llms repose également sur le calcul de la distance géographique entre les coordonnées calculées par la régression à partir des embeddings et les emplacements réels.