Application de Transformers multimodaux à l’extraction d’informations des documents de sondage des sols (2025)

Abstract: L’extraction d’information de documents complexes est un domaine de recherche qui bénéficie d’une très grande attention tant dans la littérature, que dans l’industrie dans le cadre de la digitalisation des données. Les Transformers et leurs adaptations ont très largement contribué à faire progresser cette recherche en s’appuyant sur des modèles de langue qui ont introduit une compréhension sémantique de l’organisation de la structure des documents. Les coupes de sondage sont des documents industriels complexes et riches en informations, pour lesquels aucune solution d’extraction d’informations n’avait été proposée. Nous montrons les limites des approches de bout-en-bout par des expérimentations avec le modèle DONUT. Comme alternative, nous proposons une chaîne de traitement hybride reposant sur le fine-tuning de Transformers multimodaux et des algorithmes heuristiques. Nous comparons deux architectures de Transformers multimodaux pré-entrainés : BROS et LayoutLMv3.

## introduction la compréhension et l'extraction d'informations de documents est un domaine de recherche d'actualité, tant dans les milieux académiques que dans les milieux industriels. récemment, les modèles de transformers multimodaux pré-entraînés ont obtenu de bons résultats sur des tâches applicatives spécifiques. cependant, ces modèles peinent à généraliser leurs apprentissages sur de nouvelles tâches ou des collections de documents qu'ils n'ont jamais vues. l'adaptation de ces modèles sur des collections spécialisées, par fine-tuning, est souvent nécessaire. les coupes de sondage sont des documents largement utilisées dans l'industrie géotechnique et environnementale pour caractériser la composition des sols en profondeur. malgré leur utilisation répandue, aucune solution efficace d'extraction automatique d'informations adaptée spécifiquement à ces documents industriels n'existe à ce jour. ces documents (cf. figure 1 ) sont par nature complexes en raison de leur grande diversité de mise en page, de leur contenu riche et hétérogène, ainsi que des variations de qualité liées à leur date de création et à leur origine. la compréhension de ces documents repose sur une analyse détaillée de leur structure, impliquant une combinaison d'informations à la fois sémantiques et visuelles. l'extraction d'informations (lithologies associées à leur profondeur, titre, identifiant, position gps (x, y), altitude, ...) nécessite des modèles capables de traiter simultanément texte et mise en page. contrairement aux jeux de données classiques en analyse et reconnaissance de documents, les coupes de sondage présentent des spécificités fortes, comme par exemple la présence d'échelles de profondeur proportionnelles, qui rendent l'adaptation des méthodes existantes peu triviale. l'absence de jeu de données annotées constitue une problématique majeure. figure 1 -coupe de sondage tronquée, montrant 4 couches de lithologie (e.g. "remblais limoneux" entre 0 et 0,4 mètres de profondeur), une échelle de profondeur sur la gauche, et un identifiant (sp1). dans cette étude, nous nous focalisons sur les couples lithologie-profondeur qui constituent l'information centrale des coupes de sondage. ils peuvent être difficiles à extraire car la profondeur d'une lithologie n'est pas toujours explicitement mentionnée dans le texte (e.g. figure 3a ) ; il convient alors de la déduire à l'aide de l'échelle de profondeur. d'autres informations, telles que la profondeur du sondage, la position gps (x, y) ou l'altitude, peuvent être extraites efficacement grâce à leur structure clé-valeur. nous avons choisi de ne pas nous attarder sur celles-ci car des solutions efficaces existent déjà dans la littérature. nos contributions peuvent être résumées de la manière suivante : les transformers multimodaux, ont entraîné des améliorations remarquables des techniques d'extraction d'informations de documents complexes. ils reposent sur un ocr externe qui fournit au modèle les mots et leurs positions. layoutlm @xcite intègre des informations de mise en page (i.e. positions 2d des mots dans la page) dans une architecture de transformer. ensuite, layoutlmv2 @xcite et layoutlmv3 @xcite intègrent une représentation visuelle de l'image du document permettant d'encoder la structure de documents complexes comme des tableaux. layoutlmv3 utilise une projection linéaire de patchs de l'image (i.e. sous-images) qu'il transmet directement au transformer multimodal. bros @xcite utilise à la fois les positions absolues et relatives entre les mots, ce qui permet de mieux capturer les représentations de structures de types clés-valeurs. layoutlmv3 et bros sont pré-entraînés sur des tâches prétextes auto-supervisées et ont l'avantage de distribuer leurs poids. de leur côté, les visual transformers (vt), qui ne reposent sur aucun système d'ocr, offrent des perspectives prometteuses. ce sont des modèles de vision par ordinateur adaptant l'architecture des transformers aux tâches de vision. ils utilisent des mécanismes attentionnels pour combiner les représentations textuelles et visuelles du document. @xcite utilise une architecture de vt comme encodeur. pré-entraîné sur une tâche de pseudo-ocr, donut utilise un décodeur génératif (lewis et al., 2019) pour produire des réponses structurées et peut être fine-tuné sur des tâches de classification, d'analyse de documents ou de réponse aux questions. ces approches de bout-en-bout limitent la propagation des erreurs d'ocr dans les prédictions du modèle. les jeux de données standards pour l'extraction d'informations de documents sont généralement des factures, formulaires ou tickets de caisse comme funsd @xcite , cord (park et al., 2019) ou sroie @xcite . on retrouve aussi des jeux de données pour la réponse aux questions tels que docvqa @xcite . ces documents se distinguent des coupes de sondage par leur mise en page et leur contenu, ce qui limite leur exploitation pour notre étude. les connaissances acquises par les modèles pré-entraînés ne sont pas directement transférables à notre problématique sans tâche d'apprentissage supplémentaire. bien que les transformers multimodaux puissent être fine-tunés sur des tâches d'extraction de relations (e.g. avec l'ajout d'un decodeur spade @xcite à bros) pour lier les lithologies à une profondeur, il ne peuvent déduire la profondeur depuis l'échelle (cf. figure 3a ). les vt génératifs (e.g. donut) peuvent être utilisés pour générer des séquences de textes contenant à la fois la lithologie et sa profondeur associée (cf. alternative 2. figure 2 ). en revanche, ils sont incapables de déterminer la profondeur d'une lithologie en se reportant à l'échelle. lorsque la profondeur n'est pas explicitement mentionnée, donut essaie de générer une valeur de profondeur sans raisonnement logique, probablement en se basant sur les données d'apprentissage. les limites des méthodes actuelles nous ont amenés à concevoir une chaîne de traitement hybride en 3 étapes, combinant modèles d'apprentissage automatique et algorithmes heuristiques. pourtant, nos expériences préliminaires indiquent que donut fine-tuné n'est pas fiable pour l'extraction des couples lithologie-profondeur. lorsque les profondeurs ne sont pas explicitement indiquées, le modèle tente alors d'inventer une profondeur. ces hallucinations entraînent un écart moyen de 15.55 mètres, ce qui est disproportionné comparé aux sondages qui ont généralement des profondeurs comprises entre 2 et 4 mètres. ces résultats nous ont amenés à privilégier une approche hybride (cf. alternative 1. figure 2 ) en 3 étapes : (t1) un système d'ocr qui extrait le texte et sa position, (t2) une architecture de classification de mots basé sur un transformer multimodal et (t3) un algorithme heuristique d'association des lithologies et profondeurs. ## expérimentations et résultats 5.1 configuration des modèles pour les modèles d'extraction d'informations, nous avons utilisé un optimizer adam avec un taux d'apprentissage de 5e -5 . nous entraînons ces modèles sur 5 itérations et une taille de batch de 1. pour le modèle utilisant un encodeur layoutlmv3, les trois couches linéaires complètement connectées sont de tailles 728, 512 et 256 avec une sortie de taille 10 (i.e. nombre de classes). nous avons intégré 2 couches de dropout avec une probabilité de 0.1 pour limiter le sur-apprentissage. nous avons utilisé les versions de base des modèles layoutlmv3 (133m de paramètres) et bros (110m de paramètres). pour le modèle utilisant un encodeur bros foot_0 , nous avons utilisé une couche linéaire de taille 768 vers une sortie de taille 10. la longueur maximale des séquences est de 512 tokens (i.e. mots ou sous-mots). si le document est plus court, on complète avec le token @xmath0. si le document est plus long, nous scindons le document en blocs de 512 tokens. pour les blocs suivants, on utilise une méthode de recouvrement (i.e. stride) de 64 tokens. cette méthode consiste à concaténer en début de séquence les 64 derniers tokens du bloc précédent. elle permet de réduire la taille du modèle tout en permettant de traiter n'importe quel document. la quasi-totalité des documents font moins de 512 tokens.