Plongement des constituants pour la représentation sémantique des phrases (2025)

Abstract: Les méthodes d’apprentissage profond en traitement automatique des langues reposent souvent sur une segmentation des textes en tokens avant leur vectorisation. Cette segmentation produit des sous-unités lexicales offrant une grande flexibilité. Toutefois, la réutilisation de tokens identiques dans des mots de sens différents peut favoriser des représentations basées sur la forme plutôt que sur la sémantique. Ce décalage entre la forme de surface et le sens peut induire des effets indésirables dans le traitement de la langue. Afin de limiter l’influence de la forme sur la sémantique des représentations vectorielles, nous proposons une représentation intermédiaire plus compacte et plus fidèle au sens des mots.

## introduction les méthodes d'apprentissage profond pour le traitement automatique des langues (tal) reposent sur la vectorisation du texte. la méthode la plus couramment utilisée consiste à entraîner des algorithmes de segmentation statistique (tokenizers) tel que sentencepiece @xcite afin de découper le texte en sous-unités exploitables par les modèles. ce processus aboutit à une segmentation à l'échelle du sous-mot produisant des tokens qui présentent l'avantage d'être assemblables et d'éviter des erreurs liées aux mots hors-vocabulaire. plusieurs travaux récents @xcite suggèrent que la taille du vocabulaire d'un modèle suit une loi d'échelle. leurs expériences indiquent que l'augmentation de la taille du vocabulaire pourrait être bénéfique aux performances des modèles ayant un grand nombre de paramètres. notamment, @xcite fusionnent les tokens fréquemment vus ensemble et ajoutent ces fusions au vocabulaire, compressant les séquences. @xcite montrent que les modèles profonds ont tendance à privilégier la forme de surface du lexique plutôt que la sémantique dans le calcul de similarité textuelle. cette préférence pour la forme de surface peut entraîner une baisse de performance dans des tâches nécessitant une distinction fine sur le sens des phrases, comme c'est le cas dans les tâches de similarité sémantique (semantic textual similarity, sts) ou la détection de paraphrases @xcite . pour pallier ce problème, nous proposons d'améliorer l'information sémantique contenue dans les plongements lexicaux. dans cet article, nous explorons trois hypothèses : (i) la prédominance de la forme de surface sur la sémantique est liée à une décorrélation entre segmentation statistique et information sémantique ; (ii) une segmentation tenant compte de la sémantique pourrait réduire la dépendance des représentations vectorielles à la forme de surface ; enfin, (iii) la fusion des tokens appartenant à un même groupe sémantique pourrait aider à la désambiguïsation des représentations vectorielles. la suite de cet article est organisée comme suit : la section 2 présente les travaux liés à notre démarche et nos motivations. la section 3 détaille les méthodes employées et le protocole expérimental. enfin, nous exposons nos résultats et analyses en section 4, avant de conclure en section 5. ## état de l'art en traitement automatique des langues (tal), les méthodes issues de l'apprentissage profond (ap) dominent aujourd'hui la plupart des tâches. ces méthodes nécessitent de représenter le texte sous forme de vecteurs. les premières approches de vectorisation reposaient sur un encodage 1 parmi n (one-hot encoding), une méthode simple qui souffrait de deux limitations majeures : d'une part elle produisait des vecteurs de très grande dimension et d'autre part, elle ne tenait pas compte du contexte d'apparition des mots. avec l'essor des réseaux de neurones artificiels, des solutions plus efficaces ont émergé, permettant d'intégrer la notion de contexte dans les représentations vectorielles à travers l'apprentissage nonsupervisé @xcite . ces approches exploitent des tâches telles que la prédiction de mots masqués (e.g. texte à trou) pour extraire des représentations contextualisées. cependant, si ces méthodes améliorent la modélisation du contexte, elles peinent encore à capturer efficacement la sémantique des mots rares ou hors-vocabulaires. pour pallier cette limitation, @xcite proposent une segmentation en sous-mots basée sur des règles statistiques, une technique permettant d'encoder des mots absents du vocabulaire d'entraînement, bien que d'une manière imparfaite. nous désignerons ces sous-mots « tokens » dans la suite de cet article. toutefois, cette segmentation repose sur des critères purement statistiques, sans fondement linguistique, ce qui introduit un biais sur la forme de surface des textes @xcite . aujourd'hui les modèles d'ap les plus performants s'appuient sur l'architecture transformer @xcite . bien que hautement parallélisables, ces modèles présentent une complexité quadratique en fonction de la longueur des séquences traitées. dès lors, la segmentation en sous-mots pose un problème supplémentaire en termes de consommation de ressources, aussi bien en calcul qu'en mémoire @xcite . bien que ces limites soient connues, la littérature s'est principalement focalisée sur l'optimisation des modèles @xcite . néanmoins, certaines études ont exploré des stratégies de compression des entrées afin d'améliorer l'efficacité des modèles. par exemple, en vision par ordinateur (vo), l'approche de la fusion des tokens visuels (tokenmerging (tome)) @xcite a montré son efficacité pour accélérer le traitement. en tal, @xcite ont étudié l'accroissement du vocabulaire des modèles de langue par adjonction d'expressions polylexicales, en se basant sur la fréquence d'apparition des n-grammes. notre travail s'inscrit dans cette démarche, mais se distingue par l'utilisation d'un critère de fusion non statistique. en effet, les approches basées sur un critère fréquentiel peuvent entraîner des pertes de performances sur certaines tâches @xcite . cependant, nous conservons l'approche qui consiste à augmenter la taille du vocabulaire, même virtuellement, pour améliorer la représentation des textes. une telle augmentation ne semble pas poser de contraintes excessives, ni en termes de performance, ni en termes de coût computationnel. en effet, tao et al. (2024) rappellent que la taille optimale du vocabulaire est souvent sous-estimée, tandis que huang et al. (2025) démontrent que l'adaptation du vocabulaire peut être réalisée de manière suffisamment flexible pour découpler le vocabulaire d'entrée de celui de sortie. 3 protocole expérimental l'objectif de cette étude est d'examiner l'impact des modifications de représentation des tokens sur les modèles encodeurs. pour cela, il est nécessaire d'adapter les poids des modèles via un processus d'entraînement spécifique. cette section détaille les modèles et les jeux de données sélectionnés (3.1), les critères et les motivations guidant la modification des représentations (3.2) ainsi que les choix méthodologiques adoptés pour l'entraînement des modèles (3.3).