le texte comme modalité unique, certaines études récentes se concentrent sur l'analyse de la mise en
page. Ainsi, LayoutLM (Xu et al., 2020) reprend l'architecture de BERT en ajoutant des plongements
visuels et de position 2-D. Deux versions améliorées (Xu et al., 2021b; Huang et al., 2022) ont été
récemment proposées, ainsi qu'une extension multilingue (Xu et al., 2021a). BROS (Hong et al.,
2022) propose une méthode d'encodage spatial utilisant les positions relatives entre les blocs et
DocFormer (Appalaraju et al., 2021) introduit un mécanisme d'attention multimodal permettant
le partage d'informations entre les modalités. Enfin, TILT (Powalski et al., 2021) combine des
caractéristiques convolutionnelles avec l'architecture T5 (Raffel et al., 2020). Cependant, la plupart
des modèles sont pré-entraînés et fine-tunés sur des documents monolingues, généralement en anglais.
Pour dépasser cette limitation, LiLT (Wang et al., 2022) permet d'imbriquer n'importe quel modèle
pré-entraîné de type RoBERTa dans un module de mise en page. Par ailleurs, ces modèles sont
entraînés sur des pages entières correctement formatées. Bien qu'ils puissent être efficaces pour la
compréhension de pages de manuels, nous cherchons ici à catégoriser des exercices : des documents
courts et très semblables.

Dans cet article, nos principales contributions sont : (i) l'introduction d'une nouvelle tâche de classification, pour l'adaptation automatique des exercices de manuels scolaires pour les enfants dyspraxiques ; (ii) un cadre de classification multimodale pour la tâche de classification des exercices de manuels scolaires ; (iii) des expériences avec différentes architectures multimodales, y compris le modèle LiLT (Wang et al., 2022) récemment proposé.

## 2 Préparation du corpus

Le corpus est construit à partir de 3 manuels scolaires de français - étude de la langue, de niveau élémentaire (CE1 et CE2), au format PDF. Dans un premier temps, chaque manuel est converti en un document XML au format ALTO par pdfalto<fnref n="1" /> couplé à MuPDF<fnref n="2" />. Cette combinaison d'outils OpenSource permet d'extraire les mots avec leur style de police et leurs coordonnées spatiales, ainsi que les images, dans une structure XML. Les mots extraits sont tokénisés et regroupés en segments grâce à des règles sur la taille et le style des polices, les types de caractères (chiffres, symboles, signes de ponctuation) et l'espacement entre les tokens ou les caractères. Une interface d'annotation conçue spécifiquement permet ensuite de réorganiser les segments dans une structure de manuel scolaire. Les segments sont étiquetés en rôles ( titre de chapitre , leçon , numéro d'exercice , consigne , etc.) de manière semi-automatique sur la base de leur police dominante, puis les blocs d'activité sont reconstitués en utilisant des caractéristiques géométriques et une logique dans l'enchaînement. Par exemple, un numéro d'exercice précédé par un énoncé indique le début d'un nouvel exercice. Cette étape d'extraction aboutit à 2748 exercices, divisés en plusieurs parties : un numéro ou un nom, toujours une consigne, souvent un énoncé, et parfois aussi un exemple ou un conseil.

Toutefois, la complexité de la mise en page des manuels rend la tâche d'extraction difficile : les
pages peuvent comporter des tableaux, des listes, des illustrations ou des blocs de texte épars, qui
peuvent introduire du bruit dans les données. D'autre part, les notions de phrase et token ont été
étendues en adéquation avec la nature du corpus. Si la plupart des consignes sont grammaticalement
et sémantiquement correctes, les énoncés peuvent contenir des mots ou phrases à trous (« c...bat »,
« Manon a perdu ... chat. »), des choix de type choix multiple (« (son/sont) »), des suites de mots

<footnote n="1">1. https://github.com/kermitt2/pdfalto</footnote>

<footnote n="2">2. https://github.com/ArtifexSoftware/mupdf</footnote>
concaténés (« cirageâgégéantenfantantômetomate »), des portions de phrases dispersées (« est une fleur », « la tulipe »), des numéros de liste (« a. », « b. »), etc. Par conséquent, il est plus approprié de faire référence à des segments de texte plutôt qu’à des phrases. De plus, un quart des segments est composé de 1 à 5 *tokens*, tandis que les segments les plus longs comptent jusqu’à 65 *tokens*. Avec 1 à 10 segments et 5 à 91 *tokens* par exercice, la longueur des documents est tout aussi variable mais reste courte par rapport aux jeux de données de référence.

Les exercices extraits sont manuellement annotés par 2 experts de la dyspraxie en 33 catégories. Ces catégories correspondent aux types d'adaptation à la dyspraxie et reflètent l'objectif pédagogique de l'exercice ainsi que le processus d'interaction impliqué dans sa résolution. Par exemple, la Figure 1 illustre un exercice de la classe *choix multiple*, et la Figure 2 en annexe contient 5 exercices d'autres classes. Résultent de cette annotation 2567 exercices qui n'ont qu'une seule étiquette, 146 exercices appartenant à plusieurs classes et 36 exercices à retirer des manuels adaptés, car ils demandent une compétence directement perturbée par le handicap. Pour ce travail, nous ne traitons que les exercices avec une seule étiquette et excluons la classe la moins représentée qui ne contient qu'un seul exercice. Ainsi, notre jeu de données final est composé de 2566 exercices étiquetés avec 32 catégories. Le jeu de données est très déséquilibré : 2 classes sur 32 comptent plus de 300 exercices, tandis que 11 classes en comptent moins de 20. Les 21 classes les plus fournies représentent 95% du corpus.

Le corpus est divisé en 3 sous-ensembles : apprentissage (70%), validation (10%) et test (20%). La proportion des classes d'exercices par manuel et le ratio entre les classes sont conservés. Les numéros et les noms des exercices sont supprimés. Si un exercice contient un exemple ou un conseil, ceux-ci sont concaténés avec la consigne. Le texte est normalisé en minuscules et tous les caractères d'espacement sont réduits à un espace.

# 3 Méthodologie

Notre objectif consiste à catégoriser les exercices extraits en fonction de leur type d'adaptation à la dyspraxie. Dans un premier temps, nous utilisons CamemBERT. Afin d'adapter le modèle au domaine scolaire, son modèle de langue masqué est fine-tuné sur les textes suivants : les leçons et exercices tirés de 4 manuels de français (les 3 manuels utilisés pour construire notre corpus, hormis les exercices présents dans les sous-corpus de validation et de test, et un 4ème manuel non annoté) ; 1293 *Fantastiques Exercices* de l'association *Le Cartable Fantastique*<fnref n="3" />, qui fournit une collection d'exercices accompagnés de leur version interactive adaptée aux enfants dyspraxiques ; les textes de lecture originaux d'Alector (Gala et al., 2020), corpus parallèle de 79 textes de lecture simplifiés au niveau lexical, syntaxique et discursif. Pour la phase d'apprentissage, la consigne et l'énoncé sont concaténés (séparés par le token spécial <sep>) avant d'être donnés au modèle. En vue d'exploiter d'autres modalités, nous utilisons LayoutLMv2 (Xu et al., 2021b), qui prend en entrée des plongements textuels, positionnels et visuels. LayoutLMv2 est pré-entraîné sur IIT-CDIP (Lewis et al., 2006) et fine-tuné pour la classification sur son sous-ensemble RVL-CDIP (Harley et al., 2015), composé d'images de documents scannés tels que des lettres ou des formulaires. La plupart des documents utilisent l'anglais comme langue principale, mais IIT-CDIP contient quelques documents dans d'autres langues, dont le français. Si LayoutLMv2 traite des plongements de 3 modalités différentes, il est conçu pour du texte en anglais et peut ne pas bénéficier pleinement des caractéristiques textuelles de notre corpus.

<footnote n="3">3. https://www.cartablefantastique.fr/</footnote>
Les 32 classes définies présentant une grande variabilité tant sémantique que structurelle, comme le montrent les exemples de la Figure annexe 2, nous pensons que le texte en français ainsi que la mise en page et l'image sont pertinents pour notre objectif de classification. Des approches de fusion sont mises en œuvre afin d'exploiter chacune de ces modalités. La première solution consiste à appliquer une fusion tardive au niveau des scores des classifieurs CamemBERT et LayoutLMv2. Les scores sont normalisés entre 0 et 1 avec la normalisation *Min - Max*, qui préserve les relations entre les valeurs d'origine, puis fusionnés avec les stratégies de fusion classiques *Moyenne* et *Maximum*. Dans la deuxième solution, nous tirons parti du modèle LiLT (Wang et al., 2022), qui permet d'associer n'importe quel modèle pré-entraîné de type RoBERTa avec un module pré-entraîné sur la structure. Ce module, pré-entraîné sur IIT-CDIP, est combiné à notre version de CamemBERT fine-tunée sur des manuels scolaires et des textes de lecture, afin d'obtenir un modèle de type LayoutLM pour le français scolaire. Finalement, nous appliquons un vote majoritaire sur les prédictions de CamemBERT, LayoutLMv2 et LiLT[CamemBERT], LiLT[CamemBERT] étant le classifieur par défaut.

Enfin, pour faire face au déséquilibre des données, nous envisageons la configuration de la fonction de perte et les méthodes d'échantillonage, dites de *sampling*. Pour les tâches de classification sur des données équilibrées ou déséquilibrées, l'entropie croisée est la fonction de perte la plus largement utilisée. Dans un contexte de classification binaire de données déséquilibrées, la fonction de perte focale (Lin et al., 2017) a été introduite comme une amélioration de l'entropie croisée classique, où les exemples faciles sont dynamiquement sous-pondérés. La perte focale a ensuite été étendue aux problèmes multi-classes et a montré des résultats prometteurs. L'augmentation du paramètre de focalisation $\gamma$ permet de contrôler le poids des exemples faciles et de focaliser l'attention sur les exemples mal classés. Nous avons expérimenté cette fonction avec différentes valeurs pour $\gamma$, allant de 0 (ce qui correspond à l'entropie croisée pondérée) à 5. En ce qui concerne les approches de sampling et compte tenu de la taille de notre corpus, l'*undersampling* entraînerait une perte d'informations. Cependant, nous nous sommes inspirés des techniques d'apprentissage ensembliste pour construire plusieurs sous-ensembles sous-échantillonnés en y répartissant les exercices des classes majoritaires, puis en fusionnant les sorties des différents modèles formés sur ces sous-ensembles sous-échantillonnés.

Nos modèles utilisent l'architecture BASE et la longueur des séquences d'entrée est fixée à 256. Pour les expériences finales, la taille du batch est paramétrée à 16, le nombre d'époques entre 30 et 40 et le taux d'apprentissage initial entre 1e-5 et 1e-4. Nous utilisons l'optimiseur Adam et la fonction de perte d'entropie croisée pondérée par les effectifs des classes. Les résultats sur le corpus de test sont obtenus avec les modèles fine-tunés qui donnent les meilleurs résultats sur le corpus de validation.

# 4 Résultats et discussion

Le Tableau 1 présente les scores d'exactitude et de macro F-mesure pour la classification des exercices. La meilleure performance est atteinte par LiLT combiné à CamemBERT suivi d'une fusion tardive des 3 modèles : l'exactitude est alors de 0.802, ce qui indique que les 3 modèles sont complémentaires. Pour la majorité des classes, LayoutLMv2 est presque aussi performant que CamemBERT, bien qu'il capture moins bien les informations sémantiques qu'un modèle français. Cela met en évidence la pertinence des modalités structurelles et visuelles. Ce n'est toutefois pas suffisant, les performances de LayoutLM étant très faibles pour les classes sous-représentées. L'augmentation des scores avec les stratégies de fusion tardive et précoce est statistiquement significative par rapport à LayoutLMv2.
<table><caption>TABLE 1 – Résultats sur l'ensemble des données de test (Total), les 21 classes majoritaires (Maj.) et les 11 classes minoritaires (Min.). Pour chaque modèle, on rappelle s'il a été pré-entraîné sur le texte (T), la mise en page (L) ou l'image (I).</caption><thead><tr><th rowspan="2">Modèle</th><th colspan="3">Exactitude</th><th>Macro F1</th></tr><tr><th>Total</th><th>Maj.</th><th>Min.</th><th>Total</th></tr></thead><tbody><tr><td>Baseline Classe Majoritaire</td><td>0.147</td><td></td><td></td><td>0.008</td></tr><tr><td>CamemBERT<sup>T</sup></td><td>0.775</td><td>0.788</td><td>0.500</td><td>0.663</td></tr><tr><td>LayoutLMv2<sup>T+L+I</sup></td><td>0.708</td><td>0.722</td><td>0.250</td><td>0.487</td></tr><tr><td>CamemBERT + LayoutLMv2 (Fusion Maximum)</td><td>0.767</td><td>0.784</td><td>0.417</td><td>0.627</td></tr><tr><td>CamemBERT + LayoutLMv2 (Fusion Moyenne)</td><td>0.782</td><td>0.796</td><td>0.500</td><td>0.664</td></tr><tr><td>LiLT<sup>T+L</sup>[CamemBERT]</td><td>0.786</td><td>0.796</td><td><strong>0.583</strong></td><td>0.696</td></tr><tr><td>CamemBERT + LayoutLMv2 + LiLT[CamemBERT]</td><td><strong>0.802</strong></td><td><strong>0.813</strong></td><td><strong>0.583</strong></td><td><strong>0.714</strong></td></tr></tbody></table>

<table><caption>TABLE 2 – Comparaison des classifications pour les 3 stratégies de fusion sur les exercices correctement (+) et incorrectement (-) classifiés par CamemBERT (B) et LayoutLMv2 (L).</caption><thead><tr><th></th><th>B<sup>-</sup>L<sup>-</sup></th><th>B<sup>-</sup>L<sup>+</sup></th><th>B<sup>+</sup>L<sup>-</sup></th><th>B<sup>+</sup>L<sup>+</sup></th></tr></thead><tbody><tr><td># exercices</td><td>79</td><td>74</td><td>36</td><td>321</td></tr><tr><td>LiLT</td><td>16 (20%)</td><td>61 (82%)</td><td>20 (56%)</td><td>304 (95%)</td></tr><tr><td>Fusion Maximum</td><td>0</td><td>54 (73%)</td><td>16 (44%)</td><td>321 (100%)</td></tr><tr><td>Fusion Moyenne</td><td>0</td><td>59 (80%)</td><td>19 (53%)</td><td>321 (100%)</td></tr></tbody></table>

Par rapport à CamemBERT, la fusion via LiLT et la fusion tardive *Moyenne* améliorent légèrement l'exactitude globale. Si cette amélioration ne semble pas significative, les scores sur les classes minoritaires révèlent un écart plus important entre les classifieurs CamemBERT et LiLT[CamemBERT]. Les méthodes de fusion surpassent les modèles individuels, soulignant ainsi l'importance des trois modalités pour le traitement des données issues de manuels scolaires. La combinaison du français scolaire et de la mise en page est particulièrement efficace avec LiLT. En outre, des expériences complémentaires sur CamemBERT confirment l'impact positif du fine-tuning du modèle de langue masqué sur un corpus scolaire, l'exactitude augmentant de 0,747 à 0,775.

Cependant, l'application de la perte focale pour faire face au déséquilibre des données s'avère inefficace. Selon le paramétrage de $\gamma$, elle conduit à des scores égaux ou inférieurs à ceux obtenus avec l'entropie croisée pondérée. Par ailleurs, le sous-échantillonnage d'un très petit ensemble de données n'est pas efficace car des informations sont perdues. Au mieux, nous obtenons une précision de 0,730 en utilisant des sous-ensembles sous-échantillonnés.

Enfin, des expériences supplémentaires ont été menées pour évaluer la généralisation des modèles intra- et inter-collection de manuels scolaires. De nouveaux modèles ont été entraînés sur des exercices issus de deux manuels de même collection, tandis que le troisième manuel, d'une collection différente, a été utilisé à des fins d'évaluation uniquement. Les résultats révèlent que la capacité de généralisation des modèles est plus élevée à partir des caractéristiques textuelles que positionnelles. En effet, LayoutLMv2 ne parvient pas à généraliser efficacement entre les collections et requiert une quantité de données plus importante que CamemBERT pour obtenir des résultats satisfaisants. La fusion
précoce avec LiLT continue de surpasser les approches à modèle unique et démontre de bonnes capacités de généralisation sur des collections distinctes.

Le Tableau 2 permet la comparaison des méthodes de fusion. Les 3 méthodes peuvent améliorer les prédictions. Bien que LiLT ne saisisse pas la totalité des exercices correctement prédits par CamemBERT et LayoutLMv2 individuellement, il corrige 20% des exercices mal classés par les deux classifieurs. Les scores obtenus avec les stratégies de fusion tardive démontrent que CamemBERT est davantage confiant<fnref n="4" /> et fiable que LayoutLMv2. En revanche, LayoutLMv2 gère mieux les exercices où la mise en page prévaut sur le contenu sémantique. Il catégorise correctement 36 exercices que CamemBERT n'a pas su catégoriser, et environ la moitié de ces prédictions sont conservées par les stratégies de fusion *Moyenne et Maximum*. Enfin, les classes minoritaires sont les plus difficiles à traiter. Les scores détaillés au niveau des classes soulignent les difficultés posées par le déséquilibre des données. Cela reste un problème délicat qui, pour notre objectif de classification, nécessite une augmentation des données. Cette tâche se révèle complexe en raison de la quantité de données et de la spécificité du langage des manuels, en particulier dans les consignes.

# 5 Conclusion

Pour favoriser l'inclusion scolaire et avec un objectif à long terme d'adapter automatiquement des manuels scolaires complets pour les rendre accessibles aux enfants dyspraxiques, nous avons introduit dans cet article une nouvelle tâche : la classification des exercices de manuels scolaires en fonction de leur type d'adaptation. Nous avons mené une étude comparative de méthodes de classification neuronales sur notre propre jeu de données composé de 2566 exercices de manuels de français.

Nous avons proposé différentes approches basées sur trois modèles pré-entraînés ayant fait leurs preuves sur de nombreuses tâches de TALN et des corpus de référence. Nous avons cherché à exploiter différentes modalités et avons finalement obtenu un score d'exactitude de 0,802 en utilisant des méthodes de fusion. Les expériences ont démontré l'importance de la mise en page et de l'image en plus du texte dans la compréhension des manuels.

Afin d'améliorer ces résultats prometteurs, nos travaux futurs se concentreront sur l'étape d'extraction et le nettoyage des données. Par ailleurs, si l'exactitude globale est encourageante, les résultats pour les classes minoritaires doivent encore être améliorés. Nous prévoyons de générer artificiellement des exercices pour résoudre les problèmes de petite taille et de déséquilibre entre les classes.

# Remerciements

Les auteurs remercient les relecteurs anonymes pour leurs commentaires constructifs, ainsi que Guillaume Faure pour le développement de la plateforme d'extraction et d'annotation. Ce travail a été réalisé dans le cadre du projet MALIN (MANuels scoLaires INclusifs) sous le financement ANR-21-CE38-0014. Il a bénéficié d'un accès au cluster de calcul Lab-IA.

<footnote n="4">4. La différence entre le score le plus élevé et le suivant est plus importante.</footnote>
Références

APPALARAJU S., JASANI B., KOTA B. U., XIE Y. & MANMATHA R. (2021). Docformer : End-to-end transformer for document understanding. In *Proceedings of the 18th IEEE International Conference on Computer Vision*.

CH D. R. & SAHA S. K. (2022). Generation of multiple-choice questions from textbook contents of school-level subjects. *IEEE Transactions on Learning Technologies*.

DIAS G., Éd. (2015). *Actes de TALN 2015 (Traitement automatique des langues naturelles)*, Caen. ATALA, HULTECH.

GALA N., TACK A., JAVOUREY-DREVET L., FRANÇOIS T. & ZIEGLER J. C. (2020). Alector : A parallel corpus of simplified french texts with alignments of misreadings by poor and dyslexic readers. In *Proceedings of the 12th Language Resources and Evaluation for Language Technologies*.

GHOSH K. (2022). Remediating textbook deficiencies by leveraging community question answers. *Education and Information Technologies*.

GREEN C. (2019). A multilevel description of textbook linguistic complexity across disciplines : Leveraging NLP to support disciplinary literacy. *Linguistics and Education*.

HARLEY A. W., UFKES A. & DERPANIS K. G. (2015). Evaluation of deep convolutional nets for document image classification and retrieval. In *Proceedings of the 13th International Conference on Document Analysis and Recognition*.

HONG T., KIM D., JI M., HWANG W., NAM D. & PARK S. (2022). Bros : A pre-trained language model focusing on text and layout for better key information extraction from documents. In *Proceedings of the 36th AAAI Conference on Artificial Intelligence*.

HUANG C.-W. & CHEN Y.-N. (2020). Learning ASR-robust contextualized embeddings for spoken language understanding. In *Proceedings of the 45th IEEE International Conference on Acoustics, Speech and Signal Processing*.

HUANG Y., LV T., CUI L., LU Y. & WEI F. (2022). LayoutLMv3 : Pre-training for document ai with unified text and image masking. In *Proceedings of the 30th ACM International Conference on Multimedia*.

JIANG M., HU Y., WORTHEY G., DUBNICEK R. C., UNDERWOOD T. & DOWNIE J. S. (2021). Impact of OCR quality on BERT embeddings in the domain classification of book excerpts. In *Proceedings of the Conference on Computational Humanities Research*.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2020). FlauBERT : Unsupervised language model pre-training for french. In *Proceedings of the 12th Language Resources and Evaluation Conference*.

LEWIS D., AGAM G., ARGAMON S., FRIEDER O., GROSSMAN D. & HEARD J. (2006). Building a test collection for complex document information processing. In *Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval*.

LIN T.-Y., GOYAL P., GIRSHICK R., HE K. & DOLLÁR P. (2017). Focal loss for dense object detection. In *Proceedings of the IEEE international conference on computer vision*.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). RoBERTa : A robustly optimized BERT pretraining approach. *arXiv preprint arXiv:1907.11692*.
LUCY L., DEMSZKY D., BROMLEY P. & JURAFSKY D. (2020). Content analysis of textbooks via
natural language processing : Findings on gender, race, and ethnicity in texas US history textbooks.
*AERA Open*.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE,
SEDDAH D. & SAGOT B. (2020). CamemBERT : a tasty french language model. In *Proceedings of
the 58th Annual Meeting of the Association for Computational Linguistics*.

POWALSKI R., BORCHMANN L., JURKIEWICZ D., DWOJAK T., PIETRUSZKA M. & PALKA G.
(2021). Going full-TILT boogie on document understanding with text-image-layout transformer. In
*Proceedings of 16th International Conference on Document Analysis and Recognition*.

RAFFEL C., SHAZEER N., ROBERTS A., LEE K., NARANG S., MATENA M., ZHOU Y., LI W. &
LIU P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer.
*The Journal of Machine Learning Research*.

SUÁREZ P. J. O., SAGOT B. & ROMARY L. (2019). Asynchronous pipeline for processing huge corpora on medium to low resource infrastructures. In *Proceedings of the 7th Workshop on the Challenges in the Management of Large Corpora*.

WANG J., JIN L. & DING K. (2022). LiLT : A simple yet effective language-independent layout transformer for structured document understanding. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics*.

XU Y., LI M., CUI L., HUANG S., WEI F. & ZHOU M. (2020). LayoutLM : Pre-training of text and layout for document image understanding. In *Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining*.

XU Y., LV T., CUI L., WANG G., LU Y., FLORENCIO D., ZHANG C. & WEI F. (2021a).
LayoutXLM : Multimodal pre-training for multilingual visually-rich document understanding. *arXiv
preprint arXiv:2104.08836*.

XU Y., XU Y., LV T., CUI L., WEI F., WANG G., LU Y., FLORENCIO D., ZHANG C., CHE W.,
ZHANG M. & ZHOU L. (2021b). LayoutLMv2 : Multi-modal pre-training for visually-rich document
understanding. In *Proceedings of the 59th Annual Meeting of the Association for Computational
Linguistics and the 11th International Joint Conference on Natural Language Processing*.
# Annexes

<figure><img src="image_51.png" /><figcaption>FIGURE 2 – Exemples d'exercices et exercices adaptés pour les classes (a) CacheIntrus, (b) EditePhrase, (c) Classe, (d) Associe, (e) RemplirAuClavier</figcaption></figure>
# Détection de faux tickets de caisse à l'aide d'entités et de relations basées sur une ontologie de domaine

Beatriz Martínez Tornés¹ Emanuela Boros¹ Petra Gomez-Krämer¹

Antoine Doucet¹ Jean-Marc Ogier¹

(1) La Rochelle Université, L3i, F-17000, La Rochelle, France

{prénom.nom}@univ-lr.fr

## RÉSUMÉ

Dans cet article, nous nous attaquons à la tâche de détection de fraude de documents. Nous considérons que cette tâche peut être abordée avec des techniques de traitement automatique du langage naturel (TALN). Nous utilisons une approche basée sur la régression, en tirant parti d'un modèle de langage pré-entraîné afin de représenter le contenu textuel, et en enrichissant la représentation avec des entités et des relations basées sur une ontologie spécifique au domaine. Nous émulons une approche basée sur les entités en comparant différents types d'entrée : texte brut, entités extraites et une reformulation du contenu du document basée sur des triplets. Pour notre configuration expérimentale, nous utilisons le seul ensemble de données librement disponible de faux tickets de caisse, et nous fournissons une analyse approfondie de nos résultats. Ils montrent des corrélations intéressantes entre les types de relations ontologiques, les types d'entités (produit, entreprise, etc.) et la performance d'un modèle de langage basé sur la régression qui pourrait aider à étudier le transfert d'apprentissage à partir de méthodes de traitement du langage naturel (TALN) pour améliorer la performance des systèmes de détection de fraude existants.

## ABSTRACT

### Detecting Forged Receipts with Domain-specific Ontologies

In this paper, we tackle the task of document fraud detection. We consider that this task can be addressed with natural language processing techniques. We treat it as a regression-based approach, by taking advantage of a pre-trained language model in order to represent the textual content, and by enriching the representation with domain-specific ontology-based entities and relations. We emulate an entity-based approach by comparing different types of input : raw text, extracted entities and a triple-based reformulation of the document content. For our experimental setup, we utilize the single freely available dataset of forged receipts, and we provide a deep analysis of our results in regard to the efficiency of our methods. Our findings show interesting correlations between the types of ontology relations, types of entities (product, company, etc.) and the performance of a regression-based language model that could help to study the transfer learning from natural language processing (NLP) methods to boost the performance of existing fraud detection systems.

**MOTS-CLÉS** : Détection de fraude de documents, modèle de langue.

**KEYWORDS:** Document fraud detection, language model.

<figure><img src="image_52.png" /></figure>
# 1 Introduction

La falsification de documents est un problème très répandu, alors que la numérisation des documents permet un échange plus facile pour les entreprises et les administrations. Si l'on ajoute à cela la disponibilité de logiciels de traitement d'images et d'édition de documents ainsi que de scanners et d'imprimantes peu coûteux, les documents courent de nombreux risques d'être altérés ou contrefaits (Gomez-Kämer, 2021). La contrefaçon est la production d'un document authentique par imitation et le faux est l'altération d'un ou plusieurs éléments d'un document authentique. L'un des principaux défis de la détection de la fraude de documents est le manque de données annotées librement disponibles, car de nombreuses études autour de la fraude ne tiennent pas compte des documents réels et se concentrent sur les transactions (comme la fraude à la carte de crédit, la fraude à l'assurance ou même la fraude financière) (Behera & Panigrahi, 2015; Kowshalya & Nandhini, 2018; Rizki et al., 2017).

La collecte de vrais faux documents est également difficile, car les vrais fraudeurs ne partageraient pas leur travail, et les entreprises ou administrations sont réticentes à révéler leurs failles de sécurité et ne peuvent pas partager des informations sensibles (Sidere et al., 2017; Mishra & Ghorpade, 2018; Vidros et al., 2017). De plus, le défi de travailler avec un corpus de documents administratifs potentiellement frauduleux est la rareté de la fraude ainsi que l'expertise humaine nécessaire pour repérer les documents frauduleux (Benchaji et al., 2018; Li et al., 2016; Carta et al., 2019). S'intéresser aux documents réels réellement échangés par les entreprises ou les administrations est important pour que les méthodes de détection de fraude développées soient utilisables dans des contextes réels et pour que la cohérence des documents authentiques soit assurée. Cependant, ce type de document administratif contient des informations privées sensibles et n'est généralement pas mis à la disposition de la recherche (Behera & Panigrahi, 2015).

Ensuite, la plupart des recherches en matière de fraude de documents se concentrent sur l'analyse d'images de documents, car la plupart d'entre eux sont numérisés et échangés sous forme d'images par les entreprises et les administrations. La détection de falsification de documents est donc souvent définie comme une tâche de vision par ordinateur (Bertrand et al., 2015; Cozzolino & Verdoliva, 2018; Fridrich & Kodovsky, 2012; Cozzolino et al., 2014). L'image d'un document peut être modifiée de différentes manières à l'aide d'un logiciel d'édition d'images. La modification peut se faire dans le document numérique original ou dans la version imprimée et numérisée du document (Cruz et al., 2018; James et al., 2020). À cet égard, la compétition (Artaud et al., 2018) a été, à notre connaissance, la seule tentative visant à encourager l'utilisation de méthodes de vision par ordinateur et de TALN pour la détection de documents falsifiés, en fournissant un corpus parallèle (image/texte) de tickets falsifiés librement accessibles. Toutefois, le nombre de participants était faible (cinq soumissions) et seule l'une d'entre elles intégrait des caractéristiques de contenu textuel sous la forme de modules de vérification basés sur des règles (l'examen des incohérences dans les prix des articles et le total à payer).

Nous considérons donc que le TALN pourrait être utilisé pour améliorer les performances de la détection des documents frauduleux en traitant les incohérences du faux lui-même (Artaud et al., 2018). Ainsi, alors que les méthodes de vision par ordinateur s'appuient sur la recherche d'imperfections, soit en visant à détecter les irrégularités qui auraient pu se produire au cours du processus de modification (Bertrand et al., 2013), soit en se concentrant sur l'identification de l'imprimante, afin de vérifier si le document a été imprimé par l'imprimante d'origine (Elkasrawi & Shafait, 2014; Mikkilineni et al., 2005), les méthodes NLP pourraient combler le fossé entre les incohérences de l'image et du texte.
## 2 Notre approche

Nous basons notre modèle de détection des fraudes sur le modèle pré-entraîné CamemBERT (Martin et al., 2020) qui est un modèle linguistique pré-entraîné de pointe pour le français basé sur le modèle RoBERTa (Liu et al., 2019).

CamemBERT (Martin et al., 2020) est une pile de couches Transformer (Vaswani et al., 2017), où un bloc Transformer (encodeur) est une architecture d'apprentissage profond basée sur des mécanismes d'attention multitêtes avec des encastrements de position sinusoidale. Comme indiqué précédemment, nous traitons la tâche de détection des fraudes comme une tâche de régression et un score numérique $s_x \in [0, 1]$ est donc attribué à l'exemple d'entrée $\{x_i\}_{i=1}^l$ pour quantifier son niveau de falsification, qui est défini comme $s_x = \sigma(f(\{x_i\})$ où $\sigma$ est la fonction sigmoïde $\sigma(z) = \frac{1}{1+e^{-z}}$ qui renvoie un score numérique $s_x \in [0, 1]$. Enfin, les valeurs prédites sont seuillées à 0,5.

### 2.1 Jeu de données de faux tickets de caisse

Le jeu de données librement disponible Find it!<fnref n="1" /> (Artaud et al., 2017, 2018) que nous utilisons est composé de 998 images de tickets français et de leurs transcriptions associées. Ces transcriptions sont issues d'une reconnaissance optique de caractères et ont été corrigées manuellement de manière participative par les créateurs de Find it!. Ce jeu de données a été collecté pour fournir un corpus parallèle image/texte et un point de référence pour évaluer les méthodes de détection de fraude basées sur le texte. Les faux tickets sont le résultat d'ateliers de fraude, au cours desquels les participants ont reçu un ordinateur standard avec plusieurs logiciels d'édition d'images pour modifier manuellement les images et les transcriptions associées des tickets. Ainsi, le jeu de données contient des faux réalistes, correspondant à des situations réelles telles que des demandes de remboursement frauduleuses effectuées en modifiant le prix d'un article (Figure 1 (b)), son nom, le moyen de paiement, etc. La falsification peut également viser une extension indue de la garantie en modifiant la date. D'autres falsifications peuvent impliquer l'entreprise émettrice dans le but de blanchir de l'argent. Les tickets ont été collectés localement dans le laboratoire de recherche où ils ont été développés, ce qui se traduit par une fréquence élevée de magasins à proximité. Bien que cela puisse être considéré comme un biais, nous estimons que cela reste proche d'un cas d'application réel, dans lequel une entreprise stocke les documents/factures qu'elle émet. Le jeu de données de 998 documents est divisé en 498 documents pour l'entraînement et 500 pour le test, chacun comportant 30 faux documents. Ainsi, les données sont déséquilibrées, selon une distribution réaliste. En effet, il y a typiquement moins de 5% de documents falsifiés dans les flux de documents, une distribution similaire aux valeurs aberrantes (Artaud et al., 2018; Nadim et al., 2019).

### 2.2 Prétraitements et choix de l'entrée

Afin de mieux explorer la nature spécifique semi-structurée des tickets, nous avons expérimenté avec quatre types d'entrées (présentées avec plus de détail dans la version longue de l'article (Martínez Tor-nés et al., 2023)) :

1. **Texte** : le texte brut d'un ticket sans aucun prétraitement;

<footnote n="1">1. http://findit.univ-lr.fr/download-the-dataset/</footnote>
2. **Entités** : nous extrayons les entités présentes sur la base d'une ontologie de ticket de caisse et les concaténons avec un séparateur d'espace (par exemple« Carrefour ») comme décrit ci-dessous;

3. **Texte + Entités** : nous enrichissons le texte du ticket en introduisant des marqueurs spéciaux pour chaque type d'entité (tel que, entreprise, produit, etc.) et remplaçons chaque entité dans le texte par son libellé entouré des marqueurs de son type d'entité (Boros et al., 2021);

4. **Triplets** : basés sur la même ontologie, mais en extrayant également les relations sémantiques.

**L'ontologie** a été peuplée automatiquement avec des expressions régulières créées manuellement et basées sur les régularités des tickets de caisse. Par exemple, les produits et leurs prix ont été extraits des lignes du document terminées par le symbole « € », ou l'utilisant comme séparateur décimal, à l'exclusion des lignes qui rapportent le total ou le paiement. Le processus d'extraction a été exécuté comme une machine à états finis pour s'adapter à des structures plus variées, telles que des prix et des produits non alignés. L'ontologie a été peuplée dynamiquement à l'aide de la bibliothèque Python Owlready2². L'ontologie (Artaud, 2019) comporte des classes décrivant les informations présentes dans les tickets, telles qu'Entreprise, Adresse, Produit, etc. ainsi que des propriétés d'objet (relations entre ces classes) telles que a_adresse, contient. Nous notons que le ticket est une entité en soi, représentée par l'étiquette de son ID (une valeur numérique). L'ontologie définit également des propriétés de données, qui associent une instance à une valeur, comme a_date, a_heure, a_montant_total, a_prix_total, a_number_darticles, etc.<fnref n="3" />

**Extraction d'entités** Nous considérons qu'une entité extraite correspond à une instance d'une classe définie dans l'ontologie, qui définit son type. Nous avons annoté chaque entité fraudée, c'est-à-dire chaque entité ayant été modifiée pendant la constitution du dataset (altération, suppression ou ajout). Les modifications ne sont pas comptabilisées en elles-mêmes, seules les entités modifiées le sont : par exemple, une date « 11/02/2017 » altérée en « 10/02/2016 » compte pour une entité modifiée, même si elle a subi deux modifications graphiques. Le nombre d'entités modifiées est présenté dans le tableau 1 (a).

<table><thead><tr><td>Type d'entité</td><td>Train</td><td>Test</td></tr></thead><tbody><tr><td>Entreprise</td><td>7</td><td>5</td></tr><tr><td>Produit</td><td>33</td><td>44</td></tr><tr><td>Paiement</td><td>30</td><td>37</td></tr><tr><td>Métadonnée</td><td>18</td><td>17</td></tr><tr><td>Total</td><td>88</td><td>103</td></tr></tbody></table>

<figure><img src="image_53.png" /><figcaption>FIGURE 1 – (a) Distribution des entités modifiés. (b) Exemple de fraude sur le prix sur le ticket de droite.</figcaption></figure>

La plupart des entités modifiées impliquent des montants d'argent (entités de produit et de paiement), même si ceux-ci ne sont pas toujours modifiés de manière cohérente : la Figure 1 (b) présente un

<footnote n="2">2. https://owlready2.readthedocs.io/en/v0.37/</footnote>

<footnote n="3">3. Pour plus de détails et d'exemples, (Martínez Tornés et al., 2023)</footnote>
ticket comportant trois fraudes (le prix du produit, le total à payer et le montant payé) qui ne comporte pas d'incohérence numérique.

**Extraction des triplets** Afin d'aller au-delà des entités extraites et de fournir plus d'informations sur les relations entre les entités, nous avons choisi de les incorporer. Notre objectif était de mettre en évidence la structure sous-jacente des documents en énonçant explicitement les relations entre les entités. Nous avons veillé à supprimer les relations inverses, par exemple *a_fax* et *est_fax_de* en ne conservant qu'une seule de chaque paire. Nous avons également inclus les relations attributives, c'est-à-dire les propriétés des données, qui associent une entité à une valeur (numérique, date ou heure). Nous nous sommes appuyés sur ces triplets pour normaliser le contenu des tickets, en proposant une entrée (4) composée des triplets extraits en remplacement du texte extrait des tickets.

# 3 Expériences

Nous comparons notre modèle à deux méthodes *baseline*. Tout d'abord, nous considérons un vérificateur d'incohérence numérique, en simulant manuellement un vérificateur qui ne prend en compte que les incohérences numériques simples, sans s'appuyer sur des connaissances externes. Nous considérons comme une incohérence numérique simple tout écart entre le total et la somme des prix, entre le total et le total payé, ou entre la quantité, le prix unitaire et le prix du produit. Deuxièmement, nous considérons un classifieur de régression par machine à vecteur de support (SVM) avec des hyperparamètres par défaut comme notre modèle de base appliqué à la représentation fréquence des termes-fréquence inverse des documents (TF-IDF) des unigrammes et des bigrammes extraits des tickets en minuscules.

Nous comparons également nos résultats à deux approches image existantes, proposées dans la compétition Find it! (Artaud et al., 2018). L'architecture Verdoliva (Cozzolino & Verdoliva, 2020, 2018) est également basée sur un SVM et combine trois approches différentes : un module de détection de fraude par copier-coller, basé sur Cozzolino et al. (2015), un module d'extraction (et de comparaison) de signatures de caméra (Cozzolino & Verdoliva, 2020, 2018), et un module de détection de faux basée sur les caractéristiques locales de l'image, proposée à l'origine comme méthode de stéganalyse (Cozzolino et al., 2014). Nous présentons également les résultats proposés par Fabre (Artaud et al., 2018), qui s'appuient sur un modèle pré-entraîné Resnet152 (He et al., 2015) pour la classification.

**Résultats** Le tableau 1 détaille les résultats de la classification binaire entre les classes « Fraudé » et « Authentique ». La classification étant très déséquilibrée, nous ne présentons que les résultats pour la classe « Fraudé ». Nous remarquons que les méthodes utilisant les *Triplets* comme entrée sont plus performantes que les autres, même dans leur représentation TF-IDF, le rappel est égal à un, ce qui signifie que tous les tickets falsifiés sont retrouvés avec succès.

Dans le cas des *Triplets*, nous n'avons observé que deux vrais tickets mal étiquetés. Pour l'un d'entre eux, le prix total est plutôt flou dans l'image, il a donc été corrigé manuellement dans la transcription avec « , » au lieu de « . » comme séparateur décimal. L'autre ticket authentique mal étiqueté présente un montant total élevé en comparaison avec le reste des tickets (plus de 87 euros). Ces irrégularités pourraient expliquer ces deux erreurs. En ce qui concerne la comparaison avec le
<table><caption>TABLE 1 – Résultats de l’évaluation de la tâche de détection de tickets fraudés.</caption><thead><tr><th>Méthode</th><th>P</th><th>R</th><th>F1</th></tr></thead><tbody><tr><td>Vérificateur d'incohérence numérique</td><td>100.0</td><td>46.67</td><td>63.34</td></tr><tr><td><strong>Approches Image</strong></td><td></td><td></td><td></td></tr><tr><td>Fabre (Artaud et al., 2018)</td><td>36.4</td><td>93.3</td><td>52.3</td></tr><tr><td>Verdoliva (Artaud et al., 2018)</td><td>90.6</td><td>96.7</td><td>93.5</td></tr><tr><td><strong>Baselines</strong></td><td></td><td></td><td></td></tr><tr><td>SVM (texte)</td><td>7.73</td><td>53.33</td><td>13.50</td></tr><tr><td>SVM (entités)</td><td>5.24</td><td>33.33</td><td>9.05</td></tr><tr><td>SVM (texte + entités)</td><td>5.77</td><td>40.00</td><td>10.08</td></tr><tr><td>SVM (triplets)</td><td><strong>29.41</strong></td><td><strong>100.0</strong></td><td><strong>45.45</strong></td></tr><tr><td><strong>Approches CamemBERT</strong></td><td></td><td></td><td></td></tr><tr><td>CamemBERT (texte)</td><td>6.61</td><td>50.0</td><td>11.67</td></tr><tr><td>CamemBERT (entités)</td><td>8.76</td><td>73.33</td><td>15.66</td></tr><tr><td>CamemBERT (texte + entités)</td><td>7.39</td><td>63.33</td><td>13.24</td></tr><tr><td>CamemBERT (triplets)</td><td>93.75</td><td><strong>100.0</strong></td><td><strong>96.77</strong></td></tr></tbody></table>

vérificateur d'incohérence numérique, nous avons constaté que notre approche est plus performante, comme en témoigne le rappel plus élevé. Cependant, il est important de noter la définition stricte de l'incohérence que nous avons utilisée : nous ne prenons en compte que les incohérences sur les valeurs numériques. La plupart des falsifications non détectées portent sur des valeurs modifiées de manière cohérente (le prix des articles est en accord avec le total et le montant payé, modification d'une date) et devraient être plus difficiles à repérer sans accès à des informations externes. Pourtant, dans l'ensemble de test, ces falsifications ne sont pas plausibles : par exemple, les tickets dans lesquels seule la date a été modifiée sont en fait attribués à une date impossible ou improbable, comme le 32/01, ou une année postérieure à l'arrêt de la collecte des données.

**Résultats par type de relation** Nous avons également analysé les résultats de la détection des faux tickets en utilisant un seul type de relation à la fois. Trois relations se sont distinguées par leurs résultats étonnamment parfaits (R=100) : *type*, *est_emis_par* et *a_paiement_total*. Ces résultats soulignent différents biais présents dans les données. Par exemple, près de 50 % des faux tickets ont été émis par Carrefour, qui ne représente que 30 % de l'ensemble des tickets. De plus, l'identifiant associé à chaque ticket de caisse n'est pas entièrement aléatoire, car les tickets de caisse sont au moins triés en fonction de l'entreprise qui les a émis. La relation attributive *a_paiement_total* permet d'obtenir des résultats très efficaces. Il faut s'attendre à un certain biais dans les valeurs numériques modifiées, comme la loi de Benford (Nigrini, 2012) qui décrit la distribution non normale des données numériques naturelles et qui a été utilisée dans la détection des fraudes comptables. Dans les nombres réels (tels que les prix, les nombres de population, etc.), le premier chiffre est susceptible d'être petit. En effet, les auteurs de l'ensemble de données signalent que l'utilisation de la loi de Benford pour rechercher des données numériques anormales permet d'obtenir un rappel de 70 % (Artaud, 2019). Ces résultats sont très encourageants quant à la capacité de notre approche à exploiter des informations statistiques, même sur des valeurs numériques, pour détecter les fraudes.
# 4 Conclusions

Cet article prouve que les méthodes basées sur le contenu sont capables de relever le défi de la détection de la fraude de documents au même niveau que les méthodes basées sur l'image. Notre objectif initial était d'établir une *baseline* et d'encourager les travaux futurs dans le domaine du NLP pour aborder la détection de la fraude de documents, et les résultats ont dépassé nos attentes. Notre approche basée sur le modèle pré-entraîné de CamemBERT considérant les relations entre les entités pour représenter le contenu des tickets atteint des valeurs de rappel élevées en exploitant efficacement les informations extraites des documents sous la forme de triplets.

# Remerciements

Ce travail a été soutenu par l'Agence de l'innovation de défense (AID), ainsi que le projet VERINDOC financé par la Région Nouvelle-Aquitaine.

# Références

ARTAUD C. (2019). *Détection des fraudes : de l'image à la sémantique du contenu. Application à la vérification des informations extraites d'un corpus de tickets de caisse*. PhD Thesis, University of La Rochelle.

ARTAUD C., DOUCET A., OGIER J.-M. & POULAIN D'ANDECY V. (2017). Receipt dataset for fraud detection. In *First International Workshop on Computational Document Forensics*.

ARTAUD C., SIDÈRE N., DOUCET A., OGIER J.-M. & POULAIN D'ANDECY V. (2018). Find it! Fraud detection contest report. In *2018 24th International Conference on Pattern Recognition (ICPR)*, p. 13–18.

BEHERA T. K. & PANIGRAHI S. (2015). Credit card fraud detection : a hybrid approach using fuzzy clustering & neural network. In *2015 Second International Conference on Advances in Computing and Communication Engineering*.

BENCHAJI I., DOUZI S. & EL OUAHIDI B. (2018). Using genetic algorithm to improve classification of imbalanced datasets for credit card fraud detection. In *International Conference on Advanced Information Technology, Services and Systems*.

BERTRAND R., GOMEZ-KRÄMER P., TERRADES O. R., FRANCO P. & OGIER J.-M. (2013). A system based on intrinsic features for fraudulent document detection. In *2013 12th International Conference on Document Analysis and Recognition*, p. 106–110, Washington, DC, USA.

BERTRAND R., TERRADES O. R., GOMEZ-KRÄMER P., FRANCO P. & OGIER J.-M. (2015). A conditional random field model for font forgery detection. In *2015 13th International Conference on Document Analysis and Recognition (ICDAR)*, p. 576–580.

BOROS E., MORENO J. & DOUCET A. (2021). Event detection with entity markers. In *European Conference on Information Retrieval*, p. 233–240.

CARTA S., FENU G., RECUPERO D. R. & SAIA R. (2019). Fraud detection for e-commerce transactions by employing a prudential multiple consensus model. *Journal of Information Security and Applications, 46*.
COZZOLINO D., GRAGNANIELLO D. & VERDOLIVA L. (2014). Image forgery detection through residual-based local descriptors and block-matching. In *2014 IEEE International Conference on Image Processing (ICIP)*.

COZZOLINO D., POGGI G. & VERDOLIVA L. (2015). Efficient dense-field copy-move forgery detection. *IEEE Transactions on Information Forensics and Security*, **10**(11).

COZZOLINO D. & VERDOLIVA L. (2018). Camera-based image forgery localization using convolutional neural networks. In *2018 26th European Signal Processing Conference (EUSIPCO)*.

COZZOLINO D. & VERDOLIVA L. (2020). Noiseprint : A cnn-based camera model fingerprint. *IEEE Transactions on Information Forensics and Security*, **15**, 144–159.

CRUZ F., SIDÈRE N., COUSTATY M., POULAIN D'ANDECY V. & OGIER J.-M. (2018). Categorization of document image tampering techniques and how to identify them. In *Pattern Recognition and Information Forensics - ICPR 2018 International Workshops, CVAUI, IWCF, and MIPPSNA, Revised Selected Papers*, p. 117–124.

ELKASRAWI S. & SHAFAIT F. (2014). Printer identification using supervised learning for document forgery detection. In *2014 11th IAPR International Workshop on Document Analysis Systems*, p. 146–150.

FRIDRICH J. & KODOVSKY J. (2012). Rich models for steganalysis of digital images. *IEEE Transactions on Information Forensics and Security*, **7**(3).

GOMEZ-KÄMER P. (2021). Vérification de l’intégrité des documents. *Sécurité multimédia 2 : Biometrie, protection et chiffrement multimedia*, **2**, 71.

HE K., ZHANG X., REN S. & SUN J. (2015). Deep residual learning for image recognition. DOI: 10.48550/ARXIV.1512.03385.

JAMES H., GUPTA O. & RAVIV D. (2020). Ocr graph features for manipulation detection in documents.

KOWSHALYA G. & NANDHINI M. (2018). Predicting fraudulent claims in automobile insurance. In *2018 Second International Conference on Inventive Communication and Computational Technologies (ICICCT)*.

LI Y., YAN C., LIU W. & LI M. (2016). Research and application of random forest model in mining automobile insurance fraud. In *2016 12th International Conference on Natural Computation, Fuzzy Systems and Knowledge Discovery (ICNC-FSKD)*.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta : A robustly optimized bert pretraining approach. *ArXiv*, abs/1907.11692.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., DE LA CLERGERIE É., SEDDAH D. & SAGOT B. (2020). CamemBERT : a tasty French language model. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 7203–7219, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.645.

MARTÍNEZ TORNÉS B., BOROS E., GOMEZ-KRÄMER P., DOUCET A. & OGIER J.-M. (2023). Detecting Forged Receipts with Domain-specific Ontology-based Entities & Relations. In *Document Analysis and Recognition – ICDAR 2023*.

MIKKILINENI A. K., CHIANG P.-J., ALI G. N., CHIU G. T., ALLEBACH J. P. & DELP III E. J. (2005). Printer identification based on graylevel co-occurrence features for security and forensic applications. In *Security, Steganography, and Watermarking of Multimedia Contents VII*, volume 5681, p. 430–440 : International Society for Optics and Photonics.
MISHRA A. & GHORPADE C. (2018). Credit card fraud detection on the skewed data using various classification and ensemble techniques. In 2018 IEEE International Students' Conference on Electrical, Electronics and Computer Science (SCEECS).

NADIM A. H., SAYEM I. M., MUTSUDDY A. & CHOWDHURY M. S. (2019). Analysis of machine learning techniques for credit card fraud detection. In 2019 International Conference on Machine Learning and Data Engineering (iCMLDE), p. 42–47.

NIGRINI M. J. (2012). *Benford's Law: Applications for forensic accounting, auditing, and fraud detection*, volume 586. John Wiley & Sons.

RIZKI A. A., SURJANDARI I. & WAYASTI R. A. (2017). Data mining application to detect financial fraud in Indonesia’s public companies. In 2017 3rd International Conference on Science in Information Technology (ICSITech).

SIDERE N., CRUZ F., COUSTATY M. & OGIER J.-M. (2017). A dataset for forgery detection and spotting in document images. In 2017 Seventh International Conference on Emerging Security Technologies (EST).

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER Ł. & POLOSUKHIN I. (2017). Attention is all you need. *Advances in neural information processing systems*, **30**.

VIDROS S., KOLIAS C., KAMBOURAKIS G. & AKOGLU L. (2017). Automatic detection of online recruitment frauds: Characteristics, methods, and a public dataset. *Future Internet*, **9**(1).
# Jeu de données de tickets de caisse pour la détection de fraude documentaire

Beatriz Martínez Tornés¹ Théo Taburet¹ Emanuela Boros¹ Kais Rouis¹ Petra Gomez-Krämer¹ Nicolas Sidère¹ Antoine Doucet¹ Vincent Poulain d'Andecy²

(1) La Rochelle Université, L3i, F-17000, La Rochelle, France
{prénom.nom}@univ-lr.fr

(2) Yooz, 1 Rue Fleming, 17000 La Rochelle, France
Vincent.PoulaindAndecy@getyooz.com

## RÉSUMÉ

L'utilisation généralisée de documents numériques non sécurisés par les entreprises et les administrations comme pièces justificatives les rend vulnérables à la falsification. En outre, les logiciels de retouche d'images et les possibilités qu'ils offrent compliquent les tâches de la détection de fraude d'images numériques. Néanmoins, la recherche dans ce domaine se heurte au manque de données réalistes accessibles au public. Dans cet article, nous proposons un nouveau jeu de données pour la détection des faux tickets contenant 988 images numérisées de tickets et leurs transcriptions, provenant du jeu de données SROIE (scanned receipts OCR and information extraction). 163 images et leurs transcriptions ont subi des modifications frauduleuses réalistes et ont été annotées. Nous décrivons en détail le jeu de données, les falsifications et leurs annotations et fournissons deux baselines (basées sur l'image et le texte) sur la tâche de détection de la fraude.

## ABSTRACT

### Receipt Dataset for Document Forgery Detection

The widespread use of unsecured digital documents by companies and administrations as supporting documents makes them vulnerable to forgeries. Moreover, image editing software and the capabilities they offer complicate the tasks of digital image forensics. Nevertheless, research in this field struggles with the lack of publicly available realistic data. In this paper, we propose a new receipt forgery detection dataset containing 988 scanned images of receipts and their transcriptions, originating from the scanned receipts OCR and information extraction (SROIE) dataset. 163 images and their transcriptions have undergone realistic fraudulent modifications and have been annotated. We describe in detail the dataset, the forgeries and their annotations and provide two baselines (image and text-based) on the fraud detection task.

**MOTS-CLÉS** : Fraude documentaire, jeu de données, détection de fraude.

**KEYWORDS** : Document forgery, dataset, fraud detection.

## 1 Introduction

La détection automatique de fraudes est devenue une tâche inévitable dans les flux de documents des entreprises, car l'acceptation de documents falsifiés peut servir comme support à d'autres types de fraude. Par exemple, un fraudeur peut grâce à des faux documents s'assurer une usurpation d'identité

<figure><img src="image_54.png" /></figure>
ou à l'obtention d'un prêt pour financer des activités criminelles telles que des attaques terroristes. Cependant, les travaux de recherche proposés manquent de généralité, car ils sont très spécifiques à un certain type ou méthode de falsification, et il en va de même pour les ensembles de données disponibles. L'un des principaux défis de la détection de la fraude documentaire est le manque de données annotées librement disponibles. En effet, la collecte de documents frauduleux est entravée par la réticence des fraudeurs à partager leur travail, comme on peut s'y attendre dans toute activité illégale, ainsi que par les contraintes qui pèsent sur les entreprises et les administrations pour partager des données sensibles (Sidere et al., 2017; Mishra & Ghorpade, 2018; Vidros et al., 2017). En outre, de nombreuses études sur la fraude ne se concentrent pas sur les documents eux-mêmes, mais sur les transactions, telles que la fraude à l'assurance, la fraude à la carte de crédit ou la fraude financière (Behera & Panigrahi, 2015; Kowshalya & Nandhini, 2018; Rizki et al., 2017). Nous tentons donc de combler ce fossé entre le manque d'ensembles de données de détection de falsifications disponibles publiquement et l'absence de contenu textuel exploitable, en construisant un nouvel ensemble de données génériques pour la détection de falsifications basé sur des images de documents réels. Nous avons basé l'ensemble de données sur jeu de données existant de tickets scannés (SROIE) qui a été initialement proposé pour des tâches d'extraction d'informations et qui contient des images et du texte. Nous avons altéré les images en utilisant plusieurs méthodes d'altération (copier-coller, imitation de texte, suppression d'informations et modification de pixels) et modifié les transcriptions en conséquence. Nous fournissons les images ainsi que les transcriptions permettant une analyse en texte seul.

# 2 Construction d'un jeu de données pour la détection de faux tickets

S'intéresser aux documents réellement échangés par les entreprises ou les administrations est essentiel pour que les méthodes de détection de fraude développées soient utilisables dans des contextes réels et que la cohérence des documents authentiques soit assurée. Cependant, ces documents administratifs contiennent des informations privées sensibles et ne sont généralement pas mis à disposition de la recherche (Artaud et al., 2018). Nous considérons la tâche de détection de la fraude sur les tickets, car les tickets ne contiennent pas d'informations sensibles et ont une structure très similaire à celle des factures. Ainsi, des scénarios réalistes peuvent être associés à la falsification de tickets, tels que le remboursement de frais de voyage (gagner un peu d'argent supplémentaire, produits non remboursés), et la preuve d'achat (pour l'assurance, pour la garantie).

## 2.1 Données du SROIE

L'ensemble de données a été choisi comme point de départ pour créer l'ensemble de données de falsification. Il a été créé à l'origine pour l'OCR de tickets numérisés et l'extraction d'informations (SROIE) dans le cadre d'une compétition ICDAR 2019 et contient 1 000 images de tickets numérisés accompagnées de leurs transcriptions, issues de la vérité terrain de la compétition.

Une caractéristique des tickets scannés originaux du SROIE est que certains ont été modifiés, soit numériquement, soit manuellement. Ces modifications ne sont pas considérées comme des faux. Même si les documents ont été modifiés, ils restent authentiques, car ils n'ont pas été falsifiés. Ces annotations conviennent à notre étude de cas, car la plupart d'entre elles sont des notes spécifiques au
contexte que l'on trouve dans les applications de documents réels. Par exemple, certaines annotations correspondent à des notes laissées sur les tickets, telles que « staff outing » pour décrire la nature de l'événement (figure 2), des chiffres qui peuvent décrire une mission ou un numéro de dossier (figures 1 et 4), des noms ou des marques pour mettre en évidence des informations clés sur le document, telles que le prix dans la figure 3. Nombre de ces annotations peuvent même provenir du processus de collecte de l'ensemble de données et sont difficiles à interpréter sans plus d'informations contextuelles (noms, numéros, etc.).

<figure><img src="image_55.png" /><figcaption>FIGURE 1 – Insertion manuelle de chiffres.</figcaption></figure>

<figure><img src="image_56.png" /><figcaption>FIGURE 2 – Note sur le ticket.
3-1707067</figcaption></figure>

<figure><img src="image_57.png" /><figcaption>FIGURE 3 – Mise en valeur du total.</figcaption></figure>

<figure><img src="image_58.png" /><figcaption>FIGURE 4 – Insertion numérique de chiffres.</figcaption></figure>

Ces modifications apportées à des documents authentiques posent le problème difficile de la détection de la fraude, qui consiste à faire la distinction entre une modification frauduleuse et une modification non malveillante. Une modification frauduleuse se caractérise non seulement par la mauvaise intention de son auteur, mais aussi par le fait qu'elle modifie des caractéristiques structurelles ou significatives crucales du document qui peuvent être utilisées pour déformer le sens du document original.

Afin d'évaluer l'impact de ces modifications, nous avons annoté manuellement les tickets en fonction du type de modifications qu'ils ont subies. Nous définissons une annotation numérique comme un cas particulier récurrent d'une séquence de numéros ou de noms ajoutés numériquement dans plusieurs en-têtes de tickets, comme dans la figure 4. Nous considérons qu'il y a eu une annotation manuelle (figures 1, 2, et 3) s'il y a une note manuscrite de quelque type que ce soit sur le ticket (mots, coches, zones surlignées ou soulignées, etc.), ainsi que des tampons. Nous avons remarqué que les annotations numériques sont reportées dans les transcriptions, alors que les annotations manuelles ne le sont pas. Au total, nous avons compté 54 tickets contenant une annotation numérique, 500 comptant une annotation manuelle et 34 contenant une annotation numérique et une annotation manuelle.

## 2.2 Campagne de fraude

Afin de fournir des faux aussi réalistes que possible, nous avons organisé plusieurs ateliers de falsification similaires à ceux réalisés par les ensembles de données falsifiées pseudo-réalistes (Artaud et al., 2018; Sidere et al., 2017). Les 19 participants étaient des volontaires, principalement issus du
monde de l'informatique, même si nous avons tenté d'élargir la portée de notre projet à différents niveaux de compétence et d'expertise en matière de documents numériques et de logiciels de retouche d'images. L'objectif n'était pas de créer un ensemble de données d'experts en falsification, mais d'avoir une représentation réaliste de différentes compétences et temps consacré. Les participants n'ont pas reçu de directives spécifiques sur les outils et les techniques à utiliser, afin qu'ils puissent utiliser ce avec quoi ils étaient le plus à l'aise. Cinq logiciels différents ont été utilisés : aperçu (15 documents), paint (70), paint3d (10), GIMP (65) et kolourpaint (3).

## Modification du texte et de l'image
Les participants ont reçu des exemples et des scénarios pour commencer, tels que le remboursement de frais de mission, la preuve d'achat pour l'assurance ou pour la garantie (par exemple, date trop ancienne). Il leur a été demandé de modifier l'image ainsi que son fichier texte associé (transcription).

## Annotation des fraudes
Ensuite, les participants ont été invités à annoter les fraudes qu'ils venaient de réaliser à l'aide de l'annotateur d'images VGG<fnref n="1" />. Ces annotations sont fournies avec l'ensemble de données au format JSON, comme le montre l'exemple suivant :

```json
{'filename': 'X51005230616.png', 'size': 835401, 'regions':
  ['{ 'shape_attributes': {'name': 'rect', 'x': 27, 'y': 875, 'width': 29,
                          'height': 43}, 'region_attributes': {'Modified area': {'IMI': True},
                          'Entity type': 'Product', 'Original area': 'no'}}],
{'shape_attributes': {'name': 'rect', 'x': 458, 'y': 883, 'width': 35,
                      'height': 37}, 'region_attributes': {'Modified area': {'IMI': True},
                          'Entity type': 'Product', 'Original area': 'no'}}],
'file_attributes': {'Software used': 'paint', 'Comment': ''}}
```

Le processus a consisté, d'une part, à localiser les zones modifiées en définissant les régions rectangulaires concernées et, d'autre part, à décrire le type de falsification selon la nomenclature proposée dans (Cruz et al., 2019) (copier-coller à partir du même document, copier-coller à partir d'un autre document, suppression d'informations et imitation). Nous incluons un type de falsification supplémentaire (PIX) pour toutes les modifications « à main levée » (James et al., 2020). Nous avons donc proposé les types de falsification suivants :

- **CPI**: Copier et coller à l'intérieur du document, c'est-à-dire copier une partie de l'image (un caractère, un mot entier, une séquence de mots, etc.) et la coller dans la même image;

- **CPO**: Copier-coller en dehors du document, c'est-à-dire copier une partie de l'image (un caractère, un mot entier, une suite de mots, etc.) et la coller dans un autre document;

- **IMI**: Zone de texte imitant la police, utilisant un outil d'insertion de texte pour remplacer ou ajouter un texte;

- **CUT**: Supprimer un ou plusieurs caractères, sans les remplacer;

- **PIX**: Modification par pixel, pour toutes les modifications effectuées « à main levée » avec un outil de type pinceau pour introduire une modification (par exemple, transformer un caractère en un autre en ajoutant une ligne);

- **Autre**: Utilisation de filtres ou d'autres éléments (à préciser dans les commentaires).

## Annotation des entités modifiées
Les participants ont également été invités à identifier le type d'entité altérée pour chaque zone modifiée de la liste suivante :

<footnote n="1">1. https://www.robots.ox.ac.uk/$\sim$vgg/software/via/</footnote>
- **Entreprise** : Informations relatives à l'entreprise (adresse, téléphone, nom);

- **Produit** : Informations relatives à un produit (nom, prix, suppression ou ajout d'un produit);

- **Total/Paiement** : Prix total, mode de paiement ou montant payé;

- **Metadonnées** : Date, heure.

**Post-traitement** Toutes les annotations fournies pour les faux tickets sont manuelles. Afin de nous assurer que les zones modifiées ont été correctement annotées par les participants, nous avons corrigé manuellement toutes les annotations. Ces corrections ont été effectuées en comparant les documents falsifiés aux originaux.

## 2.3 Description du dataset

Le jeu de données contient 988 images PNG avec leurs transcriptions correspondantes dans un format texte. Les données peuvent être téléchargées à l'adresse http://13i-share.univ-lr.fr/2023Finditagain/findit2.zip. Nous proposons une répartition des données entre les ensembles d'entraînement, de validation et de test afin de permettre une comparaison entre les différentes méthodes. La répartition des données est décrite dans le tableau 1, avec les décomptes des faux effectués pendant la campagne de falsification (Section 2.2) ainsi que les annotations présentes dans les tickets authentiques (Section 2.1).

<table><caption>TABLE 1 – Répartition des données.</caption><thead><tr><th></th><th>Entraînement</th><th>Validation</th><th>Test</th><th>Total</th></tr></thead><tbody><tr><td>Nombre de tickets</td><td>577</td><td>193</td><td>218</td><td>988</td></tr><tr><td>Nombre de tickets fraudés</td><td>94</td><td>34</td><td>35</td><td>163</td></tr><tr><td>Nombre de tickets avec une annotation numérique</td><td>34</td><td>9</td><td>11</td><td>54</td></tr><tr><td>Nombre de tickets avec une annotation manuelle</td><td>305</td><td>86</td><td>109</td><td>500</td></tr></tbody></table>

Au total, 455 zones différents ont été modifiés dans 163 documents. Le tableau 2 détaille le nombre de modifications effectuées par type : une même zone peut avoir été affectée par plus d'un type de modification. En ce qui concerne les entités, la plupart des modifications ont porté sur les informations relatives au total ou au paiement. Le tableau montre également que la technique de falsification la plus utilisée est le CPI.

<table><caption>TABLE 2 – Description des zones modifiées.</caption><thead><tr><th>Type de fraude</th><th>Décompte</th><th>Type d'entité</th><th>Décompte</th></tr></thead><tbody><tr><td>CPI</td><td>353</td><td>Total/paiement</td><td>234</td></tr><tr><td>IMI</td><td>36</td><td>Produit</td><td>95</td></tr><tr><td>CUT</td><td>36</td><td>Métadonnées</td><td>82</td></tr><tr><td>PIX</td><td>33</td><td>Entreprise</td><td>26</td></tr><tr><td>CPO</td><td>10</td><td>Autre</td><td>18</td></tr></tbody></table>

## 3 Baselines proposées

**Bag-of-words (BoW) & régression logistique** Tout d'abord, nous avons choisi ce modèle de classification sur une représentation en sac-de-mots, car il sert généralement de modèle de base et
peut-être utilisé comme référence pour évaluer les résultats et avoir un premier aperçu de la difficulté de la tâche. Nous considérons le modèle le plus couramment utilisé pour une *baseline* simple et rapide : la régression logistique (RL).

**ChatGPT** Le modèle récent créé par OpenAI<fnref n="2" />, proposé en novembre 2022, a suscité une grande attention dans les communautés universitaires et industrielles, et a été rapidement adopté par tout types d'utilisateurs, non seulement en raison de son impressionnante capacité à engager des conversations, mais aussi de sa capacité à répondre aux questions de suivi, à paraphraser, à corriger les fausses déclarations et à décliner les demandes inappropriées (Guo et al., 2023). Nous étions donc curieux de comparer les réponses d'un expert humain et de ChatGPT à la même question (Askell et al., 2021). Nous avons utilisé l' invite suivante <fnref n="3" /> :

Extract the locations (LOC), products (PROD) and prices (PRI)
from the following receipt and tell me if it's fraudulent: {receipt}

Comme les réponses dans le texte libre ne correspondent pas à des résultats de classification binaire,
nous les alignons selon deux configurations :

- **Strict** : Seules les réponses exprimant des doutes précis ou des éléments notables concernant le ticket ou sa légitimité ont été classées comme fausses. Pour sept reçus seulement, la réponse indiquait explicitement qu’un élément était « digne d’intérêt », « suspect » ou semblait « frauduleux ».

- **Relâché** : Toutes les réponses qui ne se prononçaient pas explicitement en faveur de la classe authentique on été considérées comme des faux tickets.

Les résultats <fnref n="4" /> sont présentés dans la table 3. Le jeu de données étant très déséquilibré, nous ne présentons que les résultats de classification binaire pour la classe « Faux ». L'approche de classification de texte et son très faible rappel montrent à quel point elle est insuffisante : seuls quatre faux tickets ont été correctement étiquetés par le classificateur de texte.

<table><caption>TABLE 3 – Résultats.</caption><thead><tr><td>Méthode</td><td>Précision</td><td>Rappel</td><td>F1-score</td></tr></thead><tbody><tr><td>Classification de texte (BoW + LR)</td><td>40.00</td><td>11.43</td><td>17.78</td></tr><tr><td>ChatGPT (strict)</td><td>14.69</td><td><strong>88.57</strong></td><td>25.20</td></tr><tr><td>ChatGPT (relâché)</td><td>18.33</td><td>62.86</td><td><strong>28.39</strong></td></tr></tbody></table>

## 4 Conclusions et perspectives

Cet article présente le jeu de données de tickets librement disponible <fnref n="5" /> pour la détection de documents fraudés, contenant à la fois des images et leur transcription de 988 tickets. Il fournit également des annotations sémantiques sur les zones modifiées, ainsi que des détails sur les techniques de falsification utilisées et leurs zones de délimitation. L'ensemble de données peut donc être utilisé pour des tâches de classification et de localisation. Nous pensons que cet ensemble de données peut

<footnote n="2">2. https://openai.com/blog/chatgpt/</footnote>

<footnote n="3">3. L' invite et les réponses ont été traduites de l' anglais par nous.</footnote>

<footnote n="4">4. Pour plus de détails et d' expériences sur les images des documents, cet article est une traduction d'un article accepté en version longue (Martínez Tornés et al., 2023).</footnote>

<footnote n="5">5. http://13i-share.univ-lr.fr/2023Finditagain/findit2.zip</footnote>
constituer une ressource intéressante pour la communauté de détection des faux documents. Les expériences présentées peuvent être considérées comme un point de départ pour comparer avec d'autres méthodes, en particulier le développement d'approches TALN pour l'authentification de documents, ainsi que des approches multimodales. En effet, si l'analyse des documents et la détection de fraude sont majoritairement abordés comme des problématiques de vision par ordinateur, la prise en compte du contenu ainsi que sa cohérence et sa plausibilité est une perspective qui nous semble prometteuse, mais qui est longtemps restée limitée par le manque de données réalistes (ou pseudo-réalistes).

## Remerciements

Ce travail a été soutenu par l'Agence de l'innovation de défense (AID), ainsi que le projet VERINDOC financé par la Région Nouvelle-Aquitaine. Nous tenons également à remercier les participants à la campagne de fraude pour leur contribution.

## Références

ARTAUD C., SIDÈRE N., DOUCET A., OGIER J.-M. & POULAIN D'ANDECY V. (2018). Find it! Fraud detection contest report. In *2018 24th International Conference on Pattern Recognition (ICPR)*, p. 13–18.

ASKELL A., BAI Y., CHEN A., DRAIN D., GANGULI D., HENIGHAN T., JONES A., JOSEPH N., MANN B., DASSARMA N. *et al.* (2021). A general language assistant as a laboratory for alignment. *arXiv preprint arXiv:2112.00861*.

BEHERA T. K. & PANIGRAHI S. (2015). Credit card fraud detection: a hybrid approach using fuzzy clustering & neural network. In *2015 Second International Conference on Advances in Computing and Communication Engineering*.

CRUZ F., SIDÈRE N., COUSTATY M., POULAIN D'ANDECY V. & OGIER J.-M. (2019). Categorization of document image tampering techniques and how to identify them. In *International Conference on Pattern Recognition*, p. 117–124 : Springer.

GUO B., ZHANG X., WANG Z., JIANG M., NIE J., DING Y., YUE J. & WU Y. (2023). How close is chatgpt to human experts? comparison corpus, evaluation, and detection. *arXiv preprint arXiv:2301.07597*.

JAMES H., GUPTA O. & RAVIV D. (2020). Ocr graph features for manipulation detection in documents.

KOWSHALYA G. & NANDHINI M. (2018). Predicting fraudulent claims in automobile insurance. In *2018 Second International Conference on Inventive Communication and Computational Technologies (ICICCT)*.

MARTÍNEZ TORNÉS B., TABURET T., ROUIS K., BOROS E., GOMEZ-KRÄMER P., SIDERE N., DOUCET A. & POULAIN D'ANDECY V. (2023). Receipt Dataset for Document Forgery Detection. In *2023 International Conference on Document Analysis and Recognition (ICDAR)*.

MISHRA A. & GHORPADE C. (2018). Credit card fraud detection on the skewed data using various classification and ensemble techniques. In *2018 IEEE International Students' Conference on Electrical, Electronics and Computer Science (SCEECS)*.
RIZKI A. A., SURJANDARI I. & WAYASTI R. A. (2017). Data mining application to detect financial fraud in indonesia's public companies. In *2017 3rd International Conference on Science in Information Technology (ICSITech)*.

SIDERE N., CRUZ F., COUSTATY M. & OGIER J.-M. (2017). A dataset for forgery detection and spotting in document images. In *2017 Seventh International Conference on Emerging Security Technologies (EST)*.

VIDROS S., KOLIAS C., KAMBOURAKIS G. & AKOGLU L. (2017). Automatic detection of online recruitment frauds : Characteristics, methods, and a public dataset. *Future Internet, 9*(1).
# Portabilité linguistique des modèles de langage pré-appris appliqués à la tâche du dialogue humain-machine en français

Ahmed Njifenjou

Virgile Sucal

Bassam Jabaian

Fabrice Lefèvre

LIA, Avignon Université, France

{ahmed-ndouop.njifenjou, virgile.sucal, bassam.jabaian, fabrice.lefevre}@univ-avignon.fr

## RÉSUMÉ

Dans cet article, nous proposons une étude de la portabilité linguistique des modèles de langage pré-appris (MLPs) appliqués à une tâche de dialogue à domaine ouvert. La langue cible ($L_T$) retenue dans cette étude est le français. Elle dispose de peu de ressources spécifiques pour la tâche considérée et nous permet de réaliser une évaluation humaine in situ. La langue source ($L_S$) est l'anglais qui concentre la majorité des travaux récents dans ce domaine. Construire des MLPs spécifiques pour chaque langue nécessite de collecter de nouveaux jeux de données et cela est coûteux. Ainsi, à partir des ressources disponibles en $L_S$ et $L_T$, nous souhaitons évaluer les performances atteignables par un système de conversation en $L_T$. Trois approches sont proposées : TrainOnTarget où le corpus $L_S$ est traduit vers $L_T$ avant l'affinage du modèle, TestOnSource où un modèle $L_S$ est couplé avec des modules de traduction au moment du décodage et TrainOnSourceAdaptOnTarget, qui utilise un MLP multilingue - ici BLOOM (Workshop et al., 2023) - avec l'architecture MAD-X Adapter (Pfeiffer et al., 2020) pour apprendre la tâche en $L_S$ et l'adapter à $L_T$. Les modèles sont évalués dans des conditions de dialogue oral et les stratégies sont comparées en termes de qualité perçue lors l'interaction.

## ABSTRACT

### Linguistic portability strategies for open-domain dialogue with pre-trained language models from high to low resource languages

In this paper we propose a study of linguistic portability of pre-trained language models (PLMs) for open-domain dialogue systems in a high-resource language. The target language ($L_T$) is simulated with French as it lacks task-specific resources and allows an in-situ human evaluation. The source language ($L_S$) is English which concentrates the majority of recent works. Building specific PLMs for each possible language supposes collecting new datasets and is costly. Hence, leveraging resources from both $L_S$ and $L_T$, we assess the performance achievable in $L_T$ with three approaches : TrainOn-Target where a $L_S$ dataset is translated in $L_T$ before finetuning, TestOnSource where a $L_S$ model is coupled with translation modules at inference and the TrainOnSourceAdaptOnTarget, using a multilingual PLM - here BLOOM (Workshop et al., 2023) - with MAD-X Adapter architecture (Pfeiffer et al., 2020) to learn the task in $L_S$ and adapt it to $L_T$. Models are evaluated in spoken dialogue conditions with human and the strategies compared in terms of perceived interaction quality.

**MOTS-CLÉS** : Agent conversationnel, Transformers, Portabilité multilingue, Langue peu dotée.

**KEYWORDS** : Conversational agent, Transformers, Crosslingual portability, Low-resource language.

<figure><img src="image_59.png" /></figure>
# 1 Introduction

Depuis l'apparition des modèles Transformers (Vaswani et al., 2017), plusieurs variantes de MLPs ont été déployées dans le domaine du traitement automatique du langage. Les Transformers autorégressifs (utilisant le bloc décodeur) comme GPT (Radford & Narasimhan, 2018), BART (Lewis et al., 2019) etc. se positionnent sur l'état de l'art pour de nombreuses tâches génératives, dont le dialogue à domaine ouvert. Mais pour cela les systèmes doivent développer certaines capacités humaines telles que l'empathie, et avoir un personnalité consistante durant l'interaction (Walker et al., 2021). Dans cette optique, des corpus spécifiques ont été collectés en faisant interagir des humains. On peut citer par exemple : PersonaChat (Zhang et al., 2018), Empathetic Dialogues (Rashkin et al., 2019), Blended Skill Talk (Smith et al., 2020) etc. sur lesquels les MLPs peuvent être affinés. La majorité des corpus disponibles sont en anglais, ou en chinois. L'absence de corpus d'apprentissage spécifiques du même type en français, empêche l'obtention directe de modèles similaires.

Dans ce travail, nous étudions les stratégies de portabilité des chatbots et des corpus d'une langue source ($L_S$ ici l'anglais) vers une langue cible ($L_T$, ici le français). En exploitant le maximum de ressources disponibles dans $L_S$ et $L_T$ (outils de traduction automatique neuronale (TAN), corpus et MLPs), nous avons mis en place et mené une évaluation humaine de différents systèmes obtenus par trois approches : TrainOnSource, TestOnTarget, TrainOnsourceAndAdaptOnTarget. Nous avons ensuite comparé ces modèles à un modèle de référence en $L_S$ à savoir BlenderBot 1.0 (Roller et al., 2020).

Pour cela, nous avons revisité les approches proposées pour la portabilité linguistique des modules de compréhension de la parole (Jabaian et al., 2013; Lefèvre et al., 2010) afin de les appliquer au cas des MLPs pour la conversation orale humain-machine. A notre connaissance, l'un des seuls travaux à avoir abordé la question du développement multilingue des ressources pour les chitchat bots basés sur les PLMs est (Lin et al., 2020) qui propose des traductions en plusieurs langues du corpus PersonaChat et l'utilise pour apprendre des modèles en différentes langues. Pour la modélisation du dialogue, nous avons utilisé le même schéma d'apprentissage que celui proposé par (Wolf et al., 2019). En plus de reprendre ce qu'ils ont fait avec un modèle de type GPT (Radford & Narasimhan, 2018), nous avons exploré l'application de la même approche en français et avec le modèle BLOOM (Workshop et al., 2023), un modèle multilingue en libre accès<fnref n="1" />.

# 2 Stratégies pour la portabilité des systèmes de dialogues de l'anglais vers le français

Dans cette étude préliminaire, plutôt que de nous concentrer sur l'amélioration de la performance intrinsèque du dialogue, nous évaluons comment les données et les modèles de $L_S$ peuvent être exploités pour développer des modèles conversationnels simples basés sur des MLPs en $L_T$.

Les approches TestOnSource et TrainOnTarget s'appuient sur l'utilisation de modules de TAN à différentes étapes. Pour cela, nous avons utilisé l'API Google Translate comme dans (Lin et al., 2020), excellentes performances et facilité d'utilisation expliquent ce choix parmi d'autres.

<footnote n="1">1. Le modèle est disponible sur https://huggingface.co/bigscience/bloom</footnote>
<figure><img src="image_60.png" /><figcaption>FIGURE 1 – TestOnSource</figcaption></figure>

<caption>FIGURE 2 – TrainOnTarget</caption>

**TestOnSource** : L'approche consiste à utiliser les jeux de données, les modèles de dialogue et les MLPs disponibles en $L_S$ et les combiner avec deux systèmes de TAN qui opèrent pendant les conversations bot-humain en $L_T$. Le premier (en orange dans la figure 1) traduit l'énoncé de l'utilisateur et le deuxième (en vert dans la figure 1) traduit la sortie du système. La disponibilité d'un grand nombre de ressources, notamment les modèles de dialogue à domaine ouvert en $L_S$, est un atout majeur pour cette approche. Par conséquent, il est intéressant d'évaluer les performances de ces systèmes sur des entrées traduites de $L_T$ à $L_S$ lors de l'inférence.

**TrainOnTarget** : Illustrée dans la figure 2, cette approche consiste à affiner les MLPs dans $L_T$ (en vert) pour une tâche de chitchat sur un corpus traduit automatiquement depuis $L_S$ (en jaune). Le français ($L_T$) dispose de quelques MLPs qui peuvent être utilisés comme base pour des modèles de dialogue. Cette approche suppose que les connaissances spécifiques à la langue, apprises par les MLPs en $L_T$, peuvent aider à gérer les échantillons bruités issus de la TAN.

**TrainOnSourceAdaptOnTarget** : Les approches précédentes s'appuient sur le fait qu'en dehors du chitchat, $L_T$ est une langue dotée disposant de modèles de TAN et de MLPs ce qui n'est pas le cas de beaucoup de langues d'où l'idée d'utiliser des MLPs multilingues. Nous reproduisons l'architecture MAD-X (Pfeiffer et al., 2020) pour le dialogue en utilisant **BLOOM** qui a des capacités de traduction et qui intègre une grande variété de langues peu dotées. Dans la figure 3, les flèches vides montrent la 1ère étape d'affinage des adaptateurs de tâche (sur les données de $L_S$) avec les adaptateurs de langue $L_S$ gelés. Dans la 2ème étape (flèches pleines), les adaptateurs de langue (toujours gelés) passent de $L_S$ à $L_T$ et les mêmes adaptateurs de tâche sont affinés en utilisant peu de données $L_T$ (ou des données traduites). En amont de ces étapes, les adaptateurs de langue $L_S$ et $L_T$ sont appris indépendamment en gelant les paramètres du Transformer.

<figure><img src="image_61.png" /><figcaption>FIGURE 3 – Bloc du Transformer pour le **TrainOnSourceAdaptOnTarget**</figcaption></figure>
# 3 Étude expérimentale

Afin de comparer et d'évaluer les trois approches présentées dans la section 2, nous avons affiné différent MLPs de $L_S$, $L_T$ et une version multilingue.

**Corpus d'entraînement** : **PersonaChat** (Zhang et al., 2018) est constitué d'un ensemble de dialogues entre deux humains en anglais, chacun se voyant attribué une personnalité initiale en quelques phrases.

**Objectif d'entraînement** : Nous avons utilisé un double objectif. D'une part la modélisation de langue avec comme entrée la concaténation de la personnalité, l'historique et la réponse. C'est uniquement sur cette dernière que la fonction d'optimisation (loss function) est calculée. D'autre part la classification multichoix, pour apprendre à sélectionner la bonne réponse dans un ensemble comprenant plusieurs distracteurs.

**Description des modèles** : Pour *TrainOnTarget*, nous avons affiné **GPT-fr** (Simoulin & Crabbé, 2021) (124M paramètres), comparable en termes d'architecture et de dimension au modèle Transfer-Transfo (Wolf et al., 2019) basé sur **GPT-1** (117M) qui est utilisé pour *TestOnSource*. Enfin, pour *TrainOnSourceAdaptOnTarget*, le modèle utilisé est **BLOOM-560M**. Multilingue, il est le seul à permettre cette approche. Cette caractéristiques nous permet de l'utiliser également pour construire des modèles en $L_S$ et en $L_T$ pour les deux premières approches respectivement.

# 4 Évaluation

De part une structure *one-to-many* (Zhao et al., 2017), l'évaluation automatique du dialogue n'est pas toujours en accord avec l'évaluation humaine, qui reste la plus fiable. Nous reportons ici les résultats de l'évaluation humaine accompagnés d'une analyse basée sur les conversations collectées. Les résultats de l'évaluation automatique sont reportés en annexe.

**Évaluation humaine** : Nous avons collecté 120 conversations via l'interface RASA-X (Bocklisch et al., 2017) en 2 phases : dans la 1ère, nous avons déployé GPT-fr, GPT et BlenderBot 1 et dans la 2ème, les 4 modèles basés sur BLOOM. Elles ont ensuite été notées de 1 à 5 selon trois critères sélectionnés sur la base de ceux figurant dans (Mehri & Eskénazi, 2020; Ji et al., 2022; Roller et al., 2020) : la cohérence, l'engagement et le naturel. Les résultats sont reportés dans le tableau 1.

<table><caption>TABLE 1 – Différence de notes moyennes avec un modèle de référence (BlenderBot1) par critère</caption><thead><tr><th>Stratégies</th><th>Modèles</th><th>Cohérence</th><th>Engagement</th><th>Naturel</th></tr></thead><tbody><tr><td>Référence (TestOS)</td><td>BlenderBot 1</td><td>3.64</td><td>4.45</td><td>3.77</td></tr><tr><td>TrainOnSource</td><td>madx-BLOOM ($L_S$)</td><td>-2,10</td><td>-2,37</td><td>-2,06</td></tr><tr><td>AdaptOnTarget</td><td>madx-BLOOM ($L_T$)</td><td>-2,02</td><td>-2,14</td><td>-2,30</td></tr><tr><td rowspan="2">TestOnSource</td><td>BLOOM ($L_S$)</td><td>-1,72</td><td>-2,07</td><td>-1,82</td></tr><tr><td>GPT</td><td>-1,59</td><td>-2,02</td><td>-2,10</td></tr><tr><td rowspan="2">TrainOnTarget</td><td>GPT-fr</td><td>-2,09</td><td>-2,49</td><td>-2,30</td></tr><tr><td>BLOOM ($L_T$)</td><td>-1,32</td><td>-2,01</td><td>-1,55</td></tr></tbody></table>
BlenderBot 1, la référence est un modèle plus large (~ 2.7Mds paramètres, distillés en 400M) appris avec des objectifs d'apprentissage complexes sur une grande variété de corpus. BLOOM_fr émerge comme le meilleur dans les trois catégories évaluées, en moyenne : **+0.26** pour la cohérence, **+0.01** pour l'engagement et **+0.56** pour le naturel par rapport à GPT_EN, son plus proche concurrent. Ce dernier a des notes proches de BLOOM_en avec un léger avantage sur la cohérence (+0.13) et l'engagement (+0.06) et un déficit sur le naturel (-0.29). Le dernier groupe est composé de GPT_FR, madxBLOOM_fr, madxBLOOM_en pour lesquels la note médiane pour tous les critères est proche de 1.5, i.e près de la moitié des conversations avec ces modèles ont reçu la note la plus basse possible.

**Analyse des conversations :** Le tableau 2 donne un autre aperçu des performances des modèles, en terme de nombre d'échanges. On observe la même tendance que précédemment : les modèles moins bien notés ont un plus faible nombre d'échanges par dialogue, puisque les utilisateurs avaient comme consignes de poursuivre au maximum la discussion. Cela peut expliquer aussi leurs notes d'engagement relativement faibles, ainsi que leurs scores de cohérence. En effet, suivant nos instructions, les conversations sont arrêtées dès que des comportements erratiques tels que des répétitions ou des hallucinations ont été observées par les utilisateurs.

<table><caption>TABLE 2 – Nombre de tours de parole moyen par dialogue</caption><thead><tr><th>Modèles</th><th>BB1</th><th>GPT_FR</th><th>GPT</th><th>xBLOOM_fr</th><th>xBLOOM_en</th><th>BLOOM_fr</th><th>BLOOM_en</th></tr></thead><tbody><tr><td>#échanges</td><td><strong>35,6</strong></td><td>15,4</td><td><strong>24,8</strong></td><td>12,9</td><td>20,6</td><td><strong>24,8</strong></td><td><strong>36,3</strong></td></tr></tbody></table>

BB1 = BlenderBot 1, xBLOOM = modèle avec architecture MAD-X et GPT = modèle anglais provenant de (Wolf et al., 2019).

Nous avons utilisé le nombre de mots moyen par tour de parole pour évaluer le comportement relatif des testeurs vis-à-vis des modèles et inversement. Ces grandeurs ont été normalisées par testeur afin de s'affranchir des variabilités entre testeurs (personnalité, attente vis-a-vis d'un agent conversationnel (Walker et al., 2021), habitudes,...) et ainsi observer des variations essentiellement liées aux modèles.

<figure><img src="image_62.png" /><figcaption>FIGURE 4 – Nombre moyen de mots par tour de dialogue des différents modèles</figcaption></figure>
Dans la figure 4, on observe que *BlenderBot* se distingue de tous les autres à l'exception du modèle *madxBLOOM-fr* qui semble produire des réponses plus longue en moyenne. Ceci est dû au fait que, au moment du décodage, ce dernier a été contraint de générer au moins dix nouveaux tokens contrairement aux autres modèles car ayant tendance à générer des messages vides ou très courts avec des mots pas complets. Enfin, globalement les différents modèles ont un comportement qui varie peu d'un utilisateur à autre. Cela met en évidence la problématique **P3** mentionnée dans (Bowden & Walker, 2023) à savoir un manque de personnalisation qui pourrait avoir un impact sur l'expérience utilisateur.

<figure><img src="image_63.png" /><figcaption>FIGURE 5 – Nombre moyen de mots par tour de dialogue des testeurs</figcaption></figure>

Dans la figure 5 on observe *a contrario* que le comportement des utilisateurs varie beaucoup selon le modèle. Une analyse plus fine des dialogues concernés semble indiquer que pour *BlenderBot*, la référence, cela pourrait signifier un bon engagement de l'utilisateur tandis que pour *madxBLOOM-fr* (l'un des moins bien noté) cela pourrait illustrer les tentatives des utilisateurs de compenser la faible qualité des réponses en réorientant le modèle et en s'adaptant à lui. Aussi ce critère ne permet pas de distinguer clairement la qualité des modèles.

**Prédiction des évaluations dans une configuration PARADISE (Walker et al., 1997)** : L'évaluation humaine implique un processus coûteux de collecte et annotations des conversations. Une solution est de prédire les notes d'évaluation directement à partir de mesures objectives sur les conversations. Pour vérifier cette possibilité, nous mettons en place une approche de type PARADISE. Le tableau 3 reporte les corrélations ($r$) entre les mesures objectives et les évaluations humaines.

On observe dans le tableau 3 que $r$ est plus important avec les mesures directement dépendantes des modèles : **taille vocabulaire modèle** qui représente le nombre de lemmes différents utilisés par le modèle dans une conversation et le **nombre de mots moyens par tour de dialogue modèle**.

Nous avons entraîné différents modèles de régression des notations à partir des précédentes mesures normalisées (Régression linéaire, SVR, Arbre de Décision et MLP suivant ce qui a été fait dans (Walker et al., 2021)). De notre jeu de 120 conversations, 10% sont aléatoirement assignées au jeu de test et nous entraînons les modèles sur celles restantes. Les notations sont elles aussi normalisées par évaluateur pour réduire le biais dans la notation. Dans le tableau 4 on observe des MSE relativement élevées sauf pour le critère engagement où on arrive avec le SVR à une MSE de **0.07**, un coefficient de détermination de **0.82** et surtout une corrélation de **92%** significative à $p \le 0.001$. Avec les
<table><caption>TABLE 3 – Corrélations (r) entre les mesures objectives et les évaluations</caption><thead><tr><th>Grandeurs mesurées</th><th>Cohérence</th><th>Engagement</th><th>Naturel</th></tr></thead><tbody><tr><td>Nombre d'échanges</td><td>0.353</td><td>0.389</td><td>0.390</td></tr><tr><td>#Mots moyen par tour testeur</td><td>0.280</td><td>0.254</td><td>0.309</td></tr><tr><td>#Mots moyen par tour modèle</td><td>0.338</td><td>0.455</td><td>0.367</td></tr><tr><td>Taille vocabulaire testeur</td><td>0.429</td><td>0.457</td><td>0.468</td></tr><tr><td>Taille vocabulaire modèle</td><td>0.449</td><td>0.548</td><td>0.504</td></tr><tr><td>Taille vocabulaire conversation</td><td>0.466</td><td>0.526</td><td>0.510</td></tr></tbody></table>

Toutes les mesures significatives avec $p \le 0,001$

mesures objectives utilisées, on ne pourrait donc prédire que les scores d'engagement avec une certaine qualité. Les évaluations humaines restent nécessaires, où d'autres mesures objectives, moins évidentes, doivent être mobilisées.

<table><caption>TABLE 4 – Résultats des modèles de régression sur les évaluations normalisées</caption><thead><tr><th rowspan="2">Modèles</th><th colspan="3">Cohérence</th><th colspan="3">Engagement</th><th colspan="3">Naturel</th></tr><tr><th>MSE</th><th>R<sup>2</sup></th><th>r</th><th>MSE</th><th>R<sup>2</sup></th><th>r</th><th>MSE</th><th>R<sup>2</sup></th><th>r</th></tr></thead><tbody><tr><td>Regression linéaire</td><td>0.24</td><td>0.31</td><td>0.57</td><td>0.23</td><td>0.47</td><td>0.74*</td><td>0.27</td><td>0.41</td><td>0.65</td></tr><tr><td>SVR</td><td>0.34</td><td>0.05</td><td>0.48</td><td><strong>0.07</strong></td><td><strong>0.82</strong></td><td><strong>0.92**</strong></td><td>0.35</td><td>0.22</td><td>0.57</td></tr><tr><td>Arbre de décision</td><td>0.42</td><td>-0.21</td><td>0.42</td><td>0.17</td><td>0.59</td><td>0.79*</td><td>0.41</td><td>0.096</td><td>0.43</td></tr><tr><td>MLP</td><td>0.28</td><td>0.20</td><td>0.55</td><td>0.21</td><td>0.53</td><td>0.74*</td><td>0.28</td><td>0.40</td><td>0.64</td></tr></tbody></table>

# 5 Conclusion

Le développement des modèles de dialogue à domaine ouvert en français est encore loin derrière les modèles anglais, ou même chinois, aujourd'hui. Il en va de même pour de nombreuses autres langues. La raison principale est le manque de corpus spécialisés. Cependant, la disponibilité de MLPs en français et d'outils TAN sont des atouts pouvant être mis à profit pour exploiter les ressources d'une langue plus dotée pour cette tâche. Dans cette optique, nous avons évalué trois approches différentes et comparé les modèles obtenus et un modèle de référence anglais utilisé avec un traducteur automatique. La stratégie TrainOnTarget avec un modèle multilingue a donné les meilleurs résultats (hors modèle de référence) lors de l'évaluation humaine. Ceci ouvre la voie à de futurs travaux sur l'utilisation de données traduites automatiquement avec des modèles multilingues tels BLOOM qui possèdent implicitement des capacités de traduction. L'amélioration des objectifs d'apprentissage pourrait alors permettre de rattraper les performances des modèles de référence des langues bien dotées pour la tâche, malgré l'obstacle que constitue la rareté des corpus spécifiques à chaque langue. Le fait qu'en dehors des dialogues à domaine ouvert, le français soit une langue bien dotée n'est pas totalement limitant pour ces approches. En effet, notre meilleur modèle était basé sur l'approche TrainOnTarget avec BLOOM, un modèle multilingue incluant plusieurs langues peu dotées et en accès libre.

<footnote>** significatif $p \le 0.001$, * significatif $p \le 0.01$</footnote>
Références

BOCKLISCH T., FAULKNER J., PAWLOWSKI N. & NICHOL A. (2017). Rasa : Open source language understanding and dialogue management. CoRR, abs/1712.05181.

BOWDEN K. K. & WALKER M. (2023). Let's get personal : Personal questions improve socialbot performance in the alexa prize.

JABAIAN B., BESACIER L. & LEFÈVRE F. (2013). Comparison and combination of lightly supervised approaches for language portability of a language understanding system. *IEEE Transactions on Audio, Speech and Language Processing*, **21**(3), 636–648.

JI T., GRAHAM Y., JONES G. J. F., LYU C. & LIU Q. (2022). Achieving reliable human assessment of open-domain dialogue systems. DOI: 10.48550/ARXIV.2203.05899.

LEFÈVRE F., MAIRESSE F. & YOUNG S. J. (2010). Cross-lingual spoken language understanding from unaligned data using discriminative classification models and machine translation. In *Inter-speech 2010, 11th Annual Conference of the International Speech Communication Association*, p. 78–81, Chiba, Japan.

LEWIS M., LIU Y., GOYAL N., GHAZVININEJAD M., MOHAMED A., LEVY O., STOYANOV V. & ZETTLEMOYER L. (2019). BART : denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension.

LIN Z., LIU Z., WINATA G. I., CAHYAWIJAYA S., MADOTTO A., BANG Y., ISHII E. & FUNG P. (2020). Xpersona : Evaluating multilingual personalized chatbot.

MEHRI S. & ESKÉNAZI M. (2020). Unsupervised evaluation of interactive dialog with DialoGPT.

PAPINENI K., ROUKOS S., WARD T. & ZHU W.-J. (2002). Bleu : a method for automatic evaluation of machine translation. In *Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics*, p. 311–318, Philadelphia, Pennsylvania, USA : Association for Computational Linguistics. DOI: 10.3115/1073083.1073135.

PFEIFFER J., VULIĆ I., GUREVYCH I. & RUDER S. (2020). MAD-X : An adapter-based framework for multi-task cross-lingual transfer.

RADFORD A. & NARASIMHAN K. (2018). Improving language understanding by generative pre-training.

RASHKIN H., SMITH E. M., LI M. & BOUREAU Y.-L. (2019). Towards empathetic open-domain conversation models : a new benchmark and dataset. In *ACL*.

ROLLER S., DINAN E., GOYAL N., JU D., WILLIAMSON M., LIU Y., XU J., OTT M., SHUSTER K., SMITH E. M., BOUREAU Y.-L. & WESTON J. (2020). Recipes for building an open-domain chatbot.

SIMOULIN A. & CRABBÉ B. (2021). Un modèle Transformer Génératif Pré-entrainé pour le français. In P. DENIS, N. GRABAR, A. FRAISSE, R. CARDON, B. JACQUEMIN, E. KERGOSIEN & A. BALVET, Éds., *Traitement Automatique des Langues Naturelles*, p. 246–255, Lille, France : ATALA. HAL : hal-03265900.

SMITH E. M., WILLIAMSON M., SHUSTER K., WESTON J. & BOUREAU Y. (2020). Can you put it all together : Evaluating conversational agents’ ability to blend skills.

VASWANI A., SHAZEER N., PARMAR N., USZKOREIT J., JONES L., GOMEZ A. N., KAISER L. & POLOSUKHIN I. (2017). Attention Is All You Need.
WALKER M. A., HARMON C., GRAUPERA J., HARRISON D. & WHITTAKER S. (2021). Modeling performance in open-domain dialogue with PARADISE.

WALKER M. A., LITMAN D. J., KAMM C. A. & ABELLA A. (1997). PARADISE: A framework for evaluating spoken dialogue agents. CoRR, cmp-lg/9704004.

WOLF T., SANH V., CHAUMOND J. & DELANGUE C. (2019). Transfertransfo: A transfer learning approach for neural network based conversational agents.

WORKSHOP B., SCAO T. L., FAN A., AKIKI C., PAVLICK E., ILIĆ S., HESSLOW D., CASTAGNÉ R., LUCCIONI A. S., YVON F., GALLÉ M., TOW J., RUSH A. M., BIDERMAN S., WEBSON A., AMMANAMANCHI P. S., WANG T., SAGOT B., MUENNIGHOFF N., DEL MORAL A. V., RUWASE O., BAWDEN R., BEKMAN S., MCMILLAN-MAJOR A., BELTAGY I., NGUYEN H., SAULNIER L., TAN S., SUAREZ P. O., SANH V., LAURENÇON H., JERNITE Y., LAUNAY J., MITCHELL M., RAFFEL C., GOKASLAN A., SIMHI A., SOROA A., AJI A. F., ALFASSY A., ROGERS A., NITZAV A. K., XU C., MOU C., EMEZUE C., KLAMM C., LEONG C., VAN STRIEN D., ADELANI D. I., RADEV D., PONFERRADA E. G., LEVKOVIZH E., KIM E., NATAN E. B., TONI F. D., DUPONT G., KRUSZEWSKI G., PISTILLI G., ELSAHAR H., BENYAMINA H., TRAN H., YU I., ABDULMUMIN I., JOHNSON I., GONZALEZ-DIOS I., DE LA ROSA J., CHIM J., DODGE J., ZHU J., CHANG J., FROHBERG J., TOBING J., BHATTACHARJEE J., ALMUBARAK K., CHEN K., LO K., WERRA L. V., WEBER L., PHAN L., ALLAL L. B., TANGUY L., DEY M., MUÑOZ M. R., MASOUD M., GRANDURY M., ŠAŠKO M., HUANG M., COAVOUX M., SINGH M., JIANG M. T.-J., VU M. C., JAUHAR M. A., GHALEB M., SUBRAMANI N., KASSNER N., KHAMIS N., NGUYEN O., ESPEJEL O., DE GIBERT O., VILLEGAS P., HENDERSON P., COLOMBO P., AMUOK P., LHOEST Q., HARLIMAN R., BOMMASANI R., LÓPEZ R. L., RIBEIRO R., OSEI S., PYYSALO S., NAGEL S., BOSE S., MUHAMMAD S. H., SHARMA S., LONGPRE S., NIKPOOR S., SILBERBERG S., PAI S., ZINK S., TORRENT T. T., SCHICK T., THRUSH T., DANCHEV V., NIKOULINA V., LAIPPALA V., LEPERCQ V., PRABHU V., ALYAFEAI Z., TALAT Z., RAJA A., HEINZERLING B., Sİ C., TAŞAR D. E., SALESKY E., MIELKE S. J., LEE W. Y., SHARMA A., SANTILLI A., CHAFFIN A., STIEGLER A., DATTA D., SZCZECHLA E., CHHABLANI G., WANG H., PANDEY H., STROBELT H., FRIES J. A., ROZEN J., GAO L., SUTAWIKA L., BARI M. S., AL-SHAIBANI M. S., MANICA M., NAYAK N., TEEHAN R., ALBANIE S., SHEN S., BEN-DAVID S., BACH S. H., KIM T., BERS T., FEVRY T., NEERAJ T., THAKKER U., RAUNAK V., TANG X., YONG Z.-X., SUN Z., BRODY S., URI Y., TOJARIEH H., ROBERTS A., CHUNG H. W., TAE J., PHANG J., PRESS O., LI C., NARAYANAN D., BOURFOUNE H., CASPER J., RASLEY J., RYABININ M., MISHRA M., ZHANG M., SHOEYBI M., PEYROUNETTE M., PATRY N., TAZI N., SANSEVIERO O., VON PLATEN P., CORNETTE P., LAVALLÉE P. F., LACROIX R., RAJBHANDARI S., GANDHI S., SMITH S., REQUENA S., PATIL S., DETTMERS T., BARUWA A., SINGH A., CHEVELEVA A., LIGOZAT A.-L., SUBRAMONIAN A., NÉVÉOL A., LOVERING C., GARRETTE D., TUNUGUNTLA D., REITER E., TAKTASHEVA E., VOLOSHINA E., BOGDANOV E., WINATA G. I., SCHOELKOPF H., KALO J.-C., NOVIKOVA J., FORDE J. Z., CLIVE J., KASAI J., KAWAMURA K., HAZAN L., CARPUAT M., CLINCIU M., KIM N., CHENG N., SERIKOV O., ANTVERG O., VAN DER WAL O., ZHANG R., ZHANG R., GEHRMANN S., MIRKIN S., PAIS S., SHAVRINA T., SCIALOM T., YUN T., LIMISIEWICZ T., RIESER V., PROTASOV V., MIKHAILOV V., PRUKSACHATKUN Y., BELINKOV Y., BAMBERGER Z., KASNER Z., RUEDA A., PESTANA A., FEIZPOUR A., KHAN A., FARANAK A., SANTOS A., HEVIA A., UNLDREAJ A., AGHAGOL A., ABDOLLAHI A., TAMMOUR A., HAJIHOSSEINI A., BEHROOZI B., AJIBADE B., SAXENA B., FERRANDIS C. M., CONTRACTOR D., LANSKY D., DAVID D., KIELA D., NGUYEN D. A., TAN E., BAYLOR E., OZOANI E., MIRZA F., ONONIWU F., REZANEJAD H., JONES H., BHATTACHARYA I., SOLAIMAN I., SEDENKO I., NEJADGHOLI I., PASSMORE J., SELTZER J.,
SANZ J. B., DUTRA L., SAMAGAIO M., ELBADRI M., MIESKES M., GERCHICK M., AKINLOLU M., MCKENNA M., QIU M., GHAURI M., BURYNOK M., ABRAR N., RAJANI N., ELKOTT N., FAHMY N., SAMUEL O., AN R., KROMANN R., HAO R., ALIZADEH S., SHUBBER S., WANG S., ROY S., VIGUIER S., LE T., OYEBADE T., LE T., YANG Y., NGUYEN Z., KASHYAP A. R., PALASCIANO A., CALLAHAN A., SHUKLA A., MIRANDA-ESCALADA A., SINGH A., BEILHARZ B., WANG B., BRITO C., ZHOU C., JAIN C., XU C., FOURRIER C., PERIÑÁN D. L., MOLANO D., YU D., MANJAVACAS E., BARTH F., FUHRIMANN F., ALTAY G., BAYRAK G., BURNS G., VRABEC H. U., BELLO I., DASH I., KANG J., GIORGI J., GOLDE J., POSADA J. D., SIVARAMAN K. R., BULCHANDANI L., LIU L., SHINZATO L., DE BYKHOVETZ M. H., TAKEUCHI M., PÀMIES M., CASTILLO M. A., NEZHURINA M., SÄNGER M., SAMWALD M., CULLAN M., WEINBERG M., WOLF M. D., MIHALJCIC M., LIU M., FREIDANK M., KANG M., SEELAM N., DAHLBERG N., BROAD N. M., MUELLNER N., FUNG P., HALLER P., CHANDRASEKHAR R., EISENBERG R., MARTIN R., CANALLI R., SU R., SU R., CAHYAWIJAYA S., GARDA S., DESHMUKH S. S., MISHRA S., KIBLAWI S., OTT S., SANG-AROONSIRI S., KUMAR S., SCHWETER S., BHARATI S., LAUD T., GIGANT T., KAINUMA T., KUSA W., LABRAK Y., BAJAJ Y. S., VENKATRAMAN Y., XU Y., XU Y., XU Y., TAN Z., XIE Z., YE Z., BRAS M., BELKADA Y. & WOLF T. (2023). Bloom : A 176b-parameter open-access multilingual language model.

ZHANG S., DINAN E., URBANEK J., SZLAM A., KIELA D. & WESTON J. (2018). Personalizing Dialogue Agents : I have a dog, do you have pets too ? *arXiv.org*.

ZHAO T., ZHAO R. & ESKENAZI M. (2017). Learning discourse-level diversity for neural dialog models using conditional variational autoencoders. DOI : 10.48550/ARXIV.1703.10960.

# Annexe : Évaluation automatique

<table><caption>TABLE 5 – Évaluation automatique des différents modèles</caption><thead><tr><th>Stratégies</th><th>Modèles*</th><th>Perplexité ↓</th><th>Hits@1 ↑</th><th>BLEU ↑</th></tr></thead><tbody><tr><td rowspan="2">TrainOnTarget</td><td>GPT-fr</td><td><strong>10,82</strong></td><td>0,88</td><td>N/A</td></tr><tr><td>BLOOM (L<sub>T</sub>)</td><td>16,05</td><td><strong>0,95</strong></td><td>0,23</td></tr><tr><td rowspan="2">TestOnSource</td><td>GPT</td><td>18,49</td><td>0,84</td><td>N/A</td></tr><tr><td>BLOOM (L<sub>S</sub>)</td><td><strong>13,01</strong></td><td><strong>0,94</strong></td><td>0,22</td></tr><tr><td rowspan="2">Entraînement Cross-Lingue**</td><td>XNLG(L<sub>S</sub>)</td><td>54,74</td><td>N/A</td><td><strong>2,25</strong></td></tr><tr><td>madx-BLOOM (L<sub>S</sub>)</td><td><strong>24,07</strong></td><td>0,82</td><td>0,13</td></tr><tr><td rowspan="2"></td><td>XNLG (L<sub>T</sub>)</td><td>640,33</td><td>N/A</td><td>0,09</td></tr><tr><td>madx-BLOOM (L<sub>T</sub>)</td><td><strong>28,64</strong></td><td>0,81</td><td><strong>0,15</strong></td></tr></tbody></table>

* Les modèles en italique et les métriques associées proviennent de l'état de l'art : GPT (Wolf *et al.*, 2019), XNLG (Lin *et al.*, 2020).

** Le terme « Entraînement cross-lingue » est utilisé ici car l'approche des modèles de l'état de l'art n'est pas identique au *TrainOnSourceAdapatOnTarget*.

Le tableau 5 reporte la perplexité disponible pour les modèles issus de l'état de l'art, le Hits@1 qui mesure la précision avec laquelle la « vraie » réponse à une entrée de dialogue est classée première
parmi plusieurs distracteurs (second objectif d'entraînement) et le score BLEU (Papineni et al., 2002) à des fins de comparaison avec d'autres modèles.

Dans le cadre cross-lingue, l'architecture MAD-X avec BLOOM apporte un gain important pour les modèles $L_T$ : de 640 à 28 pour la perplexité. Ceci garantit des capacités de génération mais pas nécessairement de dialogue donnant des résultats médiocres dans l'évaluation humaine comme montré précédemment dans le tableau 1.
# Détection d'événements à partir de peu d'exemples par seuillage dynamique

Aboubacar Tuo Romaric Besançon Olivier Ferret Julien Tourille

Université Paris-Saclay, CEA, List, F-91120, Palaiseau, France
{aboubacar.tuo,romaric.besancon,olivier.ferret,julien.tourille}@cea.fr

## RÉSUMÉ

Les études récentes abordent la détection d'événements à partir de peu de données comme une tâche d'annotation de séquences en utilisant des réseaux prototypiques. Dans ce contexte, elles classifient chaque mot d'une phrase donnée en fonction de leurs similarités avec des prototypes construits pour chaque type d'événement et pour la classe nulle « non-événement ». Cependant, le prototype de la classe nulle agrège par définition un ensemble de mots sémantiquement hétérogènes, ce qui nuit à la discrimination entre les mots déclencheurs et non déclencheurs. Dans cet article, nous abordons ce problème en traitant la détection des mots non-déclencheurs comme un problème de détection d'exemples « hors-domaine » et proposons une méthode pour fixer dynamiquement un seuil de similarité pour cette détection.

## ABSTRACT

Few Shot Event Detection with Dynamic Thresholding

Recent studies in few-shot event trigger detection from text address the task as a word sequence annotation task using prototypical networks. In this context, the classification of a word is based on the similarity of its representation to the prototypes built for each event type and for the "non-event" class. However, the "non-event" prototype aggregates by definition a set of semantically heterogeneous words, which hurts the discrimination between trigger and non-trigger words. We address this issue by handling the detection of non-trigger words as an out-of-domain detection problem and propose a method for dynamically setting a similarity threshold for this detection.

**MOTS-CLÉS** : Détection d'événements à partir de peu d'exemples, Méta-apprentissage.

**KEYWORDS:** Few-shot Event Detection, Meta-learning.

# 1 Introduction

La détection d'événements est une tâche de l'extraction d'information qui vise à extraire des instances de types d'événements donnés à partir de textes (Nguyen & Grishman, 2015a,b). Cette extraction consiste à identifier des déclencheurs d'événements, qui sont des groupes de mots indiquant explicitement la présence d'un événement dans une phrase. Par exemple, dans la phrase « John D. Idol will [take over] as Chief Executive. », un événement « Start-Position » est déclenché par le déclencheur « take over ». Les approches d'apprentissage supervisé pour la détection d'événements ont été largement étudiées ces dernières années, notamment les méthodes fondées sur des traits lexico-syntaxiques (Li et al., 2013; Liao & Grishman, 2011), les réseaux neuronaux convolutifs (Nguyen & Grishman, 2015a), les réseaux neuronaux récurrents (Nguyen et al., 2016) et les modèles fondés sur les graphes (Liu et al., 2018; Nguyen & Grishman, 2018; Yan et al., 2019). Cependant, toutes

<figure><img src="image_64.png" /></figure>
ces approches reposent sur des ensembles de données annotées conséquents pour l'entraînement, généralement difficiles à obtenir.

La détection d'événements à partir de peu d'exemples (*Few-Shot Event Detection*, FSED) a donc suscité un grand intérêt ces dernières années avec l'émergence de méthodes d'apprentissage à partir de peu de données, notamment via le méta-apprentissage (Snell et al., 2017; Vinyals et al., 2016; Sung et al., 2018; Geng et al., 2019), et le développement de modèles de langue pré-entraînés capables de transférer leurs connaissances linguistiques à de nouvelles tâches. Elle a été mise en œuvre sous plusieurs formes : *identification d'événement*, qui détermine si un mot dans une phrase est un déclencheur selon un type d'événement (Bronstein et al., 2015; Chen et al., 2021), *classification d'événement*, dont l'objectif est de choisir le type d'événement associé à un déclencheur déjà identifié dans une phrase (Shen et al., 2021; Deng et al., 2020; Lai & Nguyen, 2019; Lai et al., 2020, 2021), et *la détection*, qui réalise ces deux étapes conjointement (Cong et al., 2021; Tuo et al., 2022).

Ces efforts de recherche ont fait de la FSED une tâche d'annotation de séquences, qui se transforme en un problème de classification de mots traité à l'aide de réseaux prototypiques (Snell et al., 2017), qui sont particulièrement adaptés à l'apprentissage à partir de peu d'exemples. Dans ce contexte, un prototype est construit pour chaque type d'événement et la classe « non-événement » (aussi appelée classe nulle) (Yang & Katiyar, 2020; Cong et al., 2021; Tuo et al., 2022). Cependant, l'hétérogénéité intrinsèque du prototype « non-événement » rend difficile la discrimination entre les mots déclencheurs et non déclencheurs fondée sur la similarité avec les prototypes.

Pour résoudre ce problème, nous formulons la FSED comme un problème de détection hors domaine (Schölkopf et al., 2001), en considérant les mots de la classe nulle comme des exemples hors-domaine et en apprenant un seuil de similarité dynamique afin que ces exemples ne soient associés à aucune classe d'événement. En résumé, notre contribution est triple : (1) nous proposons une nouvelle façon de traiter la classe nulle dans la FSED ; (2) nous définissons un nouveau modèle pour la FSED en utilisant des réseaux prototypiques et une fonction de coût contrastive ; (3) nous calculons un seuil de décision dynamique en utilisant la fonction de répartition empirique (ECDF). Ces contributions se traduisent par des gains significatifs, évalués sur plusieurs jeux de données <fnref n="1" />.

# 2 Approche

## 2.1 Formulation du problème

Nous formulons la FSED comme un apprentissage épisodique à N-ways et k-shots (Vinyals et al., 2016) avec des réseaux prototypiques. La tâche de détection des déclencheurs est prise comme un problème d'annotation de séquence au niveau des mots, en s'appuyant sur le format BIO (*Beginning-Inside-Outside*) comme dans Cong et al. (2021); Tuo et al. (2022)². À chaque épisode, nous considérons un sous-ensemble de phrases annotées appelé *support set*. Il contient *N* types d'événements et *k* exemples annotés par type (*k* étant petit, par exemple de 1 à 10). Un second ensemble, appelé *query set*, est utilisé pour faire des prédictions fondées sur les exemples annotés du *support set*. Chaque phrase peut contenir un ou plusieurs déclencheurs, associés chacun à un type d'événements. L'identification de ce type et de la position du déclencheur est effectuée en attribuant une étiquette à chaque mot, ce qui correspond à une classification multi-classe au niveau des mots, avec autant de classes

<footnote n="1">1. Cet article reprend par ailleurs le travail présenté dans (Tuo et al., 2023).
2. Les déclencheurs événementiels peuvent être des multi-mots, en pratique en très faible nombre dans les corpus d'évaluation, mais n'admettent pas d'insertion, ce qui rend le format BIO suffisant.</footnote>
<figure><img src="image_65.png" /><figcaption>FIGURE 1 – Vue d'ensemble du modèle</figcaption></figure>

que de types d'événements plus une classe nulle (étiquette « O ») pour les mots non-déclencheurs d'événements.

Nous construisons un prototype pour chaque classe à partir des exemples du *support set* en prenant la moyenne des représentations des *k* déclencheurs de cette classe. Ensuite, nous classons chaque mot du *query set* en fonction de sa similarité avec ces prototypes. Pendant l'apprentissage, ces similarités sont utilisées pour mettre à jour les poids du modèle via une fonction de coût. Cependant, cette formulation implique d'avoir un prototype pour la classe « O » qui est construit en pratique en rassemblant des mots qui ne sont pas sémantiquement homogènes. Nous proposons de traiter cette classe comme une classe « hors-domaine ». Inspirés par les efforts de recherche sur la classification d'exemple hors-domaine avec peu d'exemples (Tan et al., 2019; Nimah et al., 2021), nous évitons de construire le prototype « O » et proposons une approche fondée sur un seuillage dynamique adapté à chaque phrase en utilisant l'ECDF des similarités entre les mots et les prototypes.

## 2.2 Modèle

La figure 1 présente une vue d'ensemble de notre modèle dont les composants sont détaillés ci-après.

**Encodeur** Ce composant prend une phrase en entrée et produit une représentation contextuelle pour chaque mot. Pour une phrase $x = w_1, ..., w_L$, de longueur $L$, l'encodeur fournit $\bar{e} = e_1, ..., e_L$, où $e_i$ est la représentation du mot $w_i$.

**Module prototypique** Ce composant construit un prototype pour chaque type d'événements en faisant la moyenne des représentations des mots déclencheurs du *support set* et classe les mots du *query set* en fonction de leurs similarités avec ces prototypes. Contrairement à Tuo *et al.* (2022) et Cong *et al.* (2021), nous ne construisons pas de prototype pour la classe nulle. Nous nous fondons sur un seuil de similarité pour décider si un mot est déclencheur ou non.

**Entraînement** La fonction de coût habituellement utilisée dans les réseaux prototypiques est l'entropie croisée (cross-entropy). Nous proposons un apprentissage contrastif plus adapté à l'apprentissage de métrique. Contrairement à l'entropie croisée, dont l'objectif est d'apprendre à prédire une étiquette ou des valeurs à partir d'une entrée, les fonctions contrastives prédissent la similarité relative entre les entrées. Une telle fonction est plus appropriée dans notre cas puisque nous cherchons justement à rendre les déclencheurs plus proches de leurs prototypes que les mots « O ». Pour une classe y donnée, la fonction de coût comporte deux termes :
* **Loss-TRI**: rapproche le déclencheur $e_{tr}$ de son prototype $c^y$ et l'éloigne des autres prototypes $c^{j \neq y}$ :

$$ \mathcal{L}_{TRI}(\bar{e}, y) = \sum_{j \neq y} \max(0, \mathcal{M}_0 + s(e_{tr}, c^j) - s(e_{tr}, c^y)) \quad (1) $$

* **Loss-O**: éloigne les mots « O » $e_i$ ($i \neq tr$) de tous les prototypes $c^j$.

$$ \mathcal{L}_O(\bar{e}, y) = \max_{i \neq tr} \left(0, \max_j \left(s(e_i, c^j) - \mathcal{M}_1\right)\right) \quad (2) $$

Dans ces fonctions de coût, la fonction $s(.)$ fait référence à la similarité entre la représentation d'un déclencheur et celle du prototype d'une classe tandis que $\mathcal{M}_0$ et $\mathcal{M}_1$ sont des hyperparamètres correspondant aux marges. Le modèle est entraîné en minimisant une fonction de coût correspondant à la somme de ces deux termes.

**Classification et traitement de la classe « O »** L'approche standard avec les réseaux prototypiques est de classer chaque mot en fonction de sa similarité avec les prototypes. Dans notre modèle, en l'absence de prototype pour la classe nulle, nous devons nous fier à un seuil en dessous duquel le mot est considéré comme un non-déclencheur. Typiquement, dans des travaux tels que Tan et al. (2019) et Nimah et al. (2021), un seuil global est défini en utilisant la distribution des valeurs de similarité sur un ensemble de validation. Cependant, dans notre cas, nous avons observé empiriquement que les distributions des valeurs de similarité entre un déclencheur et les prototypes varient trop d'une phrase à l'autre (cf. Figure 2a), ce qui rend impraticable l'utilisation d'un seuil global.

Pour résoudre ce problème, nous proposons de rechercher la probabilité correspondant au seuil optimal en utilisant la fonction de répartition sur les valeurs maximales de similarité. Ceci nous permet d'obtenir un seuil dynamique spécifique à la phrase considérée. Plus précisément, étant donné que les similarités des déclencheurs sont plus élevées que celles des mots « O », nous supposons que, pour une phrase donnée, les similarités des déclencheurs ne seront présentes qu'au-dessus d'un certain quantile (assez élevé) dans la distribution des similarités. Nous supposons également que ce quantile est assez stable, même s'il ne correspond pas à la même valeur de similarité d'une phrase à l'autre. En pratique, pour une phrase donnée du *query set*, nous sélectionnons la phrase la plus similaire dans le *support set*. Puis, nous faisons varier le seuil entre les similarités minimum et maximum et adoptons celui maximisant la f1-mesure sur la phrase sélectionnée. Ensuite, nous déterminons la probabilité correspondant à ce seuil en utilisant la fonction de répartition sur les valeurs de similarité. Enfin, nous déterminons le seuil optimal pour la phrase du *query set* à partir de sa fonction de répartition et de la probabilité déterminée précédemment. Toutefois, comme les probabilités directement calculées à partir de la fonction de répartition dépendent du nombre de mots dans les phrases, nous interpolons linéairement la fonction de répartition sur un plus grand nombre de points avant d'estimer les probabilités, ce qui nous permet de donner artificiellement à toutes les phrases la même longueur (nous utilisons 512 points). Dans l'exemple de la Figure 2b, la « phrase 1 » (du *support set*) a son seuil optimal à 0,71 correspondant à une probabilité de 0,97. Nous reportons ensuite cette probabilité sur la fonction de répartition de la « phrase 2 » (du *query set*) pour obtenir son seuil optimal, égal à 0,92.
<figure><img src="image_66.png" /><figcaption>FIGURE 2 – La figure 2a montre que les mots déclencheurs et les mots « O » ne sont pas séparables avec un seuil global parce que la distribution des valeurs minimales des similarités des déclencheurs (Min déclencheurs) et la distribution des valeurs maximales des similarités des « O » (Max « O ») se chevauchent de façon importante. La Figure 2b montre, à partir de l'ECDF de deux exemples de phrases, que la similarité optimale varie d'une phrase à l'autre.</figcaption></figure>

# 3 Expériences

## 3.1 Méthode d'évaluation et hyperparamètres

Nous expérimentons sur les ensembles de données ACE 2005 (Walker et al., 2006), MAVEN (Wang et al., 2020) et FewEvent (Deng et al., 2020). Nous utilisons les découpages de Chen et al. (2021) pour ACE 2005 et MAVEN et celui de Cong et al. (2021) pour FewEvent. Dans tous les cas, les ensembles de test et d'apprentissage contiennent des classes distinctes, de sorte que lors de l'évaluation, le modèle doit faire face à de nouvelles classes qu'il n'a jamais vues auparavant.

Nous adoptons l'évaluation épisodique *N* ways, *k* shots, qui consiste à construire des épisodes avec *N* classes et *k* exemples annotés par classe. Dans l'évaluation épisodique standard (Vinyals et al., 2016), les ensembles de test sont échantillonnés de façon à ce que toutes les classes soient distribuées uniformément, ce qui ne correspond pas à la distribution des mentions d'événements dans les données réelles. Ainsi, les scores de performance rapportés par cette méthode ne reflètent pas la distribution réelle des données. Nous adoptons la configuration plus réaliste de Yang & Katiyar (2020), qui construit le *support set* avec *N* × *K* exemples et évalue le modèle sur tous les autres exemples.

Pour les expériences, nous avons utilisé le modèle pré-entraîné BERT-base comme encodeur et adopté la stratégie *Weighted* proposée par Tuo et al. (2022) pour obtenir des représentations contextuelles des mots. Nous adoptons une longueur maximale de séquence de 128 tokens, un taux d'apprentissage de 1e-5 et 30 000 épisodes N-ways, k-shots pour entraîner le modèle. Les hyper-paramètres $M_0 = 1$ et $M_1 = 0,4$ ont été obtenus sur l'ensemble de validation, pris entre 0,2 et 1 (avec un pas de 0,2).

## 3.2 Résultats et analyses

Nous comparons notre approche, **OUTFIT** (i.e. OUT oF trIgger deTection), à quatre autres modèles de l'état de l'art dans la configuration 5-ways 5-shots. **PA-CRF** (Cong et al., 2021) et Tuo et al. (2022) sont des modèles de l'état de l'art qui calculent un prototype pour la classe « O ». **PA-CRF** estime les probabilités de transition entre les étiquettes BIO avec l'utilisation de CRF (Conditional Random Fields) (Lafferty et al., 2001) tandis que Tuo et al. (2022) propose une meilleure exploitation
<table><caption>TABLE 1 – Performance de détection d'événement sur trois jeux de données, en moyenne et écart-type de la micro f1-mesure sur 5 essais. † indique les résultats issus de l'article original. * indique que la différence entre le meilleur modèle (en gras) et le deuxième (souligné) est statistiquement significative, en utilisant le test de significativité de (Dror et al., 2019).</caption><thead><tr><th></th><th>Modèle</th><th>ACE 2005</th><th>MAVEN</th><th>FewEvent</th></tr></thead><tbody><tr><td rowspan="5">5-ways, 5-shots</td><td>PROTO</td><td>49,2 ± 1,2</td><td>51,6 ± 1,4</td><td>53,6 ± 0,7</td></tr><tr><td>PA-CRF (Cong et al., 2021)</td><td>64,0 ± 0,6</td><td>65,2 ± 0,3</td><td>65,3 ± 2,0</td></tr><tr><td>(Tuo et al., 2022)</td><td>66,4 ± 1,8</td><td>67,1 ± 1,5</td><td>67,4 ± 1,1</td></tr><tr><td>HCL-TAT† (Zhang et al., 2022)</td><td>—</td><td>—</td><td>66,9 ± 0,7</td></tr><tr><td>OUTFIT (ours)</td><td><strong>74,0* ± 1,1</strong></td><td>76,9 ± 1,1</td><td><strong>79,6* ± 4,2</strong></td></tr><tr><td rowspan="4">1w.5s</td><td>– PoS tags</td><td>72,2 ± 2,2</td><td><strong>77,5* ± 0,8</strong></td><td>77,9 ± 3,9</td></tr><tr><td>– contrastive</td><td>66,5 ± 5,7</td><td>63,1 ± 12,6</td><td>75,9 ± 5,4</td></tr><tr><td>– weighted</td><td>59,2 ± 3,6</td><td>50,0 ± 2,3</td><td>70,9 ± 2,7</td></tr><tr><td>Seuil oracle</td><td>82,5 ± 1,9</td><td>87,2 ± 1,1</td><td>84,1 ± 0,5</td></tr><tr><td rowspan="2">1w.5s</td><td>FS-Causal† (Chen et al., 2021)</td><td>76,9 ± 1,4</td><td>55,0 ± 0,4</td><td>—</td></tr><tr><td>OUTFIT</td><td>80,9 ± 2,9</td><td>81,1 ± 1,1</td><td>79,1 ± 2,1</td></tr></tbody></table>

des couches du modèle BERT afin d'obtenir plus d'information pour l'apprentissage. **HCL-TAT** (Zhang et al., 2022) est également un modèle sans prototype pour la classe nulle utilisant un seuil de décision égal à la moyenne des similarités pendant un épisode. Nous comparons ces méthodes à un modèle prototypique de base qui construit un prototype pour la classe nulle, utilise l'entropie croisée comme fonction de coût et un encodeur BERT-base (**PROTO**). **FS-Causal** (Chen et al., 2021) est un modèle ajoutant une prise en compte explicite des relations de causalité entre les déclencheurs et leur contexte pour résoudre le problème dit de la malédiction des déclencheurs (*trigger curse*). En effet, un surapprentissage des déclencheurs peut nuire à la détection des déclencheurs rares dans l'ensemble de données. La prise en compte du contexte seul (sans les déclencheurs) permet de résoudre ce problème. Comme leurs résultats rapportés ne sont évalués que classe par classe, cela correspond à une configuration 1-way 5-shots. Nous avons également ajouté les résultats correspondant au seuil optimal trouvé directement sur les instances du *query set* (**Seuil oracle**), ce qui donne une indication du meilleur résultat pouvant être obtenu avec notre approche.

Dans les expériences préliminaires, nous avons remarqué que la précision (≈ 65%) était relativement faible par rapport au rappel (≈ 80%), ce qui indique que le modèle identifiait trop de mots comme déclencheurs. Pour augmenter la précision, nous avons filtré les prédictions en fonction de leurs catégories morphosyntaxiques (*PoS tags*), en ne conservant que les étiquettes les plus couramment associées aux déclencheurs d'événements dans l'ensemble d'apprentissage (verbe, adverbe et nom)<fnref n="3" />.

Notre méthode établit une nouvelle performance de l'état de l'art avec une augmentation moyenne de 10 points de la f1-mesure pour les trois jeux de données considérés (cf. Tableau 1). Les analyses suggèrent que l'encodeur *Weighted* et l'apprentissage contrastif, combinés à notre nouvelle formulation, jouent un rôle important dans la performance globale du modèle. Plus spécifiquement, nous pouvons noter que la fonction contrastive contribue fortement à diminuer la variance des résultats. Nous pensons également que cette fonction, combinée à notre stratégie de recherche de seuil, contribue à la forte différence de performance avec HCL-TAT alors que nos problématiques sont initialement proches. Comme nos expériences préliminaires l'ont suggéré, le filtrage des déclencheurs candidats en fonction de leurs catégories morphosyntaxiques permet d'augmenter les performances de quelques points pour deux jeux de données. Toutefois, la condition sans ce filtrage, qui est la plus

<footnote n="3">3. Les déclencheurs événementiels sont essentiellement nominaux et verbaux mais ils peuvent inclure des mots qui ne sont ni des noms, ni des verbes, le cas le plus fréquent en anglais étant celui des verbes à particule.</footnote>
<figure><img src="image_67.png" /><figcaption>FIGURE 3 – Scores en utilisant un seuil global sur le jeu de données FewEvent</figcaption></figure>

très directement comparable aux modèles de l'état de l'art, montre que celui-ci n'est pas le facteur principal des améliorations obtenues.

Dans la configuration 1-way 5-shots, notre modèle améliore également les performances par rapport à FS-Causal pour les deux jeux de données avec des résultats pour FS-Causal. Ce résultat montre d'abord que l'amélioration apportée par notre proposition n'est pas limitée à un unique cadre d'évaluation. Par ailleurs, considérer de nouveaux types d'événements un par un est la stratégie la plus générale pour l'adaptation à un nouveau domaine dans lequel le nombre de types d'événements n'est pas connu à l'avance. Cependant, l'écart important entre l'oracle et notre modèle suggère que notre approche pourrait être encore améliorée.

Enfin, la Figure 3 montre les scores pour un seuil global allant de 0 à 1 sur le jeu de données FewEvent, pour la condition 5-ways 5-shots. Nous remarquons que la meilleure f1-mesure pouvant être obtenue avec un seuil global est d'environ 0,45, ce qui justifie clairement l'intérêt d'adopter un seuil dynamique plutôt qu'un seuil global comme dans (Tan et al., 2019) ou (Nimah et al., 2021).

# 4 Conclusion et perspectives

Dans cet article, nous abordons la détection d'événement à partir de peu d'exemples comme une tâche de détection hors domaine en utilisant des réseaux prototypiques. Cette méthode évite de construire un prototype pour la classe nulle, qui est par nature hétérogène, et fournit un seuil dynamique pour décider si un mot est un déclencheur ou non. Les résultats expérimentaux suggèrent que cette nouvelle formulation offre une amélioration importante des performances par rapport aux autres méthodes de l'état de l'art. À notre connaissance, il s'agit du premier effort de recherche qui présente la FSED comme une tâche d'annotation de séquence tout en traitant la classe nulle comme un problème de détection hors domaine. Nous pensons que notre méthode pourrait être appliquée à d'autres tâches d'annotation de séquences et nous étudierons plus particulièrement son application à l'extraction d'arguments d'événements et à la reconnaissance d'entités nommées dans le cadre de travaux futurs.

# Remerciements

Ces travaux ont été réalisés grâce au supercalculateur Factory-IA financé par le Conseil Régional d'Île-de-France.
Références

BRONSTEIN O., DAGAN I., LI Q., JI H. & FRANK A. (2015). Seed-Based Event Trigger Labeling : How far can event descriptions get us ? In *ACL-IJCNLP*, p. 372–376. DOI : 10.3115/v1/P15-2061.

CHEN J., LIN H., HAN X. & SUN L. (2021). Honey or Poison ? Solving the Trigger Curse in Few-shot Event Detection via Causal Intervention. In *Proceedings of EMNLP*, p. 8078–8088, Online and Punta Cana, Dominican Republic : Association for Computational Linguistics. DOI : 10.18653/v1/2021.emnlp-main.637.

CONG X., CUI S., YU B., LIU T., YUBIN W. & WANG B. (2021). Few-Shot Event Detection with Prototypical Amortized Conditional Random Field. In *Findings of ACL-IJCNLP*, p. 28–40, Online. DOI : 10.18653/v1/2021.findings-acl.3.

DENG S., ZHANG N., KANG J., ZHANG Y., ZHANG W. & CHEN H. (2020). Meta-Learning with Dynamic-Memory-Based Prototypical Network for Few-Shot Event Detection. In *WSDM*, p. 151–159, Houston, TX, USA. DOI : 10.1145/3336191.3371796.

DROR R., SHLOMOV S. & REICHART R. (2019). Deep Dominance - How to Properly Compare Deep Neural Models. In *ACL*, p. 2773–2785, Florence, Italy. DOI : 10.18653/v1/P19-1266.

GENG R., LI B., LI Y., ZHU X., JIAN P. & SUN J. (2019). Induction Networks for Few-Shot Text Classification. In *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)*, p. 3904–3913, Hong Kong, China : Association for Computational Linguistics. DOI : 10.18653/v1/D19-1403.

LAFFERTY J. D., MCCALLUM A. & PEREIRA F. C. N. (2001). Conditional Random Fields : Probabilistic Models for Segmenting and Labeling Sequence Data. In *ICML*, p. 282–289, San Francisco, CA, USA.

LAI V., DERNONCOURT F. & NGUYEN T. H. (2021). Learning Prototype Representations Across Few-Shot Tasks for Event Detection. In *EMNLP*, p. 5270–5277.

LAI V. D. & NGUYEN T. (2019). Extending Event Detection to New Types with Learning from Keywords. In *W-NUT 2019*, p. 243–248, Hong Kong, China. DOI : 10.18653/v1/D19-5532.

LAI V. D., NGUYEN T. H. & DERNONCOURT F. (2020). Extensively Matching for Few-shot Learning Event Detection. In *Workshop NUSE*, p. 38–45, Online. DOI : 10.18653/v1/2020.nuse-1.5.

LI Q., JI H. & HUANG L. (2013). Joint Event Extraction via Structured Prediction with Global Features. In *ACL*, p. 73–82, Sofia, Bulgaria.

LIAO S. & GRISHMAN R. (2011). Acquiring topic features to improve event extraction : in pre-selected and balanced collections. In *RANLP* : Association for Computational Linguistics.

LIU X., LUO Z. & HUANG H. (2018). Jointly Multiple Events Extraction via Attention-based Graph Information Aggregation. In *EMNLP*, p. 1247–1256. DOI : 10.18653/v1/D18-1156.

NGUYEN T. H., CHO K. & GRISHMAN R. (2016). Joint Event Extraction via Recurrent Neural Networks. In *NAACL-HLT*, p. 300–309, San Diego, California. DOI : 10.18653/v1/N16-1034.

NGUYEN T. H. & GRISHMAN R. (2015a). Event Detection and Domain Adaptation with Convolutional Neural Networks. In *ACL-IJCNLP*, p. 365–371, Beijing, China. DOI : 10.3115/v1/P15-2060.

NGUYEN T. H. & GRISHMAN R. (2015b). Event Detection and Domain Adaptation with Convolutional Neural Networks. In *Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing*, p. 365–371, Beijing, China : Association for Computational Linguistics. DOI : 10.3115/v1/P15-2060.
NGUYEN T. H. & GRISHMAN R. (2018). Graph Convolutional Networks with Argument-Aware Pooling for Event Detection. In *Thirty-Second AAAI Conference on Artificial Intelligence*.

NIMAH I., FANG M., MENKOVSKI V. & PECHENIZKIY M. (2021). ProtoInfoMax: Prototypical Networks with Mutual Information Maximization for Out-of-Domain Detection. In *Findings of the Association for Computational Linguistics: EMNLP*, p. 1606–1617: Association for Computational Linguistics. DOI: 10.18653/v1/2021.findings-emnlp.138.

SCHÖLKOPF B., PLATT J. C., SHAWE-TAYLOR J., SMOLA A. J. & WILLIAMSON R. C. (2001). Estimating the Support of a High-Dimensional Distribution. *Neural Computation*, (7), 1443–1471. DOI: 10.1162/089976601750264965.

SHEN S., WU T., QI G., LI Y.-F., HAFFARI G. & BI S. (2021). Adaptive Knowledge-Enhanced Bayesian Meta-Learning for Few-shot Event Detection. In *Findings of ACL-IJCNLP*, p. 2417–2429, Online. DOI: 10.18653/v1/2021.findings-acl.214.

SNELL J., SWERSKY K. & ZEMEL R. (2017). Prototypical networks for few-shot learning. In *Advances in Neural Information Processing Systems*, volume 30.

SUNG F., YANG Y., ZHANG L., XIANG T., TORR P. H. S. & HOSPEDALES T. M. (2018). Learning to compare: Relation network for few-shot learning. *2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition*, p. 1199–1208.

TAN M., YU Y., WANG H., WANG D., POTDAR S., CHANG S. & YU M. (2019). Out-of-Domain Detection for Low-Resource Text Classification Tasks. In *EMNLP-IJCNLP*, p. 3566–3572: Association for Computational Linguistics. DOI: 10.18653/v1/D19-1364.

TUO A., BESANÇON R., FERRET O. & TOURILLE J. (2022). Better Exploiting BERT for Few-Shot Event Detection. In *NLDB*, p. 291–298, Berlin, Heidelberg: Springer-Verlag. DOI: 10.1007/978-3-031-08473-7_26.

TUO A., BESANÇON R., FERRET O. & TOURILLE J. (2023). Trigger or not trigger: Dynamic thresholding for few shot event detection. In J. KAMPS, L. GOEURIOT, F. CRESTANI, M. MAISTRO, H. JOHO, B. DAVIS, C. GURRIN, U. KRUSCHWITZ & A. CAPUTO, Éds., *45<sup>th</sup> European Conference on Information Retrieval (ECIR 2023): Advances in Information Retrieval, short article session*, volume 13981 of *Lecture Notes in Computer Science*, p. 637–645, Dublin, Ireland: Springer Nature Switzerland.

VINYALS O., BLUNDELL C., LILLICRAP T., KAVUKCUOGLU K. & WIERSTRA D. (2016). Matching networks for one shot learning. In *Advances in Neural Information Processing Systems*, volume 29.

WALKER C., STRASSEL S. & JULIE MEDERO K. M. (2006). ACE 2005 Multilingual Training Corpus. DOI: 10.35111/mwxc-vh88.

WANG X., WANG Z., HAN X., JIANG W., HAN R., LIU Z., LI J., LI P., LIN Y. & ZHOU J. (2020). MAVEN: A Massive General Domain Event Detection Dataset. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 1652–1671, Online: Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.129.

YAN H., JIN X., MENG X., GUO J. & CHENG X. (2019). Event detection with multi-order graph convolution and aggregated attention. In *EMNLP-IJCNLP*, p. 5766–5770.

YANG Y. & KATIYAR A. (2020). Simple and effective few-shot named entity recognition with structured nearest neighbor learning. In *EMNLP*, p. 6365–6375: Association for Computational Linguistics. DOI: 10.18653/v1/2020.emnlp-main.516.
ZHANG R., WEI W., MAO X.-L., FANG R. & CHEN D. (2022). HCL-TAT : A Hybrid Contrastive
Learning Method for Few-shot Event Detection with Task-Adaptive Threshold. In *Findings of the
Association for Computational Linguistics : EMNLP*, p. 1808–1819 : Association for Computational
Linguistics.
# Sélection globale de segments pour la reconnaissance d'entités nommées

Urchade Zaratiana*†, Niama El Khbir†, Pierre Holat*†,
Nadi Tomeh†, Thierry Charnois†

* FI Group, † LIPN, CNRS UMR 7030, France
{zaratiana, elkhbir, holat, tomeh, charnois}@lipn.fr

## RÉSUMÉ

La reconnaissance d'entités nommées est une tâche importante en traitement automatique du langage naturel avec des applications dans de nombreux domaines. Dans cet article, nous décrivons une nouvelle approche pour la reconnaissance d'entités nommées, dans laquelle nous produisons un ensemble de segmentations en maximisant un score global. Pendant l'entraînement, nous optimisons notre modèle en maximisant la probabilité de la segmentation correcte. Pendant l'inférence, nous utilisons la programmation dynamique pour sélectionner la meilleure segmentation avec une complexité linéaire. Nous prouvons que notre approche est supérieure aux modèles champs de Markov conditionnels et Semi-CRF pour la reconnaissance d'entités nommées.

## ABSTRACT

### Global Span Selection for Named Entity Recognition

Named Entity Recognition is an important task in Natural Language Processing with applications in many domains. In this paper, we describe a novel approach to named entity recognition, in which we output a set of spans (i.e., segmentations) by maximizing a global score. During training, we optimize our model by maximizing the probability of the gold segmentation. During inference, we use dynamic programming to select the best segmentation under a linear time complexity. We prove that our approach outperforms CRF and semi-CRF models for Named Entity Recognition.

**MOTS-CLÉS** : Reconnaissance d'entités nommées, segmentation, Champ aléatoire conditionnel.

**KEYWORDS:** Named entity recognition, segmentation, Conditional Random Fields.

# 1 Introduction

La reconnaissance d'entités nommées (REN) est une tâche cruciale du traitement du langage naturel dont le but est d'identifier et de classer les entités pertinentes dans les textes telles que les personnes, les organisations et les lieux. La reconnaissance de telles entités est avantageuse pour des applications telles que l'extraction de relations (El Khbir et al., 2022) et la construction de taxanomie (Dauxais et al., 2022). Il existe deux paradigmes principaux pour la reconnaissance d'entités : l'étiquetage de séquences (ES) (Huang et al., 2015; Lample et al., 2016; Akbik et al., 2018) et les approches basées sur les segments (ABS) (Sohrab & Miwa, 2018; Yu et al., 2020a; Li et al., 2021). L'ES considère la reconnaissance d'entités comme une prédiction au niveau du jeton, en utilisant par exemple les schémas BIO (Ramshaw & Marcus, 1995) ou BILOU (Ratinov & Roth, 2009), tandis que les ABS

<figure><img src="image_68.png" /></figure>
considèrent les segments (segments contigus de jetons) comme des unités de base au lieu des jetons et effectuent une classification au niveau du segment en attribuant une étiquette à chaque entité et une étiquette spéciale null aux segments sans entités (aussi segments non-entités).

L'ES est généralement réalisé en représentant les jetons à l'aide de modèles d'apprentissage profond, puis en utilisant un champ aléatoire conditionnel (Lafferty et al., 2001) comme couche de sortie. La meilleure séquence d'étiquettes est calculée à l'aide de l'algorithme de Viterbi et l'apprentissage maximise typiquement la vraisemblance des séquences de référence. En revanche, les ABS énumèrent tous les segments candidats d'un texte d'entrée et calculent leur représentation avant de les fournir à une couche softmax pour la classification. L'un des avantages des ABS est qu'elles permettent une représentation plus riche des segments en comparaison à l'ES, puisque les caractéristiques au niveau des segments sont apprises de bout en bout.

Cependant, ces modèles basés sur les segments *unstructurés* prédisent l'étiquette de chaque segment indépendamment. Ils ont tendance à produire des entités qui se chevauchent, ce qui est interdit dans la reconnaissance d'entités plate et imbriquée. Les travaux antérieurs utilisaient un algorithme de décodage (Johnson, 1973; Yu et al., 2020b; Li et al., 2021) pour obtenir un ensemble d'entités non chevauchantes. Les entités ayant obtenu le meilleur score sont sélectionnées de manière itérative tant qu'elles ne chevauchent pas avec celles sélectionnées précédemment. Le décodage glouton est efficace mais tend à souffrir d'un biais de myopie. Le fait de choisir des segments sans tenir compte des décisions futures peut conduire à des ensembles d'entités sous-optimaux.

Une formulation alternative de la REN sous forme de segmentation et d'étiquetage joints avec des semi-champs de Markov conditionnels (Semi-CRF) a été proposée dans la littérature : (Sarawagi & Cohen, 2005; Kong et al., 2016; Ye & Ling, 2018). Cette approche présente deux avantages : (a) elle utilise un modèle globalement normalisé pour calculer la probabilité de chaque segmentation étiquetée, au lieu d'évaluer chaque segment indépendamment ; et (2) elle garantit le non-chevauchement des entités de sortie en utilisant une variante de l'algorithme de Viterbi pour le décodage.

Néanmoins, les Semi-CRF sont moins performants en pratique, comme nous le montrons dans nos expériences. Nous supposons que l'évaluation de segmentations composées d'entités et de non-entités à la fois est la principale faiblesse. Tout d'abord, les segments sans entités peuvent être segmentés de plusieurs façons, toutes aussi valides les unes que les autres, mais une seule d'entre elles est appliquée par les Semi-CRF, à la fois pendant l'apprentissage et l'inférence. De plus, la majorité des segments ne comportant pas d'entité, une masse considérable de probabilité est gaspillée sur des segmentations inintéressantes.

Dans cet article, nous proposons une nouvelle formulation pour la REN basée sur les segments qui combine des idées provenant d'approches en deux étapes (filtrage et décodage) et de modèles basés sur des champs de Markov conditionnels (CRF) globalement normalisés. Notre approche commence par le filtrage de tous les segments sans entités à l'aide d'un classificateur de segments et la construction d'un graphe (*chevauchant*) des segments restants. Un modèle globalement normalisé est ensuite utilisé pour calculer la probabilité de chaque *ensemble indépendant maximal (EIM)* dans le graphe. Chacun de ces ensembles correspond à une sélection d'entités non chevauchantes. L'apprentissage et l'inférence peuvent être réalisés efficacement en utilisant la programmation dynamique, comme nous l'expliquons dans la section 2.2. De plus, nous entraînons le classificateur de segments et le modèle global de sélection d'entités de manière jointe en utilisant un objectif multi-tâches. Nous montrons que notre approche surpasse à la fois l'ES et les Semi-CRF sur toutes les tâches et surpasse les modèles sur les deux étapes du filtrage et du décodage glouton dans la plupart des cas.
## 2 La REN basée sur les segments en deux étapes

Les approches de la littérature basées sur les segments utilisent un classificateur de segments non structuré et localement normalisé pour filtrer les segments non-entités, suivi d'un décodage glouton pour sélectionner un ensemble d'entités non chevauchantes (Li et al., 2021; Fu et al., 2021). Nous décrivons ces deux étapes dans cette section.

### 2.1 La classification de segments

Cette étape consiste à énumérer tous les segments de la séquence d'entrée et à calculer leur représentations en utilisant des transformeurs pré-entraînés tels que BERT. Conformément aux travaux antérieurs (Lee et al., 2017; Luan et al., 2019), la représentation $s_{ij}$ d'un segment $(i, j)$ de longueur $k$ est calculée en concatenant la représentation de ses jetons d'extrémité gauche et droite ($h_i$ et $h_j$ respectivement) avec une caractéristique apprise de largeur du segment $f_k$. Un perceptron multicouche à deux couches avec activation ReLU est appliqué aux caractéristiques pour obtenir la représentation finale du segment

$$s_{ij} = \text{MLP}([h_i; h_j; f_k]) \qquad (1)$$

Ensuite, la représentation du segment est introduite dans une couche linéaire (ou un perceptron multicouche) pour la classification du segment. Une tâche de REN avec $L$ types d'entités aurait $L + 1$ étiquettes puisque nous allouons une étiquette null pour les segments non-entités. Le score de l'étiquette $y$ pour un segment $(i, j)$ est calculée comme suit :

$$\phi(i, j, y) = w_y^T s_{ij} \qquad (2)$$

où $w_y$ est un vecteur de poids apprenable (nous omettons le terme de biais pour des raisons de lisibilité). Ces scores sont ensuite normalisés à l'aide de la fonction softmax.

Le modèle est entraîné pour minimiser la log-vraisemblance négative des segments de référence de l'ensemble d'entraînement $\mathcal{T}$ :

$$\mathcal{L}_{clf} = - \sum_{(i,j,y) \in \mathcal{T}} \log \frac{\exp \phi(i, j, y)}{\sum_{y'} \exp \phi(i, j, y')} \qquad (3)$$

Pendant l'inférence, chaque segment $(i, j)$ se voit attribuer l'étiquette $y(i, j) =_y \phi(i, j, y)$ avec le score $k(i, j) = \max_y \phi(i, j, y)$. Nous appelons $\mathcal{C}$ l'ensemble des entités candidates qui est l'ensemble de tous les segments auxquels on a attribué une étiquette différente de null. Cet ensemble peut contenir des segments qui se chevauchent, ce qui n'est pas autorisé dans les tâches de reconnaissance plate, une étape de décodage est donc nécessaire.

### 2.2 Ensemble indépendant à poids maximal dans les graphes d'intervalle

Un *graphe de chevauchement* sur $\mathcal{C}$ est le graphe $\mathcal{G}$ dont les nœuds sont les éléments de $\mathcal{C}$ et qui contient une arête entre chaque paire d'entités chevauchantes. Ce graphe peut également être appelé un *graphe d'intervalle* puisque les segments peuvent être vues comme des intervalles de leurs positions de début et de fin. Un *ensemble indépendant (EI)* du graphe $\mathcal{G}$ est un ensemble de nœuds tel que deux nœuds de cet ensemble ne sont pas reliés par une arête. Un ensemble indépendant est dit *maximal* s'il n'est pas correctement contenu dans un autre ensemble indépendant. Chaque nœud $(i, j)$
du graphe se voit attribuer un nombre réel $r(i, j)$, le graphe $G$ est dit être un graphe *pondéré*. Pour chaque sous-ensemble de nœuds $S \subseteq C$, $\sum_{(i,j) \in S} r(i, j)$ est appelé le poids de $S$. Un *Ensemble indépendant de poids maximal (EIPM)* est un ensemble indépendant tel que son poids est maximal sur tous les ensembles indépendants. Sous cette formulation, le problème du décodage revient à trouver un EIPM dans le graphe $G$ :

$$ \mathcal{S} = \underset{S \in \Psi(C)}{\operatorname{argmax}} \sum_{(i,j) \in S} r(i, j) \qquad (4) $$

où $\Psi(C)$ est l'ensemble de tous les EIM de $G$.

**Le décodage glouton** Le décodage glouton construit une approximation de $\mathcal{S}$ en ajoutant itérativement l'entité de $C$ ayant le meilleur score et qui ne se chevauche avec aucune entité précédemment sélectionnée. Cet algorithme est d'une complexité de $O(n \log n)$ avec $n = |C|$.

Dans la section suivante, nous proposons une alternative exacte qui utilise un modèle globalement normalisé.

**Le décodage exact** La solution exacte de l'équation (4) peut être obtenue par la programmation dynamique en utilisant l'algorithme EIPM présenté par Gupta et al. (1982); Hsiao et al. (1992). Cet algorithme a une complexité temporelle linéaire en $O(n)$ avec $n$ le nombre de nœuds dans le graphe, qui est supposé être trié par les extrémités d'intervalle, sinon, il peut être trié en un temps de $O(n \log n)$. En pratique, le nombre de nœuds $n$ est bien inférieur à la longueur de la séquence d'entrée.

## 2.3 Un modèle EIPM globalement normalisé

Une façon d'estimer les poids $r(i, j)$ des nœuds du graphe est d'utiliser les scores produits par les classificateurs locaux : $r(i, j) = k(i, j)$. Dans cette section, nous proposons d'apprendre un modèle probabiliste dédié du EIM globalement normalisé et entraîné pour maximiser la probabilité du EIM de référence.

La probabilité d'un EIM est calculée par :

$$ P(S) = \mathcal{Z}^{-1} \exp \sum_{(i,j) \in S} r(i, j) \qquad (5) $$

Le score non normalisé d'un EIM est simplement égal à la somme des poids individuels des segments, chacune étant une projection linéaire de la représentation du segment :

$$ r(i, j) = w^T s_{ij} \qquad (6) $$

où $w$ est un vecteur de paramètres à apprendre. La constante de normalisation est donnée par :

$$ \mathcal{Z} = \sum_{S \in \Psi(C)} \exp \sum_{(i,j) \in S} r(i, j) \qquad (7) $$

Alors que $\mathcal{Z}$, la fonction de partition, peut être ignorée pendant l'inférence, elle doit être calculée pendant l'apprentissage car nous utilisons la log probabilité négative du EIM or comme fonction de perte. La fonction de partition peut être calculée efficacement en utilisant une modification au programme dynamique de l'algorithme EIPM. Cependant, en pratique, nous énumérons simplement tous les EIM, ce qui est faisable puisque le nombre de segments restants est faible. L'énumération peut
<table><caption>TABLE 1 – **Résultats expérimentaux.** Nous rapportons la moyenne sur trois échantillons aléatoires.</caption><thead><tr><th rowspan="2">Modèles</th><th colspan="3">Conll-2003</th><th colspan="3">OntoNotes 5.0</th><th colspan="3">TDM</th><th colspan="3">ACE Arabe</th></tr><tr><th>P</th><th>R</th><th>F</th><th>P</th><th>R</th><th>F</th><th>P</th><th>R</th><th>F</th><th>P</th><th>R</th><th>F</th></tr></thead><tbody><tr><td>CRF</td><td>92.64</td><td>91.82</td><td>92.23</td><td>87.77</td><td>89.47</td><td>88.61</td><td>69.77</td><td>73.65</td><td>71.66</td><td>82.79</td><td>84.44</td><td>83.61</td></tr><tr><td>Semi-CRF</td><td>91.46</td><td>90.77</td><td>91.11</td><td>87.44</td><td>88.85</td><td>88.14</td><td>69.38</td><td>72.85</td><td>71.05</td><td>82.97</td><td>84.24</td><td>83.60</td></tr><tr><td>Standard</td><td>93.40</td><td>91.68</td><td>92.53</td><td>89.47</td><td>90.00</td><td>89.73</td><td>67.75</td><td>69.88</td><td>68.78</td><td>83.21</td><td>83.76</td><td>83.48</td></tr><tr><td>+ Glouton</td><td>93.82</td><td>91.40</td><td>92.60</td><td>90.43</td><td>89.04</td><td>89.73</td><td>75.12</td><td>67.82</td><td>71.26</td><td>83.73</td><td>83.56</td><td>83.64</td></tr><tr><td>+ Global</td><td>93.83</td><td>91.51</td><td>92.65</td><td>90.58</td><td>89.45</td><td><b>90.01</b></td><td>75.25</td><td>68.12</td><td>71.48</td><td>83.72</td><td>83.55</td><td>83.63</td></tr><tr><td>Global</td><td>94.84</td><td>90.72</td><td>92.73</td><td>89.05</td><td>89.77</td><td>89.41</td><td>63.30</td><td>72.75</td><td>67.53</td><td>83.54</td><td>83.65</td><td>83.60</td></tr><tr><td>+ Glouton</td><td>95.07</td><td>90.42</td><td>92.69</td><td>89.98</td><td>88.44</td><td>89.21</td><td>74.16</td><td>68.23</td><td>71.07</td><td>83.87</td><td>82.75</td><td>83.31</td></tr><tr><td>+ Global</td><td>95.11</td><td>90.52</td><td><b>92.76</b></td><td>90.18</td><td>88.85</td><td>89.51</td><td>75.55</td><td>70.34</td><td><b>72.84</b></td><td>84.14</td><td>83.35</td><td><b>83.74</b></td></tr></tbody></table>

être effectuée en un temps $O(n^2 + \beta)$ où $n$ est le nombre de segments et $\beta$ la somme des nombres de segments de tous les ensembles énumérés (Leung, 1984; Liang et al., 1991).

Pendant l'apprentissage, nous modifions l'ensemble $C$, c'est-à-dire la sortie du classificateur local, de sorte (1) qu'il contienne tous les segments de référence, et (2) qu'il ne contienne pas de segments ne se chevauchant pas avec les segments de référence. Ce faisant, nous nous assurons que les intervalles or forment un EIM dans le graphe de chevauchement sur $C$. Enfin, nous utilisons une fonction de perte multitâche qui correspond à la somme de la perte du classificateur local (Eq. (3)) et de la perte du modèle global.

# 3 Expériences

## 3.1 Configuration

**Baselines** Nous comparons notre approche à un étiqueteur CRF, au modèle standard ABS et au modèle basé sur les segments avec Semi-CRF. Pour tous les modèles, nous utilisons des transformeurs pré-entraînés pour la représentation des jetons.

**Jeux de données** Nous évaluons notre modèle sur divers jeux de données de REN : TDM (Hou et al., 2021), Conll-2003 (Tjong Kim Sang & De Meulder, 2003), et OntoNotes 5.0 (Weischedel et al., 2013) pour les données anglaises, et ACE05 pour les données arabes (Walker et al., 2006).

**Mesures d'évaluation** Nous évaluons les modèles en utilisant la correspondance exacte entre les entités prédites et les entités de référence. Nous rapportons la précision, le rappel et le F1.

**Hyperparamètres** Pour les jeux de données Conll-2003 et Ontonotes, nous utilisons bert-base-cased. (Devlin et al., 2019) pour produire la représentation contextuelle, pour TDM nous utilisons SciBERT (Beltagy et al., 2019) et pour ACE Arabe nous utilisons bert-base-arabertv2 (Antoun et al., 2020). Nous utilisons la taille de base, avec 12 couches de transformeurs, pour tous les modèles. Nous n'utilisons pas d'incorporations auxiliaires (par exemple l'incorporation de caractères) pour des raisons de simplicité. Tous les modèles sont entraînés avec l'optimiseur de Kingma & Ba (2017) avec un taux d'apprentissage de 2e-5, une taille de lot de 10 et une époque maximale de 25. Nous conservons le meilleur point de contrôle sur l'ensemble de validation pour les tests. Nous avons entraîné tous les modèles sur un serveur équipé de GPU V100.
## 3.2 Résultats

Nous rapportons les résultats de nos expériences dans la Table 1 pour les quatre ensembles de données en utilisant les modèles CRF, Semi-CRF, Standard et Global basés sur les segments. Pour les modèles Standard et Global, nous rapportons les résultats obtenus en utilisant (cf. + lignes Global) ou en n'utilisant pas le décodage (cf. + lignes Glouton).

**Résultats principaux** D'après la Table 1, nos modèles globaux avec décodage global obtiennent les meilleurs résultats sur la plupart des ensembles de données (tous sauf sur OntoNotes). De plus, le Semi-CRF a le score le plus bas sur toutes les données, ce qui peut expliquer sa faible adoption au fil des ans par rapport au CRF standard.

**Décodage global vs. décodage glouton** Pour les deux approches basées sur les segments, nous constatons que le décodage améliore généralement la performance du score F1 et la précision tout en diminuant le rappel. Nous pouvons expliquer ce comportement par le fait que quand on utilise le décodage, les segments non fiables sont supprimés, ce qui augmente la précision. Cependant, certains faux négatifs peuvent également être supprimés, d'où la légère diminution du rappel. De plus, pour les modèles standards, le décodage glouton et le décodage global ont des performances similaires, tandis que pour les modèles entraînés globalement, le décodage global a toujours les meilleures performances, ce qui montre l'efficacité de notre approche. De plus, nous pouvons observer sur les jeux de données Conll-2003, ACE Arabe et OntoNotes 5.0 que le décodage glouton peut même diminuer la performance du modèle, ce qui serait un effet du biais myopique.

## 4 Travaux connexes

**Approches pour la REN** Traditionnellement, les tâches de REN sont conçues comme un ES (Lample et al., 2016; Akbik et al., 2018), c'est-à-dire une classification au niveau du jeton. Récemment, de nombreuses approches ont été proposées qui vont au-delà de la prédiction au niveau du token. Par exemple, certains travaux ont abordé la REN nommées comme une tâche de réponse aux questions (Li et al., 2020) et d'autres utilisent des modèles de séquence-à-séquence (Yan et al., 2021; Yang & Tu, 2022). Dans ce travail, nous nous sommes concentrés sur les ABS (Liu et al., 2016; Sohrab & Miwa, 2018; Fu et al., 2021; Zaratiana et al., 2022b,c,a).

**Décodage pour la REN** La REN est une tâche pour laquelle un algorithme de décodage doit être appliqué afin de garantir que les sorties du modèle sont bien entraînées. Par exemple, les CRF (Lafferty et al., 2001) ont été proposés pour l'ES et le Semi-CRF pour les ABS. En raison de la faible performance du Semi-CRF (Sarawagi & Cohen, 2005), les chercheurs ont proposé d'entraîner une méthode locale basée sur les segments et d'utiliser un décodage glouton pour garantir des entités non chevauchantes pour le décodage. Dans ce travail, nous proposons un décodage exact/global pour produire un ensemble de segments non chevauchants qui maximisent le score global afin d'éviter le biais myope de l'approche gloutonne.

## 5 Conclusion

Dans ce travail, nous proposons une nouvelle approche de reconnaissance d'entités nommées basée sur les segments. Notre modèle atténue le biais myope de l'approche standard et obtient de meilleurs résultats que les modèles structurés tels que les CRF ou les Semi-CRF. Des travaux futurs pourraient explorer l'interaction entre les segments pour améliorer davantage les performances.
# Remerciements

Ces travaux ont bénéficié d'un accès aux moyens de calcul de l'IDRIS au travers de l'allocation de ressources 2022-AD011013096R1 attribuée par GENCI.

# Références

AKBIK A., BLYTHE D. & VOLLGRAF R. (2018). Contextual string embeddings for sequence labeling. In *Proceedings of the 27th International Conference on Computational Linguistics*, p. 1638–1649, Santa Fe, New Mexico, USA : Association for Computational Linguistics.

ANTOUN W., BALY F. & HAJJ H. M. (2020). Arabert : Transformer-based model for arabic language understanding. *ArXiv, abs/2003.00104*.

BELTAGY I., LO K. & COHAN A. (2019). Scibert : A pretrained language model for scientific text.

BENAMARA F., HATOUT N., MULLER P. & OZDOWSKA S., Éds. (2007). *Actes de TALN 2007 (Traitement automatique des langues naturelles)*, Toulouse. ATALA, IRIT.

DAUXAIS Y., ZARATIANA U., LANEUVILLE M., HERNANDEZ S. D., HOLAT P. & GROSMAN C. (2022). Towards automation of topic taxonomy construction. In T. BOUADI, E. FROMONT & E. HÜLLERMEIER, Éds., *Advances in Intelligent Data Analysis XX*, p. 26–38, Cham : Springer International Publishing.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT : Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI : 10.18653/v1/N19-1423.

DIAS G., Éd. (2015). *Actes de TALN 2015 (Traitement automatique des langues naturelles)*, Caen. ATALA, HULTECH.

EL KHBIR N., TOMEH N. & CHARNOIS T. (2022). ArabIE : Joint entity, relation and event extraction for Arabic. In *Proceedings of the The Seventh Arabic Natural Language Processing Workshop (WANLP)*, p. 331–345, Abu Dhabi, United Arab Emirates (Hybrid) : Association for Computational Linguistics.

FU J., HUANG X. & LIU P. (2021). SpanNER : Named entity re-/recognition as span prediction. In *Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers)*, p. 7183–7195, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.acl-long.558.

GUPTA U. I., LEE D. T. & LEUNG J. Y.-T. (1982). Efficient algorithms for interval graphs and circular-arc graphs. *Networks*, **12**, 459–467.

HOU Y., JOCHIM C., GLEIZE M., BONIN F. & GANGULY D. (2021). TDMSci : A specialized corpus for scientific literature entity tagging of tasks datasets and metrics. In *Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics : Main Volume*, p. 707–714, Online : Association for Computational Linguistics. DOI : 10.18653/v1/2021.eacl-main.59.
HSIAO J. Y., TANG C. Y. & CHANG R. S. (1992). An efficient algorithm for finding a maximum weight 2-independent set on interval graphs. *Information Processing Letters*, **43**(5), 229-235. DOI: https://doi.org/10.1016/0020-0190(92)90216-I.

HUANG Z., XU W. & YU K. (2015). Bidirectional lstm-crf models for sequence tagging.

JOHNSON D. S. (1973). Approximation algorithms for combinatorial problems. *Proceedings of the fifth annual ACM symposium on Theory of computing*.

KINGMA D. P. & BA J. (2017). Adam: A method for stochastic optimization.

KONG L., DYER C. & SMITH N. A. (2016). Segmental recurrent neural networks. *CoRR*, abs/1511.06018.

LAFFERTY J. D., MCCALLUM A. & PEREIRA F. C. N. (2001). Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In *Proceedings of the Eighteenth International Conference on Machine Learning*, ICML '01, p. 282-289, San Francisco, CA, USA: Morgan Kaufmann Publishers Inc.

LAIGNELET M. & RIOULT F. (2009). Repérer automatiquement les segments obsolescents à l'aide d'indices sémantiques et discursifs. In A. NAZARENKO & T. POIBEAU, Éds., *Actes de TALN 2009 (Traitement automatique des langues naturelles)*, Senlis: ATALA LIPN.

SAMPLE G., BALLESTEROS M., SUBRAMANIAN S., KAWAKAMI K. & DYER C. (2016). Neural architectures for named entity recognition. In *Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies*, p. 260-270, San Diego, California: Association for Computational Linguistics. DOI: 10.18653/v1/N16-1030.

LANGLAIS P. & PATRY A. (2007). Enrichissement d'un lexique bilingue par analogie. In (Benamara et al., 2007), p. 101-110.

LEE K., HE L., LEWIS M. & ZETTLEMOYER L. (2017). End-to-end neural coreference resolution. In *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, p. 188-197, Copenhagen, Denmark: Association for Computational Linguistics. DOI: 10.18653/v1/D17-1018.

LEUNG J. Y.-T. (1984). Fast algorithms for generating all maximal independent sets of interval, circular-arc and chordal graphs. *J. Algorithms*, **5**, 22-35.

LI X., FENG J., MENG Y., HAN Q., WU F. & LI J. (2020). A unified mrc framework for named entity recognition.

LI Y., LEMAO LIU & SHI S. (2021). Empirical analysis of unlabeled entity problem in named entity recognition. In *International Conference on Learning Representations*.

LIANG Y., DHALL S. & LAKSHMIVARAHAN S. (1991). On the problem of finding all maximum weight independent sets in interval and circular-arc graphs. In [*Proceedings*] *1991 Symposium on Applied Computing*, p. 465-470. DOI: 10.1109/SOAC.1991.143921.

LIU Y., CHE W., GUO J., QIN B. & LIU T. (2016). Exploring segment representations for neural segmentation models. In *IJCAI*.

LUAN Y., WADDEN D., HE L., SHAH A., OSTENDORF M. & HAJISHIRZI H. (2019). A general framework for information extraction using dynamic span graphs.

RAMSHAW L. A. & MARCUS M. P. (1995). Text chunking using transformation-based learning. *ArXiv*, cmp-lg/9505040.
RATINOV L. & ROTH D. (2009). Design challenges and misconceptions in named entity recognition. In *Proceedings of the Thirteenth Conference on Computational Natural Language Learning (CoNLL-2009)*, p. 147–155, Boulder, Colorado : Association for Computational Linguistics.

SARAWAGI S. & COHEN W. W. (2005). Semi-markov conditional random fields for information extraction. In L. SAUL, Y. WEISS & L. BOTTOU, Éds., *Advances in Neural Information Processing Systems*, volume 17 : MIT Press.

SERETAN V. & WEHRLI E. (2007). Collocation translation based on sentence alignment and parsing. In (Benamara et al., 2007), p. 401–410.

SOHRAB M. G. & MIWA M. (2018). Deep exhaustive model for nested named entity recognition. In *Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing*, p. 2843–2849, Brussels, Belgium : Association for Computational Linguistics. DOI: 10.18653/v1/D18-1309.

TJONG KIM SANG E. F. & DE MEULDER F. (2003). Introduction to the CoNLL-2003 shared task : Language-independent named entity recognition. In *Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003*, p. 142–147.

WALKER C., STRASSEL S., MEDERO J. & MAEDA K. (2006). Ace 2005 multilingual training corpus. DOI: 10.35111/MWXC-VH88.

WEISCHEDEL R., PALMER M., MARCUS M., HOVY E., PRADHAN S., RAMSHAW L., XUE N., TAYLOR A., KAUFMAN J., FRANCHINI M., EL-BACHOUTI M., BELVIN R. & HOUSTON A. (2013). OntoNotes Release 5.0. DOI: 11272.1/AB2/MKJJ2R.

YAN H., GUI T., DAI J., GUO Q., ZHANG Z. & QIU X. (2021). A unified generative framework for various ner subtasks. In *ACL*.

YANG S. & TU K. (2022). Bottom-up constituency parsing and nested named entity recognition with pointer networks. In *ACL*.

YE Z. & LING Z.-H. (2018). Hybrid semi-Markov CRF for neural sequence labeling. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2 : Short Papers)*, p. 235–240, Melbourne, Australia : Association for Computational Linguistics. DOI: 10.18653/v1/P18-2038.

YU J., BOHNET B. & POESIO M. (2020a). Named entity recognition as dependency parsing. In *ACL*.

YU J., BOHNET B. & POESIO M. (2020b). Named entity recognition as dependency parsing. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, p. 6470–6476, Online : Association for Computational Linguistics. DOI: 10.18653/v1/2020.acl-main.577.

ZARATIANA U., ELKHBIR N., HOLAT P., TOMEH N. & CHARNOIS T. (2022a). Global span selection for named entity recognition. In *Proceedings of the Workshop on Unimodal and Multimodal Induction of Linguistic Structures (UM-IoS)*, p. 11–17, Abu Dhabi, United Arab Emirates (Hybrid) : Association for Computational Linguistics.

ZARATIANA U., TOMEH N., HOLAT P. & CHARNOIS T. (2022b). GNNer : Reducing overlapping in span-based NER using graph neural networks. In *Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics : Student Research Workshop*, p. 97–103, Dublin, Ireland : Association for Computational Linguistics. DOI: 10.18653/v1/2022.acl-srw.9.

ZARATIANA U., TOMEH N., HOLAT P. & CHARNOIS T. (2022c). Named entity recognition as structured span prediction. In *Proceedings of the Workshop on Unimodal and Multimodal Induction of Linguistic Structures (UM-IoS)*, p. 1–10, Abu Dhabi, United Arab Emirates (Hybrid) : Association for Computational Linguistics.
<figure><img src="image_69.png" /></figure>