Actes de la 6e conférence conjointe Journées d’Études
sur la Parole (JEP, 33e édition), Traitement
Automatique des Langues Naturelles (TALN, 27e
édition), Rencontre des Étudiants Chercheurs en
Informatique pour le Traitement Automatique des
Langues (RÉCITAL, 22e édition). Atelier DÉfi Fouille
de Textes

Rémi Cardon, Natalia Grabar, Cyril Grouin, Thierry Hamon

► To cite this version:

Rémi Cardon, Natalia Grabar, Cyril Grouin, Thierry Hamon. Actes de la 6e conférence conjointe Journées d’Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Atelier DÉfi Fouille de Textes. JEP / TAL / RECITAL, ATALA; AFCP, 2020. hal-02784736v3

HAL Id: hal-02784736

https://hal.science/hal-02784736v3

Submitted on 22 Jun 2020

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
<figure><img src="image_2.png" /></figure>

<figure><img src="image_3.png" /></figure>

6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition) (JEP-TALN-RÉCITAL)¹

Actes de la 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition).

Atelier DÉfi Fouille de Textes

Rémi Cardon, Natalia Grabar, Cyril Grouin, Thierry Hamon (Éds.)

Nancy, France, 08-19 juin 2020
Crédits : L'image utilisée en bannière est une photographie du vitrail « Roses et Mouettes », visible dans la maison Bergeret à Nancy. La photographie a été prise par Alexandre Prevot, diffusée sur flickr sous la licence CC-BY-SA 2.0.

Le logo de la conférence a été créé par Annabelle Arena.
Avec le soutien de

01101100
01101111
01101001
01101000
01101111
01101200
01101001
01100001
01100100
01100000
*00001011*

Loria

Laboratoire lorrain de recherche
en informatique et ses applications

Inist

Institut de l'information
scientifique et technique

cnrs

atilf

ANALYSE ET TRAITEMENT
INFORMATIQUE
DE LA LANGUE FRANÇAISE

<figure><img src="image_4.png" /></figure>

UNIVERSITÉ
DE LORRAINE

<figure><img src="image_5.png" /></figure>

MINISTÈRE
DE LA CULTURE

Liberté
Égalité
Diversité

<figure><img src="image_6.png" /></figure>

Inria

<figure><img src="image_7.png" /></figure>

IMPACT

OLKi

iD'IC

MASTER
TRAITEMENT AUTOMATIQUE
DES LANGUES

EUROPEAN
LANGUAGE
NATIONAL
EL
ORAS
RESOURCES

Synapse

yseop

<figure><img src="image_8.png" /></figure>

orange™
# Message des présidents de l'AFCP et de l'ATALA

En ce printemps 2020, et les circonstances exceptionnelles qui l'accompagnent, c'est avec une émotion toute particulière que nous vous convions à la 6e édition conjointe des Journées d'Études sur la Parole (JEP), de la Conférence sur le Traitement Automatique des Langues Naturelles (TALN) et des Rencontres des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL). Après une première édition commune en 2002 (à Nancy, déjà!), et une expérience renouvelée avec succès en 2004, c'est désormais tous les quatre ans (Avignon 2008, Grenoble 2012) que se répète cet événement commun, attendu de pied ferme par les membres des deux communautés scientifiques voisines.

Cette édition 2020 est exceptionnelle, puisque dans le cadre des mesures sanitaires liées à la pandémie mondiale de COVID-19 (confinement strict, puis déconfinement progressif), la conférence ne peut avoir lieu à Nancy comme initialement prévu, mais se déroule à distance, sous forme virtuelle, soutenue par les technologies de l'information et de la communication. Nous remercions ici chaleureusement les organisateurs, Christophe Benzitoun, Chloé Braud, Laurine Huber, David Langlois, Slim Ouni et Sylvain Pogodalla, qui ont dû faire preuve de souplesse, d'inventivité, de détermination, de puissance de travail, et de tant d'autres qualités encore, afin de maintenir la conférence dans ces circonstances, en proposant un format inédit. Grâce aux différentes solutions mises en œuvre dans un délai court, la publication des communications scientifiques est assurée, structurée, et les échanges scientifiques sont favorisés, même à distance.

Bien entendu, nous regrettons tous que cette réunion JEP-TALN-RECITAL ne permette pas, comme ses prédécesseurs, de nouer ou renforcer les liens sociaux entre les différents membres de nos communautés respectives – chercheurs, jeunes et moins jeunes, académiques et industriels, professionnels et étudiants – autour d'une passionnante discussion scientifique ou d'un mémorable événement social... Notre conviction est qu'il est indispensable de maintenir à l'avenir de tels lieux d'échanges dans le domaine francophone, afin bien sûr de permettre aux jeunes diplômés de venir présenter leurs travaux et poser leurs questions sans la barrière de la langue, mais aussi de dynamiser nos communautés, de renforcer les échanges et les collaborations, et d'ouvrir la discussion autour des enjeux d'avenir, qui questionnent plus que jamais la place de la science et des scientifiques dans notre société.

Lors de la précédente édition, nous nous interrogeons sur les phénomènes et tendances liés à l'apprentissage profond et sur leurs impacts sur les domaines de la Parole et du TAL. Force est de constater que l'engouement pour ces approches dans nos domaines a permis un retour sur le devant de la scène des domaines liés à l'Intelligence Artificielle, animant parfois un débat tant philosophique que technique sur la place de la machine dans la société, notamment à travers le questionnement sur la vie privée de l'utilisateur. Ces questionnements impactent tant la Parole que le TAL, d'une part sur la place de la gestion des données, d'autre part sur les modèles eux-mêmes. Malgré ces questionnements, nous constatons que les acquis et les expertises perdurent, et les nouvelles approches liées à l'apprentissage profond ont permis un rapprochement des domaines de la Parole et du TAL, sans les dénaturer, à la manière des conférences JEP-TALN-RECITAL qui créent un espace plus grand d'échange et d'enrichissement réciproques.

Nous terminons ces quelques mots d'ouverture en remerciant l'ensemble des personnes qui ont rendu possible cet événement qui restera, nous l'espérons, riche et passionnant, malgré les circonstances. L'ATALA et l'AFCP tiennent tout d'abord à réitérer leurs remerciements aux organisateurs des JEP, de TALN et de RECITAL, qui sont parvenus à maintenir le cap à travers vents et marées. Nos remerciements vont également à l'ensemble des membres des comités de programme, dont le travail et l'implication ont permis de garantir la qualité et la cohérence du programme finalement retenu. Un grand merci aux relecteurs pour le temps et le soin qu'ils ont dédiés à ce travail anonyme et indispensable. Ils se reflètent dans la qualité des soumissions que chacun pourra découvrir sur le site de la conférence.

En conclusion, cette 6e édition conjointe JEP-TALN-RECITAL est exceptionnelle parce qu'elle se tient dans un contexte de crise généralisée — crise sanitaire, économique, voire sociale et politique. Mais nous
formons le vœu qu'elle reste également dans les annales pour la qualité des échanges scientifiques qu'elle aura suscités, et pour le message envoyé à nos communautés scientifiques et à la société dans son ensemble, un message de détermination et de confiance en l'avenir, où la science et les nouvelles technologies restent au service de l'humain.

Véronique Delvaux, présidente de l'Association Francophone de la Communication Parlée
Christophe Servan, président de l'Association pour le Traitement Automatique des LAngues
Table des matières

<table><tbody><tr><td>Présentation de la campagne d'évaluation DEFT 2020 : similarité textuelle en domaine ouvert et extraction d'information précise dans des cas cliniques<br>Rémi Cardon, Natalia Grabar, Cyril Grouin, Thierry Hamon</td><td>1</td></tr><tr><td>Calcul de similarité entre phrases : quelles mesures et quels descripteurs ?<br>Davide Buscaldi, Ghazi Felhi, Dhaou Ghoul, Joseph Le Roux, Gaël Lejeune, Xudong Zhang</td><td>14</td></tr><tr><td>Participation d'EDF R&D à DEFT 2020<br>Danrun Cao, Alexandra Benamar, Manel Boumghar, Meryl Bothua, Lydia Ould Ouali, Philippe Suignard</td><td>26</td></tr><tr><td>Contextualized French Language Models for Biomedical Named Entity Recognition<br>Jenny Copara, Julien Knafou, Nona Naderi, Claudia Moro, Patrick Ruch, Douglas Teodoro</td><td>36</td></tr><tr><td>Approche supervisée de calcul de similarité sémantique entre paires de phrases<br>Khadim Dramé, Gorgoumack Sambe, Ibrahima Diop, Lamine Faty</td><td>49</td></tr><tr><td>DEFT 2020 - Extraction d'information fine dans les données cliniques : terminologies spécialisées et graphes de connaissance<br>Thomas Lemaître, Camille Gosset, Mathieu Lafourcade, Namrata Patel, Guilhem Mayoral</td><td>55</td></tr><tr><td>DOING@DEFT : cascade de CRF pour l'annotation d'entités cliniques imbriquées<br>Anne-Lyse Minard, Andréane Roques, Nicolas Hiot, Mirian Halfeld Ferrari Alves, Agata Savary</td><td>66</td></tr><tr><td>Extraction d'information de spécialité avec un système commercial générique<br>Clothilde Royan, Jean-Marc Langé, Zied Abidi</td><td>79</td></tr><tr><td>DEFT 2020 : détection de similarité entre phrases et extraction d'information<br>Mike Tapi Nzali</td><td>91</td></tr><tr><td>Similarité sémantique entre phrases : apprentissage par transfert interlingue<br>Charles Teissèdre, Thiziri Belkacem, Maxime Arens</td><td>97</td></tr><tr><td>Participation de l'équipe du LIMICS à DEFT 2020<br>Perceval Wajsbürt, Yoann Taillé, Guillaume Lainé, Xavier Tannier</td><td>108</td></tr></tbody></table>
# Présentation de la campagne d'évaluation DEFT 2020 :
similarité textuelle en domaine ouvert et extraction
d'information précise dans des cas cliniques

Rémi Cardon¹, ² Natalia Grabar¹, ² Cyril Grouin³ Thierry Hamon³, ⁴

(1) CNRS, UMR 8163, F-59000 Lille, France

(2) Univ. Lille, UMR 8163 - STL - Savoirs Textes Langage, F-59000 Lille, France

(3) Université Paris-Saclay, CNRS, LIMSI, F-91400 Orsay, France

(4) Université Paris 13, Sorbonne Paris Cité, F-93430, Villetaneuse, France
prenom.nom@univ-lille.fr, prenom.nom@limsi.fr

## RÉSUMÉ

L'édition 2020 du défi fouille de texte (DEFT) a proposé deux tâches autour de la similarité textuelle et une tâche d'extraction d'information. La première tâche vise à identifier le degré de similarité entre paires de phrases sur une échelle de 0 (le moins similaire) à 5 (le plus similaire). Les résultats varient de 0,65 à 0,82 d'EDRM. La deuxième tâche consiste à déterminer la phrase la plus proche d'une phrase source parmi trois phrases cibles fournies, avec des résultats très élevés, variant de 0,94 à 0,99 de précision. Ces deux tâches reposent sur un corpus du domaine général et de santé. La troisième tâche propose d'extraire dix catégories d'informations du domaine médical depuis le corpus de cas cliniques de DEFT 2019. Les résultats varient de 0,07 à 0,66 de F-mesure globale pour la sous-tâche des pathologies et signes ou symptômes, et de 0,14 à 0,76 pour la sous-tâche sur huit catégories médicales. Les méthodes utilisées reposent sur des CRF et des réseaux de neurones.

## ABSTRACT

**Presentation of the DEFT 2020 Challenge : open domain textual similarity and precise information extraction from clinical cases**

The 2020 edition of the French Text Mining Challenge proposed two tasks about textual similarity and one information extraction task. The first task aims at identifying the degree of similarity between pairs of sentences, from 0 (the less similar) to 5 (the most similar). The results range from 0.65 to 0.82 (EDRM). The second task consists in identifying the closest sentence from a source sentence among three given sentences. The results are very high, ranging from 0.94 to 0.99 (precision). Both tasks rely on a corpus from the general and health domains. The third task proposes to extract ten categories of information from the medical domain, from a corpus of clinical cases used during the last competition. The results range from 0.07 to 0.66 (F-measure) on the sub-task identifying pathologies and signs or symptoms, and from 0.14 to 0.76 for the sub-task concerning eight medical categories. Methods used rely on CRF and neural networks.

**MOTS-CLÉS** : Cas cliniques, extraction d'information, similarité textuelle.

**KEYWORDS** : Clinical Cases; Information Extraction; Textual Similarity.

<figure><img src="image_9.png" /></figure>
# 1 Introduction

Cet article présente la campagne d'évaluation 2020 du défi fouille de texte (DEFT). Cette nouvelle édition se compose de trois tâches, dont deux nouvelles portant sur la similarité entre phrases et l'identification de phrases parallèles en domaine général et domaine de spécialité, tandis que la troisième tâche reprend le corpus de cas cliniques utilisé pour DEFT 2019 (Grabar et al., 2019) et propose de travailler sur des catégories d'informations plus fines.

La similarité textuelle offre plusieurs possibilités d'utilisation, de la détection du plagiat jusqu'à la réécriture dans un but de simplification. Dans cette campagne, nous avons souhaité étudier les niveaux de similarité qu'il est possible d'inférer automatiquement, entre phrases portant soit sur le même sujet, soit des sujets fondamentalement différents.

L'extraction d'informations précises contenues dans des documents de spécialité, tels que les cas cliniques, constitue une première étape pour l'accès à l'information, la recherche de cas similaires, ou encore le peuplement de bases de données. A l'image de la campagne d'évaluation américaine i2b2/VA 2010, nous avons proposé pour le français une tâche d'extraction d'informations pour le domaine médical.

Nous avons lancé le défi le 27 janvier. Treize équipes se sont inscrites. Dix équipes ont participé à la phase de test, qui s'est déroulée du 28 au 30 avril. Parmi les équipes étant allé au terme de la campagne, nous retenons la présence d'une équipe académique africaine (Université Assane Seck Ziguinchor, Sénégal) et de cinq équipes industrielles (EDF R&D, Palaiseau; Reezocar, Boulogne-Billancourt; Synapse, Toulouse) ou mixtes industrielles et académiques (IBM France, Bois-Colombes et Université Paris 7, Paris; LIRMM et ONAOS, Montpellier). Quatre équipes académiques complètent la liste des participants (BiTeM, Haute Ecole Spécialisée, Genève; DOING, Université d'Orléans; LIMICS, Sorbonne Université, Paris; LIPN, Sorbonne Paris-Nord, Villetaneuse). La diffusion des corpus d'entraînement s'est faite à partir du 3 février pour la première tâche, à partir du 13 février pour la troisième tâche et du 17 février pour la deuxième tâche, pour des raisons de finalisation des corpus. Enfin, une version améliorée des annotations de la troisième tâche a été distribuée le 20 mars.

# 2 Présentation

Le corpus utilisé pour les deux premières tâches se compose de pages Wikipedia et Vikidia<fnref n="1" /> relatives à différents sujets (par exemple, les pages Almaty, Apiculture, Biberon, Boris Godounov, etc.) ainsi que du contenu en santé tel que des notices de médicaments (Bromazepam, Buprénorphine, etc.) et des résumés Cochrane (Grabar & Cardon, 2018).

## 2.1 Tâche 1 – Degré de similarité entre paires de phrases

La première tâche consiste à identifier le degré de similarité entre deux phrases, sur une échelle de valeurs comprises entre 0 (le moins similaire) et 5 (le plus similaire), sans que la sémantique associée à chaque valeur de cette échelle n'ait été définie. Cinq personnes ont annoté les paires de phrases du corpus, chacune ayant son interprétation personnelle du type de contenu associé à chaque degré dans

<footnote n="1">1. Vikidia est la Wikipedia destinée aux 8-13 ans, https://fr.vikidia.org/wiki/Vikidia:Accueil</footnote>
la mesure où nous n'avons pas souhaité fournir de définition des degrés de similarité. Pour constituer les valeurs de référence, nous avons retenu la valeur issue du vote majoritaire (Cardon & Grabar, 2020). Le corpus d'entraînement intègre 600 paires de phrases tandis que le corpus d'évaluation contient 410 paires. Le tableau 1 fournit quelques exemples de paires de phrases source et cible avec le degré de similarité issu de l'annotation humaine.

<table><caption>TABLE 1 – Degré de similarité pour quelques paires de phrases source et cible de la tâche 1</caption><thead><tr><th>Phrases source et cible</th><th>Degré</th></tr></thead><tbody><tr><td>Il commence par s'intéresser à la résistance à la faim, la soif et à la fatigue en 1951.<br/>Pour prouver qu'on pouvait vivre sans eau ni nourriture, il traversa en solitaire l'Atlan-tique sans autres ressources que les poissons, le plancton, l'eau de pluie et de petites quantités d'eau de mer durant 65 jours.</td><td>0</td></tr><tr><td>En cas de survenue d'une hypotension importante, le patient doit être mis en décubitus dorsal, et recevoir, si nécessaire, une perfusion iv de chlorure de sodium.<br/>Si une hypotension importante se produit, elle peut être combattue en allongeant le patient jambes relevées.</td><td>1</td></tr><tr><td>Deux essais (106 participants) comparaient l'héparine de bas poids moléculaire à un placebo ou à l'absence de traitement.<br/>Deux essais (259 participants) comparaient l'héparine à l'absence de traitement.</td><td>2</td></tr><tr><td>La vieille ville est entourée de remparts, érigés au XIIIe siècle, très appréciés par les promeneurs.<br/>La ville haute, ceinte de remparts, est très pittoresque.</td><td>3</td></tr><tr><td>Le biberon, (du latin bibere, « boire ») ou bouteille en Suisse, est un ustensile utilisé pour l'allaitement artificiel.<br/>Un biberon (une bouteille, en Suisse), est un outil permettant d'allaiter un bébé artificiel-lement, ou naturellement, si la mère a tiré son lait.</td><td>4</td></tr><tr><td>Le médecin spécialisé pratiquant la neurologie s'appelle le neurologue.<br/>Le médecin qui pratique la neurologie est le neurologue.</td><td>5</td></tr></tbody></table>

Le tableau 2 présente le nombre et le pourcentage d'annotations pour chaque degré de similarité dans les corpus d'entraînement et d'évaluation. On observe que le degré de similarité le plus faible (0) est celui qui contient le plus d'annotations dans les deux corpus (plus du tiers du nombre total d'annotations), suivi de l'avant-dernier degré (4), couvrant déjà plus de la moitié des paires du corpus.

<table><caption>TABLE 2 – Nombre et pourcentage d'annotations par degré de similarité dans les corpus de la tâche 1</caption><thead><tr><th rowspan="2">Corpus</th><th colspan="10">Degrés de similarité</th></tr><tr><th>0</th><th>1</th><th>2</th><th>3</th><th>4</th><th>5</th></tr></thead><tbody><tr><td>Entraînement (600 paires)</td><td>216</td><td>36,0%</td><td>56</td><td>9,3%</td><td>29</td><td>4,8%</td><td>66</td><td>11,0%</td><td>136</td><td>22,7%</td><td>97</td><td>16,2%</td></tr><tr><td>Evaluation (410 paires)</td><td>147</td><td>35,9%</td><td>37</td><td>9,0%</td><td>28</td><td>6,8%</td><td>44</td><td>10,7%</td><td>90</td><td>22,0%</td><td>64</td><td>15,6%</td></tr></tbody></table>

Bien qu'aucune définition n'ait été fournie, les annotateurs humains ont sensiblement convergé vers
les observations suivantes : degré 5 pour une similarité quasi parfaite, degré 4 si l'une des deux phrases apporte une information de plus, degré 3 si une information importante est manquante, degrés 2 ou 1 en fonction du niveau de reformulation, et degré 0 pour une absence de similarité ou trop complexe. Nous observons que les participants du défi ont eu une interprétation similaire de ces degrés de similarité, comme celle indiquée par Cao et al. (2020) pour l'équipe EDF R&D.

## 2.2 Tâche 2 – Identification des phrases parallèles

La deuxième tâche vise à identifier, parmi trois phrases cibles, celle qui correspond le mieux à la phrase source en terme de phrase parallèle. Une réponse parmi les trois phrases cibles fournies est toujours attendue, les participants ont donc l'obligation d'identifier une phrase parallèle pour chaque ensemble de phrases source et cibles. Le parallélisme des phrases est lié à la relation simple-compliqué : la phrase source correspond au contenu compliqué alors que les phrases simples contiennent le contenu simple ou simplifié. L'une des phrases simples est donc dérivée de la phrase compliquée. La tableau 3 fournit des exemples de phrases source et cibles sur différents sujets. On observe ainsi que, dans certains cas, la même phrase a été utilisée comme phrase source et comme l'une des phrases cibles (deuxième exemple), et que dans d'autres cas, des indices numériques tels que les dates ne correspondent pas forcément (troisième exemple). Le corpus d'entraînement comprend 572 ensembles de phrases source et cibles tandis que le corpus d'évaluation en compte 530.

<table><caption>TABLE 3 – Exemples de phrases sources et cibles pour la tâche 2. La phrase cible la plus parallèle de la phrase source apparaît en italiques</caption><thead><tr><th>Type</th><th>Phrases proposées</th></tr></thead><tbody><tr><td>Source</td><td>Arrivé en France en 1972, ce chat reste méconnu en dehors de son pays d'origine.</td></tr><tr><td rowspan="3">Cibles</td><td>Les principaux matériaux sont le grès et la latérite.</td></tr><tr><td>Ce chat est apparu dans une portée d'American Shorthairs, en 1966, dans l'État de New-York.</td></tr><tr><td>Bien qu'il soit apparu en France dès 1972, ce chat reste méconnu hors de son État d'origine.</td></tr><tr><td>Source</td><td>en suède, le taux légal est de 0,2 g par litre de sang</td></tr><tr><td rowspan="2">Cibles</td><td>en suisse, le taux légal est de 0,5 g/l de sang ou 0,22 mg d'alcool par litre d'air expiré, depuis 2005</td></tr><tr><td>en suède, le taux légal est de 0,2 g par litre de sang</td></tr><tr><td>Source</td><td>en belgique, le taux légal est de 0,5 g/l de sang ou 0,22 mg d'alcool par litre d'air expiré</td></tr><tr><td>Source</td><td>En 1534, il est appelé comme maître d'œuvre par le comte Giangiorgio Trissino pour diriger le chantier de la villa Cricoli.</td></tr><tr><td rowspan="2">Cibles</td><td>En 1537, il est appelé par le comte Giangiorgio Trissino pour diriger le chantier de la villa Cricoli.</td></tr><tr><td>Trissino est un humaniste, poète, philosophe et diplomate au service de la curie romaine (le gouvernement pontifical); c'est aussi un passionné d'architecture.</td></tr><tr><td>Source</td><td>Le théâtre Olympique, achevé après 1580, est l'œuvre ultime de Palladio, terminée après sa mort par son fils Silla et son disciple Scamozzi.</td></tr></tbody></table>
## 2.3 Tâche 3 – Extraction d'information fine

**Présentation** Dans la continuité de DEFT 2019, qui portait sur l'analyse de cas cliniques, une sous-partie du corpus utilisé<fnref n="2" /> (Grabar et al., 2018) a été annotée avec des catégories d'informations médicales fines autour de quatre domaines<fnref n="3" /> : autour des patients (anatomie), de la pratique clinique (examen, pathologie, signe ou symptôme), des traitements médicamenteux et chirurgicaux (dose, durée, fréquence, mode d'administration, substance, traitement, valeur), et autour du temps (date, moment) (Grouin et al., 2019). Les annotations de pathologies et de signes ou symptômes couvrent aussi bien des mots isolés que de longues portions textuelles (jusqu'à 33 mots dans une seule portion<fnref n="4" />), alors que les annotations des autres catégories sont généralement plus courtes (entre un et quatre mots). De plus, les annotations d'examens, de pathologies et de signes ou symptômes peuvent englober des annotations d'autres catégories (telles que des parties anatomiques ou des valeurs numériques). Nous avons complété ces annotations avec l'information sur les assertions des pathologies et signes ou symptômes (présent, absent, possible, hypothétique, non-associé), de la norme des valeurs d'examens biologiques et physiques (normal, haut, bas) et de la prise des traitements et substances (arrêt, reprise). Ces catégories d'annotation s'inspirent de celles utilisées en 2010 dans la campagne d'évaluation internationale i2b2/VA (Uzuner et al., 2011). Seules dix catégories<fnref n="5" /> d'annotations ont été utilisées dans cette campagne. Nous présentons un extrait de corpus annoté sur la figure 1.

<figure><img src="image_10.png" /><figcaption>FIGURE 1 – Extrait de corpus annoté. Les boîtes renvoient aux catégories, les éléments entre crochets aux informations complémentaires</figcaption></figure>

Le corpus d'entraînement comprend 100 fichiers (soit 7844 annotations sur les dix catégories) tandis que le corpus d'évaluation compte 67 fichiers (4738 annotations). Le tableau 4 renseigne du nombre et du pourcentage d'annotations par catégorie dans les corpus d'entraînement et d'évaluation, pour

<footnote n="2">2. Nous avons aléatoirement extrait 167 fichiers parmi les 717 fichiers du corpus utilisé l'année dernière.</footnote>

<footnote n="3">3. Le guide d'annotation est accessible à l'adresse : https://deft.limsi.fr/2020/guide-deft.html</footnote>

<footnote n="4">4. La portion suivante a intégralement été annotée comme un signe ou symptôme : « volumineuse masse pelvienne de 170 sur 150 x 120 mm, de contours polylobés, de densité spontanément hétérogène, se rehaussant de façon intense et hétérogène après injection, avec des zones d'hypodensité, quasi liquidiennes » car renvoyant à une description complète d'une observation.</footnote>

<footnote n="5">5. Anatomie, dose, examen, mode, moment, pathologie, signe ou symptôme, substance, traitement, valeur.</footnote>
les catégories utilisées dans cette édition de la campagne DEFT.

<table><caption>TABLE 4 – Nombre et pourcentages d'annotations par catégorie dans les corpus de la tâche 3</caption><thead><tr><th rowspan="2">Catégories utilisées</th><th colspan="4">Corpus</th></tr><tr><th colspan="2">Entraînement<br>(100 fichiers)</th><th colspan="2">Evaluation<br>(67 fichiers)</th></tr></thead><tbody><tr><td>Anatomie</td><td>1454</td><td>18,5%</td><td>1121</td><td>23,7%</td></tr><tr><td>Dose</td><td>380</td><td>4,9%</td><td>52</td><td>1,1%</td></tr><tr><td>Examen</td><td>1219</td><td>15,5%</td><td>817</td><td>17,2%</td></tr><tr><td>Mode</td><td>225</td><td>2,9%</td><td>89</td><td>1,9%</td></tr><tr><td>Moment</td><td>453</td><td>5,8%</td><td>165</td><td>3,5%</td></tr><tr><td>Pathologie</td><td>368</td><td>4,7%</td><td>166</td><td>3,5%</td></tr><tr><td>Signe ou symptôme</td><td>1799</td><td>22,9%</td><td>1279</td><td>27,0%</td></tr><tr><td>Substance</td><td>1016</td><td>13,0%</td><td>313</td><td>6,6%</td></tr><tr><td>Traitement</td><td>383</td><td>4,9%</td><td>304</td><td>6,4%</td></tr><tr><td>Valeur</td><td>547</td><td>7,0%</td><td>432</td><td>9,1%</td></tr></tbody></table>

**Annotation humaine** Deux annotateurs ont réalisé ce travail en utilisant l'interface d'annotation BRAT (Stenetorp et al., 2012). Compte tenu de l'ampleur du travail d'annotation à réaliser (au total, 8615 entités seront annotées dans le corpus d'entraînement et 4933 dans le corpus d'évaluation), nous avons opté pour une annotation séquentielle du corpus d'entraînement. D'abord composé de 70 fichiers, ce corpus a été annoté par un premier annotateur puis corrigé par le deuxième annotateur. Trente fichiers supplémentaires ont été annotés par le deuxième annotateur, puis corrigés par le premier annotateur. En conséquence, il n'est pas possible de calculer d'accord inter-annotateur sur les fichiers du corpus d'entraînement. Néanmoins, nous avons mesuré l'écart avant et après correction, et les résultats obtenus<fnref n="6" /> nous ont confortés dans la possibilité de poursuivre avec les choix effectués, en ajustant les règles du guide d'annotation au besoin.

L'annotation des 67 fichiers du corpus d'évaluation s'est faite sur la base d'une pré-annotation automatique, réalisée grâce à un modèle CRF entraîné sur les cent fichiers du corpus d'entraînement. Les annotateurs humains ont corrigé cette pré-annotation de manière indépendante, puis réalisé une phase d'adjudication. Malgré la pré-annotation automatique, les accords inter-annotateur calculés sur ces fichiers se montent à 0,67 de F-mesure en évaluation stricte et 0,80 en évaluation souple<fnref n="7" /> sur les treize catégories annotées par les humains. Les catégories pour lesquelles les humains ont obtenu de moins bonnes performances sont les pathologies, les signes ou symptômes, ainsi que les fréquences et modes d'administration. Les différences observées concernent des choix différents de catégories ainsi que des oublis. Nous observons également que les deux annotateurs ont pu choisir des mots différents pour annoter le même concept<fnref n="8" />. Enfin, l'absence de formation médicale des annotateurs peut également présenter un obstacle dans la qualité du travail d'annotation. Par exemple, la différence entre pathologie et signe ou symptôme reste complexe. Les annotateurs ont notamment

<footnote n="6">6. Nous calculons une F-mesure stricte globale de 0,8183 et une F-mesure souple de 0,8946 sur les 70 premiers fichiers, et une F-mesure stricte de 0,9565 et une F-mesure souple de 0,9781 sur les trente derniers fichiers.</footnote>

<footnote n="7">7. L'évaluation stricte repose sur un appariement exact entre frontières et étiquette. Une évaluation souple accepte quelques caractères d'écart au niveau des frontières.</footnote>

<footnote n="8">8. Pour le mode d'administration, un annotateur aura annoté le mot *injecte* alors que l'autre aura annoté le mot *seringue* de la même phrase : « L'infirmière anesthésiste prépare la seringue de morphine et la remet à l'anesthésiste qui l'injecte. »</footnote>
considéré que les tumeurs bénignes sont des signes ou symptômes, alors que les tumeurs malignes sont des pathologies. Certains mots ou suffixes sont également des indices importants pour déterminer la catégorie<fnref n="9" />. Concernant la taille des portions, les annotateurs ont établi qu'une portion doit contenir le maximum d'informations se rapportant à la même idée. Ce choix explique la taille de certaines portions annotées en signes ou symptômes.

Une fois ce travail d'annotation terminé, nous sommes revenus sur les annotations du corpus d'entraînement pour le rendre plus homogène<fnref n="10" /> avec le corpus d'évaluation. Cette deuxième version du corpus d'entraînement a été distribuée aux participants le 20 mars.

## 3 Evaluation

**Tâche 1** Les degrés de similarité de la tâche 1 renvoient à une graduation sur une échelle de six valeurs. Nous avons donc retenu comme mesure principale la distance relative moyenne à la solution, calculée en micro-moyenne. A chacune des six valeurs possibles pour la donnée de référence $r_i$, correspond une valeur de distance maximale possible entre la réponse du système et cette donnée $dmax(h_i, r_i)$. Ainsi, si le degré de similarité attendu est 5, la distance maximale possible est alors maximale (5 - 0 = 5), mais si le degré attendu est 2, la distance maximale possible sera de 3 (5 - 2 = 3 alors que 2 - 0 = 3). L'exactitude en distance relative à la solution moyenne (EDRM) se calcule en micro-moyenne comme indiqué dans l'équation 1.

$$EDRM = \frac{1}{n} \sum_{i=1}^{n} \left( 1 - \frac{d(h_i, r_i)}{dmax(h_i, r_i)} \right) \quad (1)$$

**Tâche 2** Sur cette tâche, il est possible d'évaluer, soit la meilleure réponse ramenée par le système (la phrase cible la plus similaire à la phrase source), soit le classement ou l'ordre des trois phrases cibles proposées, qui auront été ramenées de la plus similaire à la moins similaire. Pour évaluer un classement, la moyenne des précisions non interpolées $P(I_i^j)$ calculées à chaque position, dans la liste des hypothèses, d'une des $n_i$ réponses correctes $I_i^j$ pour la phrase source $S_i$, est alors une mesure pertinente. Sur l'ensemble des phrases source et cible, nous utilisons alors la moyenne de cette précision moyenne (MAP, voir formule 2). Dans le cas où un système ne classerait pas toutes les phrases cibles fournies, et notamment la phrase cible attendue, sa précision moyenne est alors nulle, comme si elle avait été classée à l'infini par le système.

$$MAP = \frac{1}{N} \sum_{i=1}^{N} \frac{1}{n_i} \sum_{j=1}^{n_i} P(I_i^j) \quad (2)$$

Si une seule phrase cible est renvoyée pour chaque phrase source, une précision classique est alors employée.

<footnote n="9">9. Le suffixe -mégalie qui renvoie à un gonflement (hépatomégalie, splénomégalie) permet d'annoter un signe ou symptôme, tandis que les (adéno)carcinomes et adénopathies seront annotés en pathologie.</footnote>

<footnote n="10">10. Cette nouvelle version s'accompagne d'un nombre plus élevé d'annotations dans les catégories anatomie (de 1454 à 1608), signe ou symptôme (de 1799 à 1831) et valeurs (de 547 à 588) pour les plus fortes hausses. Dans le même temps, certaines annotations de la catégorie traitement ont été supprimées (passant de 383 à 374 annotations).</footnote>
**Tâche 3** La dernière tâche est une tâche de repérage d'entités nommées. Les mesures habituelles de précision, rappel et F-mesure, calculées sur chaque catégorie et au niveau global, constituent le mode d'évaluation le plus pertinent et le mieux compris du point de vue des valeurs calculées.

# 4 Résultats

## 4.1 Tâche 1 – Degré de similarité entre paires de phrases

Le tableau 5 présente les résultats en EDRM (mesure officielle) ainsi que la corrélation de Spearman et la p-value sur les prédictions de la première tâche. Sur l'ensemble des soumissions, la moyenne est de 0,7617 et la médiane se situe à 0,7947.

<table><caption>TABLE 5 – Evaluation des prédictions en EDRM. Le meilleur résultat est en gras</caption><thead><tr><th>Soumission</th><th>EDRM</th><th>Corrélation de Spearman</th><th>p-value</th></tr></thead><tbody><tr><td>EDF R&D, 1</td><td>0,8198</td><td>0,7305</td><td>1,3963e-69</td></tr><tr><td>EDF R&D, 2</td><td>0,8018</td><td>0,7105</td><td>2,9216e-64</td></tr><tr><td>EDF R&D, 3</td><td>0,8069</td><td>0,7164</td><td>9,2243e-66</td></tr><tr><td>Reezocar, 1</td><td>0,7919</td><td>0,7060</td><td>4,1583e-63</td></tr><tr><td>Reezocar, 2</td><td>0,8105</td><td>0,7352</td><td>6,6003e-71</td></tr><tr><td>Reezocar, 3</td><td>0,8022</td><td>0,7080</td><td>1,2883e-63</td></tr><tr><td>Sorbonne, 1</td><td>0,7092</td><td>0,7485</td><td>8,4089e-75</td></tr><tr><td>Sorbonne, 2</td><td>0,6734</td><td>0,7321</td><td>5,2500e-70</td></tr><tr><td>Sorbonne, 3</td><td>0,8147</td><td>0,7479</td><td>1,2845e-74</td></tr><tr><td>Synapse, 1</td><td>0,6533</td><td>0,7499</td><td>3,1295e-75</td></tr><tr><td>Synapse, 2</td><td>0,6663</td><td>0,7421</td><td>7,0960e-73</td></tr><tr><td>Synapse, 3</td><td>0,6838</td><td>0,7679</td><td>6,1899e-81</td></tr><tr><td>UASZ, 1</td><td>0,7947</td><td>0,7528</td><td>4,3371e-76</td></tr><tr><td>UASZ, 2</td><td><strong>0,8217</strong></td><td>0,7691</td><td>2,3769e-81</td></tr><tr><td>UASZ, 3</td><td>0,7755</td><td>0,7769</td><td>5,5766e-84</td></tr></tbody></table>

Nous avons utilisé le test de Student pour évaluer la significativité statistique des résultats des participants à la tâche 1 (voir figure 2). De manière globale, nous observons que les résultats des équipes EDF R&D, Sorbonne et REEZOCAR n'ont pas de différence significative entre eux, tandis que ceux de l'équipe Synapse diffèrent statistiquement de ceux de tous les autres participants. Aussi, les résultats de l'équipe UASZ sont significativement différents de la deuxième soumission de l'équipe Sorbonne et des soumissions de l'équipe REEZOCAR. Enfin, la troisième soumission de l'équipe UASZ est éloignée de l'ensemble des soumissions. De plus, nous pouvons remarquer plusieurs spécificités des soumissions. La meilleure soumission (UASZ_2) n'est pas significativement différente des résultats des équipes EDF R&D, Sorbonne (à l'exception de la deuxième soumission), et de la troisième soumission de l'équipe REEZOCAR. De même, il n'y a pas de différences significatives entre les soumissions d'une même équipe, à l'exception de celles de Synapse. Ceci peut s'expliquer par le fait que les soumissions sont toutes basées sur la même méthode et ne diffèrent qu'à travers des paramétrages particuliers. En revanche, les variations significatives dans les soumissions (1 et 3 vs. 2) de Synapse peuvent certainement s'expliquer par l'utilisation des modèles BERT ou MUSE.
<figure><img src="image_11.png" /><figcaption>FIGURE 2 – Significativité statistique des soumissions de la tâche 1. Les zones grisées représentent une différence significative entre deux soumissions.</figcaption></figure>

**Méthodes** Sur cette tâche, les méthodes utilisées par les participants sont variées. Plusieurs reposent sur des calculs de distance entre phrases (distances euclidiennes, Jaccard, Manhattan), avec des représentations de type TF×IDF, notamment par l'équipe Sorbonne (Buscaldi et al., 2020) qui a mesuré l'intérêt et l'absence d'intérêt de cette représentation, dont ces distances peuvent ensuite servir de traits pour des algorithmes d'apprentissage (régression logistique, forêt d'arbres, graphes sémantiques, etc.), approche qui a été suivie par les équipes EDF R&D (Cao et al., 2020), Reezocar (Tapi Nzali, 2020) et UASZ (Drame et al., 2020). Cette dernière équipe obtient les meilleures performances de la tâche avec sa deuxième soumission fondée sur un perceptron multi-couche. D'autres participants ont utilisés des modèles de plongements lexicaux multilingues dérivés de BERT, en particulier Sentence M-BERT et MUSE par Synapse (Belkacem et al., 2020).

## 4.2 Tâche 2 – Identification des phrases parallèles

Le tableau 6 présente les résultats sur la deuxième tâche, évalués avec une précision classique. Sur l'ensemble des soumissions, la moyenne est de 0,9822 et la médiane se situe à 0,9868. Les résultats ne présentent pas de différence significative lorsqu'on utilise un test de Student.

<table><caption>TABLE 6 – Evaluation des prédictions en précision. Le meilleur résultat est en gras</caption><thead><tr><th rowspan="2">Soumission</th><th colspan="2">EDF R&D</th><th colspan="3">Reezocar</th><th colspan="3">Sorbonne</th><th colspan="3">Synapse</th></tr><tr><th>1</th><th>2</th><th>1</th><th>2</th><th>3</th><th>1</th><th>2</th><th>3</th><th>1</th><th>2</th><th>3</th></tr></thead><tbody><tr><th>Précision</th><td>0,9830</td><td>0,9868</td><td>0,9868</td><td>0,9811</td><td>0,9849</td><td>0,9887</td><td>0,9887</td><td>0,9887</td><td><strong>0,9906</strong></td><td>0,9849</td><td>0,9396</td></tr></tbody></table>

**Méthodes** Sur cette tâche, des coefficients de similarité ont été employés, tel que le coefficient de Dice par EDF R&D (Cao et al., 2020) ou de plusieurs distances (euclidienne, Manhattan, Minkovski)
par Buscaldi et al. (2020) pour l'équipe Sorbonne. Des approches à base de représentations vectorielles plus lourdes ont également été essayées, telle que USE (Universal Sentence Encoder) par Cao et al. (2020), ou DRMM (Deep Relevance Matching Model) et MUSE (Multilingual Universal Sentence Encoder) entraînés sur des corpus disponibles en interne et ensuite fournis dans des classifieurs à base de descente stochastique de gradient (SGD) ou de gradient boosting extrême (XGB) par les équipes Reezocar (Tapi Nzali, 2020) et Synapse (Belkacem et al., 2020).

## 4.3 Tâche 3 – Extraction d'information fine

L'évaluation de la tâche d'extraction d'information est divisée en deux sous-tâches, en fonction de la taille des portions à traiter : une première sous-tâche pour les signes ou symptômes et pathologies (tableau 7), en raison de leur complexité, et une deuxième sous-tâche pour les huit autres catégories (tableau 8). Les résultats ont été calculés au moyen de l'outil BRATeval en évaluation stricte. Sur l'ensemble des soumissions (sauf le premier run de l'équipe Lirmm/Onaos qui ne contenait volontairement aucune prédiction pour cette sous-tâche), la moyenne est de 0,4618 et la médiane se monte à 0,4706 pour la première sous-tâche, tandis que pour la deuxième sous-tâche, la moyenne est de 0,6012 et la médiane s'élève à 0,6151. Notons que, sur ce corpus d'évaluation, les accords inter-annotateur calculés en F-mesure stricte entre les deux annotateurs humains se sont élevés à 0,460 sur les pathologies et 0,470 sur les signes ou symptômes.

<table><caption>TABLE 7 – Evaluation stricte globale et par catégorie (pathologie, signe ou symptôme) en précision, rappel et F-mesure sur la sous-tâche des longues portions. Les meilleurs résultats sont en gras</caption><thead><tr><th rowspan="2">Soumission</th><th colspan="3">GLOBAL</th><th colspan="3">Pathologie</th><th colspan="3">Sosy</th></tr><tr><th>P</th><th>R</th><th>F</th><th>P</th><th>R</th><th>F</th><th>P</th><th>R</th><th>F</th></tr></thead><tbody><tr><td>Doing, 1</td><td>0,568</td><td>0,484</td><td>0,523</td><td>0,571</td><td>0,361</td><td>0,443</td><td>0,568</td><td>0,500</td><td>0,532</td></tr><tr><td>Doing, 2</td><td>0,577</td><td>0,493</td><td>0,531</td><td>0,505</td><td>0,337</td><td>0,404</td><td>0,584</td><td>0,513</td><td>0,546</td></tr><tr><td>Doing, 3</td><td>0,532</td><td>0,446</td><td>0,486</td><td>0,434</td><td>0,319</td><td>0,368</td><td>0,543</td><td>0,463</td><td>0,500</td></tr><tr><td>EDF R&amp;D, 1</td><td>0,137</td><td>0,042</td><td>0,065</td><td>0,137</td><td>0,368</td><td>0,199</td><td>0,000</td><td>0,000</td><td>0,000</td></tr><tr><td>HESGE, 1</td><td>0,576</td><td>0,439</td><td>0,498</td><td><strong>0,613</strong></td><td>0,295</td><td>0,398</td><td>0,573</td><td>0,458</td><td>0,509</td></tr><tr><td>HESGE, 2</td><td>0,609</td><td>0,622</td><td>0,615</td><td>0,492</td><td>0,584</td><td>0,534</td><td>0,627</td><td>0,627</td><td>0,627</td></tr><tr><td>HESGE, 3</td><td><strong>0,702</strong></td><td><strong>0,624</strong></td><td><strong>0,660</strong></td><td>0,575</td><td>0,554</td><td>0,564</td><td><strong>0,720</strong></td><td><strong>0,633</strong></td><td><strong>0,673</strong></td></tr><tr><td>IBM, 1</td><td>0,495</td><td>0,376</td><td>0,427</td><td>0,429</td><td>0,398</td><td>0,413</td><td>0,506</td><td>0,373</td><td>0,430</td></tr><tr><td>IBM, 2</td><td>0,448</td><td>0,419</td><td>0,433</td><td>0,345</td><td>0,416</td><td>0,377</td><td>0,466</td><td>0,419</td><td>0,441</td></tr><tr><td>Limics, 1</td><td>0,422</td><td>0,305</td><td>0,354</td><td>0,264</td><td>0,277</td><td>0,271</td><td>0,454</td><td>0,308</td><td>0,367</td></tr><tr><td>Limics, 2</td><td>0,609</td><td>0,576</td><td>0,592</td><td>0,428</td><td><strong>0,645</strong></td><td>0,514</td><td>0,649</td><td>0,567</td><td>0,605</td></tr><tr><td>Limics, 3</td><td>0,660</td><td>0,574</td><td>0,614</td><td>0,512</td><td>0,633</td><td><strong>0,566</strong></td><td>0,689</td><td>0,567</td><td>0,623</td></tr><tr><td>Lirmm/Onaos, 1</td><td>0,000</td><td>0,000</td><td>0,000</td><td>0,000</td><td>0,000</td><td>0,000</td><td>0,000</td><td>0,000</td><td>0,000</td></tr><tr><td>Lirmm/Onaos, 2</td><td>0,342</td><td>0,294</td><td>0,316</td><td>0,199</td><td>0,416</td><td>0,270</td><td>0,397</td><td>0,278</td><td>0,327</td></tr><tr><td>Reezocar, 1</td><td>0,525</td><td>0,372</td><td>0,436</td><td>0,489</td><td>0,386</td><td>0,431</td><td>0,531</td><td>0,371</td><td>0,437</td></tr><tr><td>Reezocar, 2</td><td>0,456</td><td>0,331</td><td>0,383</td><td>0,426</td><td>0,259</td><td>0,322</td><td>0,459</td><td>0,340</td><td>0,391</td></tr><tr><td>Reezocar, 3</td><td>0,536</td><td>0,397</td><td>0,456</td><td>0,480</td><td>0,440</td><td>0,459</td><td>0,545</td><td>0,391</td><td>0,455</td></tr></tbody></table>

**Méthodes** Pour cette tâche, les champs aléatoires conditionnels (CRF de chaîne linéaire) ont majoritairement été employés, notamment par les équipes Doing (Minard et al., 2020) avec des
<table><caption>TABLE 8 – Evaluation stricte globale en précision, rappel et F-mesure, et par catégorie (anatomie, dose, examen, mode, moment, substance, traitement, valeur) en F-mesure uniquement sur la sous-tâche des courtes portions. Les meilleurs résultats sont en gras</caption><thead><tr><th rowspan="2">Soumission</th><th colspan="3">GLOBAL</th><th>Anat</th><th>Dose</th><th>Exam</th><th>Mode</th><th>Momt</th><th>Subs</th><th>Trait</th><th>Val</th></tr><tr><th>P</th><th>R</th><th>F</th><th>F</th><th>F</th><th>F</th><th>F</th><th>F</th><th>F</th><th>F</th><th>F</th></tr></thead><tbody><tr><td>Doing, 1</td><td>0,831</td><td>0,606</td><td>0,701</td><td>0,732</td><td>0,347</td><td>0,723</td><td>0,531</td><td>0,726</td><td>0,625</td><td>0,496</td><td>0,802</td></tr><tr><td>Doing, 2</td><td><strong>0,839</strong></td><td>0,613</td><td>0,708</td><td>0,736</td><td>0,347</td><td>0,731</td><td>0,540</td><td>0,726</td><td>0,643</td><td>0,520</td><td>0,802</td></tr><tr><td>Doing, 3</td><td>0,785</td><td>0,585</td><td>0,670</td><td>0,688</td><td>0,317</td><td>0,701</td><td>0,588</td><td>0,686</td><td>0,580</td><td>0,519</td><td>0,769</td></tr><tr><td>EDF R&D, 1</td><td>0,415</td><td>0,314</td><td>0,358</td><td>0,251</td><td>0,286</td><td>0,465</td><td>0,442</td><td>0,263</td><td>0,432</td><td>0,275</td><td>0,468</td></tr><tr><td>HESGE, 1</td><td>0,781</td><td>0,507</td><td>0,615</td><td>0,556</td><td>0,368</td><td>0,679</td><td>0,342</td><td>0,627</td><td>0,578</td><td>0,476</td><td>0,797</td></tr><tr><td>HESGE, 2</td><td>0,737</td><td>0,737</td><td>0,737</td><td>0,798</td><td>0,412</td><td>0,715</td><td>0,639</td><td>0,758</td><td>0,670</td><td>0,557</td><td>0,839</td></tr><tr><td>HESGE, 3</td><td>0,788</td><td>0,725</td><td>0,755</td><td><strong>0,807</strong></td><td>0,522</td><td>0,733</td><td><strong>0,649</strong></td><td><strong>0,787</strong></td><td>0,638</td><td>0,608</td><td><strong>0,856</strong></td></tr><tr><td>IBM, 1</td><td>0,743</td><td>0,339</td><td>0,466</td><td>0,152</td><td>0,164</td><td>0,670</td><td>0,527</td><td>0,529</td><td>0,534</td><td>0,510</td><td>0,526</td></tr><tr><td>IBM, 2</td><td>0,695</td><td>0,573</td><td>0,628</td><td>0,662</td><td>0,154</td><td>0,649</td><td>0,587</td><td>0,563</td><td>0,563</td><td>0,438</td><td>0,752</td></tr><tr><td>Limics, 1</td><td>0,659</td><td>0,567</td><td>0,610</td><td>0,694</td><td>0,296</td><td>0,619</td><td>0,453</td><td>0,520</td><td>0,428</td><td>0,406</td><td>0,699</td></tr><tr><td>Limics, 2</td><td>0,764</td><td><strong>0,749</strong></td><td>0,756</td><td>0,758</td><td><strong>0,547</strong></td><td>0,802</td><td>0,561</td><td>0,688</td><td>0,769</td><td>0,649</td><td>0,819</td></tr><tr><td>Limics, 3</td><td>0,795</td><td>0,733</td><td><strong>0,763</strong></td><td>0,763</td><td>0,539</td><td><strong>0,805</strong></td><td>0,569</td><td>0,701</td><td><strong>0,786</strong></td><td><strong>0,659</strong></td><td>0,815</td></tr><tr><td>Lirmm/Onaos, 1</td><td>0,414</td><td>0,081</td><td>0,135</td><td>0,000</td><td>0,274</td><td>0,000</td><td>0,286</td><td>0,345</td><td>0,000</td><td>0,000</td><td>0,442</td></tr><tr><td>Lirmm/Onaos, 2</td><td>0,627</td><td>0,508</td><td>0,561</td><td>0,616</td><td>0,245</td><td>0,575</td><td>0,518</td><td>0,000</td><td>0,579</td><td>0,417</td><td>0,671</td></tr><tr><td>Reezocar, 1</td><td>0,679</td><td>0,511</td><td>0,583</td><td>0,664</td><td>0,275</td><td>0,470</td><td>0,584</td><td>0,586</td><td>0,599</td><td>0,378</td><td>0,750</td></tr><tr><td>Reezocar, 2</td><td>0,681</td><td>0,505</td><td>0,580</td><td>0,653</td><td>0,192</td><td>0,477</td><td>0,561</td><td>0,552</td><td>0,588</td><td>0,380</td><td>0,761</td></tr><tr><td>Reezocar, 3</td><td>0,678</td><td>0,530</td><td>0,595</td><td>0,678</td><td>0,260</td><td>0,469</td><td>0,592</td><td>0,633</td><td>0,595</td><td>0,390</td><td>0,768</td></tr></tbody></table>

modèles CRF pour chaque catégorie, les équipes HESGE (Copara et al., 2020) et Reezocar (Tapi Nzali, 2020). Les modèles de reconnaissance d'entités nommées de l'outil SpaCy fondés sur des réseaux neuronaux convolutifs (CNN) ont également été testés par les équipes Doing et EDF R&D. Les modèles de langue de l'anglais (BERT, BioBERT, RoBERTa), et ceux adaptés au français tels que CamemBERT, dont une version pré-entraînée sur des données biomédicales issues de PubMed, ont également été utilisés par plusieurs équipes dont HESGE et le LIMICS (Wajsbürt et al., 2020) qui a utilisé des versions entraînées sur des corpus multilingues de données web (OSCAR et CCNET) utilisés dans un bi-LSTM avec une couche finale de CRF.

Nous relevons que certaines équipes industrielles ont mis à profit la campagne d'évaluation DEFT pour appliquer sur ces corpus des ressources créées à partir de données métier avec l'outil SpaCy pour l'équipe EDF R&D (Cao et al., 2020), ou d'outils internes tel que WKS (Watson Knowledge Studio) de la suite IBM Watson, algorithme fondé sur l'entropie maximale, pour l'équipe IBM France (Royan et al., 2020). Enfin, l'équipe Lirmm/Onaos (Lemaitre et al., 2020) a utilisé un système à base de règles fondé sur des ressources de la base JeuxDeMots ou du domaine médical. Plusieurs équipes ont témoigné de la difficulté à distinguer les catégories pathologie et signe ou symptôme d'une part, ce que nous reconnaissions pour avoir eut des difficultés à les annoter lors de la préparation des corpus, et à gérer les imbrications d'entités d'autre part.

La complexité des annotations fournies a également poussé l'équipe IBM France a réannoter le corpus en incluant notamment des relations entre entités (localisation, temporalité, précision, etc.) pour exclure les imbrications d'entités. Des règles de post-traitement sont ensuite utilisées pour faire correspondre ces annotations à celles attendues dans la campagne DEFT.
# 5 Conclusion

L'édition 2020 du défi fouille de texte a proposé trois tâches. Malgré sa complexité, la tâche d'extrac-
tion d'informations fine a permis l'obtention des résultats corrects sur les deux catégories d'infor-
mation les plus difficiles (pathologies et signes ou symptômes), alors même que ces deux catégories
ont posé problème lors du travail d'annotation humaine. De plus, les résultats ne dépassaient que
rarement les 0,8 de F-mesure sur des catégories a priori plus simples (doses, moments, valeurs). La
diversité des contenus dans chacune des catégories semble expliquer ces résultats.

La tâche d'identification de la phrase la plus similaire d'une phrase source parmi trois cibles fournies
a permis à l'ensemble des participants d'obtenir d'excellents résultats, qui varient de 0,94 à 0,99
de précision. Le corpus fourni pour cette deuxième tâche semble manifestement facile à traiter de
manière automatique. Par contre, lorsqu'il s'agit d'attribuer un degré de similarité sur une échelle à six
valeurs, la tâche paraît plus complexe. L'absence volontaire de définition du contenu de chaque degré
de similarité et le nombre relativement élevé de degrés disponibles (six degrés de 0 à 5) réduisent les
chances de succès.

# Références

BELKACEM T., TEISSEDRE C. & ARENS M. (2020). Similarité Sémantique entre Phrases : Apprentissage par Transfert Interlingue. In *Actes de DEFT*, Nancy, France.

BUSCALDI D., FELHI G., GHOUL D., LE ROUX J., LEJEUNE G. & ZHANG X. (2020). Calcul de similarité entre phrases : quelles mesures et quels descripteurs ? In *Actes de DEFT*, Nancy, France.

CAO D., BENAMAR A., BOUMGHAR M., BOTHUA M., OULD-OUALI L. & SUIGNARD P. (2020). Participation d'EDF R&D à DEFT 2020. In *Actes de DEFT*, Nancy, France.

CARDON R. & GRABAR N. (2020). A French corpus for semantic similarity. In *LREC 2020*, p. 1–12.

COPARA J., KNAFOU J., MORO C., RUCH P. & TEODORO D. (2020). Contextualized French Language Models for Biomedical Named Entity Recognition. In *Actes de DEFT*, Nancy, France.

DRAME K., SAMBE G., DIOP I. & FATY L. (2020). Approche supervisée de calcul de similarité sémantique entre paires de phrases. In *Actes de DEFT*, Nancy, France.

GRABAR N. & CARDON R. (2018). CLEAR-Simple Corpus for Medical French. In *Proc of ATA*, Tilburg, The Netherlands. HAL: halshs-01968355.

GRABAR N., CLAVEAU V. & DALLOUX C. (2018). CAS : French Corpus with Clinical Cases. In *Proc of LOUHI*, p. 122–128, Brussels, Belgium. DOI: 10.18653/v1/W18-5614.

GRABAR N., GROUIN C., HAMON T. & CLAVEAU V. (2019). Recherche et extraction d'information dans des cas cliniques. présentation de la campagne d'évaluation DEFT 2019. In *Actes de DEFT*, Toulouse, France. HAL: hal-02280852.

GROUIN C., GRABAR N., HAMON T. & CLAVEAU V. (2019). Clinical Case Reports for NLP. In *Proc of BioNLP*, Florence, Italy. DOI: 10.18653/v1/W19-5029.

LEMAITRE T., GOSSET C., LAFOURCADE M., PATEL N. & MAYORAL G. (2020). DEFT 2020 – Extraction d'information fine dans les données cliniques : terminologies spécialisées et graphes de connaissance. In *Actes de DEFT*, Nancy, France.
MINARD A.-L., ROQUES A., HIOT N., ALVES M. H. F. & SAVARY A. (2020). DOING@DEFT : cascade de CRF pour l'annotation d'entités cliniques imbriquées. In *Actes de DEFT*, Nancy, France.

ROYAN C., LANGÉ J.-M. & ABIDI Z. (2020). Extraction d'information de cas cliniques avec un système commercial générique. In *Actes de DEFT*, Nancy, France.

STENETORP P., PYYSALO S., TOPIĆ G., OHTA T., ANANIADOU S. & TSUJII J. (2012). brat : a Web-based Tool for NLP-Assisted Text Annotation. In *Proc of EACL*, p. 102–107, Avignon, France.

TAPI NZALI M. (2020). DEFT 2020 : détection de similarité entre phrases et extraction d'information. In *Actes de DEFT*, Nancy, France.

UZUNER O., SOUTH B. R., SHEN S. & DUVALL S. L. (2011). 2010 i2b2/VA challenge on concepts, assertions, and relations in clinical text. *J Am Med Inform Assoc*, **18**(5), 552–556. DOI : 10.1136/amiajnl-2011-000203.

WAJSBÜRT P., TAILLÉ Y., LAINÉ G. & TANNIER X. (2020). Participation de l'équipe du LIMICS à DEFT 2020. In *Actes de DEFT*, Nancy, France.
# Calcul de similarité entre phrases :
quelles mesures et quels descripteurs ?

Davide Buscaldi¹, Ghazi Felhi¹, Dhaou Ghoul²,
Joseph Le Roux¹, Gaël Lejeune² Xudong Zhang¹

(1) Sorbonne Paris Nord, LIPN, 99 Avenue Jean Baptiste Clément, 93430 Villetaneuse

(2) Sorbonne Université, 1 rue Victor Cousin, 75005 Paris, France

(1) prenom.nom@lipn.univ-paris13.fr,

(2) prenom.nom@sorbonne-universite.fr

## RÉSUMÉ

Cet article présente notre participation à l'édition 2020 du Défi Fouille de Textes DEFT 2020 et plus précisément aux deux tâches ayant trait à la similarité entre phrases. Dans notre travail nous nous sommes intéressé à deux questions : celle du choix de la mesure du similarité d'une part et celle du choix des opérandes sur lesquelles se porte la mesure de similarité. Nous avons notamment étudié la question de savoir s'il fallait utiliser des mots ou des chaînes de caractères (mots ou non-mots). Nous montrons d'une part que la similarité de Bray-Curtis peut être plus efficace et surtout plus stable que la similarité cosinus et d'autre part que le calcul de similarité sur des chaînes de caractères est plus efficace que le même calcul sur des mots.

## ABSTRACT

Sentence Similarity : a study on similarity metrics with words and character strings

This article details the participation of the Sorbonne team, composed of researchers from Sorbonne Paris Nord (LIPN lab) and Sorbonne University (STIH lab) to the 2020 Deft challenge. We participated in the two tasks involving similarity measurement. We have been interested in two questions : first of all choosing the appropriate similarity measure and secondly choosing the appropriate features to construct the vectors. We show that (I) the Bray-Curtis similarity can be more efficient and more stable than a classical cosine distance and (II) that character n-grams tend to be more efficient for similarity tasks without needing fine-tuning or data description (lemmatization ...).

MOTS-CLÉS : similarité, n-grammes de caractères, distance euclidienne, distance de Bray-Curtis.

KEYWORDS: similarity, character n-grams, euclidean distance, Bray-Curtis distance.

# 1 Introduction

Cette édition 2020 du défi Fouille de Textes était principalement consacrée aux données médicales et comprenait trois tâches : (I) identification du degré de similarité entre paires de phrases (parallèles et non parallèles), (II) identification des phrases parallèles possible pour une phrase source dans le domaine médical et (III) extraction d'information sur des cas cliniques dans des textes biomédicaux. Les détails sur le processus de collecte et d'annotation des données dans l'article introducteur du défi (Cardon et al., 2020).

<figure><img src="image_12.png" /></figure>
Notre travail s'est concentré sur les tâches 1 et 2 que nous avons traité sous l'angle des mesures de similarité. Nous avons conçu une architecture extrêmement simple, que l'on peut sans doute qualifier de *baseline* améliorée, exploitant des mesures de similarité sur des vecteurs. Notre contribution est de réfléchir d'une part aux bonnes manières de construire ces vecteurs, quelles caractéristiques ou dit autrement quelles opérandes, et d'autre part sur les meilleures manières de comparer ces représentations, la recherche en quelque sorte des bons opérateurs.

Dans la Section 2 nous présenterons quelques grandes lignes des approches possibles en calcul de similarité puis dans la Section 3 nous exposerons la méthode que nous avons développé pour ce défi et enfin dans la Section 4 nous présenterons les résultats obtenus et quelques éléments de discussion.

## 2 Approches en calcul de similarité

Le calcul de similarité est une tâche essentielle du Traitement Automatique de données, textuelles ou non, et a toujours reçu une attention particulière de la communauté scientifique. Si l'on se restreint aux données textuelles, le besoin est avant tout venu de besoin pour la recherche d'information. Il s'agit en effet de pouvoir d'une part de mesurer le degré de proximité entre des documents et d'autre part de pouvoir identifier, et ordonner, la liste des documents les plus pertinents à offrir en réponse à une requête dans un moteur de recherches.

Assez classiquement, le défi posé ici est d'identifier les observables permettant de représenter numériquement des documents et de choisir les mesures appropriées pour en déduire la meilleure mesure de similarité pour une tâche donnée. Les données textuelles sont représentées informatiquement parlant comme des séquences de caractères, sans représentation linguistique autre l'ordre des caractères dans la séquence. Dès lors pouvoir comparer deux chaînes autrement que par une opération de recherche d'identité stricte impose d'identifier des caractéristiques internes de ces chaînes qui vont permettre d'identifier des opérandes sur lesquelles la comparaison pourra porter, ce choix n'étant pas sans impact sur les résultats (Mehdad & Tetreault, 2016). Les opérandes peuvent être de deux grandes catégories : (I) les sous-chaînes de caractères elles mêmes, les formes brutes, dont les mots graphiques sont un sous-ensemble, et (II) les redescriptions, généralement calculées à partir des mots, par exemple la racinisation ou la lemmatisation. Le type de redescription utilisé affectera le qualificatif que l'on va donner à la similarité calculée : si la redescription encode des propriétés syntaxiques on parlera plus facilement de similarité syntaxique, si elle encode des propriétés sémantiques alors on parlera de similarité sémantique... Ensuite, pour pouvoir appliquer des opérateurs de comparaison on aura deux grands types d'approches pour la similarité : d'une part la recherche de similarités séquentielles calculées par comparaison, sous-chaînes communes ou encore distance d'édition, et d'autre part la vectorisation qui permet de se placer dans un cadre méthodologique bien adapté au calcul automatique.

## 3 Quelle mesures de similarité et quels descripteurs ?

Notre approche était fondée sur une représentation assez simple du problème : que pouvaient donner des mesures de similarité très simples appliquées sur la tâche 2, tâche la plus simple puisqu'elle consistait à extraire la phrase la plus proche parmi trois candidates. L'approche la plus immédiate, en tout cas celle qui nous a paru comme telle, a été de calculer une vectorisation en mots et d'appliquer
une simple mesure de similarité cosinus pour classer les phrases candidates. Les premiers résultats étaient très élevés (au-delà de 93% de bons appariements) ce qui laissait à penser que la tâche était assez aisée. Nous avions envisagé d’exploiter des méthodes sophistiquées à base de plongements de mots, spécialisés ou non sur le domaine médical, mais il nous a semblé qu’il serait intéressant de partir de cette baseline plutôt convaincante. Plusieurs auteurs se sont intéressés à cette question de la capacité des baseline, pour peu qu’on leur porte suffisamment d’attention, à avoir des résultats équivalents (Moreno & Dias, 2014) voire supérieurs (Rendle et al., 2019) à des approches état de l’art. C’est aussi une question qui s’est posée régulièrement dans la communauté DEFT, par exemple lorsque la baseline conçue par les organisateurs du Défi 2019 s’est avérée plus performante que des approches plus complexes implantées par les participants du défi (Grabar et al., 2019). La question scientifique est tout à fait intéressante puisqu’il s’agit aussi de mesurer la valeur ajoutée apportée par des méthodes sophistiquées qui sont souvent plus gourmandes en ressources : taille des jeux de données d’entraînement, disponibilité de données linguistiques (lexiques, plongements de mots ...) pour une langue et/ou un domaine donné ou encore tout simplement coût en temps de calcul (Strubell et al., 2019).

Dès lors, nos investigations se sont portées sur deux objectifs : d’une part chercher dans la méthode elle même quelles pouvaient être les points d’amélioration et d’autre part regarder si cette méthode pouvait être adaptée pour traiter également la tâche 1. Nous avons donc exploré la question des opérations appliquées, les mesures de similarités (Section 3.1) d’une part et les opérandes sur lesquelles les mesures allaient porter, mots ou chaînes de caractères, d’autre part (Section 3.2).

## 3.1 Choix des mesures de similarité

Différentes mesures de similarité peuvent être utilisées pour rapprocher des documents représentés sous forme vectorielle. Nous avons cherché à comparer différentes mesures de similarité s’appuyant sur des vecteurs. Dans tous ces cas, on va comparer des phrases représentées sous la forme de deux vecteurs V et W, V représentant la phrase à apperir et W représentant chacun des candidats tout à tour. Assez naturellement, on va se tourner vers la distance euclidienne mais il peut être intéressant de se tourner vers des variantes telles que la distance de Manhattan ou la distance de Minkovski. Pour rappel, on peut réécrire la distance de Manhattan pour la faire passer de la forme :

$$DistManh = \sum_{i=1}^{n} |x_i - y_i|$$

$$\text{à la forme : } DistManh = \sqrt{\sum_{i=1}^{n} (x_i - y_i)^2}$$

De sorte que la filiation avec la distance de Minkovski et la distance euclidienne devienne plus évidente :

$$DistEucl = \sqrt{\sum_{i=1}^{n} (x_i - y_i)^2} \text{ et } DistMink = \sqrt[3]{\sum_{i=1}^{n} (x_i - y_i)^3}$$

Avec les mesures précitées, les segments les plus proches sont ceux qui minimisent la distance. Nous intégrons ensuite des mesures de similarité plus classiques en TAL dont la similarité cosinus, l’indice de Jaccard et le coefficient de Dice qui sont souvent considérés comme une des mesures de référence quand il est question de similarité textuelle (Huang, 2008). Nous avons également intégré la dissimilarité de Bray-Curtis (Bray & Curtis, 1957).

$$\text{Cosinus} = \frac{V \cdot W}{||V|| \cdot ||W||}$$

$$\text{Jaccard} = \frac{|\text{set}(V) \cap \text{set}(W)|}{|\text{set}(V) \cup \text{set}(W)|}$$
$$
\begin{array}{l}
\text{Dice} = \frac{2*|\text{set}(V) \cap \text{set}(W)|}{|\text{set}(V) \cup \text{set}(W)|} \\
\text{Bray-Curtis} = \frac{2 \sum_{i=1}^{n} \min(V[i], W[i])}{\sum_{i=1}^{n} (V[i] + W[i])}
\end{array}
$$

Nous pouvons donc d'ores et déjà tester une première *baseline* qui va exploiter ces distances et similarités en travaillant simplement sur les effectifs des mots graphiques, sans pré-traitement ni élimination de *stop-words*. La tokenisation est effectuée par un simple découpage sur les espaces. Nous avons appliqué cette *baseline* sur les 572 instances du jeu d'apprentissage de la tâche 2 (Cardon et al., 2020). Parmi les trois candidats proposés on choisit celui qui présente la similarité la plus grande (ou la distance la plus faible pour les trois premières mesures décrites ci-dessus) sans seuil d'aucune sorte<fnref n="1" />.

Les résultats sont présentés dans le tableau 1, nous pouvons voir deux choses : d'une part la tâche est assez facile et d'autre le choix de la mesure de similarité peut avoir son importance.

<table><caption>TABLE 1 – Résultats de l'application des mesures de similarité, au grain mot sans pré-tariment ni pondération, sur la tâche 2 triés par ordre croissant de MAP</caption><thead><tr><th></th><th>Bons résultats</th><th>MAP</th></tr></thead><tbody><tr><td>Distance Euclidienne</td><td>534/572</td><td>0,9336</td></tr><tr><td>Distance de Minkowski</td><td>534/572</td><td>0,9336</td></tr><tr><td>Distance de Manhattan</td><td>536/572</td><td>0,9371</td></tr><tr><td>Similarité Cosinus</td><td>553/572</td><td>0,9668</td></tr><tr><td>Coefficient de Dice</td><td>553/572</td><td>0,9668</td></tr><tr><td>Similarité de Bray-Curtis</td><td>557/572</td><td>0,9738</td></tr><tr><td>Indice de Jaccard</td><td>559/572</td><td>0,9772</td></tr></tbody></table>

Afin d'enrichir légèrement et à faible coût la représentation, nous montrons dans le tableau 2 les résultats obtenus avec des représentations en n-grammes de mots en prenant différents intervalles de valeur de N de 1 à 4. Les résultats en haut à gauche de chaque sous-tableau ($N_{min} = N_{max} = 1$) correspondent donc aux valeurs de la *baseline* du tableau 1. Nous pouvons voir que tenir compte des bi-grammes de mots permet d'améliorer les résultats, même si pris individuellement les bi-grammes offrent une représentation moins dense et moins efficace que les unigrammes. Par contre dans cette configuration l'impact des tri-grammes n'est pas significativement positif. Nous proposons ensuite dans le tableau 3 les résultats avec une pondération tf-idf, où l'Idf est calculé en prenant compte de l'ensemble du corpus d'apprentissage. Nous avons laissé les résultats avec l'indice de Jaccard à titre d'illustration puisqu'ils ne semble pas pertinent de combiner tf-idf et indice de Jaccard. Nous pouvons voir que la pondération tf-idf ne permet pas d'améliorer les résultats. Il y a certainement plusieurs raisons derrière cela : le fait que le nombre de doucments dans le corpus est peut être trop petit pour que le Tf-Idf puisse offrir une plus-value, peut être que l'utilisation d'Okapi BM-25 améliorerait les résultats comme cela avait pu être montré par (Claveau, 2012) mais ce n'était pas le cas ici. On peut penser aussi que la tâche étant simple, cette *baseline* atteignait tout simplement un plafond de verre. Nous montrerons dans la section suivante qu'il n'en est rien, en travaillant sur des n-grammes de caractères nous arrivons à améliorer encore un peu les résultats.

<footnote n="1">1. Pas de seuil de score similarité minimale ou d'écart minimal de similarité entre deux candidats</footnote>
<table><thead><tr><th></th><th>max=1</th><th>max=2</th><th>max=3</th><th>max=4</th><th></th><th>max=1</th><th>max=2</th><th>max=3</th><th>max=4</th></tr></thead><tbody><tr><td>min=1</td><td>0.9773</td><td><strong>0.979</strong></td><td>0.9773</td><td>0.9738</td><td>min=1</td><td>0.9668</td><td><strong>0.972</strong></td><td>0.965</td><td>0.965</td></tr><tr><td>min=2</td><td></td><td>0.958</td><td>0.9545</td><td>0.9563</td><td>min=2</td><td></td><td>0.9545</td><td>0.9545</td><td>0.9545</td></tr><tr><td>min=3</td><td></td><td></td><td>0.9126</td><td>0.9108</td><td>min=3</td><td></td><td></td><td>0.9126</td><td>0.9108</td></tr><tr><td>min=4</td><td></td><td></td><td></td><td>0.8374</td><td>min=4</td><td></td><td></td><td></td><td>0.8374</td></tr></tbody></table>

<table><thead><tr><th></th><th>max=1</th><th>max=2</th><th>max=3</th><th>max=4</th><th></th><th>max=1</th><th>max=2</th><th>max=3</th><th>max=4</th></tr></thead><tbody><tr><td>min=1</td><td>0.9668</td><td><strong>0.972</strong></td><td>0.9668</td><td>0.9633</td><td>min=1</td><td>0.9738</td><td><strong>0.9773</strong></td><td>0.9755</td><td>0.972</td></tr><tr><td>min=2</td><td></td><td>0.9545</td><td>0.9545</td><td>0.951</td><td>min=2</td><td></td><td>0.958</td><td>0.9563</td><td>0.9563</td></tr><tr><td>min=3</td><td></td><td></td><td>0.9126</td><td>0.9108</td><td>min=3</td><td></td><td></td><td>0.9126</td><td>0.9108</td></tr><tr><td>min=4</td><td></td><td></td><td></td><td>0.8374</td><td>min=4</td><td></td><td></td><td></td><td>0.8374</td></tr></tbody></table>

(c) Similarité cosinus

(d) Similarité de Bray-Curtis

<table><caption>TABLE 2 – Résultats en MAP, sans pondération, sur les données d'apprentissage avec des n-grammes de mots et différents intervalles de longueur de 1 à 4</caption><thead><tr><th></th><th>max=1</th><th>max=2</th><th>max=3</th><th>max=4</th><th></th><th>max=1</th><th>max=2</th><th>max=3</th><th>max=4</th></tr></thead><tbody><tr><td>min=1</td><td>0.4073</td><td>0.4091</td><td>0.4021</td><td>0.4056</td><td>min=1</td><td>0.9633</td><td><strong>0.9668</strong></td><td>0.9633</td><td>0.9615</td></tr><tr><td>min=2</td><td></td><td>0.4353</td><td>0.4283</td><td>0.4161</td><td>min=2</td><td></td><td>0.9563</td><td>0.9528</td><td>0.9493</td></tr><tr><td>min=3</td><td></td><td></td><td><strong>0.4371</strong></td><td>0.4196</td><td>min=3</td><td></td><td></td><td>0.9091</td><td>0.9091</td></tr><tr><td>min=4</td><td></td><td></td><td></td><td>0.4266</td><td>min=4</td><td></td><td></td><td></td><td>0.8374</td></tr></tbody></table>

<table><thead><tr><th></th><th>max=1</th><th>max=2</th><th>max=3</th><th>max=4</th><th></th><th>max=1</th><th>max=2</th><th>max=3</th><th>max=4</th></tr></thead><tbody><tr><td>min=1</td><td>0.9685</td><td><strong>0.972</strong></td><td>0.9668</td><td>0.9668</td><td>min=1</td><td>0.9738</td><td><strong>0.9773</strong></td><td>0.972</td><td>0.972</td></tr><tr><td>min=2</td><td></td><td>0.9545</td><td>0.9563</td><td>0.9563</td><td>min=2</td><td></td><td>0.958</td><td>0.9563</td><td>0.9563</td></tr><tr><td>min=3</td><td></td><td></td><td>0.9143</td><td>0.9108</td><td>min=3</td><td></td><td></td><td>0.9143</td><td>0.9143</td></tr><tr><td>min=4</td><td></td><td></td><td></td><td>0.8374</td><td>min=4</td><td></td><td></td><td></td><td>0.8392</td></tr></tbody></table>

(c) Similarité cosinus

(d) Similarité de Bray-Curtis

<caption>TABLE 3 – Résultats en MAP, avec pondération Tf-Idf, sur les données d'apprentissage avec des n-grammes de mots et différents intervalles de longueur de 1 à 4 (NB : résultats avec l'indice de Jaccard, pour information)</caption>

## 3.2 Choix des descripteurs : mots ou chaînes de caractères

La dimension que nous avons souhaité examiner ensuite a donc été le choix des descripteurs, en d'autres termes le choix des opérandes sur lesquelles allait porter le calcul de similarité. Une piste naturelle, et employée par d'autres participants du défi, était certainement d'avoir recours à des représentation plus riches des mots de manière notamment à mieux encoder la synonymie et plus généralement la proximité sémantique. Ceci pouvait prendre la forme d'une racinisation, d'une lemmatisation ou de l'exploitation de plongement de mots. Ici nous avons choisi une méthode qui se rapproche dans une certaine mesure de la racinisation mais qui permet aussi d'encoder des relations séquentielles entre les mots : l'utilisation de n-grammes de caractères.

L'idée, que l'on peut résumer sous la forme « Tout ce que nous savons faire avec des mots, nous
devrions pouvoir le faire avec des chaînes de caractères »<fnref n="2" /> (Umemura & Church, 2009), est double :
d'une part rechercher les limites des analyses au grain mot d'un point de vue efficacité et d'autre
part d'un point de vue plus épistémologique interroger la pertinence de chercher systématiquement
à travailler à un grain d'analyse "interprétable" tel que le mot alors que l'utilisation des chaînes de
caractères est plus naturelle pour la machine et sachant que la tokenisation n'est pas une tâche de TAL
réglée à l'heure actuelle dans tous les contextes. Ce qui va amener à chercher à standardiser les textes
comme on le fait souvent pour les *tweets* (Nebhi et al., 2015), les textes bruités (issus d'océrisation
par exemple) ou encore les textes anciens (Gabay et al., 2019).

Pour examiner cela nous avons simplement utilisé les mêmes mesures de similarité mais en les
appliquant cette fois sur des vecteurs de N-grammes de caractères (Figure 1). Nous pouvons voir
que les résultats sont systématiquement supérieurs à ceux obtenus au grain mot dès lors que la
représentation inclut les 2-grammes de caractères et ceci reste vrai quel que soit le calcul de similarité
utilisé. On peut observer que les résultats avec l'indice de Jaccard augmentent très peu lorsque l'on
augmente la taille des n-grammes de caractères. Cela ne semble pas très étonnant puisque le fait de
binariser les valeurs des dimensions (0 ou 1) va lisser très fortement l'effet de redondance amené par
les n-grammes de caractères. Par exemple pour la chaîne tostoto, les 4-grammes toto et otot
vont tout deux être représentés de la même manière que le 5-gramme totot. Les résultats obtenus
avec le coefficient de Dice sont notablement moins stables mais on observe un pic, supérieur à ce que
l'on voit avec l'indice de Jaccard, avec $N_{min} = 4$ et $6 \le N_{max} \le 8$. En moyenne les résultats avec
la similarité Cosinus sont supérieurs mais le pic est moins élevé. Enfin, les résultats obtenus avec
la distance de Bray-Curtis, s'ils ne montraient pas le même pic que le coefficient de Dice, offraient
selon nous le meilleur compromis entre stabilité et efficacité puisque l'on pouvait s'abstenir de définir
un seuil minimal.

## 3.3 Passage de la tâche 2 à la tâche 1 et choix des run

Pour passer de la tâche 2 à la tâche 1, nous avons choisi tout simplement de retravailler les scores
de similarités nativement normalisés<fnref n="3" /> : Jaccard, Dice, Cosinus et Bray-Curtis). Nous transformons
le score de similarité en un vote de la façon suivante : vote = int(Sim * 5). Il est évident que
des optimisations étaient possibles mais nous avons souhaité conserver la simplicité de l'approche
baseline.

Nous pouvons voir dans la Figure 2 les résultats obtenus avec des n-grammes de caractères sur la tâche
1. La distance de Bray Curtis offre là encore des résultats plus stables même si le meilleur résultat
est obtenu avec la distance cosinus. Nous avons tout de même choisi de conserver les configurations
optimales que nous avions identifié pour la tâche 2 afin de limiter l'aspect *fine tuning* des valeurs
*N*<sub>min</sub> et *N*<sub>max</sub>. Les configurations choisies sont présentées dans le tableau 4.

Le run3 est un classifieur SVM à noyau RBF qui utilise comme caractéristiques pour chaque phrase
à apperir les résultats de tous les systèmes utilisant les distances Bray Curtis et Cosinus, systèmes qui
étaient apparus comme les plus complémentaires. Ce système de vote a obtenu des résultats suivants
en validation croisée (10 strates) sur le jeu d'entraînement : 0,99 de MAP en moyenne sur la tâche 2,
et 0,73 d'EDRM en moyenne sur la tâche 1.

<footnote n="2">2. Anything we can do with words we ought to be able to do with substrings"</footnote>

<footnote n="3">3. Nous n'avons a pas exploré la normalisation des autres distances du fait que leurs résultats sur la tâche 2 étaient significativement moins bons</footnote>
<figure><img src="image_13.png" /><figcaption>(a) Indice de Jaccard</figcaption></figure>

<figure><img src="image_14.png" /><figcaption>(b) Coefficient de Dice</figcaption></figure>

<figure><img src="image_15.png" /><figcaption>(c) Distance cosinus</figcaption></figure>

<figure><img src="image_16.png" /><figcaption>(d) Distance de Bray-Curtis</figcaption></figure>

<table><caption>FIGURE 1 – Tâche 2 : résultats (MAP) avec des n-grammes de caractères sur le jeu d’apprentissage</caption><thead><tr><th></th><th>Distance utilisée</th><th>Opérandes utilisées</th><th>Tâche1</th><th>Tâche 2</th></tr></thead><tbody><tr><td>run1</td><td>Cosinus</td><td>n-grams de 3 à 5</td><td>min(dist)</td><td>int(5*Sim)</td></tr><tr><td>run2</td><td>Bray-Curtis</td><td>n-grams de 1 à 10</td><td>min(dist)</td><td>int(5*Sim)</td></tr><tr><td>run3</td><td>Cosinus+Bray-Curtis(bagging)</td><td>Toutes</td><td>SVM radial</td><td>SVM radial</td></tr></tbody></table>

<caption>TABLE 4 – Configuration des runs soumis</caption>
<figure><img src="image_17.png" /><figcaption>(a) Indice de Jaccard</figcaption></figure>

<figure><img src="image_18.png" /><figcaption>(b) Coefficient de Dice</figcaption></figure>

<figure><img src="image_19.png" /><figcaption>(c) Distance cosinus</figcaption></figure>

<figure><img src="image_20.png" /><figcaption>(d) Distance de Bray-Curtis</figcaption></figure>

FIGURE 2 – Tâche 1 : résultats (EDRM) avec des n-grammes de caractères sur le jeu d’apprentissage
# 4 Résultats et Discussion

## 4.1 Résultats officiels

Les tableaux 5 et 6 présentent nos résultats officiels sur les tâches 1 et 2. Les méthodes que nous avons proposé ont été moins performantes sur la tâche 1, avec un run1 et un run2 en dessous ou au niveau de la moyenne. Mais, le système de vote (run3) a offert une valeur ajoutée très importante à nos résultats sur cette tâche, +10pp. par rapport au run1. Ce gain est plus grande que celui que nous avions observé sur le jeu de données d'entraînement. Sur la tâche 2, nos résultats sont globalement meilleurs, entre la médiane et le maximum des résultats soumis. Il est à noter que nos trois run ont donné un score strictement égal bien que les fichiers de résultats soient différents.

<table><caption>TABLE 5 – Évaluation officielle de nos trois runs sur la tâche 1 (EDRM) et comparaison avec le minimum, le maximum et la médiane (moyenne des soumissions : 0,762)</caption><tr><td>minimum : 0,653</td><td>médiane : 0,795</td><td>maximum : 0,822</td></tr><tr><td>run1 : 0,709</td><td>run2 : 0,673</td><td>run3 : 0,815</td></tr></table>

<table><caption>TABLE 6 – Évaluation officielle de nos trois runs sur la tâche 1 (MAP) et comparaison avec le minimum, le maximum et la médiane (moyenne des soumissions : 0,9822)</caption><tr><td>minimum : 0,9396</td><td>médiane : 0,9868</td><td>maximum : 0,9906</td></tr><tr><td>run1 : 0,9887</td><td>run2 : 0,9887</td><td>run3 : 0,9887</td></tr></table>

## 4.2 Variation des résultats sur les données de test

La figure 3 montre les résultats obtenus sur le jeu de test de la tâche 2 en faisant varier les mesures de similarité ainsi que la taille des n-grammes de caractères. Nous pouvons observer que les résultats sont très stables. Le score obtenu par nos 3 runs (0,9887) étant trouvé avec de nombreuses configurations ce qui correspond à 524 bons résultats sur 530. Plusieurs configurations amènent un résultat de 0,9906 ce qui correspond au meilleur système répertorié (1 instance bien appariée de plus que ce que nous avons soumis). Enfin, nous avons plusieurs cas avec la distance de Bray Curtis où nous obtenons un score meilleur de 0,9925 ce qui correspond à 526 bons résultats.

Sur la tâche 1, les méthodes run1 et run2 se sont avérées éloignées des meilleurs résultats. De fait, les variations sur les mesures de similarité ou la taille des n-grammes de caractères n'apportaient qu'un bénéfice somme toute relatif comme nous le montrons dans la figure 4. Les résultats plafonnent autour de 0,72 d'EDRM avec une pointe à 0,7294 avec le coefficient de Dice et des N-grammes de taille 4 à 5. Il apparaît que ces différentes variations étaient assez complémentaires ce qui explique pourquoi le système de bagging utilisé pour le run3 a pu apporter 10 points de pourcentage de mieux que le meilleur système soumis (run1 et 8 points de mieux que le meilleur résultat enregistré (coefficient de Dice et des N-grammes de taille 4 à 5).
<figure><img src="image_21.png" /><figcaption>(a) Indice de Jaccard</figcaption></figure>

<figure><img src="image_22.png" /><figcaption>(b) Coefficient de Dice</figcaption></figure>

<figure><img src="image_23.png" /><figcaption>(c) Distance cosinus</figcaption></figure>

<figure><img src="image_24.png" /><figcaption>(d) Distance de Bray-Curtis</figcaption></figure>

<caption>FIGURE 3 – Tâche 2 : résultats (MAP) avec des n-grammes de caractères sur le jeu de test</caption>
<figure><img src="image_25.png" /><figcaption>FIGURE 4 – Tâche 1 : résultats (EDRM) avec des n-grammes de caractères sur le jeu de test</figcaption></figure>

## 4.3 Discussion

Les résultats que nous avons présenté montrent l’intérêt de s’intéresser à optimiser des solutions simples de type *baseline*. eN effet, il peut suffire de modifier des paramètres simples pour faire progresser les résultats jusqu’à des niveaux qui apparaissent comme compétitifs vis-à-vis d’approches plus complexes. En particulier, l’utilisation de représentations en n-grammes de caractères plutôt qu’en mots présente l’avantage de diversifier, si l’on ne souhaite pas utiliser le terme « enrichir », à moindre coût la représentation et donc de la rendre plus à même de modéliser finement les relations entre les segments comparés. Ceci est d’autant plus important que les segments sont courts. Il semble évident que dans le cas de ces deux tâches de similarité, la relative stabilité du vocabulaire utilisé était sans doute favorable à une approche en chaînes de caractères. Cette approche permet notamment de capturer des racines et donc de détecter des familles de mots par exemple. Au contraire, quand des éléments censés être proches sémantiquement parlant ne partagent pas une grande proximité formelle, l’approche serait sans doute trop frustre.
Références

BRAY J. R. & CURTIS J. T. (1957). An ordination of the upland forest communities of southern
wisconsin. *Ecological Monographs*, **27**(4), 325–349.

CARDON R., GRABAR N., GROUIN C. & HAMON T. (2020). Présentation de la campagne d'évaluation DEFT 2020 : similarité textuelle en domaine ouvert et extraction d'information précise dans des cas cliniques. In *Actes de DEFT 2020 (TALN 2020)*, p. 3–14.

CLAVEAU V. (2012). Vectorisation, Okapi et calcul de similarité pour le TAL : pour oublier enfin le TF-IDF. In *TALN - Traitement Automatique des Langues Naturelles*, p. z-, Grenoble, France.

GABAY S., RIGUET M. & BARRAULT L. (2019). A Workflow For On The Fly Normalisation Of 17th c. French. In *DH2019*, Utrecht, Netherlands : ADHO.

GRABAR N., GROUIN C., HAMON T. & CLAVEAU V. (2019). Information Retrieval and Information Extraction from Clinical Cases. Presentation of the DEFT 2019 Challenge. In *DEFT 2019 - Défi fouille de texte*, p. 1–10, Toulouse, France.

HUANG A. (2008). Similarity measures for text document clustering. In *Proceedings of the Sixth New Zealand Computer Science Research Student Conference (NZCSRSC2008)*, Christchurch, New Zealand, p. 49–56.

MEHDAD Y. & TETREAULT J. (2016). Do characters abuse more than words ? In *Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue*, p. 299–303, Los Angeles : Association for Computational Linguistics.

MORENO J. G. & DIAS G. (2014). Easy Web Search Results Clustering : When Baselines Can Reach State-of-the-Art Algorithms. In *14th Conference of the European Chapter of the Association for Computational Linguistics*, Gotenburg, Sweden.

NEBHI K., BONTCHEVA K. & GORRELL G. (2015). Restoring capitalization in #tweets. In *Proceedings of the 24th International Conference on World Wide Web*, WWW ’15 Companion, p. 1111–1115, New York, NY, USA : Association for Computing Machinery.

RENDLE S., ZHANG L. & KOREN Y. (2019). On the difficulty of evaluating baselines : A study on recommender systems. arXiv preprint : 1905.01395.

STRUBELL E., GANESH A. & MCCALLUM A. (2019). Energy and policy considerations for deep learning in NLP. CoRR, abs/1906.02243.

UMEMURA K. & CHURCH K. (2009). Substring statistics. In *Proceedings of the 10th International Conference on Computational Linguistics and Intelligent Text Processing*, CICLing ’09, p. 53–71, Berlin, Heidelberg : Springer-Verlag.
# Participation d'EDF R&D à DEFT 2020

Danrun Cao<fnref n="1" />, Alexandra Benamar, Manel Boumghar, Meryl Bothua, Lydia Ould-Ouali, Philippe Suignard

EDF R&D, 7 boulevard Gaspard Monge, 91120 Palaiseau

prenom.nom@edf.fr

## RESUME

Ce papier décrit la participation d'EDF R&D à la campagne d'évaluation DEFT 2020. Notre équipe a participé aux trois tâchés proposées : deux tâches sur le calcul de similarité sémantique entre phrases et une tâche sur l'extraction d'information fine autour d'une douzaine de catégories. Aucune donnée supplémentaire, autre que les données d'apprentissage, n'a été utilisée. Notre équipe obtient des scores au-dessus de la moyenne pour les tâches 1 et 2 et se classe 2e sur la tâche 1. Les méthodes proposées sont facilement transposables à d'autres cas d'application de détection de similarité qui peuvent concerner plusieurs entités du groupe EDF. Notre participation à la tâche 3 nous a permis de tester les avantages et limites de l'outil SpaCy sur l'extraction d'information.

## ABSTRACT

This paper describes the participation of EDF R&D at DEFT 2020 evaluation campaign. Our team participated in the three proposed tasks: two of them on Semantic Similarity Detection and one on Information Extraction in Clinical Cases. No additional data other than the training data was used. Our team gets above average results for the first and the second task and got the second place on the second task. The proposed methods are easily transferable to other Semantic Similarity Detection use cases and may interest several entities of the EDF group.

**MOTS-CLES** : données cliniques, détection de similarité sémantique, Word2Vec, graphes sémantiques, extraction d'information.

**KEYWORDS:** clinical data, Semantic Similarity Detection, Information Extraction, Word2Vec, semantic graphs.

## 1 Introduction

Dans la continuité de DEFT 2019, l'édition 2020 du défi fouille de textes (Cardon, 2020) continue d'explorer les cas cliniques rédigés en français. Cette nouvelle édition porte sur l'extraction

<figure><img src="image_26.png" /></figure>

<footnote n="1">¹ Contribution égale de tous auteurs, listés par ordre alphabétique</footnote>
d'information fine autour d'une douzaine de catégories. En dehors du domaine clinique, deux tâches sont proposées sur le calcul de similarité sémantique entre phrases. Plusieurs éléments nous ont motivés à participer à cette édition du défi. Participer à DEFT est l'occasion :

- de tester plusieurs méthodes de calcul de similarité dont les résultats contribuent directement à EDF Commerce et à d'autres entités du groupe EDF (tâches 1 et 2).

- d'évaluer des outils d'extraction d'entités nommées, comme SpaCy, même si ce travail est réalisé sur des données différentes des données EDF, comme ici avec des données médicales (tâche 3).

# 2 Description des tâches et méthodes utilisées

## 2.1 Tâche 1 : « Identifier le degré de similarité entre paires de phrases parallèles et non-parallèles sur plusieurs domaines »

### 2.1.1 Présentation

La tâche 1 consiste à déterminer le niveau de similarité entre paires de phrases, sur une échelle allant de 0 à 5 :

- 5 : Les deux phrases sont complètement équivalentes, car elles veulent dire la même chose ;

- 4 : Les deux phrases sont pour la plupart équivalentes, mais certains détails sans importance diffèrent ;

- 3 : Les deux phrases sont à peu près équivalentes, mais certaines informations importantes diffèrent ou manquent ;

- 2 : Les deux phrases ne sont pas équivalentes, mais partagent quelques détails ;

- 1 : Les deux phrases ne sont pas équivalentes, mais portent sur le même sujet ;

- 0 : Les deux phrases sont complètement différentes.

Exemple, avec une similarité de 4 entre les deux phrases suivantes :

- En l'absence d'amélioration comme en cas de persistance des symptômes, prendre un avis médical.

- En l'absence d'amélioration comme en cas de persistance des symptômes au-delà de 7 jours de traitement, prenez un avis médical.

La difficulté de la tâche consiste à affecter une note de manière absolue. Pour résoudre cette difficulté, les méthodes que nous proposons reposent toutes sur un apprentissage, puisqu'un jeu de données de 600 paires de phrases était fourni et annoté. Nos méthodes consistent à extraire des *features* pour ces différentes phrases, à calculer des similarités ou distances entre les paires de phrases, puis à entraîner un classifieur.
### 2.1.2 Run 1 : Dice + RL

Les différentes étapes sont les suivantes, pour une paire de phrases donnée :

- Suppression de la ponctuation et des mots faisant partie d'une stop-liste ;

- Troncature des mots à 6 caractères : « biberon » et « biberons » sont transformés en « bibero » ;

- Pour chaque phrase, ne sont gardés que les mots uniques ;

- Calcul des « features » ou descripteurs suivants :

1. Sorensen-Dice (Dice, 1945) : 2 fois le nombre de mots en commun divisé par la somme des nombres de mots de chaque phrase.

$$sim = \frac{2 * |X \cap Y|}{|X| + |Y|}$$

2. Le nombre de mots en commun entre les deux phrases

3. Le nombre de mots de la phrase 1

4. Le nombre de mots de la phrase 2

5. L'écart = nombre de mots de la phrase 1 - nombre de mots de la phrase 2

6. La valeur absolue de l'écart précédent

7. La distance de Levenshtein entre les deux phrases

Les descripteurs ont été calculés pour chaque paire du corpus d'apprentissage puis convertis au format ARFF pour être utilisées au sein du logiciel WEKA (Hall, 2009). Deux classificateurs ont été testés : « Régression Logistique » et « Random Forest ». La régression logistique obtenait les meilleurs résultats sur le corpus d'apprentissage, c'est donc cette méthode qui a été utilisée pour la phase de test.

### 2.1.3 Run 2 : Graphes sémantiques + RL

Dans cette méthode, nous nous appuyons sur des graphes sémantiques obtenus à partir d'arbres syntaxiques dont nous éliminons les informations jugées non pertinentes. Ensuite pour chaque paire de phrases, nous alignons les graphes sémantiques et extrayons des features. Ces features constituent notre entrée pour l'entraînement d'un classificateur, en l'occurrence une Régression Logistique.

#### 2.1.3.1 Graphes sémantiques

L'analyse syntaxique est effectuée avec le schéma d'annotation UD (Nivre et al.,2016) du logiciel Talismane (Urieli, 2013). Les arbres syntaxiques sont décrits sous le format CoNLL. Ces arbres sont ensuite simplifiés afin d'éliminer les éléments grammaticaux. À l'issu de cette étape de simplification, nous obtenons un graphe sémantique. Les critères de simplifications des arbres syntaxiques sont :

- Suppression de la ponctuation.

- Suppression des mots présents dans une « stop-liste ».

- Suppression de certaines catégories de mots : DET (déterminant), ADP (préposition), PRON (pronom), CCONJ (conjonction de coordination), ADP+DET (déterminant composé), PART et X (particule et partie de locution qui ne correspond à aucune catégorie traditionnelle).

- Suppression des nœuds ayant comme dépendance : det (déterminant), mark (mot introduisant une proposition de subordination), punct (ponctuation), cc (marqueur de
conjonction de coordination), case (préposition), fixed (structuré figée non grammaticale), reparandum (reformulation), discourse (mot de discours), cop (verbe copule), aux (verbe auxiliaire).

Si les nœuds supprimés ont des descendants, ces derniers sont rattachés à la racine du nœud supprimé.

### 2.1.3.2 Alignement de graphes

L'alignement des graphes se fait au niveau des nœuds afin de trouver les termes similaires entre les phrases sources et les phrases cibles : nous produisons une matrice de distance d'édition entre les mots au sein de deux phrases et nous appliquons l'algorithme hongrois pour trouver le meilleur alignement entre les arbres syntaxiques simplifiés. La distance d'édition entre les mots est définie par leur distance cosinus, calculée avec un modèle word2vec pré-entraîné par Jean-Philippe Fauconnier<fnref n="2" />. En cas de mots hors vocabulaire, nous comparons les lemmes : s'il s'agit du même lemme, la distance minimum (=0) est attribuée, sinon la distance maximum (=2). Comme les deux phrases n'ont souvent pas la même longueur, nous insérons des nœuds vides pour assurer que chaque mot ait un match. Tout match avec un nœud vide reçoit la distance maximum (=2). Concernant les types de match entre nœuds, il en existe trois : le match exact où il s'agit du même mot, le match loose où deux mots différents sont alignés et le match dummy où l'un des nœuds alignés est un nœud vide.

Les arêtes sont représentées par les nœuds qu'elles relient. Pour chaque arête source, nous cherchons les nœuds cibles qui correspondent aux nœuds sources en question. Le match de l'arête source est donc le chemin le plus court qui relie les nœuds cibles trouvés. Ce match ne correspond donc pas forcément à une arête réelle dans le graphe, il peut en nécessiter plusieurs. La distance d'édition de ce match est calculée ainsi :

$$DE[(a1, b1) \to (a2, b2)] = (|DE[a1 \to b1]| + |DE[a2 \to b2]|) \times Nb\text{Arêtes}$$

Il existe également trois types de match entre arêtes : le match exact où une seule arête cible est nécessaire, le match loose où plusieurs arêtes cibles sont nécessaires et le match dummy où l'un des nœuds cibles est un nœud vide.

### 2.1.3.3 Extraction de features et entraînement

Nous avons défini trois grandes familles de features ci-dessous que nous avons extraites :

1. Au niveau de phrase entière :

- Différence de nombre de mots,

- Distance Damerau-Levenshtein de deux phrases au niveau du caractère,

- Distance Damerau-Levenshtein de deux phrases au niveau du mot.

2. Au niveau de mot/nœud de graphe :

- Distance d'édition (DE) absolue : la somme d'DE des matches de nœuds

- Distance d'édition relative : DE absolue/DE maximum (toutes les DE à maximum)

<footnote n="2">² http://fauconnier.github.io/</footnote>
- Nombre et pourcentage de *matches exact*

- Nombre et pourcentage de *matches loose*

- Nombre et pourcentage de *matches dummy*

3. Au niveau dépendance/arête de graphes :

- Différence entre le nombre d'arêtes

- Nombre et pourcentage de *matches exact*

- Nombre et pourcentage de *matches loose*

- Nombre et pourcentage de *matches dummy*

- Distance d'édition absolue : la somme d'DE des matches d'arêtes

- Distance d'édition relative : DE absolue/DE maximum (toutes les DE à maximum)

Nous obtenons donc un total de 20 *features*. Plusieurs classificateurs ont été testés également : Régression Logistique et Random forest. Si les deux classificateurs renvoient des résultats similaires, la régression logistique est plus stable. Nous avons donc retenu cette dernière.

### 2.1.4 Run 3 : Features + RL

Les différentes étapes pour ce run pour une paire de phrase donnée, sont les suivantes :

- Suppression de la ponctuation, des espaces multiples et des mots faisant partie d'une stop-liste.

- Calcul des *features* ou descripteurs suivants (Cardon, 2018) :

1. Le nombre de mots en commun entre les deux phrases ;

2. Le pourcentage de mots de la phrase 1 inclus dans la phrase 2 ;

3. La différence de la longueur des deux phrases ;

4. La différence de la longueur moyenne des mots entre les deux phrases ;

5. Le nombre des *n*-grams en commun entre les deux phrases. Nous avons calculé les *bi-grams*, *tri-grams* et *n-grams* de longueur 4 ;

6. La distance de Levenshtein entre les deux phrases ;

7. La distance de Jaccard entre les deux phrases ;

8. La distance sémantique (Word Mover Distance) entre les deux phrases.

Les descripteurs ont été calculés pour chaque paire de phrases au niveau du mot sauf la distance de Levenshtein qui a été calculée au niveau des caractères et au niveau des mots.

Deux classificateurs ont été testés à savoir « Régression Logistique » et « Random Forest ». La régression logistique obtenait les meilleurs résultats sur le corpus d'apprentissage car plus stable, c'est donc cette méthode qui a été retenue pour la phase de test.
### 2.1.5 Résultats

<table><caption>Table 1 : résultats de la tâche 1</caption><thead><tr><td>Méthode</td><td>Evaluation en EDRM</td></tr></thead><tbody><tr><td>Maximum</td><td>0,8217</td></tr><tr><td>Run 1 : Dice + RL</td><td>0,8198</td></tr><tr><td>Run 3 : Features + RL</td><td>0,8069</td></tr><tr><td>Run 2 : Graphes sémantiques + RL</td><td>0,8018</td></tr><tr><td>Médiane</td><td>0,7947</td></tr><tr><td>Moyenne</td><td>0,7617</td></tr><tr><td>Minimum</td><td>0,6533</td></tr></tbody></table>

Les résultats de nos trois *run* se trouvent tous au-dessus de la moyenne. Notre premier *run* est très proche du meilleur résultat obtenu (0,0019 d'écart). Nous avons observé dans les sorties que les différences entre les valeurs 0 et 1 ainsi qu'entre les valeurs 4 et 5 sont parfois difficiles à appréhender, même pour un humain. En voici un exemple :

- « Boris Godounov meurt, subitement, le 13 avril 1605 à Moscou : on parla alors d'empoisonnement ou de suicide. »

- « Boris Godounov est un monarque russe qui régna de 1598 jusqu'à sa mort en 1605 sur la Russie. »

La note à prévoir ici était 0 (note pour deux phrases complètement différentes), alors qu'elles parlent de Boris Godounov. La note aurait pu être 1 (note pour deux phrases ne sont pas équivalentes, mais qui portent sur le même sujet), le sujet étant la mort de B. Godounov.

## 2.2 Tâche 2 : « identifier les phrases parallèles possible pour une phrase source »

### 2.2.1 Présentation

La tâche 2 est une tâche d'appariement entre une phrase source et trois phrases cibles. L'objectif consiste à trouver quelle phrase, parmi les trois phrases cibles, est la plus proche de la phrase source. Exemple : la phrase la plus proche de la phrase source est la phrase cible n°2 :

- Source : « compte tenu des données disponibles, l'utilisation chez la femme enceinte ou qui allaite est possible ponctuellement » ;

- Cible 1 : « ce médicament est un laxatif utilisé par voie orale » ;

- Cible 2 : « ce médicament, dans les conditions normales d'utilisation, peut être utilisé ponctuellement pendant la grossesse et l'allaitement » ;

- Cible 3 : « boîte de 1 flacon de 250 ml ou 500 ml ».

Nous proposons deux méthodes différentes, l'une basée sur un calcul de similarité de type Dice et l'autre sur des embeddings de documents.
### 2.2.2 Run 1 : Dice

La première méthode est similaire à la méthode 1 de la tâche 1. Elle consiste à éliminer les mots faisant partie d'une stop-liste, à garder les mots uniques puis à calculer le coefficient dice-sorensen entre la phrase source et les trois phrases cibles, puis à choisir la phrase qui maximise cette similarité.

### 2.2.3 Run 2 : USE

Cette méthode est basée sur une représentation vectorielle des phrases calculée à l'aide de USE (Universal Sentence Encoder) (CER et al., 2018), puis à calculer une similarité cosinus entre la phrase source et les 3 phrases cibles puis à choisir la phrase qui maximise cette similarité. Pour cette tâche, aucun prétraitement n'a été effectué. Le modèle encodeur de USE utilisé est « Universal Sentence Encoder Multilingual module », proposé par Google en 2019, appris sur 16 langues dont le français.

### 2.2.4 Résultats

<table><caption>Table 2 : résultats de la tâche 2</caption><thead><tr><td>Méthode</td><td>Evaluation en MAP</td><td>Nb d'erreurs</td></tr></thead><tbody><tr><td>Maximum</td><td>0,9906</td><td>5</td></tr><tr><td>Médiane</td><td>0,9868</td><td></td></tr><tr><td>Run 2 : USE</td><td>0,9867</td><td>7</td></tr><tr><td>Run 1 : Dice + RL</td><td>0,9830</td><td>9</td></tr><tr><td>Moyenne</td><td>0,9822</td><td></td></tr><tr><td>Minimum</td><td>0,9396</td><td>32</td></tr></tbody></table>

Les résultats de nos deux *run* se trouvent au-dessus de la moyenne. Notre deuxième *run* est très proche du meilleur résultat obtenu (0,0039d'écart) ainsi que le premier (0,0076). Le gagnant a commis 5 erreurs, notre *run* 2 7 et notre *run* 1 9 erreurs. Ces différences sont facilement explicables. Par exemple, la méthode du *run* 1 se trompe sur la phrase « les stéroïdes oraux sont le traitement standard » en lui affectant la cible « les effets indésirables les plus courants associés aux stéroïdes oraux sont la prise de poids et l'augmentation de la pression artérielle » au lieu de « les corticostéroïdes par voie orale sont le traitement le plus courant ». Cela s'explique par les différences entre les mots employés : « corticostéroïde »s au lieu de « stéroïdes », voie « orale » au lieu de « oraux » et « courant » au lieu de « standard ». La méthode du *run* 1 se trompe s'il y a plusieurs synonymes ou expressions légèrement différentes entre la source et la bonne cible.

## 2.3 Tâche 3 : « extraction d'information »

La tâche 3 est une tâche d'extraction d'information. Elle consiste à repérer, dans les cas cliniques, les informations fines autour d'une dizaine de catégories. Quatre domaines sont couverts :

- autour des patients : anatomies ;

- autour de la pratique clinique : examen, pathologie, signe ou symptôme ;
- autour des traitements médicamenteux et chirurgicaux : substance, dose, durée, fréquence, mode d'administration, traitement (chirurgical ou médical), valeur ;

- autour du temps : date, moment.

### 2.3.1 Run 1 : Spacy

Nous avons adopté des approches symboliques pour extraire les informations recherchées. Nous avons ainsi utilisé la bibliothèque python SpaCy<fnref n="3" />, et plus précisément ses composants de reconnaissance d'entités nommées personnalisées. Bien que l'outil propose de nombreuses fonctionnalités intéressantes, une contrainte importante est que chaque *token* ne peut correspondre qu'à un seul type d'entité nommée. Ceci a été problématique pour les syntagmes complexes, notamment pour les catégories « pathologie » et « sosy ». Nous avons tout de même essayé de repérer des « pathologies », mais aucune prédiction n'a été faite pour « sosy ». Concernant les catégories restantes, nous décrivons ci-dessous les règles développées.

#### 2.3.1.1 Règles lexicales

Il s'agit des règles basées sur des lexiques spécifiques. Ces règles permettent de récupérer les termes n'ayant pas ou peu de variations. Nous avons utilisé ce type de règles pour les catégories « substance », « état », « prise », « changement », « norme », « assertion ». Les lexiques sont la plupart extraits du corpus d'entraînement, à l'exception de « substance » pour lequel nous avons introduit une liste de spécialités pharmaceutiques et leurs compositions provenant du site officiel de l'ANSM<fnref n="4" />.

#### 2.3.1.2 Règles à la base des patterns morphologiques

Certaines catégories, telles que « date », « dose », « mode » et « fréquence », se caractérisent par un nombre limité de structures récurrentes. Grâce à SpaCy, nous avons pu implémenter les règles permettant de reconnaître ces structures, et ce sous plusieurs formes. Il s'agit des patrons morphosyntaxiques, des expressions régulières, des règles décrivant les caractéristiques morphologiques de *token*, et finalement des combinaisons de *token* et de sous-*token*.

#### 2.3.1.3 Règles à la base de l'analyse syntaxique

La plupart des expressions à repérer sont des syntagmes nominaux. Dans un arbre syntaxique, un tel syntagme se présente sous forme du sous arbre d'un mot clé. Nous élaborons donc une liste de mots clés à partir du corpus d'entraînement. L'analyse syntaxique se fait avec SpaCy et nous récupérons les sous arbres contenant ces mots clés. Ces sous arbres sont ensuite nettoyés afin d'éliminer les branches redondantes. Ce nettoyage est effectué à l'aide des filtres lexicaux et morphosyntaxiques. Finalement, ces arbres nettoyés constituent nos prédictions. Le plus grand avantage de ce type de règle est sa flexibilité. Ceci est surtout utile pour les catégories qui n'ont pas ou peu de contraintes morphologiques. Au lieu de récupérer un nombre défini de modifieurs d'un tel mot clé, nous pouvons

<footnote n="3">³ https://spacy.io/</footnote>

<footnote n="4">⁴ http://agence-prd.ansm.sante.fr</footnote>
prendre tous les modifieurs qui y sont attachés, puis enlever ceux qui ne sont pas pertinents. Ainsi nous évitons d'élaborer les règles trop précises seulement pour repérer quelques structures rares.

### 2.3.2 Résultats

<table><caption>Table 3: résultats de la sous tâche 1</caption><thead><tr><th></th><th>TP</th><th>FP</th><th>FN</th><th>Precision</th><th>Recall</th><th>F1</th></tr></thead><tbody><tr><td>pathologie</td><td>61</td><td>386</td><td>105</td><td>0,1365</td><td>0,3675</td><td>0,1990</td></tr><tr><td>sosy</td><td>0</td><td>0</td><td>1279</td><td>0,0000</td><td>0,0000</td><td>0,0000</td></tr><tr><td>Overall</td><td>61</td><td>386</td><td>1384</td><td>0,1365</td><td>0,0422</td><td>0,0645</td></tr></tbody></table>

<table><caption>Table 4 : résultats de la sous tâche 2</caption><thead><tr><th></th><th>TP</th><th>FP</th><th>FN</th><th>Precision</th><th>Recall</th><th>F1</th></tr></thead><tbody><tr><td>anatomie</td><td>238</td><td>537</td><td>883</td><td>0,3071</td><td>0,2123</td><td>0,2511</td></tr><tr><td>dose</td><td>19</td><td>62</td><td>33</td><td>0,2346</td><td>0,3654</td><td>0,2857</td></tr><tr><td>examen</td><td>368</td><td>397</td><td>449</td><td>0,4810</td><td>0,4504</td><td>0,4652</td></tr><tr><td>mode</td><td>34</td><td>31</td><td>55</td><td>0,5231</td><td>0,3820</td><td>0,4416</td></tr><tr><td>moment</td><td>36</td><td>73</td><td>129</td><td>0,3303</td><td>0,2182</td><td>0,2628</td></tr><tr><td>substance</td><td>93</td><td>25</td><td>220</td><td>0,7881</td><td>0,2971</td><td>0,4316</td></tr><tr><td>traitement</td><td>88</td><td>247</td><td>216</td><td>0,2627</td><td>0,2895</td><td>0,2754</td></tr><tr><td>valeur</td><td>159</td><td>89</td><td>273</td><td>0,6411</td><td>0,3681</td><td>0,4676</td></tr><tr><td>Overall</td><td>1035</td><td>1461</td><td>2258</td><td>0,4147</td><td>0,3143</td><td>0,3576</td></tr></tbody></table>

Les erreurs proviennent principalement des catégories « anatomie » et « examen », ce qui correspond à la contrainte de non chevauchement d'entités de SpaCy. Il est attendu que les termes anatomiques soient présents dans les syntagmes « examen » « traitement » et « pathologie », alors que ce genre d'annotations est difficile à gérer avec SpaCy.

Par ailleurs, un type d'erreurs fréquent est la frontière des syntagmes récupérés avec les règles syntaxiques. Elles permettent de trouver les syntagmes les plus longs, cependant ce n'est pas toujours ce qui est demandé. Par exemple, les adjectifs suivants un mot clé sont gardés, mais avec peu de contrôle du vocabulaire. Il est possible que les adjectifs « non médicaux » soient pris en compte. De plus, nous utilisons des filtres lexicaux et morphosyntaxiques pour nettoyer les sous arbres. Les erreurs de parsing morphosyntaxique peuvent donc également conduire à un mauvais découpage de syntagme.
# 3 Conclusion

Participer à la campagne DEFT 2020, nous a permis de tester plusieurs méthodes de calcul de similarité dont les résultats prometteurs pourront être utilisés directement à EDF Commerce et à d'autres entités du groupe EDF (tâches 1 et 2). Nous travaillons également régulièrement sur l'évaluation des outils d'extraction d'entités nommées, comme SpaCy. Les données médicales du défi, bien que différentes de nos données métiers, sont pour nous l'occasion d'évaluer ces outils, de connaître leurs avantages mais également leurs limites.

# Références

CARDON R, GRABAR N. Identification of parallel sentences in comparable monolingual corpora from different registers. In: *Proceedings of the Ninth International Workshop on Health Text Mining and Information Analysis*. 2018. p. 83-93

CARDON R, GRABAR N, GROUIN C, HAMON T (2020). Présentation de la campagne d'évaluation DEFT 2020 : similarité textuelle en domaine ouvert et extraction d'information précise dans des cas cliniques. In: *Actes de DEFT*.

CER, D, YANG, YINFEI, KONG, SHENG-YI, ET AL. Universal sentence encoder. arXiv preprint arXiv:1803.11175, 2018.

DICE, L. R. (1945). Measures of the amount of ecologic association between species. Ecology, 26(3), 297-302.

HALL, M., FRANK, E., HOLMES, G., PFAHRINGER, B., REUTEMANN, P., & WITTEN, I. H. (2009). The WEKA data mining software: an update. *ACM SIGKDD explorations newsletter*, 11(1), 10-18.

NIVRE, J., DE MARNEFFE, M. C., GINTER, F., GOLDBERG, Y., HAJIC, J., MANNING, C. D., ... & TSARFATY, R. (2016, May). Universal dependencies v1: A multilingual treebank collection. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16)* (pp. 1659-1666).

URIELI, A. (2013). *Robust French syntax analysis: reconciling statistical methods and linguistic knowledge in the Talismane toolkit* (Doctoral dissertation).
# Contextualized French Language Models for Biomedical Named Entity Recognition

Jenny Copara*¹,²,³ Julien Knafou*¹,² Nona Naderi¹,² Claudia Moro⁴ Patrick Ruch¹,² Douglas Teodoro¹,²

(1) University of Applied Sciences and Arts of Western Switzerland, Rue de la Tambourine 17, 1227, Geneva, Switzerland

(2) Swiss Institute of Bioinformatics, Rue Michel-Servet 1, Geneva, Switzerland

(3) University of Geneva, Rue du Général-Dufour 24, 1211, Geneva, Switzerland

(4) Pontifical Catholic University of Paraná, Rua Imaculada Conceição 1155, 80215-901, Curitiba, Brazil
{jenny.copara,julien.knafou}@hesge.ch,
{nona.naderi,patrick.ruch,douglas.teodoro}@hesge.ch, c.moro@pucpr.br

## RÉSUMÉ

### Modèles contextualisés en langue française pour la reconnaissance des entités nommées dans le domaine biomédical

La reconnaissance des entités nommées (NER) est essentielle pour les applications biomédicales car elle permet la découverte de connaissances dans des données en texte libre. Comme les entités sont des phrases sémantiques, leur signification est conditionnée par le contexte pour éviter toute ambiguïté. Dans ce travail, nous explorons les modèles de langage contextualisés pour la NER dans les textes biomédicaux français dans le cadre du Défi Fouille de Textes. Notre meilleure approche a obtenu une mesure F1 de 66% pour les symptômes et les signes, et les catégories de pathologie, en étant dans le top 1 pour la sous-tâche 1. Pour les catégories anatomie, dose, examen, mode, moment, substance, traitement et valeur, elle a obtenu une mesure F1 de 75% (sous-tâche 2). Si l'on considère toutes les catégories, notre modèle a obtenu le meilleur résultat dans le cadre de ce défi, avec une mesure F1 de 72%. L'utilisation d'un ensemble de modèles de langages neuronaux s'est révélée très efficace, améliorant une base de référence du CRF de 28% et un modèle de langage spécialisé unique de 4%.

## ABSTRACT

Named entity recognition (NER) is key for biomedical applications as it allows knowledge discovery in free text data. As entities are semantic phrases, their meaning is conditioned to the context to avoid ambiguity. In this work, we explore contextualized language models for NER in French biomedical text as part of the Défi Fouille de Textes challenge. Our best approach achieved an F₁-measure of 66% for symptoms and signs, and pathology categories, being top 1 for subtask 1. For anatomy, dose, exam, mode, moment, substance, treatment, and value categories, it achieved an F₁-measure of 75% (subtask 2). If considered all categories, our model achieved the best result in the challenge, with an F₁-measure of 72%. The use of an ensemble of neural language models proved to be very effective, improving a CRF baseline by up to 28% and a single specialised language model by 4%.

MOTS-CLÉS : reconnaissance d'entités nommées, encapsulation de mots contextualisés, CRF,

<figure><img src="image_27.png" /></figure>

<footnote>*. Authors JC and JK contributed equally to this work.</footnote>
# 1 Introduction

The large amount of raw text data available in the biomedical domain enables to leverage the wealth of the content. Combined with manually curated data, it allows the development of automatic techniques to unlock the value of the raw resources for supporting healthcare and advance science. In particular, information extraction methods enable the extraction of specific data types from text data (e.g., entities). Information extraction fosters several applications from tracking of technologies (Teodoro et al., 2010) in patents to clinical decision support (Liu et al., 2016), biocuration assistance (Liu et al., 2016; Teodoro et al., 2020), and healthcare-associated infections detection (Tvardik et al., 2018) in the biomedical domain. It has also important challenges associated with the application domain and the language in which the text is available. Indeed, information extraction systems for recognizing entities are mostly focused on English. However, it is widely recognised that it is crucial that research expands to other languages in the same scale (Dupont, 2017; Grabar et al., 2019).

Named entity recognition (NER) is a key part in information extraction systems. Named entities are phrases that contain names of persons, organizations, locations (Tjong Kim Sang & De Meulder, 2003) to name but a few examples. There are many studies for NER in French language, for instance in i) journalistic data (Dupont, 2017; Martin et al., 2020) with a set of entities like person, organization, company, location, point of interest, fiction character and product; and ii) recognizing entities in tweets (Sileo et al., 2017), including person, music artist, organisation, product and media, among others. In the biomedical domain, recognizing entities is mainly focused on semantic groups and concepts from Unified Medical Language System (UMLS) on The Quaero French Medical Corpus (Névéol et al., 2014). The Quaero corpus contains annotated French Medline (titles and abstracts) and European Medicines Agency (EMEA) documents (drug labels).

Community challenges, such as CLEF eHealth, have been evaluating specific information extraction tasks for the clinical domain (Sankhavara & Majumder, 2019). Erasmus MC, one of the CLEF eHealth top scorers, is a dictionary-based NER for French UMLS and translations for non-French terms, achieving 74.9% of F₁-measure for EMEA and 69.8% of F₁-measure for Medline corpus in semantic groups annotation (Van Mulligen et al., 2016). In Erasmus MC, semantics could be missed by the presence of compounded semantic groups or UMLS concepts. Similarly, SIFR annotator is a semantic annotator for French clinical narratives (Tchechmedjiev et al., 2018). It relies on Mgrep, a concept recognizer based on label matching and heuristics, and achieves 62.6% of F₁-measure in EMEA and 58.9% of F₁-measure in Medline for semantic groups. The tool is limited due to the lack of word disambiguator and scarce French ontologies concerning English ontologies.

Deep neural language models have been recently leveraged to improve NER methods (Lee et al., 2019). Deep neural language models are self-supervised models that take advantage of free text to learn word representations using their context (Turian et al., 2010). With the advent of low-dimensional representation models supported by deep neural networks, such as word2vec (Mikolov et al., 2013), the importance of word representations has become more evident. Further research has been taken to find out more accurate representations of words, such as in Global Vectors (GloVe) (Pennington et al., 2014), and to the more recent contextualized representations, like ELMo (Peters
et al., 2018), UMLFiT (Howard & Ruder, 2018), and BERT (Devlin et al., 2019). In particular, BERT is based on the transformers architecture, which uses an attention mechanism, via bidirectional pre-training from unlabeled text, conditioned in left and right contexts in all layers (Devlin et al., 2019). BioBERT (Lee et al., 2019), a BERT-based model trained on large-scale biomedical corpora has shown significant improvements in downstream tasks in the biomedical domain, including NER. Similarly, CamemBERT<fnref n="1" /> is a contextualized language model trained and optimized specifically for French language (Martin et al., 2020; Devlin et al., 2019) based on RoBERTa model (Liu et al., 2019).

In this paper, we investigate contextualized language models for French NER in clinical texts in the context of the Information Extraction task of the Défi Fouille de Textes (DEFT) challenge (Cardon et al., 2020). This task is divided in two subtasks, which aim to identify *anatomie* (anatomy), *dose*, *examen*, *mode*, *moment*, *pathologie* (pathology), *sosy* (symptoms and signs), *substance*, *traitement* and *valeur* (value) entities in clinical narratives. Inasmuch as each language has its own peculiarities, our hypothesis is that it is worth designing a specific language model for French clinical corpora. Thus, we explore a CamemBERT-based model pre-trained on a biomedical corpus and fine-tuned on the DEFT information extraction task data. We compare its performance with multilingual BERT, CamemBERT and an ensemble of language models. In the following sections, we describe the design and results of the experiments.

# 2 Methods

In this work, we explore two perspectives for NER : as information extraction and as word representation. For the first, named entities are considered as a sequence classification problem, for which we propose a baseline method using the conditional random fields (CRF) framework. For the latter, our methodology is based on different deep neural language models derived from the BERT architecture. These methods were used to extract named entities in subtask 1 - symptoms and signs, and pathology - and subtask 2 - anatomy, dose, exam, mode, moment, substance, treatment, and value of the DEFT Information extraction task.

## 2.1 Conditional Random Fields

We used a linear chain CRF sequence classifier as a baseline and relied on the implementation of CRFSuite<fnref n="2" />. This probabilistic graphical model considers correlations between the neighborhood of words in a sentence and its features, jointly with the corresponding labels. Such correlation allows this model to learn the labels in a sequence (Lafferty et al., 2001). In fact, linear chain CRF estimates the conditional probability of a label given a word sequence (Sutton, 2012). As shown in Table 1, our model relies on a set of NER standard features defined over a window of ±2 tokens (Guo et al., 2014; Copara et al., 2016), including the word itself, lower-cased word, capitalization pattern, prefixes, suffixes, among others. Additionally, we used language-based features, such as lower-casing the words in the text, checking if the current token is a measure unit and whether the current token contains a French character. It is worth noting that we have not used gazetteers extensively, just a short list of units.

<footnote n="1">1. https://camembert-model.fr/</footnote>

<footnote n="2">2. http://www.chokkan.org/software/crfsuite/</footnote>
<table><caption>TABLE 1 – Example of features for the sentence "Une première dose de 20 mg". *U → uppercase; L → lowercase; D → digit.</caption><thead><tr><th></th><th colspan="7">Feature</th></tr></thead><tbody><tr><th>word</th><td>Une</td><td>première</td><td>dose</td><td>de</td><td>20</td><td>mg</td></tr><tr><th>lowercase word</th><td>une</td><td>première</td><td>dose</td><td>de</td><td>20</td><td>mg</td></tr><tr><th>capitalization pattern</th><td>ULL</td><td>LLLLLLLL</td><td>LLLL</td><td>LL</td><td>DD</td><td>LL</td></tr><tr><th>type</th><td>InitUpper</td><td>AllLetter</td><td>AllLetter</td><td>AllLetter</td><td>AllDigit</td><td>AllLetter</td></tr><tr><th>prefixes</th><td>u, un, une</td><td>p, pr, pre</td><td>d, do, dos</td><td>d, de</td><td>2, 20</td><td>m, mg</td></tr><tr><th>suffixes</th><td>e, ne, une</td><td>e, re, ère</td><td>e, se, ose</td><td>e, de</td><td>0, 20</td><td>g, mg</td></tr><tr><th>unit</th><td>no</td><td>no</td><td>no</td><td>no</td><td>no</td><td>yes</td></tr><tr><th>french char</th><td>no</td><td>yes</td><td>no</td><td>no</td><td>no</td><td>no</td></tr></tbody></table>

In our CRF model each entity is associated with one label (as usually in NER) and when there are nested entities, we keep entities that encompass other and dismiss nested entities.

## 2.2 Transformers with a token classification on top

For this experiment, we selected five BERT-based language models. The first, bert-base-multilingual-cased (Devlin et al., 2019), is used as our transformer baseline as it was not trained specifically on a French corpus. The second and the third models, camembert-base and camembert-large, respectively, are based on the RoBERTa architecture (Liu et al., 2019), a BERT-based model with some changes ( tokenizer, training task, optimization, etc.) and trained on a large French corpus (Martin et al., 2020). Models 4 and 5, so called, camembert-bio-base and camembert-bio-large, respectively, are CamembERT-based models pre-trained on a french biomedical corpus containing 31k+ scientific publications extracted from PubMed. To further pre-train these models, we took CamembERT weights as a starting point. Then, using an Adam optimizer (Kingma & Ba, 2014), we minimized a masked-language modeling loss. We trained it using 512 tokens during 5 epochs with a learning rate of 5e-5 and batch size of 24³.

As RoBERTa models are based on the BERT architecture, all our base and large models share hyper-parameters. For the base models, we have 12 layers (L), with 768 hidden units (H) and 12 attention heads (A). For the large architecture versions, we have L=24, H=1024 and A=16. The multilingual BERT model<fnref n="4" /> uses WordPiece<fnref n="5" /> as a tokenizer whereas the CamembERT-based models use SentencePiece (Kudo & Richardson, 2018).<fnref n="6" /> The tokenizer's choice was driven by the original model's tokenizer. Indeed, as we were fine-tuning BERT or CamembERT models, we had to reuse the whole pipeline which includes the tokenizer (makes the link between a token and its trained representation possible). As explained in their paper (Martin et al., 2020), SentencePiece does not require pre-tokenization which makes it a non-language specific tokenizer. Table 2 summarizes these architectural differences.

<footnote n="3">3. For the large model, as each step was too big for our 4 GPUs machine, we used gradient accumulation (i.e., the accumulation of 2 batches of 12 in order to get a batch of 24)</footnote>

<footnote n="4">4. The multilingual BERT model uses a vocabulary size of 30K.</footnote>

<footnote n="5">5. Comparison between WordPiece and SentencePiece tokenizers : https://github.com/google/sentencepiece</footnote>

<footnote n="6">6. CamembERT uses a vocabulary size of 32K.</footnote>
<table><caption>TABLE 2 – Architectural differences of BERT-based models.</caption><thead><tr><th rowspan="2">Tokenizer</th><th>WordPiece</th><th colspan="4">SentencePiece</th></tr><tr><th>bert-base-<br/>multilingual-<br/>cased</th><th>camembert-<br/>base</th><th>camembert-<br/>bio-base</th><th>camembert-<br/>large</th><th>camembert-<br/>bio-large</th></tr></thead><tbody><tr><th>Model</th><td></td><td></td><td></td><td></td><td></td></tr><tr><th>layer (L)</th><td></td><td>12</td><td></td><td></td><td>24</td></tr><tr><th>hidden (H)</th><td></td><td>768</td><td></td><td></td><td>1024</td></tr><tr><th>heads (A)</th><td></td><td>12</td><td></td><td></td><td>16</td></tr></tbody></table>

For the fine-tuning of the NER models, we used the hugging face<fnref n="7" /> framework, which basically standardizes the process for all the transformers. Each NER model is a BERT module with a fully connected layer on top of the hidden states of each token. As entities could overlap, we decided to use a binary or one-vs-all approach per entity instead of using a softmax which does not allow multi-labelling. All previously presented language models were fine-tuned on the DEFT task 3 dataset for 20 epochs, with a sequence length of maximum 256 tokens, a learning rate of 4e-5 and a warmup proportion of 0.1. As for the CRF baseline, we use one label for each entity, discarding nested entities.

## 2.3 Dataset

In DEFT task 3 - information extraction - there are two subtasks. Subtask 1 is focused on the *pathologie* and *sosy* (symptoms and signs) entities. Subtask 2 concerns the identification of *anatomie*, *dose*, *examen*, *mode*, *moment*, *substance*, *traitement*, and *valeur* entities. For assessing these subtasks, the challenge organisers provided a training dataset composed of 100 French clinical documents manually annotated with the 8098 entities (Grabar et al., 2018). The annotated data include all the entities mentioned for each subtask, in addition to informational entities (e.g. *date*, *durée*, *fréquence*) that have not been considered in our models. An example of annotation is shown in Figure 1. As we can notice, nested entities appear often in the annotations, sometimes within the same subtask and sometimes across subtasks.

<footnote n="7">7. https://huggingface.co/transformers/</footnote>
<figure><img src="image_28.png" /><figcaption>FIGURE 1 – An example of clinical narrative with entity annotations for subtasks 1 and 2. The annotations are color coded.</figcaption></figure>

Table 3 shows the distribution of annotations among the entities in the training data. The majority of annotations come from the sosy, anatomie and examen entities, which compose together 54% of the training data. On the other hand, mode, dose and moment represent 13% of the dataset. To train and validate our models in the training phase, this dataset was split into train (80%), dev (10%) and test (10%) sets. The hyper-parameters of the models were selected for the test phase based on their performance on the dev set.

<table><caption>TABLE 3 – Entity distribution for the training phase collection.</caption><thead><tr><th>Entity</th><th>Train (count / %)</th><th>Dev (count / %)</th><th>Test (count / %)</th><th>All (count / %)</th></tr></thead><tbody><tr><td>anatomie</td><td>1241 / 19</td><td>57 / 6</td><td>174 / 26</td><td>1472 / 18</td></tr><tr><td>dose</td><td>302 / 5</td><td>40 / 4</td><td>5 / 1</td><td>347 / 4</td></tr><tr><td>examen</td><td>962 / 15</td><td>119 / 12</td><td>137 / 20</td><td>1218 / 15</td></tr><tr><td>mode</td><td>214 / 3</td><td>24 / 2</td><td>11 / 2</td><td>249 / 3</td></tr><tr><td>moment</td><td>363 / 6</td><td>77 / 8</td><td>54 / 8</td><td>494 / 6</td></tr><tr><td>pathologie</td><td>260 / 4</td><td>91 / 9</td><td>184 / 27</td><td>535 / 7</td></tr><tr><td>sosy</td><td>1451 / 23</td><td>196 / 20</td><td>33 / 5</td><td>1680 / 21</td></tr><tr><td>substance</td><td>883 / 14</td><td>85 / 8</td><td>22 / 3</td><td>990 / 12</td></tr><tr><td>traitement</td><td>301 / 5</td><td>193 / 19</td><td>52 / 8</td><td>546 / 7</td></tr><tr><td>valeur</td><td>443 / 7</td><td>119 / 12</td><td>5 / 1</td><td>567 / 7</td></tr><tr><td>Total</td><td>6420 / 100</td><td>1001 / 100</td><td>677 / 100</td><td>8098 / 100</td></tr></tbody></table>

## 3 Results and Discussion

In this section, we present the results of our models for the training and test phases for both subtasks. During the training phase, we used only the training collection provided in the challenge in order to
develop and tune our models. During the test phase, we evaluated over the test collection with the parameters identified in the training phase.

## 3.1 Training phase

Table 4 shows the results of our models in the training phase. The baseline CRF model achieved 0.4641 of overall micro F₁-measure, having a highest F₁-measure for the *valeur* entity (0.7708) and the lowest for the *pathologie* entity (0.1967). For the transformer-based models, the camembert-bio-base model outperforms both base models (BERT and CamemBERT) for the overall micro and macro F₁-measures, demonstrating the effectiveness of the specific biomedical corpus for the clinical NER task. For the large transformer models, CamemBERT achieves the highest micro F₁-measure (0.6826) and camembert-bio achieves the highest macro F₁-measure (0.5790). All contextualized language models outperform the baseline CRF model significantly, showing the outstanding performance of these architectures for NER in biomedical French texts.

As described in Section 2.2, we used a one-vs-all approach to predict the overlapped (nested) entities for the transformer models. This approach was not as effective for the CRF baseline, reducing the overall (micro) F₁-measure performance to 0.4464. Using this approach, no *dose* entity was correctly recognised and F₁-measure of *traitement* decreased to 0.1538. Nonetheless, the performance for recognising *anatomie* improved to 0.5300 of F₁-measure. These results suggest that in order to predict *dose* or *traitement* correctly, it is necessary to observe near entities, given the nature of the CRF learning model. We believe that the *anatomie* entity increased its performance mainly due to the fact that it appears usually nested in the *sosy*, *pathologie* or *examen* entities. However, in a one-vs-all approach, this entity will not be nested.

<table><caption>TABLE 4 – Evaluation of different models in the training phase.</caption><thead><tr><th>F<sub>1</sub>-measure</th><th>baseline</th><th>bert-base-multilingual-cased</th><th>camembert-base</th><th>camembert-large</th><th>camembert-bio-base</th><th>camembert-bio-large</th></tr></thead><tbody><tr><td>anatomie</td><td>0.3673</td><td>0.7170</td><td>0.7675</td><td><strong>0.8022</strong></td><td>0.7921</td><td>0.7751</td></tr><tr><td>dose</td><td>0.2500</td><td>0.1111</td><td><strong>0.4286</strong></td><td>0.1538</td><td>0.2857</td><td>0.1538</td></tr><tr><td>examen</td><td>0.5727</td><td>0.6618</td><td>0.6957</td><td>0.6667</td><td>0.6926</td><td><strong>0.7011</strong></td></tr><tr><td>mode</td><td>0.2857</td><td>0.2857</td><td>0.3333</td><td>0.2857</td><td><strong>0.4444</strong></td><td>0.2500</td></tr><tr><td>moment</td><td>0.4000</td><td>0.6957</td><td><strong>0.7273</strong></td><td>0.6364</td><td>0.6667</td><td><strong>0.7273</strong></td></tr><tr><td>pathologie</td><td>0.1967</td><td>0.3725</td><td>0.4956</td><td><strong>0.5714</strong></td><td>0.4248</td><td>0.5474</td></tr><tr><td>sosy</td><td>0.4356</td><td>0.6139</td><td>0.5838</td><td><strong>0.6961</strong></td><td>0.6563</td><td>0.6772</td></tr><tr><td>substance</td><td>0.4878</td><td>0.4400</td><td>0.3902</td><td>0.5854</td><td>0.5909</td><td><strong>0.6341</strong></td></tr><tr><td>traitement</td><td>0.4255</td><td>0.4590</td><td>0.3810</td><td>0.4848</td><td>0.3582</td><td><strong>0.5161</strong></td></tr><tr><td>valeur</td><td>0.7708</td><td>0.7961</td><td>0.7885</td><td><strong>0.8302</strong></td><td>0.8182</td><td>0.8077</td></tr><tr><td>Overall (micro)</td><td>0.4641</td><td>0.6135</td><td>0.6311</td><td><strong>0.6826</strong></td><td>0.6569</td><td>0.6791</td></tr><tr><td>Overall (macro)</td><td>0.4192</td><td>0.5153</td><td>0.5592</td><td>0.5713</td><td>0.5730</td><td><strong>0.5790</strong></td></tr></tbody></table>

We also assessed a voting strategy, or ensemble, between the transformers models, where all 5 BERT
models vote with their predictions. For example, when the voting threshold $v = 1$, we use the set of positive predictions coming from all the models, whereas when $v = 3$, we only use the positive predictions when the majority of the models agree on an annotation. As shown in Figure 2, the precision increases proportionally to the voting threshold, whereas the recall decreases. This clearly points out the fact that the predictions of those models are different, otherwise recall would keep constant as we increase the number of votes to validate a positive prediction. For the test phase, we used the ensemble threshold $v = 3$, which resulted in the best overall (micro) F₁-score in the training phase.

<figure><img src="image_29.png" /><figcaption>FIGURE 2 – Validation of the voting strategy.</figcaption></figure>

## 3.2 Test phase

In the test phase, we evaluated 3 runs for a dataset of 67 clinical narratives. For run 1, we used the baseline model based on CRF. For run 2, we used the camembert-bio-large model. Finally, for run 3, we used an ensemble based on a voting threshold of 3. The performance of our models is summarised in Table 5. The ensemble model achieves 0.7262 of overall micro F₁-measure, surpassing in 2.6% the camembert-bio-large and in 14.8% the baseline. Taking into account camembert-bio-large and baseline models, the former is better by 12.18%. This clearly shows that transformer methods in biomedical French NER reach outstanding performance by only leveraging wealth in unstructured data and without the necessity to design handcrafted features. Concerning the ensemble model, it achieved the best overall F₁-measure for both subtasks among our models, being the highest score for subtask 1 and for the "all categories" evaluations among all models in the competition.

Similarly to the training phase, the highest F₁-measure in the test phase is achieved for the *valeur* entity (0.8561). This entity represents 9% of the annotations in the test collection, while in the whole data collection it represents 16%. Thus, it seems that the training data is sufficiently characterized to learn this entity automatically. The lowest performance for the ensemble method is found for *dose* entity, as well we can confirm the lowest performance for this entity in Table 4 (during training phase). This can be due to the variety of values in the annotated data, combining numbers and words (e.g. *de 0,5 à 0,75 litre*), measure units (e.g. *1mg/kg/j*) or simply words that easily could be associated with a non-entity word (e.g. ‘24 paquets/année’ or ‘02’). *Mode* entities mostly are words without
abbreviations neither numbers (e.g. 'voie parasternale droite' or 'voie centrale intraveineuse') i.e. it contains less variety in the kind of values, this could come with an easier way to learn patterns and make predictions.

<table><caption>TABLE 5 – Test phase results. *Non-official runs.</caption><thead><tr><th>Task 3</th><th>F<sub>1</sub>-measure</th><th>baseline</th><th>bert-base-multilingual-cased*</th><th>camembert-large*</th><th>camembert-bio-large</th><th>ensemble (t=3)</th></tr></thead><tbody><tr><td rowspan="3">Subtask 1</td><td>pathologie</td><td>0.3984</td><td>0.3628</td><td>0.5617</td><td>0.5344</td><td>0.5644</td></tr><tr><td>sosy</td><td>0.5091</td><td>0.5574</td><td>0.6318</td><td>0.6268</td><td>0.6733</td></tr><tr><td><strong>Overall</strong></td><td>0.4984</td><td>0.5303</td><td>0.6225</td><td>0.6153</td><td><strong>0.6603</strong></td></tr><tr><td rowspan="9">Subtask 2</td><td>anatomie</td><td>0.5561</td><td>0.7646</td><td>0.8024</td><td>0.7978</td><td>0.8069</td></tr><tr><td>dose</td><td>0.3684</td><td>0.3604</td><td>0.5385</td><td>0.4118</td><td>0.5217</td></tr><tr><td>examen</td><td>0.6787</td><td>0.6842</td><td>0.7169</td><td>0.7149</td><td>0.7333</td></tr><tr><td>mode</td><td>0.3423</td><td>0.5935</td><td>0.6543</td><td>0.6386</td><td>0.6486</td></tr><tr><td>moment</td><td>0.6273</td><td>0.6748</td><td>0.7219</td><td>0.7576</td><td>0.7869</td></tr><tr><td>substance</td><td>0.578</td><td>0.5586</td><td>0.6667</td><td>0.6702</td><td>0.6379</td></tr><tr><td>traitement</td><td>0.4756</td><td>0.4598</td><td>0.5724</td><td>0.5573</td><td>0.6076</td></tr><tr><td>valeur</td><td>0.7969</td><td>0.8160</td><td>0.8637</td><td>0.8393</td><td>0.8561</td></tr><tr><td><strong>Overall</strong></td><td>0.6151</td><td>0.6894</td><td>0.7441</td><td>0.7370</td><td><strong>0.7547</strong></td></tr><tr><td rowspan="2">All categories</td><td><strong>Overall</strong> (micro)</td><td>0.5778</td><td>0.6380</td><td>0.7073</td><td>0.6996</td><td><strong>0.7262</strong></td></tr><tr><td><strong>Overall</strong> (macro)</td><td>0.5331</td><td>0.5832</td><td>0.6730</td><td>0.6549</td><td><strong>0.6837</strong></td></tr></tbody></table>

Table 6 shows the statistics of the official results for all participants in the challenge. For subtask 1, our voting approach resulted in a F₁-score of 0.6603, which is the max reported for the overall result of the competition. In subtask 2, our best model was 1% lower than the top score, which achieved a F₁-score of 0.7626 (against our 0.7547). Considering both tasks across all categories, our voting model achieved the highest score in the competition. This results is shown in the “Non official” of Table 6 provided by the challenge organisers. The “Non official” results takes into account even entities that were counted as informational (e.g. *date*, *durée*, *fréquence*). As we did not predict any of those informational entities, our F₁-measure for those are 0.0000 and we end up with a diminished overall F₁-measure of 0.7152, which is the max reported in the non official row. However, without taking into account those entities, our overall F₁-measure is 0.7262 as reported in Table 5.

<table><caption>TABLE 6 – Official summarize results over DEFT task 3.</caption><thead><tr><th>Task 3</th><th>Min</th><th>Max</th><th>Median</th><th>Mean</th></tr></thead><tbody><tr><td>Subtask 1</td><td>0.0645</td><td>0.6603</td><td>0.4557</td><td>0.4347</td></tr><tr><td>Subtask 2</td><td>0.1352</td><td>0.7626</td><td>0.6151</td><td>0.6012</td></tr><tr><td>Non official</td><td>0.1297</td><td>0.7152</td><td>0.5679</td><td>0.5533</td></tr></tbody></table>
## 3.3 CamemBERT vs. CamemBERT bio

If we compare the results of the camembert-base model against the camembert-bio-base model, we notice a significant improvement in performance for the latter. However, this result is unexpectedly not translated to the large version of the camembert model, as locally trained models tend to have superior performance (Lee et al., 2019). We believe that this is due to the size of the biomedical corpus (31k French abstracts from PubMed) used to pre-train the CamemBERT models, which is relatively small compared to the size of the original CamemBERT corpus. For a comparison, BioBERT (Lee et al., 2019) was pre-trained on 18B words corpora extracted from PubMed and PMC; while Clinical BERT (Alsentzer et al., 2019) was trained on clinical text from approximately 2 million notes in the MIMIC-III v1.4 database. While the biomedical French corpus works well for the smaller model, it was limited to improve the original camembert-large model weights for the specificities of the biomedical language as this model contains much more parameters than the base version (335M vs. 110M parameters).

Nevertheless, what makes our approach powerful is the dissimilarities of the respective model predictions. Indeed, if camembert-bio and CamemBERT models were to predict the same entities for a given text, the voting would not have made any sense. Our hypothesis is that, by creating different models, we were able to start our fine-tuning with a language model that has different perspectives. Then, by allowing each model to vote, we were able to outperform the camembert-large model by two basis points. To verify this hypothesis, it would be interesting to see if fine-tuning the same model 5 times (number of models we used for voting) would have improved its performances. For example, would the camembert-large have improved if we had fine-tuned it 5 times and used those 5 models as an ensemble? The only randomness in such experiment would be the order of the documents during the training phase.

## 3.4 Language specific vs. multi-language model

Bert-base-multilingual-cased model was trained in 104 languages, including French, however camembert-base model was trained and optimized specifically for French language. The camembert-base model (not part of the official evaluation) shows slightly better performance for most entities (*pathologie, sosy, anatomie, dose, examen, moment, traitement, valeur*) compared to the bert-base-multilingual-cased model.

For subtask 1, camembert-base achieves 0.5802 of overall $F_1$-measure vs 0.5303 of bert-base-multilingual-cased, i.e. almost 5% of improvement. In subtask 2, an overall $F_1$-measure of 0.7081 of camembert-base vs 0.6894 of overall $F_1$-measure of bert-base-multilingual-cased, makes camembert-base 1.87% better. These improvements in camembert-base highlight a direct relationship between language and performance. In addition, these differences show that subtask 1 is more dependent on the language than subtask 2.

# 4 Conclusion

Among the experiments we have done, we can conclude that recognizing entities in biomedical domain is not a straightforward task and adding the complexity of language makes this task more difficult. For DEFT task 3 challenge, we proposed mainly two families of learning methods: a baseline
based on CRF and a set of transformers language models. We focused on exploring the performance of our NER models with the contextualized language models enriched with local text. Our best results were given by the ensemble method based on a voting strategy between the BERT based models, including CamemBERT (trained specifically for French) and CamemBERT-bio (trained on French biomedical texts), achieving 66% F₁-measure in subtask 1 and 75% F₁-measure in subtask 2. The ensemble of deep neural language models proved to be the most effective method for biomedical information extraction in French texts. As next steps, we will investigate whether fine-tuning the same model a number of times would improve performance. We are also interested to investigate nested entities approaches over DEFT task 3 data.

Références

ALSENTZER E., MURPHY J., BOAG W., WENG W.-H., JINDI D., NAUMANN T. & MCDERMOTT M. (2019). Publicly available clinical BERT embeddings. In *Proceedings of the 2nd Clinical Natural Language Processing Workshop*, p. 72–78, Minneapolis, Minnesota, USA : Association for Computational Linguistics. DOI: 10.18653/v1/W19-1909.

CARDON R., GRABAR N., GROUIN C. & HAMON T. (2020). Présentation de la campagne d'évaluation DEFT 2020 : similarité textuelle en domaine ouvert et extraction d'information précise dans des cas cliniques. In *DEFT 2020 - Défi fouille de texte*, France.

COPARA J., OCHOA LUNA J. E., THORNE C. & GLAVAŠ G. (2016). Spanish NER with word representations and conditional random fields. In *Proceedings of the Sixth Named Entity Workshop*, p. 34–40, Berlin, Germany : Association for Computational Linguistics. DOI: 10.18653/v1/W16-2705.

DEVLIN J., CHANG M.-W., LEE K. & TOUTANOVA K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, p. 4171–4186, Minneapolis, Minnesota : Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423.

DIAS G., Éd. (2015). *Actes de TALN 2015 (Trajetement automatique des langues naturelles)*, Caen. ATALA, HULTECH.

DUPONT Y. (2017). Exploration de traits pour la reconnaissance d'entités nommées du Français par apprentissage automatique. In *TALN 2017*, Orléans, France. HAL: hal-02448614.

GRABAR N., CLAVEAU V. & DALLOUX C. (2018). CAS: French corpus with clinical cases. In *Proceedings of the Ninth International Workshop on Health Text Mining and Information Analysis*, p. 122–128, Brussels, Belgium : Association for Computational Linguistics. DOI: 10.18653/v1/W18-5614.

GRABAR N., CLAVEAU V. & DALLOUX C. (2019). 28(01), 218–222. DOI: 10.1055/s-0039-1677937.

GUO J., CHE W., WANG H. & LIU T. (2014). Revisiting embedding features for simple semi-supervised learning. In *Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, p. 110–120, Doha, Qatar : Association for Computational Linguistics. DOI: 10.3115/v1/D14-1012.

HOWARD J. & RUDER S. (2018). Universal language model fine-tuning for text classification. In *Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume*
1: *Long Papers)*, p. 328–339, Melbourne, Australia: Association for Computational Linguistics.
DOI: 10.18653/v1/P18-1031.

KINGMA D. P. & BA J. (2014). Adam: A method for stochastic optimization. *arXiv preprint*
*arXiv:1412.6980*.

KUDO T. & RICHARDSON J. (2018). SentencePiece: A simple and language independent subword
 tokenizer and detokenizer for neural text processing. In *Proceedings of the 2018 Conference on
 Empirical Methods in Natural Language Processing: System Demonstrations*: Association for
 Computational Linguistics. DOI: 10.18653/v1/d18-2012.

LAFFERTY J. D., MCCALLUM A. & PEREIRA F. C. N. (2001). Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In *Proceedings of the Eighteenth International Conference on Machine Learning*, ICML ’01, p. 282–289, San Francisco, CA, USA: Morgan Kaufmann Publishers Inc.

LEE J., YOON W., KIM S., KIM D., KIM S., SO C. H. & KANG J. (2019). BioBERT: a pre-trained biomedical language representation model for biomedical text mining. *Bioinformatics*. DOI: 10.1093/bioinformatics/btz682.

LIU F., CHEN J., JAGANNATHA A. & YU H. (2016). Learning for biomedical information extraction: Methodological review of recent advances. *CoRR*, abs/1606.07993.

LIU Y., OTT M., GOYAL N., DU J., JOSHI M., CHEN D., LEVY O., LEWIS M., ZETTLEMOYER L. & STOYANOV V. (2019). Roberta: A robustly optimized BERT pretraining approach. *CoRR*, abs/1907.11692.

MARTIN L., MULLER B., ORTIZ SUÁREZ P. J., DUPONT Y., ROMARY L., VILLEMONTE DE LA CLERGERIE É. & SAGOT B. (2020). CamemBERT: a Tasty French Language Model. In *The 58th Annual Meeting of the Association for Computational Linguistics (ACL 2020)*, Seattle, Washington, United States.

MIKOLOV T., SUTSKEVER I., CHEN K., CORRADO G. & DEAN J. (2013). Distributed representations of words and phrases and their compositionality. In *Proceedings of the 26th International Conference on Neural Information Processing Systems - Volume 2*, NIPS’13, p. 3111–3119, Red Hook, NY, USA: Curran Associates Inc.

NÉVÉOL A., GROUIN C., LEIXA J., ROSSET S. & ZWEIGENBAUM P. (2014). The QUAERO French medical corpus: A ressource for medical entity recognition and normalization. In *Proc of BioTextMining Work*, p. 24–30.

PENNINGTON J., SOCHER R. & MANNING C. (2014). Glove: Global vectors for word representation. In *Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP)*: Association for Computational Linguistics. DOI: 10.3115/v1/d14-1162.

PETERS M., NEUMANN M., IYYER M., GARDNER M., CLARK C., LEE K. & ZETTLEMOYER L. (2018). Deep contextualized word representations. In *Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers)*: Association for Computational Linguistics. DOI: 10.18653/v1/n18-1202.

SANKHAVARA J. & MAJUMDER P. (2019). Advances in biomedical entity identification: A survey. In *Biotechnology and Biological Sciences*, p. 114–120. CRC Press. DOI: 10.1201/9781003001614-19.

SILEO D., PRADEL C., MULLER P. & DE CRUYS T. V. (2017). Synapse at cap 2017 NER challenge: Fasttext CRF. *CoRR*, abs/1709.04820.
SUTTON C. (2012). An introduction to conditional random fields. *Foundations and Trends® in Machine Learning*, **4**(4), 267–373. DOI: 10.1561/2200000013.

TCHECHMEDJIEV A., ABDAOUI A., EMONET V., ZEVIO S. & JONQUET C. (2018). SIFR annotator : ontology-based semantic annotation of french biomedical text and clinical notes. *BMC Bioinformatics*, **19**(1). DOI: 10.1186/s12859-018-2429-2.

TEODORO D., GOBEILL J., PASCHE E., RUCH P., VISHNYAKOVA D. & LOVIS C. (2010). Automatic ipc encoding and novelty tracking for effective patent mining. In *The 8th NTCIR Workshop Meeting on Evaluation of Information Access Technologies : Information Retrieval, Question Answering, and Cross-Lingual Information Access*, p. 309–317, Tokyo, Japan.

TEODORO D., KNAFOU J., NADERI N., PASCHE E., GOBEILL J., ARIGHI C. N. & RUCH P. (2020). UPCLASS : a deep learning-based classifier for UniProtKB entry publications. *Database*, **2020**. DOI: 10.1093/database/baaa026.

TJONG KIM SANG E. F. & DE MEULDER F. (2003). Introduction to the CoNLL-2003 shared task : Language-independent named entity recognition. In *Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003*, p. 142–147.

TURIAN J., RATINOV L.-A. & BENGIO Y. (2010). Word representations : A simple and general method for semi-supervised learning. In *Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics*, p. 384–394, Uppsala, Sweden : Association for Computational Linguistics.

TVARDIK N., KERGOURLAY I., BITTAR A., SEGOND F., DARMONI S. & METZGER M.-H. (2018). Accuracy of using natural language processing methods for identifying healthcare-associated infections. *International Journal of Medical Informatics*, **117**, 96–102. DOI: 10.1016/j.ijmedinf.2018.06.002.

VAN MULLIGEN E. M., AFZAL Z., AKHONDI S., VO D. & KORS J. (2016). Erasmus mc at clef ehealth 2016 : Concept recognition and coding in french texts. In *CEUR Workshop Proceedings*, p. 171–178.
Approche supervisée de calcul de similarité sémantique entre
paires de phrases

Khadim Dramé¹, ² Gorgoumack Sambe¹, ² Ibrahima Diop¹, ² Lamine Faty¹, ²

(1) Université Assane Seck de Ziguinchor, Diabir, Ziguinchor, Sénégal

(2) Laboratoire d'Informatique et d'Ingénierie pour l'Innovation, Ziguinchor, Sénégal

khadim.drame@univ-zig.sn, gsambe@univ-zig.sn,
ibrahima.diop@univ-zig.sn, lamine.faty@univ-zig.sn

RÉSUMÉ

Ce papier décrit les méthodes que nous avons développées pour participer aux tâches 1 et 2 de l'édition 2020 du défi fouille de textes (DEFT 2020). Pour la première tâche, qui s'intéresse au calcul de scores de similarité sémantique entre paires de phrases, sur une échelle de 0 à 5, une approche supervisée où chaque paire de phrases est représentée par un ensemble d'attributs a été proposée. Des algorithmes classiques d'apprentissage automatique sont ensuite utilisés pour entrainer les modèles. Différentes mesures de similarité textuelle sont explorées et les plus pertinentes sont combinées pour supporter nos méthodes. Différentes combinaisons ont été testées et évaluées sur les données de test du DEFT 2020. Notre meilleur système qui s'appuie sur un modèle Random Forest a obtenu les meilleures performances sur la première tâche avec une EDRM de 0,8216.

ABSTRACT

Supervised approach to compute semantic similarity between sentence pairs.

In this paper, we present the methods that we developed to participate in tasks 1 and 2 of the 2020 edition of the french text mining challenge (DEFT 2020). For the first task, which focuses on semantic similarity computation between sentence pairs, a supervised approach where sentence pairs are first represented by a set of features has been proposed. Classical machine learning algorithms are then used to train the models. Different measures of textual similarity are explored and the most relevant are combined to support our methods. Different combinations were tested and evaluated on test data of the DEFT 2020. Our best system based on a Random Forest model performed best on the first task with an EDRM of 0,8216.

MOTS-CLÉS : similarité sémantique, phrases parallèles, méthodes supervisés, apprentissage automatique, forêts aléatoires, perceptron multicouche.

KEYWORDS: semantic similarity, parallel sentences, supervised methods, machine learning, Random Forest, Multilayer Perceptron.

# 1 Introduction

Le défi fouille de textes (DEFT) est une campagne d'évaluation visant à promouvoir le développement de méthodes et d'applications dans le domaine du traitement automatique de langues naturelles (TALN). Dans son édition de 2020, il continue à s'intéresser à l'analyse de cas

<figure><img src="image_30.png" /></figure>
cliniques rédigés en Français; les tâches 1 et 2 portent sur la similarité sémantique entre phrases
tandis que la troisième tâche s’intéresse à l'extraction d'information fine à partir de textes
biomédicaux (Cardon et al., 2020).

La tâche 1 du défi consiste à déterminer le degré de similarité entre paires de phrases, sur une
échelle de 0 à 5. La tâche 2, quant à elle, consiste, pour une phrase source donnée, à identifier à
partir de phrases cibles fournies celle qui est parallèle à cette dernière. Ces questions se rapportent
au calcul de similarité sémantique entre phrases.

Dans la littérature, ce problème a été largement exploré et différentes mesures de similarité sont
proposées (Agirre et al., Agirre et al., 2015; 2016; Cer et al., 2017). Certaines approches
couramment utilisées exploitent la structure syntaxique des phrases ; le nombre de tokens ou n-
grams en commun entre la phrase source et la phrase cible est généralement calculé. D'autres tentent
de prendre en compte les problèmes de synonymie et la sémantique des phrases en exploitant des
ressources sémantiques ou des méthodes statistiques (Chen et al., 2020). Dans les dernières
campagnes d'évaluation, les méthodes supervisées se sont montrées performantes pour mesurer la
similarité sémantique entre phrases (Cer et al., 2017; Mojarad et al., 2018).

Les méthodes que nous proposons s'inscrivent dans cette dernière approche et utilisent les
algorithmes classiques d'apprentissage automatique pour déterminer les scores de similarité entre les
paires de phrases. Ce papier décrit les méthodes développées pour participer aux deux premières
tâches du DEFT 2020. Le reste du papier est structuré comme suit : les méthodes de calcul de
similarité sémantique sont présentées dans la section 2; les résultats obtenus sont décrits et discutés
respectivement dans les sections 3 et 4.

## 2 Méthodes de calcul de similarité entre phrases

Dans cette section, nous décrivons les trois méthodes que nous avons développées pour le calcul de
similarité entre paires de phrases.

Nous proposons une approche supervisée où chaque paire de phrases est représentée par un
ensemble d'attributs. Différentes mesures de similarité sémantique sont explorées : les mesures de
similarité basées sur les tokens (mesure de Dice (Dice, 1945), mesure de Ochiai (OCHIAI, 1957),
mesure de Jaccard (Jaccard, 1912)), les mesures utilisant les séquences de caractères (Q-gram
(Ukkonen, 1992)), la distance d'édition de Levenshtein (Levenshtein, 1966), les mesures basées sur
la représentation vectorielle (TF.IDF (Jones, 2004) et les plongements lexicaux (Mikolov et al.,
2013) combinées avec le cosinus).

Tout d'abord, chaque paire de phrases, qui est une instance, est représentée par un ensemble
d'attributs, constitués par les scores des mesures de similarité citées ci-dessus. Ensuite, des
algorithmes classiques d'apprentissage automatique sont utilisés pour entrainer les modèles, qui sont
ensuite utilisés pour déterminer la similarité entre des paires de phrases non annotées.

Différents algorithmes d'apprentissage sont expérimentés mais seuls les résultats des modèles
Random Forest (RF) et MultiLayer Perceptron (MLP) qui ont donné les meilleures performances sur
les jeux de données d'entrainement sont soumis. De plus, nous avons développé un modèle de
régression linéaire (LR) qui prend en entrée les scores de similarité de ces deux modèles et le score
moyen des différentes mesures de similarité.
Une validation croisée est effectuée sur les jeux de données d'entraînement pour sélectionner les attributs les plus pertinents mais aussi pour déterminer les meilleures combinaisons. La combinaison de quatre mesures de similarité sémantique (Dice, Ochiai, Q-gram, Levenshtein) a donné les meilleures performances.

# 3 Evaluation

Dans cette section, nous allons d'abord présenter les jeux de données et les métriques utilisées pour évaluer les systèmes participants au DEFT 2019. Ensuite, les résultats de nos méthodes seront analysés et discutés.

## 3.1 Jeux de données

Pour chaque tâche, les organisateurs du DEFT 2020 ont fourni des jeux de données annotées (Grabar, Claveau & Dalloux, 2018; Grabar & Cardon, 2018). Pour la première tâche, un corpus d'entraînement constitué de 600 paires de phrases a été fourni avec, pour chaque paire, son score de similarité. Chaque paire de phrases est annotée manuellement avec un score indiquant le degré de similarité des phrases. Les données sont annotées indépendamment par deux experts qui attribuent des scores de similarité entre les paires de phrases allant de 0 (complètement différentes) à 5 (sémantiquement équivalentes). Ensuite, les annotations de référence font l'objet d'un accord entre les deux annotateurs. Le corpus de test est quant à lui constitué de 410 paires de phrases.

## 3.2 Mesures d'évaluation

L'exactitude en distance relative à la solution moyenne (EDRM) et la corrélation de Spearman sont utilisées pour mesurer les performances des systèmes participants à la tâche 1. Pour la deuxième tâche, la MAP (Mean Average Precision) est utilisée pour évaluer les résultats.

## 3.3 Résultats

Les résultats de nos différents systèmes participants à la tâche 1 sur les jeux de données de test officiels sont présentés dans TABLE 1. Nous remarquons que le système *uasz-run2*, utilisant le modèle perceptron multicouche (MLP), a obtenu des résultats largement meilleurs selon l'exactitude en distance relative à la solution moyenne. Notons également que le système *uasz-run1*, qui utilise le modèle Random Forest (RF), est plus performant que *uasz-run3*, qui lui combine les scores de similarité de ces deux modèles dans un modèle de régression linéaire. Nous avons également expérimenté une approche supervisée combinant les différentes mesures de similarité avec différents classificateurs (Naive Bayes, MultiLayer Perceptron, Support Vector Machine et Random Forest) mais les systèmes présentés ont obtenu les meilleurs résultats sur les jeux de données d'entraînement.
<table><caption>TABLE 1 : Résultats de nos systèmes participants à la tâche 1 du DEFT 2020 sur les jeux de données de test officiels</caption><thead><tr><td>Systèmes</td><td>EDRM</td><td>Corrélation de Spearman</td></tr></thead><tbody><tr><td>uasz-run1</td><td>0,7946</td><td>0,7527</td></tr><tr><td>uasz-run2</td><td><b>0,8216</b></td><td>0,7691</td></tr><tr><td>uasz-run3</td><td>0,7755</td><td><b>0,7768</b></td></tr></tbody></table>

Comparé aux différents systèmes participants à la tâche 1, *uasz-run2*, notre meilleur système, a obtenu les meilleurs résultats (avec une EDRM de 0,8216). Nous notons aussi que tous nos systèmes ont obtenu une EDRM dépassant la moyenne (0,762). Nos deux meilleurs systèmes, *uasz-run2* et *uasz-run1* ont également obtenu une EDRM supérieure (*uasz-run2*) ou égale (*uasz-run1*) à la médiane (0,795).

# 4 Discussion

L'évaluation de nos différentes méthodes de calcul de similarité sémantique sur les jeux de données du DEFT 2020 montre la bonne performance des algorithmes classiques d'apprentissage automatique pour cette tâche. Les résultats montrent également la pertinence des mesures de similarité utilisées pour capturer la similarité sémantique entre phrases. Les méthodes développées permettent toutes d'estimer correctement la similarité de la plupart des paires de phrases du corpus de test. Une analyse des résultats a permis de relever des limites de ces méthodes pour la prédiction des scores de similarités pour certaines paires de phrases. Les mesures de similarité utilisées (Dice, Ochiai, Q-gram, Levenshtein) ne prennent pas en compte la dimension sémantique des phrases ; par conséquent, nos méthodes peinent à prédire correctement les scores de similarité des phrases qui ont des structures syntaxiques similaires mais sont sémantiquement différentes. Par exemple, pour la paire de phrases 22 (id=22) du corpus de test, toutes les trois méthodes ont estimé les deux phrases similaires avec un score de similarité de 4 tandis que le degré de similarité fourni par les experts est de 1. De manière analogue, nos méthodes sont limitées pour la prédiction de la similarité des phrases sémantiquement proches mais utilisant des mots différents. Par exemple, les phrases de la paire 52 (id=52) sont considérées comme différentes avec un score de similarité de 0 tandis qu'elles sont similaires selon les experts (avec un degré de similarité de 4).

Nous remarquons également que les méthodes proposées, et particulièrement *uasz-run1* et *uasz-run2* utilisant respectivement le modèle Random Forest et le perceptron multicouche, peinent à prédire les classes les moins représentatives (1 et 2) dans le corpus d'entrainement. Dans le jeu de données officiel de test, les classes 1 et 2 sont respectivement 37 et 28. *uasz-run1* ne prédit aucune valeur de ces deux classes tandis que *uasz-run2* prédit seulement 9 valeurs dans la classe 1.

# 5 Conclusion

Dans ce papier, nous avons présenté les méthodes que notre équipe a développées pour participer aux tâches 1 et 2 du DEFT 2020. Trois méthodes de calcul de similarité sémantique entre phrases ont été proposées : une méthode utilisant le modèle Random Forest (RF), une autre utilisant le perceptron multicouche (MLP) et une dernière combinant les résultats de ces deux modèles. Les résultats officiels du DEFT 2020 montrent que notre méthode basée sur le perceptron multicouche a
obtenu les meilleures performances sur la tâche 1. Comparés aux différents systèmes participants, les deux autres méthodes ont donné des résultats encourageants. Nous envisageons d'exploiter d'autres mesures de similarité notamment celles permettant de capturer la sémantique des phrases afin d'améliorer les performances ; une première expérimentation avec les plongements lexicaux sur un corpus moyen n'a pas permis d'améliorer les résultats. Leur utilisation sur un corpus plus conséquent pourrait permettre d'augmenter les performances des systèmes.

## Remerciements

Nous remercions les organisateurs du DEFT 2020.

## Références

AGIRRE E., BANEA C., CARDIE C., CER D., DIAB M., AGIRRE A. G. & GUO W. (2015). SemEval-2015 Task 2: Semantic Textual Similarity, English, Spanish and Pilot on Interpretability. In *Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval 2015)*, 252–263. Denver, Colorado: Association for Computational Linguistics. https://doi.org/10.18653/v1/S15-2045.

AGIRRE E., BANEA C., CER D., DIAB M., AGIRRE A. G., MIHALCEA R., RIGAU G. & WIEBE J. (2016). SemEval-2016 Task 1: Semantic Textual Similarity, Monolingual and Cross-Lingual Evaluation. In *Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval-2016)*, 497–511. San Diego, California: Association for Computational Linguistics. https://doi.org/10.18653/v1/S16-1081.

CARDON R., GRABAR N., GROUIN C. & HAMON T. (2020). Présentation de La Campagne d'évaluation DEFT 2020 : Similarité Textuelle En Domaine Ouvert et Extraction d'information Précise Dans Des Cas Cliniques. In *Actes de DEFT*.

CER D., DIAB M., AGIRRE E., GAZPIO I. L. & SPECIA L. (2017). SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation. In *Proceedings of the 11th International Workshop on Semantic Evaluation (SemEval-2017)*, 1–14. Vancouver, Canada: Association for Computational Linguistics. https://doi.org/10.18653/v1/S17-2001.

CHEN Q., DU J., KIM S., WILBUR W. J. & LU Z. (2020). Deep Learning with Sentence Embeddings Pre-Trained on Biomedical Corpora Improves the Performance of Finding Similar Sentences in Electronic Medical Records. *BMC Medical Informatics and Decision Making* 20 (1): 73. https://doi.org/10.1186/s12911-020-1044-0.

DICE L. R. (1945). "Measures of the Amount of Ecologic Association Between Species." *Ecology* 26 (3): 297–302. https://doi.org/10.2307/1932409.

GRABAR N. & CARDON R. (2018). CLEAR – Simple Corpus for Medical French. In *Proceedings of the 1st Workshop on Automatic Text Adaptation (ATA)*, 3–9. Tilburg, the Netherlands: Association for Computational Linguistics. https://doi.org/10.18653/v1/W18-7002.

GRABAR N., CLAVEAU V. & DALLOUX C. (2018). CAS: French Corpus with Clinical Cases. In *Proceedings of the Ninth International Workshop on Health Text Mining and Information Analysis*, 122–128. Brussels, Belgium: Association for Computational Linguistics. https://doi.org/10.18653/v1/W18-5614.

JACCARD P. (1912). The Distribution of the Flora in the Alpine Zone.1. *New Phytologist* 11 (2): 37–50. https://doi.org/10.1111/j.1469-8137.1912.tb05611.x.

LEVENShteIN V. I. (1966). Binary Codes Capable of Correcting Deletions, Insertions and Reversals. *SPhD* 10 (February): 707.
MIKOLOV T., SUTSKEVER I., CHEN K., CORRADO G. & DEAN J. (2013). Distributed Representations of Words and Phrases and Their Compositionality. ArXiv:1310.4546 [Cs, Stat], October.
http://arxiv.org/abs/1310.4546.

OCHIAI A. (1957). Zoogeographical Studies on the Soleoid Fishes Found in Japan and Its Neighhouring Regions-II. NIPPON SUISAN GAKKAISHI 22 (9): 526–30.
https://doi.org/10.2331/suisan.22.526.

MOJARAD M. R., LIU S., WANG Y., AFZAL N., WANG L., SHEN F., FU S. & LIU H. (2018). BioCreative/OHNLP Challenge 2018. In *Proceedings of the 2018 ACM International Conference on Bioinformatics, Computational Biology, and Health Informatics*, 575. BCB '18. Washington, DC, USA: Association for Computing Machinery. https://doi.org/10.1145/3233547.3233672.

JONES K. S. (2004). A Statistical Interpretation of Term Specificity and Its Application in Retrieval. *Journal of Documentation* 60 (5): 493–502. https://doi.org/10.1108/00220410410560573.

UKKONEN E. (1992). Approximate String-Matching with q-Grams and Maximal Matches.

*Theoretical Computer Science* 92 (1): 191–211. https://doi.org/10.1016/0304-3975(92)90143-4.
# DEFT 2020 - Extraction d'information fine dans les données cliniques : terminologies spécialisées et graphes de connaissance

Thomas Lemaitre¹, Camille Gosset¹, Mathieu Lafourcade¹, Namrata Patel²,³,
Guilhem Mayoral³

(1) LIRMM, Université Montpellier, Montpellier, France

(2) AMIS, Université Paul-Valéry Montpellier 3, Montpellier, France

(3) Onaos, Montpellier, France

(1) prenom.nom@lirmm.fr

(2) prenom.nom@univ-montp3.fr

(3) prenom.nom@onaos.com

## RÉSUMÉ

Nous présentons dans cet article notre approche à base de règles conçue pour répondre à la tâche 3 de la campagne d'évaluation DEFT 2020. Selon le type d'information à extraire, nous construisons (1) une terminologie spécialisée à partir de ressources médicales et (2) un graphe orienté basé sur les informations extraites de la base de connaissances généraliste et de grande taille - JeuxDeMots.

## ABSTRACT

**Fine-grained Information Extraction in Clinical Data : Dedicated Terminologies and Knowledge Graphs**

This paper presents our rule-based approach for fine-grained information extraction in clinical data, submitted in reponse to Task 3 at the DEFT 2020 evaluation campaign. We design (1) a dedicated medical terminology from existing medical references and (2) a knowledge graph based on the semantically rich knowledge base - JeuxDeMots.

**MOTS-CLÉS** : données cliniques, extraction d'information fine, graphes de connaissance.

**KEYWORDS**: clinical data, fine-grained information extraction, knowledge graphs.

## 1 Introduction

Nous présentons dans cet article les méthodes que nous avons conçues pour répondre à la tâche 3 de la campagne d'évaluation DEFT 2020 (Cardon et al., 2020). Cette tâche porte sur l'extraction d'informations dans un corpus de cas cliniques (Grabar et al., 2018). Notre système est conçu à base de règles et s'appuie sur deux sources de données différentes :

- une base de connaissances JeuxDeMots qui est généraliste et de grande taille (Lafourcade, 2015)

- Une terminologie médicale dédiée construite pour la détection de chacune des catégories d'informations à extraire.

Un ensemble de règles est ensuite appliqué pour détecter les différentes catégories d'information recherchées. Ce travail a été réalisé en collaboration avec un expert du domaine médical, qui a été principalement appliqué dans la constitution de notre terminologie spécialisée ainsi que la

<figure><img src="image_31.png" /></figure>
définition de règles d'extraction d'information ayant un fondement médical. Notre choix d'approche symbolique nous a permis également de faire une analyse fine des résultats produits au fur et à mesure de l'évolution du système, afin d'en améliorer les lexiques et les règles.

# 2 Méthodologie

Afin de répondre à la tâche d'extraction d'informations fines dans des dossiers cliniques, nous adoptons des méthodes à base de règles s'appuyant sur deux sources de données différentes, selon le type d'information à extraire.

Pour les catégories spécialisées autour du patient et des pratiques cliniques, nous avons construit une terminologie dédiée à partir de ressources existantes, organisée et complétée selon les besoins de la tâche. Un ensemble de règles est ensuite appliqué pour détecter les différentes catégories d'information recherchées. Nous appliquons les pré-traitements classiques liées aux approches symboliques à base de règles (tokénisation, lemmatisation, étiquetage en parties du discours, etc.) afin de générer nos résultats.

Pour les catégories autour du temps et des traitements médicaux, nous explorons une nouvelle approche exploitant la base de connaissances JeuxDeMots, basée sur le parcours d'un graphe orienté.

## 2.1 Extraction d'informations autour des patients et des pratiques cliniques

L'extraction automatique des informations de cette catégorie de données, en particulier la classe *signe ou symptôme* qui selon le DEFT définit à la fois des symptômes cliniques mais aussi les observations ou résultats d'examens complémentaires, est essentielle à l'établissement d'un diagnostic médical précis. L'association de ces éléments permet en effet, de définir pour un patient donné, un état pathologique particulier.

Même selon une approche automatisée, il est indispensable pour un médecin utilisateur d'un système informatique d'accéder aux explications et de pouvoir critiquer la catégorisation des entités trouvées automatiquement dans le dossier clinique de son patient. Pour cette raison nous avons, en collaboration avec un médecin, choisi une approche symbolique d'extraction d'information, permettant une transparence complète sur les résultats du système.

L'algorithme d'extraction d'information a été défini selon la démarche suivante :

- constitution d'une terminologie spécialisée cohérente aux annotations de référence

- définition de règles linguistiques permettant de compléter la détection de termes issus de la terminologie

- définition de règles médicales pour les cas complexes, tels que *signe ou symptôme ou pathologie*

- amélioration récursive de la terminologie et des règles par analyse des faux positifs (FP) et faux négatifs (FN) générés à chaque itération.
### 2.1.1 Constitution d'une terminologie spécialisée

**Ressource principale** Les données issues des ressources "Logical Observation Identifiers Names and Codes" (LOINC) et "Unified Medical Language System" (UMLS) ont servi de support à la constitution d'une base de données spécialisée en terminologie médicale. Chacune des entrées UMLS étant classées par un « semantic type », nous avons sélectionné celles qui correspondent aux catégories définies pour la tâche 3 du DEFT 2020, notamment les informations liées aux *sites anatomiques*, *pathologies* et *signes ou symptômes*. Ainsi, les « semantic type » issus de l'UMLS ont été rapprochées des catégories d'entités recherchées, en accord avec le guide d'annotation du DEFT 2020. Nous détaillons dans ce qui suit notre sélection de classes UMLS :

**Anatomie :**

- ANAT|Anatomy|T017|Anatomical Structure

- ANAT|Anatomy|T029|Body Location or Region

- ANAT|Anatomy|T023|Body Part, Organ, or Organ Component

- ANAT|Anatomy|T030|Body Space or Junction ...

**Pathologie :**

- DISO|Disorders|T049|Cell or Molecular Dysfunction

- DISO|Disorders|T047|Disease or Syndrome

- DISO|Disorders|T191|Neoplastic Process

**Signes ou symptômes :**

- DISO|Disorders|T184|Sign or Symptom

- DISO|Disorders|T033|Finding

- DISO|Disorders|T046|Pathologic Function

**Examen :**

- PROC|Procedures|T060|Diagnostic Procedure

- PROC|Procedures|T059|Laboratory Procedure

- PHEN|Phenomena|T034|Laboratory or Test Result

**Traitement :**

- PROC|Procedures|T061|Therapeutic or Preventive Procedure

**Substance :**

- CHEM|Chemicals and Drugs|T131|Hazardous or Poisonous Substance

- CHEM|Chemicals and Drugs|T125|Hormone

- CHEM|Chemicals and Drugs|T121|Pharmacologic Substance

- CHEM|Chemicals and Drugs|T127|Vitamin

- CHEM|Chemicals and Drugs|T195|Antibiotic

- CHEM|Chemicals and Drugs|T200|Clinical Drug

- LIVB|Living Beings|T002|Plant

**Ressources supplémentaires** Nos terminologies spécialisées ont été complétées selon les besoins de la tâche en fonction de termes manquants des ressources principales, celles-ci étant riches en anglais, mais pas entièrement traduites en français.
### 2.1.2 Écriture de règles linguistiques et médicales avec la terminologie spécialisée

Grâce aux étapes de prétraitement des approches classiques d'extraction d'information (tokenisation, etc.), nous avons élaboré des règles linguistiques et médicales visant à raffiner la détection des entités issues des terminologies.

Les entités plus complexes telles que *signes ou symptômes* ou *pathologie* ont nécessité la définition de règles complexes, exploitant à la fois (1) des informations linguistiques (étiquettes des parties du discours, dépendances morphologiques, etc.) et (2) des informations médicales combinant souvent plusieurs entités médicales, elles-mêmes extraites par le système.

Par exemple, le terme « sténose » issu du lexique *signe ou symptome* a permis au système de détecter l'entité complète suivante :

> « sténose complète de l'uretère gauche au niveau de la jonction iliopelvienne étendue environ sur 5 cm »

par application d'une règle qui détecte le groupe nominal associé à « sténose », contenant des entités *anatomie* (uretère gauche, jonction iliopelvienne) et *valeur* (5 cm).

## 2.2 Extraction d'informations autour du temps et des traitements médicaux

Les entrées du système sont des textes tirés de dossiers patient. Le but est de détecter des entités nommées. Une entité nommée peut représenter un « moment » ou une « durée », par exemple. Nous souhaitons utiliser une bonne structure de données capable de regrouper un maximum d'informations sur les éléments du texte. Notre choix de structure de données s'est orienté vers une structure de graphe. Cette structure de graphe est couplée à une base de connaissances JeuxDeMots qui est généraliste et de grande taille (Lafourcade et al., 2015). L'intérêt de notre structure est de pouvoir regrouper toutes les informations récupérées de JeuxDeMots pour chaque élément du texte. Cela permet ensuite d'obtenir une trace concrète d'inférences faites par notre système. JeuxDeMots est l'outil d'un programme de recherche en Traitement Automatique du Langage Naturel conçu par Mathieu Lafourcade au sein de l'équipe TEXTE du LIRMM (Lafourcade, 2007). JeuxdeMots est un jeu sérieux appartenant à la famille des jeux avec buts, et permet d'enrichir un réseau lexico-sémantique représentant les connaissances avec des relations orientés, typées et pondérées.

### 2.2.1 Représentation des connaissances

Comme pour le réseau de JeuxDeMots, notre structure de graphe utilise des relations orientés, typées et pondérées. Pour chaque mot de notre texte, nous créons un nœud dans lequel nous pouvons récupérer la chaîne de caractères associée, l'index du début de la chaîne de caractères dans le texte et l'index de fin. L'ordre des mots est représenté par la relation r S U C C entre un nœud et son nœud successeur.

Une fois notre graphe de base obtenu, nous utilisons JeuxDeMots pour effectuer une lemmatisation et l'étiquetage des mots (*Postagging*). La lemmatisation consiste à déterminer la racine d'un mot. Par exemple, le mot « mangera » a pour forme lemmatisée « manger ». L'étiquetage des mots, quant à lui, consiste à assigner à un mot une ou plusieurs classes grammaticales possibles. Par exemple, le mot « attaque », hors contexte, a les classes grammaticales de nom commun et de verbe. Pour réaliser ces
deux opérations nous utilisons respectivement les relations *r_lemma* et *r_pos* qui relient un nœud donné avec ses formes lemmatisées et ses étiquettes.

Ensuite, il est primordial de ne pas perdre le sens d'un mot en le décortiquant. Lorsque le texte est mis sous forme de graphe, chaque mot est décortiqué un à un. Cependant, le mot peut être dit composé. Un mot composé est une succession de plusieurs mots qui donne un sens précis. Par exemple, le mot composé « mettre les pieds dans le plat » obtient un sens propre à cette expression différent des mots successifs un à un. Afin de retrouver ces mots composés, nous utilisons un dictionnaire de mots composés bien fourni extrait depuis JeuxDeMots. Nous parcourons notre graphe en prenant une suite de mots et vérifions l'existence d'un tel mot composé dans le dictionnaire.

Finalement, nous utilisons un ensemble de règles générales. Ces règles permettent de réaliser une analyse syntaxique du texte. L'analyse syntaxique permet de s'intéresser à la structure du texte en établissant des relations entre les mots basés sur des motifs. Grâce à cet ensemble de règles, le système va créer de nouveaux nœuds. En s'appuyant sur l'étiquetage des mots, il va former de nouveaux groupes. Par exemple, on obtiendra un groupe nominal à partir d'un nom et un adjectif. Ces deux mots sont naturellement successeurs. Cette phase permet également de retrouver des mots composés constitués de plusieurs mots consécutifs qui ne se réfèrent pas forcément au dictionnaire précédemment utilisé.

Lorsqu'une règle est appliquée, celle-ci créée le nœud du groupe de mot. Puis, elle relie ce nœud nouvellement créé au reste du graphe, afin de créer un chemin alternatif dans le graphe. Grâce à la relation *r_isa* de JeuxDeMots, il est possible de vérifier si certains mots représentent des mois ou des moments. Cela permet de regrouper une suite de mots et d'améliorer la détection des mots qui doivent être annotés avec l'utilisation d'un second ensemble de règles spécialisées pour le DEFT.

### 2.2.2 Utilisation des règles

Précédemment, nous avons expliqué que nous utilisions un système de règles afin de regrouper des groupes de mots. Nous avons, donc, rédigé un ensemble de règles. Ce système de règles ainsi que les règles elles-mêmes ont été rempli par nos soins. Le but de cette analyse syntaxique est n'utiliser que peu de règles afin de ne pas exploser en complexité computationnelle.

Chaque règle est constituée de deux parties : une partie de conditions et une partie d'application. La partie de conditions peut être composée du symbole `&` et/ou du symbole `||`. Cette partie contient un ensemble de conditions non limité. Lorsque des conditions sont entourées par le symbole `&` alors cet ensemble se doit de respecter toutes les conditions. Lorsque des conditions sont entourées par le symbole `||`, alors seulement une condition se doit d'être respectée. Le système réalise une évaluation paresseuse. Si la partie de conditions est validée alors la partie d'application pourra être lancée sur les nœuds sélectionnés. La partie d'application peut contenir plusieurs actions. Chacune des actions pourra être appliquée sur les nœuds sélectionnés préalablement. Une condition ou une application est représentée par un triplet.

Deux types de triplets sont possibles pour la partie condition. Le premier type est *triplet link* qui permet de vérifier l'existence d'une relation entre deux nœuds variables. Un nœud variable peut être remplacé par un nœud constante. Par exemple, on cherchera à sélectionner les liens de type `$x r_pos Nom :`. Le deuxième type est *triplet equals* et permet d'indiquer si une chaîne de caractère d'un nœud est bien égale à un autre nœud ou à une valeur donnée.
Lorsque l'on lance la phase de conditions, on récupère un ensemble de nœud. Dans le cas où cet ensemble n'est pas vide, la partie application pourra lancer les triplets sur ces nœuds sélectionnés. Deux types de triplet d'application sont possibles. Le premier consiste à créer un nouveau lien et se nomme triplet link. Il s'utilise de la même manière que celui de la partie condition. Le second consiste à créer un nouveau nœud représentant la composition de plusieurs nœuds ou bien du label de la constante indiquée (triplet makeNode).

Basé sur ce même système règles, l'utilisateur peut poser des questions sur le graphe ou sur des informations liées au graphe et présentes dans JeuxDeMots. Notre système de règles est extensible et réutilisable. Nous l'avons donc facilement adapté afin de répondre aux questions. Une requête est de la forme condition → Return : elements a retourner. Le but est de savoir quels nœuds correspondent à la condition de la condition pour ensuite retourner les nœuds sélectionnés.

### 2.2.3 Génération des résultats

Finalement, lorsque l'ensemble des règles est appliqué nous parcourons une dernière fois l'ensemble des nœuds du graphe dans le but de récupérer les nœuds représentants les entités détectées. Pour chaque nœud nous recherchons des relations indiquant des annotations possibles. Chaque annotation possède un nœud dans le graphe et les nœuds détectés comme une entité nommée possèdent une relation -r_annoted-> vers les annotations. Par exemple : "durant 3 mois" r_annoted « Durée». Ainsi, pour chaque nœud d'entités détectées, nous rajoutons dans le fichier de sortie, la chaîne de caractères associée avec son annotation, et ses index de début et de fin.

## 3 Résultats

Nous présentons ci-dessous les résultats issus des deux approches décrites. Notre choix d'approche symbolique nous permettant de réaliser une analyse fine des résultats obtenus, nous distinguons deux manières de calculer les mesures d'évaluation : (1) les mesures strictes (officielles) et (2) des mesures plus souples qui prennent en compte les annotations partiellement correctes.

La mise en perspective du différentiel de performance entre ces deux mesures permet d'isoler les entités détectées de manière « aberrante » (FP) et entièrement non-détectées par le système (FN). Cette distinction nous permet de discuter finement les divergences obtenues entre notre système et les annotations de référence.

### 3.1 Autour du patient et des pratiques cliniques

<table><thead><tr><th>Mesures officielles</th><th>TP</th><th>FP</th><th>FN</th><th>Précision</th><th>Rappel</th><th>F1</th></tr></thead><tbody><tr><td>anatomie</td><td>631</td><td>297</td><td>489</td><td>0,6800</td><td>0,5634</td><td>0,6162</td></tr><tr><td>examen</td><td>417</td><td>217</td><td>400</td><td>0,6577</td><td>0,5104</td><td>0,5748</td></tr><tr><td>substance</td><td>171</td><td>107</td><td>142</td><td>0,6151</td><td>0,5463</td><td>0,5787</td></tr><tr><td>traitement</td><td>125</td><td>170</td><td>179</td><td>0,4237</td><td>0,4112</td><td>0,4174</td></tr><tr><td>signe ou symptôme</td><td>356</td><td>540</td><td>923</td><td>0,3973</td><td>0,2783</td><td>0,3274</td></tr><tr><td>pathologie</td><td>69</td><td>277</td><td>97</td><td>0,1994</td><td>0,4157</td><td>0,2695</td></tr></tbody></table>
<table><thead><tr><th>Mesures souples</th><th>TP</th><th>FP</th><th>FN</th><th>Précision</th><th>Rappel</th><th>F1</th></tr></thead><tbody><tr><td>anatomie</td><td>818</td><td>110</td><td>317</td><td>0,8815</td><td>0,7207</td><td>0,7930</td></tr><tr><td>examen</td><td>563</td><td>71</td><td>265</td><td>0,888</td><td>0,68</td><td>0,7702</td></tr><tr><td>substance</td><td>199</td><td>79</td><td>114</td><td>0,7158</td><td>0,6358</td><td>0,6734</td></tr><tr><td>traitement</td><td>210</td><td>85</td><td>101</td><td>0,7119</td><td>0,6752</td><td>0,6931</td></tr><tr><td>signe ou symptôme</td><td>753</td><td>143</td><td>530</td><td>0,8404</td><td>0,5869</td><td>0,6911</td></tr><tr><td>pathologie</td><td>116</td><td>230</td><td>50</td><td>0,3353</td><td>0,6988</td><td>0,4531</td></tr></tbody></table>

Notre analyse des résultats du système face aux annotations de référence permet d'identifier les typologies principales d'erreurs suivantes :

- mauvaises étiquettes des étapes de prétraitement

- terminologie spécialisée incomplète/divergente

- règles linguistiques/médicales non exhaustives

- règles médicales en accord avec le guide d'annotation mais en désaccord avec l'annotation de référence

Nous discutons dans ce qui suit, les détails de cette analyse par catégorie d'entité, accompagnée des exemples d'erreurs les plus notables.

## Anatomie :

**FN (35% partiellement corrects) :** Presque 30% des entités entièrement non détectées sont représentés par des termes relatifs à des *liquides biologiques* (e.g. : "sang", "urines") et par des termes qui ne sont pas en rapport avec une partie anatomique (e.g. : "anatomopathologique", "psychomoteurs"), non présents dans notre terminologie spécialisée *anatomie*.

**FP (63% partiellement corrects) :** La plupart des FP restants sont des erreurs dues aux étiquettes de prétraitement. Il en existe un faible nombre (13) qui sont des oublis d'annotation de la référence.

## Examen :

**FN (34% partiellement corrects) :** Presque 25% des entités entièrement non détectés par notre système concernent des termes génériques et mettent en évidence *la limite d'utiliser des terminologies hypers spécialisées pour répondre à la tâche*. Ainsi, notre terminologie issue de l'UMLS, intégrait des « procédures médicales diagnostiques », mais n'intégrait pas des termes d'ordre plus général employés seuls, tels que : "analyse", "bilan", "consultation", "examen", "exploration", "interrogatoire", "investigation", "surveillance".

**FP (67% partiellement corrects) :** Nous avons intégré dans notre terminologie d'examens certains noms de substances qui sont normalement mesurées dans des examens biologiques : ces termes détectés seuls ont produit des FP.

## Substance :

**FN (20% partiellement corrects) :** Près de 30% des entités non détectés par notre système sont dues à une construction incomplète de notre terminologie spécialisée. Il s'agit de termes génériques ne renvoyant pas à un nom de substance médicamenteuse précis, mais, soit à une *classe médicamenteuse* ("anti-androgène", "antiarythmique", "traitement anti-bacillaire"), soit à des *types de traitement* ("traitement de rattrapage", "traitement local d'appoint", "traitement
prophylactique", "transfusions", "antibiothérapie", "analgésie"). Notre terminologie de référence était majoritairement constituée de noms de molécules et ne pouvait permettre à notre système de détecter ce type de termes.

**FP (26% partiellement corrects)** : Les FP générés par notre système ne présentent pas de cas aberrants, il s'agit d'erreurs dues au problèmes de prétraitement.

## Traitement :

**FN (44% partiellement corrects)** : La difficulté principale avec cette catégorie a été la détection de cas complexes telles que :

* « fond du néo-vagin avait été créé en suturant par un surjet résorbable le moignon colique droit ».

**FP (50% partiellement corrects)** : Dans cette catégorie, les FN et les FP sont expliqués par la même difficulté.

## Signe ou symptôme :

**FN (43% partiellement corrects)** : Pour cette catégorie on note un différentiel important de performance entre les mesures strictes et souples. Ceci s'explique par la complexité inhérente de l'information représentée. Le guide d'annotation précise qu'il s'agit « des résultats d'observations cliniques ou à un examen avec son résultat ». Ceci peut constituer des groupes nominaux complexes qui doivent faire appel à des règles linguistiques complexes, par exemple :

* Gold : « masse de 1,5 x 1,0 cm au niveau du pôle inférieur du rein gauche, se rehaussant après injection du produit de contraste »

* Système : « masse de 1,5 x 1,0 cm au niveau du pôle inférieur du rein gauche »

**FP (73% partiellement corrects)** : Le nombre aussi élevé d'annotations partiellement correctes s'explique par une discordance relevée entre nos résultats et ceux de référence en rapport avec les termes qualifiant l'absence ou la présence d'un signe ou symptôme, par exemple :

* Gold : « zone hypoéchogène centro-rénale gauche »

* Système : « présence d'une zone hypoéchogène centro-rénale gauche »

## Pathologie :

**FN (48% partiellement corrects)** : Le nombre élevé de FN pour cette catégorie s'explique par le manque d'exhaustivité des règles expertes qui ne peuvent couvrir l'ensemble des cas de figure rencontrés en médecine. Ainsi que par des divergences entre règles expertes et annotation de référence, cette dernière annote ces termes comme pathologie tels que : "adénopathies", "adénopathies périphériques", "cystalgies", "oedème réactionnel important de tout le fourreau du pénis", "mydriase bilatérale aréactive", alors qu'il s'agit de signe ou symptôme.

**FP (17% partiellement corrects)** : Parmi toutes les catégories d'entités traitées, c'est la seule pour laquelle le rappel est nettement meilleur que la précision. Ceci s'explique par le grand nombre de FP générés par le système. On peut l'expliquer par une divergence entre la classe d'entités UMLS disease or syndrome que nous avions rapproché de pathologie et qui comporte en fait d'authentiques signes ou symptômes tels que : "hématurie", "thrombopénie", "anémie".
## 3.2 Autour du temps et des traitements médicaux

<table><thead><tr><th>Mesures officielles</th><th>TP</th><th>FP</th><th>FN</th><th>Précision</th><th>Rappel</th><th>F1</th></tr></thead><tbody><tr><td>dose</td><td>10</td><td>11</td><td>42</td><td>0,4762</td><td>0,1923</td><td>0,2740</td></tr><tr><td>mode</td><td>16</td><td>7</td><td>73</td><td>0,6957</td><td>0,1798</td><td>0,2857</td></tr><tr><td>moment</td><td>85</td><td>243</td><td>80</td><td>0,2591</td><td>0,5152</td><td>0,3448</td></tr><tr><td>valeur</td><td>155</td><td>115</td><td>277</td><td>0,5741</td><td>0,3588</td><td>0,4416</td></tr></tbody></table>

<table><thead><tr><th>Mesures souples</th><th>TP</th><th>FP</th><th>FN</th><th>Précision</th><th>Rappel</th><th>F1</th></tr></thead><tbody><tr><td>dose</td><td>12</td><td>09</td><td>40</td><td>0,5714</td><td>0,2308</td><td>0,3288</td></tr><tr><td>mode</td><td>20</td><td>3</td><td>69</td><td>0,8696</td><td>0,2247</td><td>0,3571</td></tr><tr><td>moment</td><td>156</td><td>172</td><td>28</td><td>0,4756</td><td>0,8478</td><td>0,6094</td></tr><tr><td>valeur</td><td>225</td><td>45</td><td>216</td><td>0,8333</td><td>0,5102</td><td>0,6329</td></tr></tbody></table>

En regardant les résultats obtenus dans ces catégories, nous pouvons observer une précision plus importante par rapport au rappel. Ceci est dû à notre approche qui priorise la précision au rappel, pour la majorité des catégories traités. Ainsi dans les catégories avec un faible rappel, les règles déjà présentent sont efficaces mais il manque des règles pour récupérer les éléments manquants. Dans le cas de la catégorie moment nous pouvons remarquer que la précision est plus faible que le rappel, ce qui montre que certaines sont trop générales et nécessitent d'être affinées.

## 3.3 Observations générales d'ordre médical

Concernant la détection des classes d'entités liées au patient et aux pratiques cliniques, les *pathologies* et *signe ou symptôme* sont beaucoup plus dépendantes des règles médicales que les autres classes, pour lesquelles la bonne construction des terminologies et des règles linguistiques apportent déjà de bonnes performances de détection. Or, médicalement, la distinction *pathologie* versus *signe ou symptôme* est difficile pour plusieurs raisons :

**Consensus entre experts** : Intrinsèquement certaines observations cliniques ou paramédicales assimilables donc, à des *signes ou symptômes*, sont aussi d'authentiques *pathologies*. Ainsi, dans les annotations de référence, clairement identifier ce qui relève de la pathologie, de ce qui relève d'observations d'examens cliniques ou paracliniques peut ne pas être consensuel, même entre experts médecins. On peut citer le cas des anomalies morphologiques évocatrices d'une affection congénitale telles que « *rein en fer à cheval* » ou « *hypospadia* », toutes deux classées en *signes ou symptômes* par la référence du DEFT mais qui pourraient également être reclassées en *pathologie* (congénitale).

**La question des « syndromes »** : Selon la définition du Larousse, un syndrome est « un ensemble de plusieurs symptômes ou signes en rapport avec un état pathologique donné et permettant, par leur groupement, d'orienter le diagnostic » et un syndrome biologique est un « ensemble des modifications biochimiques, physiques, sérologiques, bactériologiques caractérisant un état pathologique donné ». Il semblerait donc que nosologiquement les syndromes puissent être assimilés à des *signes ou symptômes*, or certains syndromes sont utilisés pour qualifier d'authentiques états pathologiques : « syndrome néphrotique » par exemple.

**Ambiguïté d'une règle d'annotation** : Il faut relever l'ambiguïté de la règle d'annotation du DEFT suivante, concernant les tumeurs : « *Les tumeurs malignes sont annotées pathologie tandis que les tumeurs bénignes seront annotées signe ou symptôme* ». Le degré de malignité
semblait donc constituer la frontière entre *pathologie* et *signe ou symptôme*. Or une tumeur même bénigne peut constituer une pathologie, citons « l'adénome prostatique » qui est une *pathologie* bien qu'une tumeur bénigne. Le fondement médical de cette distinction reste à préciser.

**Importance du contexte pour désambiguïser des termes** : la désambiguïsation fait aussi appel au contexte de la phrase dans lequel apparaît le terme. Ainsi dans la phrase suivante : « à l'examen clinique, le patient présente une hypertension artérielle », « hypertension artérielle » est à classer en *signe ou symptôme*. A l'inverse, dans l'exemple suivant issu du texte 140-2 des données de test : « Mme R.S, âgée de 60 ans, suivie depuis 10 ans pour hypertension artérielle, a été admise pour une douleur lombaire gauche évoluant depuis 1 mois », « hypertension artérielle » pourtant annotée en *signe ou symptôme* par la référence, est sans aucun doute une authentique *pathologie*.

# 4 Conclusion

Dans cet article nous avons présenté les méthodes que nous avons conçues pour répondre à la tâche 3 de la campagne d'évaluation DEFT 2020. Pour les catégories liées aux patients et aux pratiques cliniques, nous avons adopté une approche classique d'extraction d'informations à base de règles et de lexiques spécialisés. Pour les catégories autour du temps et des traitements médicaux, nous avons développé une approche basée sur les graphes de connaissances, exploitant le réseau sémantique JeuxDeMots.

Nous avons constaté que la performance de notre système a été souvent bonne en précision, grâce aux règles linguistiques et médicales complexes, mais ne pouvait couvrir de manière exhaustive l'ensemble des cas de figure rencontrés en médecine. Cela nécessiterait pour les experts médicaux une charge de travail trop importante et ceci nous interroge sur la possibilité de maintenir une approche uniquement basée sur les règles dans le domaine médical.

En perspectives, nous allons explorer des approches hybrides qui permettraient d'exploiter à la fois (1) les performances des approches par apprentissage, qui sont efficaces pour le traitement de l'exhaustivité, et (2) les connaissances métier apportées par les experts médicaux.

Plus précisément, nous avons identifié lors de la détection d'entités complexes, des cas où nos règles médicales ont été prises en défaut par la non détection d'entités simples (*anatomie, valeur, examen*), servant de point d'ancrage dans le texte à l'application de ces règles. Afin de viser une meilleure couverture des cas de figure rencontrés en médecine, nous pourrions nous appuyer sur des approches par apprentissage automatique pour la détection de ces entités simples, tout en conservant nos règles d'expertise liées aux entités plus complexes telles que *signes ou symptômes* ou *pathologie*.

# Références

CARDON R., GRABAR N., GROUIN C. & HAMON T. (2020). Présentation de la campagne d'évaluation deft 2020 : similarité textuelle en domaine ouvert et extraction d'information précise dans des cas cliniques. In *Actes de DEFT*.

GRABAR N., CLAVEAU V. & DALLOUX C. (2018). CAS : French corpus with clinical cases. In *Proceedings of the Ninth International Workshop on Health Text Mining and Information Analysis*, p.
122–128, Brussels, Belgium : Association for Computational Linguistics. DOI : 10.18653/v1/W18-5614.

LAFOURCADE M. (2007). Making people play for lexical acquisition.

LAFOURCADE M. (2015). Jeux de mots, pour quoi faire ?

LAFOURCADE M., LE BRUN N. & JOUBERT A. (2015). Jeux et intelligence collective - résolution de problèmes et acquisition de données sur le web. collection science cognitive et management des connaissances.