# "POPCORN-RENS: un nouveau jeu de données en français annoté en entités d'intérêts sur une thématique ""sécurité et défense"""

Lucas Aubertin, Guillaume Gadek, Gilles Sérasset, Maxime Prieur,
Nakanyseth Vuth, Bruno Grilheres, Didier Schwab, Cédric Lopez

► To cite this version:

Lucas Aubertin, Guillaume Gadek, Gilles Sérasset, Maxime Prieur, Nakanyseth Vuth, et al. "POPCORN-RENS: un nouveau jeu de données en français annoté en entités d'intérêts sur une thématique ""sécurité et défense""". 20e Conférence en Recherche d'Information et Applications (CORIA) 32ème Conférence sur le Traitement Automatique des Langues Naturelles (TALN) 27ème Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL) Les 18e Rencontres Jeunes Chercheurs en RI (RJCRI), 2025, Marseille, France. pp.1-10. hal-05329774

HAL Id: hal-05329774

https://inria.hal.science/hal-05329774v1

Submitted on 27 Oct 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# POPCORN-RENS : un nouveau jeu de données en français annoté en entités d'intérêts sur une thématique "sécurité et défense"

Lucas Aubertin¹, Guillaume Gadek², Gilles Sérasset³, Maxime Prieur², Nakanyseth Vuth³, Bruno Grilheres², Didier Schwab³, Cédric Lopez¹

(1) Emvista, 34830 Jacou, France

(2) Airbus Defence & Space, 78990 Élancourt, France

(3) Univ. Grenoble Alpes, CNRS, LIG, 38000 Grenoble, France

## RÉSUMÉ

Le projet de recherche collaboratif POPCORN (Peuplement OPérationnel de bases de COnnaisances et Réseaux de Neurones), débuté en 2022, a levé le verrou de l'absence de données textuelles annotées et accessibles librement sur la thématique "sécurité et défense" grâce à l'ouverture de plusieurs jeux de données en français. Dans ce cadre une nouvelle contribution majeure est la ressource textuelle présentée dans cet article, nommée POPCORN-RENS, dont les textes sources sont issus du bulletin électronique Renseignor qui publie régulièrement des relevés d'écoutes radio. Ce corpus a été annoté manuellement et est une partie d'un jeu de données créé par le consortium de ce projet. L'approche ayant permis de concevoir la typologie, le guide d'annotation ainsi que la ressource en elle-même est décrite dans cet article et sur Github. Nous présentons également les premiers résultats d'un modèle supervisé entraîné sur POPCORN-RENS.

## ABSTRACT

### POPCORN-RENS : A new French dataset annotated for entities of interest on the theme of "security and defense"

The collaborative research project POPCORN (Peuplement OPérationnel de bases de COnnaisances et Réseaux de Neurones), since its beginning in 2022, has overcome the challenge of the lack of annotated and freely accessible textual data on the theme of "defense" by opening several datasets in French. In this context a new major contribution is the textual resource presented in this article, POPCORN-RENS, whose source texts are derived from the electronic bulletin Renseignor which regularly publishes radio listening reports. POPCORN-RENS has been manually annotated and is part of a dataset created by the consortium. The approach used to design the typology, the annotation guide, and the resource itself is described in this paper and on Github. We also present the initial results of a supervised model trained on POPCORN-RENS.

**MOTS-CLÉS** : jeu de données, entités nommées, entités d'intérêt, modèle supervisé.

**KEYWORDS:** dataset, named entities, entities of interest, supervised model.

**ARTICLE** : **Accepté à EvalLLM2025** : Atelier sur l'évaluation des modèles génératifs (LLM) et challenge.
# 1 Introduction

Le domaine de l'extraction d'informations (EI) regroupe plusieurs tâches d'intelligence artificielle qui visent à détecter, reconnaître et structurer des informations de haut niveau à partir d'un texte libre. Parmi ces tâches se trouvent l'extraction d'entités nommées, la résolution de corréférences, l'extraction de relations et d'attributs ou encore le liage (ou désambiguïsation) à une base de connaissances structurées pré-existante.

Malgré les progrès fulgurants des nouvelles techniques d'intelligence artificielle, dont les modèles "transformers" et l'IA générative, les meilleurs modèles actuels sur ces tâches disposent encore d'axes d'amélioration, notamment dans le cas où l'ontologie est complexe (par exemple pour annoter finement les entités).

En particulier, les recherches en EI dans le secteur de la défense sont limitées par le manque de données annotées. Avec la nouvelle ressource POPCORN-RENS que nous présentons dans cet article, l'objectif est de faciliter les recherches en EI pour la communauté scientifique et, en particulier, de déclencher des travaux d'évaluation de systèmes d'intelligence artificielle. POPCORN-RENS est un jeu de données constitué de textes authentiques du domaine du renseignement d'intérêt militaire, annoté manuellement et accessible¹.

La section 2 présente des travaux récents du domaine. En section 3 nous évoquons les choix on-
tologiques et présentons succinctement le guide d'annotation ayant conduit à la production de
POPCORN-RENS. Nous décrivons deux modèles et présentons les premiers résultats obtenus en
guise de "baseline" pour de futurs travaux (section 4).

# 2 Travaux antérieurs

## 2.1 Accès aux données pour le français

Malgré la quantité de travaux sur les tâches d'extraction d'information et la disponibilité de jeux de données en anglais, il s'avère que le français reste une langue encore peu dotée en annotations sémantiques, d'autant plus sur des thématiques spécifiques telles que la sécurité et la défense. Le tableau 1 présente un ensemble de jeux de données accessibles en français et libres d'utilisation, qui peuvent être utilisés pour l'entraînement et l'évaluation des modèles de REN. Neuf des douze jeux de données sont annotés avec un nombre de classes inférieur à quinze. Sur cet aspect, le jeu de données Wikipedia-ner (Lopez et al., 2019) se distingue des autres puisqu'il contient 41 classes bien qu'il soit limité en taille (21 855 tokens). Le jeu de données DWIE-FR (Verdy et al., 2023) comble ce manque en apportant une typologie qui répond en partie aux cas d'usage de la défense. Par ailleurs, le jeu de données de (Giordano et al., 2024) a été annoté manuellement mais sur des textes factices (certains rédigés manuellement et d'autres générés par IA). Il apparaît ainsi qu'il n'existe aucun grand jeu de données en français librement accessible annoté en entités d'intérêt pour la sécurité et la défense.
<table><caption>TABLE 1 – Jeux de données en français, annotés en entités et accessibles.</caption><thead><tr><th>Jeu de données</th><th>Tokens</th><th>Annotations</th><th>Classes</th><th>Références</th></tr></thead><tbody><tr><td>MultiNERD</td><td>4 300 000</td><td>279 300</td><td>15</td><td>(Tedeschi & Navigli, 2022)</td></tr><tr><td>WikiNeural</td><td>3 240 000</td><td>231 000</td><td>4</td><td>(Tedeschi et al., 2021)</td></tr><tr><td>Le tour du monde en 80 jours</td><td>84 972</td><td>6 076</td><td>12</td><td>(Lopez et al., 2019)</td></tr><tr><td>WiNER-Fr</td><td>322 931</td><td>24 144</td><td>7</td><td>(Dupont, 2019)</td></tr><tr><td>Wikipedia-ner</td><td>21 855</td><td>6 132</td><td>41</td><td>(Lopez et al., 2019)</td></tr><tr><td>CAP Twitter</td><td>env. 60 000</td><td>6 562</td><td>13</td><td>(Lopez et al., 2017)</td></tr><tr><td>Europeana-newpapers-ner</td><td>207 000</td><td>13 860</td><td>3</td><td>(Neudecker, 2016)</td></tr><tr><td>Quaero French Medical Corpus</td><td>72 183</td><td>16 233</td><td>10</td><td>(Grouin et al., 2014)</td></tr><tr><td>French TreeBank</td><td>350 931</td><td>11 636</td><td>7</td><td>(Sagot et al., 2012)</td></tr><tr><td>WikiNer-Fr</td><td>3 499 695</td><td>420 061</td><td>4</td><td>(Nothman et al., 2008)</td></tr><tr><td>DWIE-FR</td><td>589 394</td><td>60 292</td><td>169</td><td>(Verdy et al., 2023)</td></tr><tr><td>POPCORN</td><td>57 200</td><td>5 800</td><td>49</td><td>(Giordano et al., 2024)</td></tr></tbody></table>

## 2.2 Modèles supervisés pour la reconnaissance d'entités d'intérêt

Nous donnons ici une vue synthétique des travaux majeurs en reconnaissance d'entités nommées (REN) concernant des modèles supervisés à l'état de l'art dont l'entraînement est soumis à la contrainte de l'existence de données annotées. Depuis l'avènement des *transformers*, plusieurs modèles francophones tels que CamemBERT (Martin et al., 2019) et FlauBERT (Le et al., 2019) fournissent un socle fiable et sont largement utilisés pour leur capacité à vectoriser l'information dans les documents. L'extraction d'informations peut ensuite s'appuyer sur une couche linéaire de classification pour l'étiquetage de mots. Les préoccupations récentes en extraction d'entités, telles que l'attention portée à l'extraction de fragments plutôt qu'à l'étiquetage de tokens, la détection d'entités imbriquées et la prédiction de multiples étiquettes pour une même mention, ont conduit à explorer des modèles plus récents, notamment DeepSpanRepresentations (Zhu et al., 2022), Biaffine-NER (Yu et al., 2020), Boundary Smoothing (BS) (Zhu & Li, 2022) et PromptNER (Shen et al., 2023), des modèles représentant efficacement les fragments textuels par des opérations bi-affine, des Bi-LSTM ou une meilleure gestion de l'ambiguïté liée aux frontières des mentions.

# 3 Constitution d'un corpus de référence

## 3.1 Données réelles de renseignement d'intérêt militaire

Le bulletin d'actualité Renseignor<fnref n="2" /> est une publication électronique spécialisée dans le domaine de la défense qui diffuse régulièrement des relevés d'écoutes radio. Ces relevés fournissent des informations précieuses et actualisées sur divers événements et activités liés à la sécurité et à la défense. En tant que source d'information stratégique, Renseignor joue un rôle crucial dans la collecte et la diffusion de données pertinentes pour les analystes et les professionnels du secteur, contribuant ainsi à une meilleure compréhension des dynamiques géopolitiques et des menaces potentielles.

Le consortium dispose des droits nécessaires pour publier le présent jeu de données qui contient 600 articles de Renseignor. Les articles de ce jeu de données ont une taille comprise entre 65 et 231

<footnote n="2">2. https://cf2r.org/publications/lettre/renseignor/</footnote>
tokens. La taille des textes retenus est due à la volonté de privilégier la quantité d'articles plutôt que la quantité d'annotations au sein de chaque article de sorte à minimiser la redondance des données annotées.

## 3.2 Typologie

D'une part, le consortium s'est appuyé sur l'ontologie MIM (Multilateral Information Model) développée dans le cadre du Multilateral Interoperability Programme (MIP), un organe de standardisation qui comprend 24 nations, l'agence européenne de défense et l'OTAN. Ce modèle adapté du MIM est structuré autour du pentagramme du renseignement (Joint C3 Information Exchange Data Model - JC3IEDM) et vise à fournir un standard d'interopérabilité pour les applications de C2 (Command and Control) et d'ISR (Intelligence Surveillance and Recognition). De cette ontologie qui représente 1200 classes d'intérêt, nous avons décliné une ontologie plus modeste, contenant une cinquantaine de classes d'intérêt, utilisables concrètement dans le cadre de nos expériences (cf. (Lopez et al., 2024)).

Afin de faire évoluer cette ontologie et l'adapter à la ressource Renseignor, une étude terminologique a été effectuée en appliquant des mesures classiques d'extraction de termes saillants (TF-IDF, BM25) et des outils d'analyse syntaxique et sémantique ont été appliqués<fnref n="3" /> (cf. Fig. 1) en parallèle d'une lecture du jeu de données pour affiner encore l'ontologie. Le guide d'annotation est accessible sur le Github du jeu de données <fnref n="4" />.

## 3.3 Annotation et résultat

Le corpus rendu accessible a été annoté par un prestataire de service <fnref n="5" /> en étroite collaboration avec le consortium du projet de recherche. 10% du jeu de données ont été annotés par des experts du domaine et ont été comparés aux annotations du prestataire afin de s'assurer de la qualité du résultat obtenu. Plusieurs cycles d'annotation ont été nécessaires pour obtenir le jeu de données tel que distribué.

Le jeu de données a été annoté manuellement selon 45 classes d'événements (par exemple KILLING, CYBER ATTACK; voir Fig. 2). Sur les 2000 documents annotés, 600 sont rendus accessibles à travers cette publication avec en moyenne 7,5 entités annotées par document. Les documents publiés ont une longueur moyenne de 148 tokens, avec des variations allant de 65 tokens pour le document le plus court à 231 tokens pour le plus long. Le présent corpus couvre une période temporelle allant d'octobre 2017 à janvier 2024.

<footnote n="3">3. Les services de Emvista https://www.emvista.com/ ont été utilisés, en particulier le service de représentation sémantique MR4AP qui permet de générer un graphe sémantique couvrant la totalité de l'information explicitement véhiculée dans le texte.</footnote>

<footnote n="4">4. https://github.com/Emvista/POPCORN-RENS/docs</footnote>

<footnote n="5">5. https://fr.isahit.com/</footnote>
<figure><img src="image_2.png" /><figcaption>FIGURE 1 – Exemple de visualisation résultante de l’analyse du corpus avec un service d’analyse sémantique MR4AP.</figcaption></figure>

# 4 Premières expériences

Le jeu de données publié ici est le seul en français et accessible qui soit créé dans une perspective de développer des cas d’usage pour la sécurité et la défense. Nous présentons dans cette section les premiers résultats des modèles obtenus en guise de "baseline".

Dans nos expériences, nous avons utilisé une architecture basée sur le modèle CamemBERT, suivie de projections linéaires appliquées aux représentations des tokens de début et de fin, avec une activation GELU. Ces projections maintiennent la dimension originale de 768 et les représentations concatenées [début; fin] résultent en un vecteur de 1536 dimensions, qui est ensuite passé à un classifieur linéaire pour le décodage par token. Une régularisation par dropout de 0.1 est appliquée sur les projections pour éviter le surapprentissage. L’entraînement est effectué de manière conjointe avec un taux d’apprentissage de 2e-5 pour à la fois CamemBERT et la tête de classification, tout en gérant explicitement le déséquilibre des classes. Pour les séquences longues, aucun traitement spécifique n’est appliqué; elles sont simplement tronquées à une longueur maximale de 512 tokens. Ce modèle est noté "Mod-1" dans la suite.

En second lieu, nous avons utilisé une architecture où le modèle CamemBERT est accompagné d'un BiLSTM. Les représentations alors obtenues sont ensuite projetées via deux réseaux de feed-forward (FFN) indépendants, chacun avec un dropout de 0.4, pour les positions de début et de fin. Ces projections sont combinées de manière biaffine, intégrant également des embeddings de taille, pour générer des scores de spans. Le décodage prend en compte explicitement tous les spans de longueur inférieure ou égale à 10 tokens. L'entraînement est réalisé avec un taux d'apprentissage différencié : 2e-5 pour CamemBERT et 2e-3 pour les autres composants, incluant un warmup linéaire sur les 10
<figure><img src="image_3.png" /><figcaption>FIGURE 2 – Distributions des entités annotées : en haut par type sur l’ensemble du corpus ; en bas à gauche nombre d’entités présentes dans chaque document ; en bas à droite nombre d’entités en fonction du nombre de tokens du texte.</figcaption></figure>

premiers pourcents des étapes d’entraînement. Pour les séquences longues, un traitement spécifique est appliqué : les séquences de 512 sub-tokens ou plus sont découpées pour conserver un maximum de contenu. Ce modèle est noté "Mod-2" dans la suite.

Les résultats présentés ci-après (cf. Tableau 2 et 3) sont tous issus du jeu de données fourni en conservant le même découpage : 70% pour l’entraînement, 10% pour le développement et 20% pour le test. Ce découpage initial a été réalisé en sélectionnant aléatoirement (seed = 34) des textes parmi les 600 textes du jeu de données POPCORN-RENS.

Après 50 époques, le modèle Mod-1 atteint un micro F1-score de 53,7% sur le jeu de test avec une micro précision de 39,8% et un micro rappel de 82,6%. Ce modèle obtient 31,3% de macro F1-score avec une macro précision de 24,1% et un macro rappel de 54,7% qui reflète le déséquilibre marqué des classes.

Pour le même nombre d'époques, le modèle Mod-2 atteint un micro F1-score de 70,3% sur le jeu de test avec une micro précision de 67,6% et un micro rappel de 73,2%. Ce modèle obtient 48,0% de macro F1-score avec une macro précision de 48,0% et un macro rappel de 52,0% qui reflète lui aussi le déséquilibre marqué des classes. Si les différences entre les scores micro et macro continuent de mettre en évidence le déséquilibre entre les classes, les performances de Mod-2 s'avèrent généralement supérieures à Mod-1, exception faite du rappel légèrement inférieur (cf. Tableau 2).

Les résultats complets pour chaque type d'entités sont présentés en Tableau 3 dans l'Annexe A.
<table><caption>TABLE 2 – Résultats (en % hors support) obtenus avec MOD-1 et MOD-2 sur les 5 étiquettes de plus haut score avec support > 8.</caption><thead><tr><th rowspan="2">Étiquettes</th><th colspan="3">Mod-1</th><th colspan="3">Mod-2</th><th rowspan="2">Support</th></tr><tr><th>Précision</th><th>Rappel</th><th>F1-score</th><th>Précision</th><th>Rappel</th><th>F1-score</th></tr></thead><tbody><tr><td>KILLING</td><td>54.0</td><td>98.6</td><td>69.7</td><td>81.2</td><td>94.2</td><td><strong>87.2</strong></td><td>69</td></tr><tr><td>TRANSFER OF UNBIASED INFORMATION</td><td>63.4</td><td>96.1</td><td>76.4</td><td>81.0</td><td>90.5</td><td><strong>85.5</strong></td><td>281</td></tr><tr><td>TRANSFER OF MILITARY MATERIAL</td><td>52.3</td><td>77.3</td><td>62.4</td><td>91.9</td><td>77.3</td><td><strong>84.0</strong></td><td>44</td></tr><tr><td>CYBER ATTACK</td><td>38.5</td><td>100.0</td><td>55.6</td><td>85.7</td><td>80.0</td><td><strong>82.8</strong></td><td>15</td></tr><tr><td>CRIMINAL INVESTIGATION</td><td>34.6</td><td>100.0</td><td>51.4</td><td>69.2</td><td>100.0</td><td><strong>81.8</strong></td><td>9</td></tr></tbody></table>

# 5 Conclusion et travaux futurs

Dans cet article, nous avons introduit un jeu de données, nommé POPCORN-RENS, pour pallier le manque de données textuelles en français annotées en entités pour le secteur de la sécurité-défense. Ce jeu de données est validé par l’apprentissage de deux modèles dont les résultats sont rendus publics afin de constituer une base de comparaison pour les futurs travaux. Nous projetons une publication qui viendra étendre ce jeu de données avec les annotations en relations entre ces entités.

# Remerciements

Le projet POPCORN a bénéficié d'une subvention de l'Agence Innovation Défense (AID) et de l'accompagnement de la Direction Générale de l'Armement (DGA).
DUPONT Y. (2019). Un corpus libre, évolutif et versionné en entités nommées du français. In *TALN 2019-Traitement Automatique des Langues Naturelles*.

GIORDANO B., PRIEUR M., VUTH N., VERDY S., COUZOT K., SERASSET G., GADEK G., SCHWAB D. & LOPEZ C. (2024). POPCORN : Fictional and Synthetic Intelligence Reports for Named Entity Recognition and Relation Extraction Tasks. In *Procedia Computer Science*, 28th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems (KES 2024), Seville, Spain : Elsevier. HAL : hal-04708175.

GROUIN A. N. C., LEIXA J., ROSSET S. & ZWEIGENBAUM P. (2014). The quaero french medical corpus : A ressource for medical entity recognition and normalization.

LE H., VIAL L., FREJ J., SEGONNE V., COAVOUX M., LECOUTEUX B., ALLAUZEN A., CRABBÉ B., BESACIER L. & SCHWAB D. (2019). Flaubert : Unsupervised language model pre-training for french. *CoRR*, abs/1912.05372.

LOPEZ C., MEKAOUI M., AUBRY K., BORT J. & GARNIER P. (2019). Reconnaissance d'entités nommées itérative sur une structure en dépendances syntaxiques avec l'ontologie nerd. In *Extraction et Gestion des Connaissances : Actes de la conférence EGC'2019*, volume 79, p.81 : BoD-Books on Demand.

LOPEZ C., PARTALAS I., BALIKAS G., DERBAS N., MARTIN A., REUTENAUER C., SEGOND F. & AMINI M.-R. (2017). Cap 2017 challenge : Twitter named entity recognition. *arXiv preprint arXiv:1707.07568*.

LOPEZ C., VERDY S., GADEK G., PRIEUR M., SCHWAB D., SÉRASSET G. & NAKANYSETH V. (2024). POPCORN : IA d'extraction d'information à partir de sources textuelles pour le renseignement militaire. In *Proceedings of the 6th Conference on Artificial Intelligence for Defense (CAID 2024)*, Rennes, France. HAL : hal-04782410.

MARTIN L., MULLER B., SUÁREZ P. J. O., DUPONT Y., ROMARY L., DE LA CLERGERIE É. V., SEDDAH D. & SAGOT B. (2019). Camembert : a tasty french language model. *arXiv preprint arXiv:1911.03894*.

NEUDECKER C. (2016). An open corpus for named entity recognition in historic newspapers. In *Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16)*, p. 4348–4352.

NOTHMAN J., CURRAN J. R. & MURPHY T. (2008). Transforming wikipedia into named entity training data. In *Proceedings of the Australasian Language Technology Association Workshop 2008*, p. 124–132.

SAGOT B., RICHARD M. & STERN R. (2012). Annotation référentielle du corpus arboré de paris 7 en entités nommées. In *Traitement Automatique des Langues Naturelles (TALN)*, volume 2.

SHEN Y., TAN Z., WU S., ZHANG W., ZHANG R., XI Y., LU W. & ZHUANG Y. (2023). Promptner : Prompt locating and typing for named entity recognition. *arXiv preprint arXiv:2305.17104*.

TEDESCHI S., MAIORCA V., CAMPOLUNGO N., CECCONI F. & NAVIGLI R. (2021). Wikineural : Combined neural and knowledge-based silver data creation for multilingual ner. In *Findings of the Association for Computational Linguistics : EMNLP 2021*, p. 2521–2533.

TEDESCHI S. & NAVIGLI R. (2022). Multinerd : A multilingual, multi-genre and fine-grained dataset for named entity recognition (and disambiguation). In *Findings of the Association for Computational Linguistics : NAACL 2022*, p. 801–812.
VERDY S., PRIEUR M., GADEK G. & LOPEZ C. (2023). Dwie-fr : Un nouveau jeu de données en français annoté en entités nommées. In *18e Conférence en Recherche d'Information et Applications-16e Rencontres Jeunes Chercheurs en RI-30e Conférence sur le Traitement Automatique des Langues Naturelles-25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues*, p. 63-72 : ATALA.

YU J., BOHNET B. & POESIO M. (2020). Named entity recognition as dependency parsing. *arXiv preprint arXiv:2005.07150*.

ZHU E. & LI J. (2022). Boundary smoothing for named entity recognition. *arXiv preprint arXiv:2204.12031*.

ZHU E., LIU Y. & LI J. (2022). Deep span representations for named entity recognition. *arXiv preprint arXiv:2210.04182*.
# A Annexe : Résultats complets

<table><caption>TABLE 3 – Résultats obtenus avec MOD-1 et MOD-2 sur toutes les étiquettes dans le test ayant un support > 0, par ordre alphabétique.</caption><thead><tr><th rowspan="2">Étiquettes</th><th colspan="3">Mod-1</th><th colspan="3">Mod-2</th><th rowspan="2">Support</th></tr><tr><th>Précision</th><th>Rappel</th><th>F1-score</th><th>Précision</th><th>Rappel</th><th>F1-score</th></tr></thead><tbody><tr><td>ACCIDENT</td><td>0.0</td><td>0.0</td><td>0.0</td><td>0.0</td><td>0.0</td><td>0.0</td><td>6</td></tr><tr><td>ATTACK_WITH_EXPLOSIVES</td><td>33.7</td><td>85.3</td><td>48.3</td><td>46.2</td><td>52.9</td><td>49.3</td><td>34</td></tr><tr><td>BOMBINGernoY</td><td>26.3</td><td>100.0</td><td>41.7</td><td>44.4</td><td>40.0</td><td>42.1</td><td>10</td></tr><tr><td>COOPERATION</td><td>38.0</td><td>93.2</td><td>53.9</td><td>66.7</td><td>90.9</td><td>76.9</td><td>44</td></tr><tr><td>COUNTER_TERRORISM_OPERATION</td><td>7.4</td><td>28.6</td><td>11.8</td><td>11.1</td><td>28.6</td><td>16.0</td><td>7</td></tr><tr><td>CRIMINAL_ARREST</td><td>42.5</td><td>89.5</td><td>57.6</td><td>78.9</td><td>78.9</td><td>78.9</td><td>19</td></tr><tr><td>CRIMINAL_FIRE</td><td>8.7</td><td>40.0</td><td>14.3</td><td>28.6</td><td>40.0</td><td>33.3</td><td>5</td></tr><tr><td>CRIMINAL_INVESTIGATION</td><td>34.6</td><td>100.0</td><td>51.4</td><td>69.2</td><td>100.0</td><td>81.8</td><td>9</td></tr><tr><td>CYBERernoY</td><td>38.5</td><td>100.0</td><td>55.6</td><td>85.7</td><td>80.0</td><td>82.8</td><td>15</td></tr><tr><td>DEMONSTRATION</td><td>50.0</td><td>66.7</td><td>57.1</td><td>100.0</td><td>33.3</td><td>50.0</td><td>3</td></tr><tr><td>DIPLOMATIC_GATHERING</td><td>34.5</td><td>80.0</td><td>48.2</td><td>58.6</td><td>68.0</td><td>63.0</td><td>25</td></tr><tr><td>DISEASE_CONTAMINATION</td><td>22.2</td><td>100.0</td><td>36.4</td><td>33.3</td><td>50.0</td><td>40.0</td><td>2</td></tr><tr><td>ELECTION</td><td>29.6</td><td>88.9</td><td>44.4</td><td>57.1</td><td>88.9</td><td>69.6</td><td>9</td></tr><tr><td>FIREARMernoY</td><td>5.9</td><td>13.3</td><td>8.2</td><td>53.3</td><td>53.3</td><td>53.3</td><td>15</td></tr><tr><td>JUDGMENT</td><td>38.9</td><td>87.5</td><td>53.8</td><td>83.3</td><td>55.6</td><td>66.7</td><td>9</td></tr><tr><td>KIDNAPPING</td><td>30.0</td><td>85.7</td><td>44.4</td><td>33.3</td><td>71.4</td><td>45.5</td><td>7</td></tr><tr><td>KILLING</td><td>54.0</td><td>98.6</td><td>69.7</td><td>81.2</td><td>94.2</td><td>87.2</td><td>69</td></tr><tr><td>MILITARY_EXERCISE</td><td>69.2</td><td>80.4</td><td>74.4</td><td>70.5</td><td>55.4</td><td>62.0</td><td>56</td></tr><tr><td>NATIONALleiVO</td><td>0.0</td><td>0.0</td><td>0.0</td><td>28.6</td><td>100.0</td><td>44.4</td><td>2</td></tr><tr><td>NON_DIPLOMATIC_GATHERING</td><td>21.4</td><td>33.3</td><td>26.1</td><td>33.3</td><td>22.2</td><td>26.7</td><td>9</td></tr><tr><td>OTHERernoY</td><td>44.6</td><td>65.9</td><td>53.2</td><td>56.5</td><td>59.1</td><td>57.8</td><td>44</td></tr><tr><td>OTHEReroY</td><td>7.7</td><td>33.3</td><td>12.5</td><td>50.0</td><td>100.0</td><td>66.7</td><td>3</td></tr><tr><td>PEACEKEEPING_MISSION</td><td>100.0</td><td>50.0</td><td>66.7</td><td>100.0</td><td>100.0</td><td>100.0</td><td>2</td></tr><tr><td>PROPAGANDA</td><td>5.3</td><td>100.0</td><td>10.0</td><td>0.0</td><td>0.0</td><td>0.0</td><td>1</td></tr><tr><td>RAPE</td><td>n/a</td><td>n/a</td><td>n/a</td><td>0.0</td><td>0.0</td><td>0.0</td><td>1</td></tr><tr><td>REFUGEE_MOVEMENT</td><td>14.3</td><td>50.0</td><td>22.2</td><td>0.0</td><td>0.0</td><td>0.0</td><td>2</td></tr><tr><td>RESIGNATION</td><td>26.7</td><td>100.0</td><td>42.1</td><td>60.0</td><td>75.0</td><td>66.7</td><td>4</td></tr><tr><td>SENTENCE</td><td>16.7</td><td>50.0</td><td>25.0</td><td>42.1</td><td>44.4</td><td>43.2</td><td>18</td></tr><tr><td>SPYING</td><td>12.8</td><td>60.0</td><td>21.1</td><td>52.2</td><td>57.1</td><td>54.5</td><td>21</td></tr><tr><td>THEFT</td><td>8.3</td><td>16.7</td><td>11.1</td><td>33.3</td><td>16.7</td><td>22.2</td><td>6</td></tr><tr><td>THREAT_EVENT</td><td>29.2</td><td>87.5</td><td>43.8</td><td>84.6</td><td>68.8</td><td>75.9</td><td>16</td></tr><tr><td>TORTURE</td><td>0.0</td><td>0.0</td><td>0.0</td><td>0.0</td><td>0.0</td><td>0.0</td><td>1</td></tr><tr><td>TRANSFER_OF_MILITARY_MATERIAL</td><td>52.3</td><td>77.3</td><td>62.4</td><td>91.9</td><td>77.3</td><td>84.0</td><td>44</td></tr><tr><td>TRANSFER_OF_UNBIASED_INFORMATION</td><td>63.4</td><td>96.1</td><td>76.4</td><td>81.0</td><td>90.5</td><td>85.5</td><td>281</td></tr><tr><td>TROOP_MOVEMENT</td><td>13.2</td><td>45.5</td><td>20.4</td><td>18.2</td><td>18.2</td><td>18.2</td><td>11</td></tr><tr><td>WAR</td><td>45.0</td><td>85.7</td><td>59.0</td><td>65.0</td><td>61.9</td><td>63.4</td><td>21</td></tr><tr><td>WEAPON_DEPLOYMENT</td><td>12.5</td><td>30.0</td><td>17.6</td><td>87.5</td><td>70.0</td><td>77.8</td><td>10</td></tr><tr><td>WEAPONRY_TESTING</td><td>24.4</td><td>87.0</td><td>38.1</td><td>32.1</td><td>39.1</td><td>35.3</td><td>23</td></tr></tbody></table>