<figure><img src="image_16.png" /><figcaption>**Figure :** (Gauche) Schéma montrant la stratégie de classification spatiale et spectrale optimisée. L'étape 1 consiste à appliquer une analyse des composantes principales (ACP) sur l'image originale pour réduire sa dimension. L'étape 2 consiste à sélectionner la matrice de voisinage 7x7 pour inclure les caractéristiques spatiales et obtenir le vecteur de voisinage. L'étape 3 est l'application du réseau neuronal à l'aide de ce vecteur. (Droite) les résultats de classification de S<sub>2</sub>OC, SC et SVM. Les rectangles représentent des exemples de zones d'incohérence.</figcaption></figure>

allant jusqu'à 15% selon la classe et la métrique).

Pour compléter l'évaluation des modèles, une analyse visuelle est utile. La figure de droite montre les résultats de la classification. L'approche SVM à le plus d'incohérence d'un point de vue spatial (rectangles noirs sur les images) : observations isolées appartenant à des classes différentes de celles de leurs voisins (typiquement des pixels classés comme toit sur la façade des bâtiments). Les résultats de préiction les plus cohérents sont obtenus par la méthode S<sub>2</sub>OC. Il est également intéressant de noter que la frontière inférieure de la classe horizon pose de nombreuses difficul-tés aux classifieurs. L'introduction d'informations spatiales permet de lisser spatialement les résultats et de limiter les imprécisions de classification. Les frontières inférieures de la classe horizon en sont un bon exemple. Des résultats si-milaires ont été observé sur d'autres images montrant ainsi la bonne capacité de généralisation de l'approche S<sub>2</sub>OC.

# 5 Conclusion

La première étape essentielle pour l'identification de la pol-lution d'une ville à partir d'images nécessite l'identification du type de surface des pixels de l'image pour pouvoir leur associer une valeur physique reflétant les caractéristiques de la surface de l'objet. La méthode S<sub>2</sub>OC que nous avons développée, réduit d'abord le nombre de dimensions à traier avant de prendre en compte les pixels adjacents grâce à une matrice de voisinage, puis utilise un réseau de neurones pour classifier chaque pixel. Cette approche est moins coû-teuse en temps de calcul comparée aux méthodes de classi-fication pixel par pixel actuellement utilisées. De plus, les résultats montrent que l'ajout de la matrice de voisinage améliore significativement les performances, avec des gains pouvant aller jusqu'à 15% par rapport aux méthodes SVM ou un réseau de neurones sans l'information de voisinage.

La suite des travaux consiste à associer une valeur de ré-flectance de surface à l'ensemble des pixels en fonction de la classe. Ceci afin de restituer l'épaisseur optique des aéro-sols, indice de pollution, à l'aide d'un modèle de transfert radiatif.

# Remerciements

Ces travaux ont pu être effectués avec le soutien de la région Occitanie ainsi que le GIS neOCampus.

# Références

[1] N. Audebert, B. Saux, and S. Lefèvre, *Deep Learning for Classification of Hyperspectral Data: A Comparative Review*. IEEE; Geoscience and Remote Sensing Magazine, **7** (2), pp. 159-173, 2019.

[2] G. Lu, and B. Fei, *Medical hyperspectral imaging*. J Biomed Opt; **19** (1), pp. 523-565 2014.

[3] M. Fauvel, Y. Tarabalka, J. A. Benediktsson, J. Channussot, and J. C. Tilton, *Advances in Spectral-Spatial Classification of Hyperspectral Images*. Proceedings of the IEEE; Geosci, **101** (3), pp. 652-675, 2013.

[4] X. Huang and L. Zhang, *A comparative study of spatial approaches for urban mapping using hyperspectral ROSIS images over Pavia City, northern Italy*. International Journal of Remote Sensing; **30** (12), pp. 3205-3221, 2009.

[5] K. Mounika, K. Aravind, M. Yamini, P. Navyasri, S. Dash and V. Suryanarayana, *Hyperspectral Image Classification using SVM with PCA*. 2021 6th International Conference on Signal Processing, Computing and Control (ISPCC); **107** (14), pp. 470-475, 2021.
# Recherche des meilleures explications d'incidents sur une ligne de production

N. Cointe¹, M. Sylvain¹

¹Capgemini engineering, agence de Strasbourg
Bd Sébastien Brant Illkirch-Graffenstaden, France

nicolas.cointe@capgemini.com

mathieu.sylvain@capgemini.com

## Résumé

Disposer de jumeaux numériques des équipements industriels donne la possibilité de mieux comprendre l'état d'une chaîne de production en fonctionnement, et également de simuler des situations hypothétiques, telles qu'une nouvelle installation ou de nouveaux paramètres. Cependant, lorsque survient en production un incident dont la cause échappe à la modélisation choisie lors de la conception ou de la configuration du jumeau numérique, celui-ci peut se trouver dans l'incapacité de remplir correctement son rôle, voire même induire en erreur les utilisateurs. Cet article d'état de l'art et de prospection explore la possibilité, en cas de détection d'incident, de faire appel à un collectif d'agents autonomes pour générer et explorer un ensemble de scénarios alternatifs et présenter à un utilisateur les explications jugées comme étant les plus vraisemblables.

## Mots-clés

Argumentation, systèmes multiagents, cosimulation, industrie 4.0, explicabilité

## Abstract

Using digital twins of industrial equipments offers the possibility to get a better understanding of a working production line condition, as well as simulating hypothetical situations, such as a new installation or different parameters. However when an incident occurs on the runtime, if the cause of such event is not captured by the modeling design choices of this digital twin, it may conduct to a misinterpretation and even push the user to make wrong decisions. In this state of the art and prospective article, we explore the possibility to use a group of agent to react when such event is detected and then generate and explore a set of alternative scenarios. The most likely explanations, evaluated through an argumentation among agents, is then presented to the end user.

## Keywords

Argumentation, multiagent systems, cosimulation, 4.0 industry, explainability

# 1 Introduction

L'Industrie 4.0 résulte du déploiement de nouveaux concepts, paradigmes et technologies qui bouleversent la conception des chaînes de productions. Ces innovations ont changé la façon d'organiser le développement des procédés et la configuration des chaînes de productions en les rendant modulaires et reconfigurables entre et pendant les phases de production. Ces systèmes deviennent ouverts (par l'entrée ou la sortie d'équipements durant la production) et distribués via un réseau local et une multitude de capacités de calcul.

Des modèles de comportement de ces équipements, baptisées jumeaux numériques, sont pensés pour simuler et superviser le comportement d'un procédé. Mais implémenter des systèmes capables de se reconnaître, partager de l'information et réagir à des évènements imprévus au regard d'un modèle de production soulève des problèmes complexes. L'interprétation, et la proposition de réactions adéquates à ces incidents est d'autant plus difficiles que ces systèmes comprennent un grand nombre d'éléments fortement interconnectés. Nous souhaitons donc identifier dans cet article les méthodes existantes d'implémentation et d'usage d'un ensemble d'agents capables d'explorer les explications possibles d'un incident et évaluer les plus pertinentes. Nous introduirons en section 2 les concepts et outils déployés dans le cadre de la modernisation des outils industriels, du point de vue de leur mise à disposition d'agents autonomes. Puis en section 3 nous définirons le problème de l'explication d'incidents, suivi d'une réflexion prospective en section 4.

# 2 Spécificités de l'Industrie 4.0

La baisse des coûts de capacités de calculs conduit à la massification de leur présence dans le monde industriel et la prise de mesures numérique. Celles-ci peuvent être immédiatement utilisées par les systèmes de pilotage et de supervision, ou ultérieurement pour des analyses ou des travaux d'études visant à accroître les connaissances sur le procédé. Il est devenu également plus facile de déployer des systèmes de contrôle allant au-delà d'un simple maintient d'une valeur de consigne
# Recherche des meilleures explications d'incidents sur une ligne de production

N. Cointe¹, M. Sylvain¹

¹Capgemini engineering, agence de Strasbourg
Bd Sébastien Brant Illkirch-Graffenstaden, France

nicolas.cointe@capgemini.com

mathieu.sylvain@capgemini.com

## Résumé

Disposer de jumeaux numériques des équipements industriels donne la possibilité de mieux comprendre l'état d'une chaîne de production en fonctionnement, et également de simuler des situations hypothétiques, telles qu'une nouvelle installation ou de nouveaux paramètres. Cependant, lorsque survient en production un incident dont la cause échappe à la modélisation choisie lors de la conception ou de la configuration du jumeau numérique, celui-ci peut se trouver dans l'incapacité de remplir correctement son rôle, voire même induire en erreur les utilisateurs. Cet article d'état de l'art et de prospection explore la possibilité, en cas de détection d'incident, de faire appel à un collectif d'agents autonomes pour générer et explorer un ensemble de scénarios alternatifs et présenter à un utilisateur les explications jugées comme étant les plus vraisemblables.

## Mots-clés

Argumentation, systèmes multiagents, cosimulation, industrie 4.0, explicabilité

## Abstract

Using digital twins of industrial equipments offers the possibility to get a better understanding of a working production line condition, as well as simulating hypothetical situations, such as a new installation or different parameters. However when an incident occurs on the runtime, if the cause of such event is not captured by the modeling design choices of this digital twin, it may conduct to a misinterpretation and even push the user to make wrong decisions. In this state of the art and prospective article, we explore the possibility to use a group of agent to react when such event is detected and then generate and explore a set of alternative scenarios. The most likely explanations, evaluated through an argumentation among agents, is then presented to the end user.

## Keywords

Argumentation, multiagent systems, cosimulation, 4.0 industry, explainability

# 1 Introduction

L'Industrie 4.0 résulte du déploiement de nouveaux concepts, paradigmes et technologies qui bouleversent la conception des chaînes de productions. Ces innovations ont changé la façon d'organiser le développement des procédés et la configuration des chaînes de productions en les rendant modulaires et reconfigurables entre et pendant les phases de production. Ces systèmes deviennent ouverts (par l'entrée ou la sortie d'équipements durant la production) et distribués via un réseau local et une multitude de capacités de calcul.

Des modèles de comportement de ces équipements, baptisées jumeaux numériques, sont pensés pour simuler et superviser le comportement d'un procédé. Mais implémenter des systèmes capables de se reconnaître, partager de l'information et réagir à des évènements imprévus au regard d'un modèle de production soulève des problèmes complexes. L'interprétation, et la proposition de réactions adéquates à ces incidents est d'autant plus difficiles que ces systèmes comprennent un grand nombre d'éléments fortement interconnectés. Nous souhaitons donc identifier dans cet article les méthodes existantes d'implémentation et d'usage d'un ensemble d'agents capables d'explorer les explications possibles d'un incident et évaluer les plus pertinentes. Nous introduirons en section 2 les concepts et outils déployés dans le cadre de la modernisation des outils industriels, du point de vue de leur mise à disposition d'agents autonomes. Puis en section 3 nous définirons le problème de l'explication d'incidents, suivi d'une réflexion prospective en section 4.

# 2 Spécificités de l'Industrie 4.0

La baisse des coûts de capacités de calculs conduit à la massification de leur présence dans le monde industriel et la prise de mesures numérique. Celles-ci peuvent être immédiatement utilisées par les systèmes de pilotage et de supervision, ou ultérieurement pour des analyses ou des travaux d'études visant à accroître les connaissances sur le procédé. Il est devenu également plus facile de déployer des systèmes de contrôle allant au-delà d'un simple maintient d'une valeur de consigne
par rétroaction et offrir un pilotage assisté ou automatisé employant des connaissances mises à disposition. La structuration d'un procédé industriel en étapes et sous-étapes est l'objet d'une standardisation [2] faisant correspondre à ces étapes des équipements et ensembles d'équipements permettant leur mise en oeuvre. La définition de protocoles de communication standards entre équipements leur permet de se reconnaître, s'intégrer et échanger des informations. Citons à ce titre les protocoles OPC UA, et MTP [15], permettant la découverte automatique des équipements présents, mais également la transmission d'information depuis et vers ces équipements. Il est alors possible de les ajouter ou les remplacer en cours de production, implémentant le concept de plug and produce en leur permettant de s'intégrer automatiquement à la chaîne de production. Assurer alors la communication entre tout les éléments physiques nécessite de créer et conserver une représentation des actions et perceptions de ces éléments à tout les niveaux et sur toute la longueur de la chaîne pour assurer la tracabilité des opérations sur le produit et comprendre la nature et l'origine d'éventuels incidents. La phase d'élaboration de ces procédés est l'occasion d'acquérir des données permettant de mettre au point des modèles des étapes du procédé. Ces modèles de réactions physico-chimiques au cœur des procédés, combinés à la modélisation des équipements de production, permettent de construire des Jumeaux Numériques (aussi nommés Digital Twins). Cette notion étant encore récente, nous proposons d'employer ici une définition concensuelle [7, 12] : un Jumeau Numérique est une modélisation de l'un ou plusieurs composements (mécanique, électrique, chimique, etc.) d'un élément du procédé.

Un Jumeau Numérique peut être implémenté à l'aide de diverses approches : mécanistiques (à l'aide d'équations mathématiques résolues par un solveur), d'apprentissage (avec des modèles entraînés sur des données), hybrides en mélangeant ces deux solutions ou bien composite lorsqu'ils sont eux-mêmes constitués de Jumeaux Numériques inter-connectés.

Les jumeaux numériques sont présents comme des outils employés sur toutes les étapes d'un procédé, que ce soit en phase de développement d'un procédé, pour simuler le comportement du système, en phase de production pour superviser le procédé durant son fonctionnement, ou bien après production pour analyser tout ou partie du procédé en rejouant des données enregistrées. Les standards tels que FMI [3] et SPP définissent les règles d'implémentation de modèles numériques, en fournissant des fonctions d'entrées/sorties et de synchronisation, et un format de description de ces modèles. Certains travaux proposent également l'usage de jumeau numérique pour modéliser le produit [8].

La complexité des installations industrielles s'étend également aux agents humains, rendant leur modélisation nécessaire, au même titre que les éléments artificiels de la chaîne de production. La modélisation

doit également prendre en compte les prérogatives des agents, avec une description des actions permises ou nécessaires pour ces agents et leur impact sur le procédé. Des travaux en ce sens explorent l'intégration des agents humains dans la ligne de production [11, 13]. Relevons les risques introduits par l'attribution aux agents humains de responsabilités dans la prise de décision fondée sur des connaissances fournies par le système, et par la charge cognitive que représente la compréhension du fonctionnement d'un système industriel complexe et (a minima partiellement) auto-organisé. Faire reposer la responsabilité de la gestion d'un problème sur un agent humain en cas de détection d'incident demande alors de prendre en compte une nécessaire sélection des informations pertinentes (telles que des mesures, prédictions, éléments du procédé, etc.) et la possibilité d'expliquer l'origine des information en remontant des chaînes causales. Des travaux présentent le concept d'humain magique [13] comme étant le fruit d'une confiance excessive en la compétence de l'opérateur pour comprendre les problèmes et les gérer de manière appropriée. Les auteurs proposent alors de concevoir le rôle des opérateurs humains comme un composant du système, pour prendre conscience des informations à lui présenter dans le cadre de ses prises de décisions. Enfin des organisations extérieures peuvent être impliquées, pour effectuer par exemple des activités d'audit, de surveillance, de validation ou encore de contrôle et peuvent également être assistées (ou entièrement déléguées) par des agents autonomes.

## 3 Problème d'explication des incidents

Même lorsque toutes les précautions sont prises pour assurer la fiabilité maximale d'un procédé industriel, des évènements peuvent survenir et mettre en péril son bon fonctionnement. Ici nous nous intéressons plus particulièrement aux incidents qui se manifestent durant une production par un écart entre une mesure attendue en un point de la chaîne de fabrication, et celle observée. Citons en premier lieu les erreurs de capteurs, pouvant provoquer sur la mesure, ou l'une des mesures employées pour la supervision, des écarts alarmants. La littérature distingue classiquement les erreurs fortes (par exemple, destruction d'un capteur), faciles à repérer par un changement soudain, des erreurs faibles, fournissant une valeur plausible mais erronée. De telles erreurs peuvent avoir de multiples origines, incluant un dérèglement de l'étalonnage, une détérioration matérielle, une usure ou la présence d'impuretés par exemple. Le domaine de la maintenance industrielle évolue avec l'industrie 4.0, mais la proliération intense des capteurs rend nécessaire l'anticipation des erreurs de mesures potentielles. Quelques travaux proposent alors l'emploi de jumeaux numériques pour détecter ces erreurs et le déploiement de modèles en remplacement lorsque cela est possible [6].
par rétroaction et offrir un pilotage assisté ou automatisé employant des connaissances mises à disposition. La structuration d'un procédé industriel en étapes et sous-étapes est l'objet d'une standardisation [2] faisant correspondre à ces étapes des équipements et ensembles d'équipements permettant leur mise en oeuvre. La définition de protocoles de communication standards entre équipements leur permet de se reconnaître, s'intégrer et échanger des informations. Citons à ce titre les protocoles OPC UA, et MTP [15], permettant la découverte automatique des équipements présents, mais également la transmission d'information depuis et vers ces équipements. Il est alors possible de les ajouter ou les remplacer en cours de production, implémentant le concept de plug and produce en leur permettant de s'intégrer automatiquement à la chaîne de production. Assurer alors la communication entre tout les éléments physiques nécessite de créer et conserver une représentation des actions et perceptions de ces éléments à tout les niveaux et sur toute la longueur de la chaîne pour assurer la tracabilité des opérations sur le produit et comprendre la nature et l'origine d'éventuels incidents. La phase d'élaboration de ces procédés est l'occasion d'acquérir des données permettant de mettre au point des modèles des étapes du procédé. Ces modèles de réactions physico-chimiques au cœur des procédés, combinés à la modélisation des équipements de production, permettent de construire des Jumeaux Numériques (aussi nommés Digital Twins). Cette notion étant encore récente, nous proposons d'employer ici une définition concensuelle [7, 12] : un Jumeau Numérique est une modélisation de l'un ou plusieurs composements (mécanique, électrique, chimique, etc.) d'un élément du procédé.

Un Jumeau Numérique peut être implémenté à l'aide de diverses approches : mécanistiques (à l'aide d'équations mathématiques résolues par un solveur), d'apprentissage (avec des modèles entraînés sur des données), hybrides en mélangeant ces deux solutions ou bien composite lorsqu'ils sont eux-mêmes constitués de Jumeaux Numériques inter-connectés.

Les jumeaux numériques sont présents comme des outils employés sur toutes les étapes d'un procédé, que ce soit en phase de développement d'un procédé, pour simuler le comportement du système, en phase de production pour superviser le procédé durant son fonctionnement, ou bien après production pour analyser tout ou partie du procédé en rejouant des données enregistrées. Les standards tels que FMI [3] et SPP définissent les règles d'implémentation de modèles numériques, en fournissant des fonctions d'entrées/sorties et de synchronisation, et un format de description de ces modèles. Certains travaux proposent également l'usage de jumeau numérique pour modéliser le produit [8].

La complexité des installations industrielles s'étend également aux agents humains, rendant leur modélisation nécessaire, au même titre que les éléments artificiels de la chaîne de production. La modélisation

doit également prendre en compte les prérogatives des agents, avec une description des actions permises ou nécessaires pour ces agents et leur impact sur le procédé. Des travaux en ce sens explorent l'intégration des agents humains dans la ligne de production [11, 13]. Relevons les risques introduits par l'attribution aux agents humains de responsabilités dans la prise de décision fondée sur des connaissances fournies par le système, et par la charge cognitive que représente la compréhension du fonctionnement d'un système industriel complexe et (a minima partiellement) auto-organisé. Faire reposer la responsabilité de la gestion d'un problème sur un agent humain en cas de détection d'incident demande alors de prendre en compte une nécessaire sélection des informations pertinentes (telles que des mesures, prédictions, éléments du procédé, etc.) et la possibilité d'expliquer l'origine des information en remontant des chaînes causales. Des travaux présentent le concept d'humain magique [13] comme étant le fruit d'une confiance excessive en la compétence de l'opérateur pour comprendre les problèmes et les gérer de manière appropriée. Les auteurs proposent alors de concevoir le rôle des opérateurs humains comme un composant du système, pour prendre conscience des informations à lui présenter dans le cadre de ses prises de décisions. Enfin des organisations extérieures peuvent être impliquées, pour effectuer par exemple des activités d'audit, de surveillance, de validation ou encore de contrôle et peuvent également être assistées (ou entièrement déléguées) par des agents autonomes.

## 3 Problème d'explication des incidents

Même lorsque toutes les précautions sont prises pour assurer la fiabilité maximale d'un procédé industriel, des évènements peuvent survenir et mettre en péril son bon fonctionnement. Ici nous nous intéressons plus particulièrement aux incidents qui se manifestent durant une production par un écart entre une mesure attendue en un point de la chaîne de fabrication, et celle observée. Citons en premier lieu les erreurs de capteurs, pouvant provoquer sur la mesure, ou l'une des mesures employées pour la supervision, des écarts alarmants. La littérature distingue classiquement les erreurs fortes (par exemple, destruction d'un capteur), faciles à repérer par un changement soudain, des erreurs faibles, fournissant une valeur plausible mais erronée. De telles erreurs peuvent avoir de multiples origines, incluant un dérèglement de l'étalonnage, une détérioration matérielle, une usure ou la présence d'impuretés par exemple. Le domaine de la maintenance industrielle évolue avec l'industrie 4.0, mais la proliération intense des capteurs rend nécessaire l'anticipation des erreurs de mesures potentielles. Quelques travaux proposent alors l'emploi de jumeaux numériques pour détecter ces erreurs et le déploiement de modèles en remplacement lorsque cela est possible [6].
Notons ensuite les *erreurs d'actionneurs*, tels que des moteurs, des pompes ou des systèmes chauffants. Pour détecter ce genre de problèmes, les équipements industriels tendent à intégrer de plus en plus de capteurs sur les effecteurs eux-même afin de détecter une inco-hérence avec une valeur de consigne. Des travaux ré-cents montrent que construire un jumeau numérique de l'actionneur permet de surveiller celui-ci et détecter un comportement erroné [14]. Citons encore des *erreurs de modélisation* pouvant conduire un jumeau numérique à donner une vision erronée de l'état d'un procédé. Cela peut provenir d'une erreur de choix de formule dans un modèle mécanistique, l'emploi de mauvaises données pour son calibrage ou de mauvais entraînement d'un modèle d'apprentissage. Un modèle peut enfin se voir confronté à un cas extrême, loin des valeurs "typiques" envisagées lors de sa conception. Enfin des *événements physiques*, non prévus dans le procédé de fabrication peuvent se produire. Si constater un écart entre les prédictions du jumeau numérique et les mesures réelles est aisé, comprendre l'origine de tels incidents durant la fabrication est bien plus compliqué. Tout modèle se heurte alors à l'impossibilité de représenter, d'ex-pliquer et d'interpréter ce qui échappe au mécanisme initialement modélisé.

# 4 Systèmes ouverts et distribués pour l'explication d'incidents

Notre approche cherche à répondre à des contraintes réglementaires tout en imposant la nécessité de pouvoir conduire des investigations. Elle vise à comprendre l'origine de ces incidents et la justification des décisions prises par les opérateurs. Pour répondre à ces problèmes d'explicabilité, de nombreux articles ont fait émerger le concept d'Intelligence Artificielle Explicable (souvent désignée sous l'acronyme de XAI pour "eXplainable AI"). Cette approche vise à concevoir des composants logiciels dont le comportement peut être compris par un être humain. Dans le cadre des systèmes multi-agents, cette idée est portée à l'échelle collective par le concept de Système Multiagent Explicable (XMAS) [1, 5].

Nous proposons d'instancier, pour chaque jumeau numérique, un agent cognitif BDI [10] qui posséderait dans sa base de croyances les informations relatives à la fois au procédé et à la ligne de production dans leur ensemble, et les connaissances relatives au jumeau numérique dont il a la charge ainsi qu'à l'équipement dont il est le jumeau. Tout agent *a* possède un ensemble de croyances $S_a$ sur les perceptions du procédé via les capteurs de son équipement physique, un ensemble de croyances $S'_a$ sur les valeurs estimées en sortie de son jumeau numérique. Limiter les connaissances d'un agent à un seul couple jumeau numérique – équipement physique permet de lui donner volontairement une vision locale, pouvant être en contradiction avec d'autres agents en charge d'autres équipements.

Pour chaque perception $s_a \in S_a$, nous définissons un triplet $\langle m_{s_a}, i_{s_a}, v_{s_a} \rangle$ où $m_{s_a}$ est la mesure relevée, c'est-à-dire la valeur numérique perçue, $i$ est l'identifiant unique d'un mesurable physique dans le procédé et $v_{s_a} \in \{\perp, \top\}$ est la croyance en la validité du capteur à l'origine de cette mesure. De manière analogue, pour chaque chaque estimation en sortie $s'_a \in S'_a$, nous définissons un triplet $\langle m_{s'_a}, i, v_{s'_a} \rangle$ où $m_{s'_a}$ est la mesure prédite, $i$ est l'identifiant du mesurable physique dans le procédé et $v_{s'_a} \in \{\perp, \top\}$ est la croyance en la validité de cette estimation par son modèle dans l'état courant. Un incident se définit alors par une incohérence entre deux valeurs pour une même mesure physique $i$, chacune étant issue soit d'un capteur, soit d'une pré-diction par un jumeau numérique. Nous demandons ensuite aux agents d'employer un système d'argumentation pour positionner chaque jumeau numérique et son équipement physique vis-à-vis de ces valeurs.

Pour permettre à des agents d'interagir sur la base de références communes à des éléments du procédé (tel que des équipements, des mesures ou des matériaux), ils doivent disposer d'un ensemble structuré d'informations. Les bases de données ontologies offrent des connaissances structurées et la possibilité de symboliser sous forme de graphe les connexions sémantiques entre ces concepts. Leur usage par des agents autonomes artificiels a récemment été facilité par l'intégration de ces bases de données au sein d'écosystèmes logiciels tel que JaCaMo [4].

Un incident observé implique qu'à un instant donné il existe deux mesures $m$ et $m'$ pour un même mesurable $i$ tel que $|m - m'| > \Delta_{m,max,i}$, où $\Delta_{m,max,i}$ est une valeur de tolérance définie pour le mesurable $i$. Nous proposons de modéliser ce fait par une relation d'attaques réciproques entre les deux mesures en contradiction.

S'il s'agit de deux mesures $m$ et $m'$ de capteurs d'un même mesurable $i$, par exemple en cas de redondance matérielle, l'un des deux capteurs est nécessairement fautif. En revanche dans le cas ou au moins un jumeau numérique est impliqué, l'erreur peut provenir de son modèle lui-même ou des sources de ses données, c'est-à-dire d'autres capteurs ou jumeaux numériques. La validité d'un modèle peut être défendue par des arguments, par exemple s'il continue de prédire avec justesse d'autre mesures, de même que des capteurs fournissant des mesures utilisées par d'autres modèles fournissant des prédicitions valides. À l'inverse l'implication de ces modèles et capteurs dans des chaînes permettant à la production d'autres écarts peut être employé comme motif d'attaque.

La littérature en matière d'argumentation dans les systèmes multi-agents [9] définit la *défense sans conflit* d'un ensemble d'arguments comme un ensemble dans lequel aucun argument n'en attaque un autre. Il est alors possible de retirer des jumeaux numériques et capteurs ainsi défendus de l'ensemble impliqué pour ne retenir ceux qui ne sont pas défendus. Faire d'une liste non vide de défenses sans conflits des *explications*
Notons ensuite les *erreurs d'actionneurs*, tels que des moteurs, des pompes ou des systèmes chauffants. Pour détecter ce genre de problèmes, les équipements industriels tendent à intégrer de plus en plus de capteurs sur les effecteurs eux-même afin de détecter une inco-hérence avec une valeur de consigne. Des travaux ré-cents montrent que construire un jumeau numérique de l'actionneur permet de surveiller celui-ci et détecter un comportement erroné [14]. Citons encore des *erreurs de modélisation* pouvant conduire un jumeau numérique à donner une vision erronée de l'état d'un procédé. Cela peut provenir d'une erreur de choix de formule dans un modèle mécanistique, l'emploi de mauvaises données pour son calibrage ou de mauvais entraînement d'un modèle d'apprentissage. Un modèle peut enfin se voir confronté à un cas extrême, loin des valeurs "typiques" envisagées lors de sa conception. Enfin des *événements physiques*, non prévus dans le procédé de fabrication peuvent se produire. Si constater un écart entre les prédicitions du jumeau numérique et les mesures réelles est aisé, comprendre l'origine de tels incidents durant la fabrication est bien plus compliqué. Tout modèle se heurte alors à l'impossibilité de représenter, d'ex-pliquer et d'interpréter ce qui échappe au mécanisme initialement modélisé.

# 4 Systèmes ouverts et distribués pour l'explication d'incidents

Notre approche cherche à répondre à des contraintes réglementaires tout en imposant la nécessité de pouvoir conduire des investigations. Elle vise à comprendre l'origine de ces incidents et la justification des décisions prises par les opérateurs. Pour répondre à ces problèmes d'explicabilité, de nombreux articles ont fait émerger le concept d'Intelligence Artificielle Explicable (souvent désignée sous l'acronyme de XAI pour "eXplainable AI"). Cette approche vise à concevoir des composants logiciels dont le comportement peut être compris par un être humain. Dans le cadre des systèmes multi-agents, cette idée est portée à l'échelle collective par le concept de Système Multiagent Explicable (XMAS) [1, 5].

Nous proposons d'instancier, pour chaque jumeau numérique, un agent cognitif BDI [10] qui posséderait dans sa base de croyances les informations relatives à la fois au procédé et à la ligne de production dans leur ensemble, et les connaissances relatives au jumeau numérique dont il a la charge ainsi qu'à l'équipement dont il est le jumeau. Tout agent *a* possède un ensemble de croyances $S_a$ sur les perceptions du procédé via les capteurs de son équipement physique, un ensemble de croyances $S'_a$ sur les valeurs estimées en sortie de son jumeau numérique. Limiter les connaissances d'un agent à un seul couple jumeau numérique – équipement physique permet de lui donner volontairement une vision locale, pouvant être en contradiction avec d'autres agents en charge d'autres équipements.

Pour chaque perception $s_a \in S_a$, nous définissons un triplet $\langle m_{s_a}, i_{s_a}, v_{s_a} \rangle$ où $m_{s_a}$ est la mesure relevée, c'est-à-dire la valeur numérique perçue, $i$ est l'identifiant unique d'un mesurable physique dans le procédé et $v_{s_a} \in \{\perp, \top\}$ est la croyance en la validité du capteur à l'origine de cette mesure. De manière analogue, pour chaque chaque estimation en sortie $s'_a \in S'_a$, nous définissons un triplet $\langle m_{s'_a}, i, v_{s'_a} \rangle$ où $m_{s'_a}$ est la mesure prédite, $i$ est l'identifiant du mesurable physique dans le procédé et $v_{s'_a} \in \{\perp, \top\}$ est la croyance en la validité de cette estimation par son modèle dans l'état courant. Un incident se définit alors par une incohérence entre deux valeurs pour une même mesure physique $i$, chacune étant issue soit d'un capteur, soit d'une pré-diction par un jumeau numérique. Nous demandons ensuite aux agents d'employer un système d'argumentation pour positionner chaque jumeau numérique et son équipement physique vis-à-vis de ces valeurs.

Pour permettre à des agents d'interagir sur la base de références communes à des éléments du procédé (tel que des équipements, des mesures ou des matériaux), ils doivent disposer d'un ensemble structuré d'informations. Les bases de données ontologies offrent des connaissances structurées et la possibilité de symboliser sous forme de graphe les connexions sémantiques entre ces concepts. Leur usage par des agents autonomes artificiels a récemment été facilité par l'intégration de ces bases de données au sein d'écosystèmes logiciels tel que JaCaMo [4].

Un incident observé implique qu'à un instant donné il existe deux mesures $m$ et $m'$ pour un même mesurable $i$ tel que $|m - m'| > \Delta_{m,max,i}$, où $\Delta_{m,max,i}$ est une valeur de tolérance définie pour le mesurable $i$. Nous proposons de modéliser ce fait par une relation d'attaques réciproques entre les deux mesures en contradiction.

S'il s'agit de deux mesures $m$ et $m'$ de capteurs d'un même mesurable $i$, par exemple en cas de redondance matérielle, l'un des deux capteurs est nécessairement fautif. En revanche dans le cas ou au moins un jumeau numérique est impliqué, l'erreur peut provenir de son modèle lui-même ou des sources de ses données, c'est-à-dire d'autres capteurs ou jumeaux numériques. La validité d'un modèle peut être défendue par des arguments, par exemple s'il continue de prédire avec justesse d'autre mesures, de même que des capteurs fournissant des mesures utilisées par d'autres modèles fournissant des prédicitions valides. À l'inverse l'implication de ces modèles et capteurs dans des chaînes permettant à la production d'autres écarts peut être employé comme motif d'attaque.

La littérature en matière d'argumentation dans les systèmes multi-agents [9] définit la *défense sans conflit* d'un ensemble d'arguments comme un ensemble dans lequel aucun argument n'en attaque un autre. Il est alors possible de retirer des jumeaux numériques et capteurs ainsi défendus de l'ensemble impliqué pour ne retenir ceux qui ne sont pas défendus. Faire d'une liste non vide de défenses sans conflits des explications
d'incident reviendrait à donner des ensembles de capteurs, d'actionneurs et de jumeaux numériques pour lesquels on ne peut pas exclure l'hypothèse d'une défaillance, et ainsi aider l'utilisateur à comprendre des origines possibles de l'incident observé.

Si plusieurs explications sont générées par le mécanismes cité ci-avant, se pose la question de savoir si elles sont toutes aussi vraisemblables ou s'il est possible d'ordonner ces explications par ordre de vraisemblance afin de gagner du temps dans l'intervention sur l'installation industrielle. Le rasoir d'Ockham, ou principe de parcimonie, est une célèbre heuristique établissant un lien entre simplicité d'une explication (au sens du nombre d'éléments impliqués) et vraisemblance.

L'approche ici décrite soulève de nombreuses questions de recherche pour nos travaux futurs : comment et où serait-il possible de trouver des heuristiques et informations pertinentes pour améliorer ce diagnostic ? Certaines caractéristiques des modèles et capteurs seraient-elles utiles pour alimenter un raisonnement ?

## 5 Conclusion

La complexité croissante et la multiplication d'éléments matériels et logiciels susceptibles de commettre des erreurs et les propager dans le système a complexifié la compréhension et le traitement des incidents de production. Trouver les informations pertinentes afin d'identifier durant la production, l'élément, capteur ou jumeau numérique à l'origine de l'incident est une tâche qui peut dépasser les capacités cognitives d'un opérateur et rendre impossible (ou hasardeuse) la gestion du problème. Nous avons donc cherché dans cet article à définir la nature de ces incidents et montrer que la législation et certains travaux de la littérature ont déjà pointé la nécessité de construire un système permettant de sélectionner les hypothèses et informations pertinentes pour un opérateur humain et d'expliquer l'origine de ces informations.

Enfin nous avons esquissé en section 4, plusieurs étapes pour permettre à des agents d'être informés de l'état des divers éléments du système, d'accéder à des connaissances communes, et de confronter des hypothèses sur l'origine d'un incident afin d'informer un opérateur humain. Afin de confronter ces hypothèses à des cas réels et construire une solution pouvant être employée dans un cadre industriel, nous envisageons de mettre à disposition les données, modèles et agents sous la forme de données ouvertes, afin de permettre la création et le partage de preuves de concepts.

## Références

[1] Francesco ALZETTA et al. « In-time explainability in multi-agent systems : Challenges, opportunities, and roadmap ». In : *EXTRAAMAS*. Springer. 2020, p. 39-53.

[2] International Society of AUTOMATION. *Batch Control P.1, Models and Terminology*. ISA, 2010.

[3] Torsten BLOCHWITZ et al. « The functional mockup interface for tool independent exchange of simulation models ». In : *Proceedings of the 8th international Modelica conference*. Linköping University Press. 2011, p. 105-114.

[4] Victor CHARPENAY et al. « Hypermedea : A Framework for Web (of Things) Agents ». In : *Companion Proceedings of the Web Conference 2022*. 2022, p. 176-179.

[5] Giovanni CIATTO et al. « Towards XMAS : eXplainability through Multi-Agent Systems ». In : *Proceedings of the 1st Workshop on Artificial Intelligence and IoT* (2019), p. 40-53.

[6] Hossein DARVISHI et al. « Sensor-fault detection, isolation and accommodation for digital twins via modular data-driven architecture ». In : *IEEE Sensors Journal* 21.4 (2020), p. 4827-4838.

[7] Igiri ONAJI et al. « Digital twin in manufacturing : conceptual framework and case studies ». In : *International journal of computer integrated manufacturing* 35.8 (2022), p. 831-858.

[8] Jérémy PATRIX, Beranger SIX et Sylvain LINTZ. « Accélération de la simulation d'Emulatio, un jumeau numérique de schéma électrique par fusion de données et intelligence augmentée ». In : *Conférence JFDPA-PFIA*. 2020.

[9] Iyad RAHWAN. « Argumentation among agents ». In : *Multiagent Systems*, (2013), p. 177-210.

[10] Anand S RAO, Michael P GEORGEFF et al. « BDI agents : from theory to practice. » In : *ICMAS*. T. 95. The MIT press, 1995, p. 312-319.

[11] Erwin RAUCH, Christian LINDER et Patrick DALLASEGA. « Anthropocentric perspective of production before and within Industry 4.0 ». In : *Computers & Industrial Engineering* 139 (2020).

[12] Guodong SHAO et al. « Use case scenarios for digital twin implementation based on ISO 23247 ». In : *NIST, USA* (2021).

[13] Damien TRENTESAUX et Patrick MILLOT. « A human-centred design to break the myth of the "magic human" in intelligent manufacturing systems ». In : *Service orientation in holonic and multi-agent manufacturing* (2016), p. 103-113.

[14] Jinjiang WANG et al. « Digital Twin for rotating machinery fault diagnosis in smart manufacturing ». In : *International Journal of Production Research* 57.12 (2019), p. 3920-3934.

[15] Sachari WASSILEW et al. « Transformation of the NAMUR MTP to OPC UA to allow plug and produce for modular process automation ». In : *2016 IEEE 21st International Conference on Emerging Technologies and Factory Automation (ETFA)*. IEEE. 2016, p. 1-9.
d'incident reviendrait à donner des ensembles de capteurs, d'actionneurs et de jumeaux numériques pour lesquels on ne peut pas exclure l'hypothèse d'une défaillance, et ainsi aider l'utilisateur à comprendre des origines possibles de l'incident observé.

Si plusieurs explications sont générées par le mécanismes cité ci-avant, se pose la question de savoir si elles sont toutes aussi vraisemblables ou s'il est possible d'ordonner ces explications par ordre de vraisemblance afin de gagner du temps dans l'intervention sur l'installation industrielle. Le rasoir d'Ockham, ou principe de parcimonie, est une célèbre heuristique établissant un lien entre simplicité d'une explication (au sens du nombre d'éléments impliqués) et vraisemblance.

L'approche ici décrite soulève de nombreuses questions de recherche pour nos travaux futurs : comment et où serait-il possible de trouver des heuristiques et informations pertinentes pour améliorer ce diagnostic ? Certaines caractéristiques des modèles et capteurs seraient-elles utiles pour alimenter un raisonnement ?

## 5 Conclusion

La complexité croissante et la multiplication d'éléments matériels et logiciels susceptibles de commettre des erreurs et les propager dans le système a complexifié la compréhension et le traitement des incidents de production. Trouver les informations pertinentes afin d'identifier durant la production, l'élément, capteur ou jumeau numérique à l'origine de l'incident est une tâche qui peut dépasser les capacités cognitives d'un opérateur et rendre impossible (ou hasardeuse) la gestion du problème. Nous avons donc cherché dans cet article à définir la nature de ces incidents et montrer que la législation et certains travaux de la littérature ont déjà pointé la nécessité de construire un système permettant de sélectionner les hypothèses et informations pertinentes pour un opérateur humain et d'expliquer l'origine de ces informations.

Enfin nous avons esquissé en section 4, plusieurs étapes pour permettre à des agents d'être informés de l'état des divers éléments du système, d'accéder à des connaissances communes, et de confronter des hypothèses sur l'origine d'un incident afin d'informer un opérateur humain. Afin de confronter ces hypothèses à des cas réels et construire une solution pouvant être employée dans un cadre industriel, nous envisageons de mettre à disposition les données, modèles et agents sous la forme de données ouvertes, afin de permettre la création et le partage de preuves de concepts.

## Références

[1] Francesco ALZETTA et al. « In-time explainability in multi-agent systems : Challenges, opportunities, and roadmap ». In : *EXTRAAMAS*. Springer. 2020, p. 39-53.

[2] International Society of AUTOMATION. *Batch Control P.1, Models and Terminology*. ISA, 2010.

[3] Torsten BLOCHWITZ et al. « The functional mockup interface for tool independent exchange of simulation models ». In : *Proceedings of the 8th international Modelica conference*. Linköping University Press. 2011, p. 105-114.

[4] Victor CHARPENAY et al. « Hypermedea : A Framework for Web (of Things) Agents ». In : *Companion Proceedings of the Web Conference 2022*. 2022, p. 176-179.

[5] Giovanni CIATTO et al. « Towards XMAS : eXplainability through Multi-Agent Systems ». In : *Proceedings of the 1st Workshop on Artificial Intelligence and IoT* (2019), p. 40-53.

[6] Hossein DARVISHI et al. « Sensor-fault detection, isolation and accommodation for digital twins via modular data-driven architecture ». In : *IEEE Sensors Journal* 21.4 (2020), p. 4827-4838.

[7] Igiri ONAJI et al. « Digital twin in manufacturing : conceptual framework and case studies ». In : *International journal of computer integrated manufacturing* 35.8 (2022), p. 831-858.

[8] Jérémy PATRIX, Beranger SIX et Sylvain LINTZ. « Accélération de la simulation d'Emulatio, un jumeau numérique de schéma électrique par fusion de données et intelligence augmentée ». In : *Conférence JFDPA-PFIA*. 2020.

[9] Iyad RAHWAN. « Argumentation among agents ». In : *Multiagent Systems*, (2013), p. 177-210.

[10] Anand S RAO, Michael P GEORGEFF et al. « BDI agents : from theory to practice. » In : *ICMAS*. T. 95. The MIT press, 1995, p. 312-319.

[11] Erwin RAUCH, Christian LINDER et Patrick DALLASEGA. « Anthropocentric perspective of production before and within Industry 4.0 ». In : *Computers & Industrial Engineering* 139 (2020).

[12] Guodong SHAO et al. « Use case scenarios for digital twin implementation based on ISO 23247 ». In : *NIST, USA* (2021).

[13] Damien TRENTESAUX et Patrick MILLOT. « A human-centred design to break the myth of the "magic human" in intelligent manufacturing systems ». In : *Service orientation in holonic and multi-agent manufacturing* (2016), p. 103-113.

[14] Jinjiang WANG et al. « Digital Twin for rotating machinery fault diagnosis in smart manufacturing ». In : *International Journal of Production Research* 57.12 (2019), p. 3920-3934.

[15] Sachari WASSILEW et al. « Transformation of the NAMUR MTP to OPC UA to allow plug and produce for modular process automation ». In : *2016 IEEE 21st International Conference on Emerging Technologies and Factory Automation (ETFA)*. IEEE. 2016, p. 1-9.
# Prédiction des blessures au Foot 5 à l'aide d'une méthode de machine learning.

D. Jacob<fnref n="1" />, R. Tievant<fnref n="2" />,<fnref n="3" />, L. Cervoni<fnref n="1" />, M Roudesli<fnref n="4" />

{damien.jacob, laurent.cervoni}@talan.com, romain.tie@gmail.com, m.roudesli@skeewai.com

## Résumé

Le football est un sport d'équipe populaire dans le monde entier, avec plusieurs variantes comme le futsal, le beach soccer et le foot 5 (Fa5). Si le football a fait l'objet d'études approfondies concernant la prédiction des blessures à l'aide de techniques d'apprentissage automatique, le Fa5 a reçu moins d'attention. Cette étude vise à développer un outil d'apprentissage automatique pour prévenir les blessures dans la pratique du Fa5 en comprenant les facteurs contribuant aux blessures. Les données anthropométriques, sportives et relatives aux blessures ont été recueillies auprès de 1827 participants par le biais d'un questionnaire. L'algorithme employé est un random forest, ce qui a permis de déterminer l'importance des variables en amont de la phase d'optimisation. Nous avons ajusté le seuil du modèle pour augmenter la recall aux faux négatifs, qui sont plus problématiques que les faux positifs dans la détection des blessures. Le modèle final a atteint un rappel de 0,70 et une accuracy de 0,65, les attributs physiques et la durée de l'entraînement étant identifiés comme des caractéristiques importantes.

## Mots-clés

Foot 5, machine learning, prévention, blessures.

## Abstract

Football is a popular team sport worldwide, with several variants, including Futsal, beach soccer, and five-a-side football (Fa5). While football has been extensively studied regarding injury prediction using machine learning techniques, Fa5 has received less attention. This study aims to develop a machine learning tool to prevent injuries in Fa5 practice by understanding the factors contributing to injuries. We collected data from 1827 participants through a questionnaire survey, including physical attributes, practice habits, and injury details. Using a tree-based approach, we reduced the dataset's dimension and selected a decision tree ensemble method, the random forest, to achieve better regularization. After cross-validation, we adjusted the model's threshold cutoff to increase

sensitivity to false negatives, which are more problematic than false positives in injury detection. The final model achieved a recall of 0.70 and an accuracy of 0.65, with physical attributes and duration of practice identified as important features.

## Keywords

Five-a-side-football, machine learning, prevention, injuries.

## 1 Introduction

Le football est l'une des activités physiques les plus pratiquées dans le monde. En 2006, la FIFA (Fédération Internationale de Football Association) recensait 265 millions de footballeurs dont 226 millions de non-licenciés [1], tous pays confondus. Il existe cependant de nombreuses variantes qui découlent du football traditionnel : le futsal, le beach soccer, le football à 5, le tennis-ballon, le jorkyball, le foot fauteuil, le cécifoot, etc. Nous nous intéressons dans cette étude à une pratique qui tend à se développer en France : le Foot 5 aussi appelé couramment « five » ou « urban ». D'après la FFF (Fédération Française de Football), il existe à l'heure actuelle 250 centres de Foot 5 soit 1000 terrains. Il est estimé qu'en France, il y aurait à ce jour entre 2 millions et 3 millions [2] de joueurs réguliers de Foot 5. Comme son nom l'indique, le Foot 5 se joue à 5 contre 5. L'épidémiologie des blessures dans le Foot 5 est peu décrite. Il paraît donc intéressant de définir des "profils" de sportifs à risque de blessures, afin de pouvoir réaliser de la prévention auprès de ces patients.

L'usage de l'intelligence artificielle et notamment l'approche « Machine Learning » (ou apprentissage automatique) connaît un intérêt croissant dans la littérature pour développer des modèles qui prédisent le risque de blessure [3]. Un modèle de Machine Learning (ML) est un outil informatique qui, à partir d'une liste de variables d'entrées décrivant un participant, va pouvoir fournir une probabilité de risque de blessure pour ce participant [4], et c'est à partir de cette probabilité que la décision sera prise de qualifier si le participant se blessera ou non. Le machine learning peut être utilisé comme un outil d'aide à la prise de décision grâce aux probabilités calculées, modulo une valeur seuil, mais il peut aussi être un outil

<footnote n="1">¹ Centre de recherche et d'innovation, Talan, Paris</footnote>

<footnote n="2">² Institut Régional de Médecine du Sport et de la Santé, IRMS², Bois Guillaume</footnote>

<footnote n="3">³ Faculté de Médecine et de Pharmacie, Rouen</footnote>

<footnote n="4">⁴ Centre de l'appareil locomoteur de l'estuaire, Le Havre</footnote>
# Prédiction des blessures au Foot 5 à l'aide d'une méthode de machine learning.

D. Jacob<fnref n="1" />, R. Tievant<fnref n="2" />,<fnref n="3" />, L. Cervoni<fnref n="1" />, M Roudesli<fnref n="4" />

{damien.jacob, laurent.cervoni}@talan.com, romain.tie@gmail.com, m.roudesli@skeewai.com

## Résumé

Le football est un sport d'équipe populaire dans le monde entier, avec plusieurs variantes comme le futsal, le beach soccer et le foot 5 (Fa5). Si le football a fait l'objet d'études approfondies concernant la prédiction des blessures à l'aide de techniques d'apprentissage automatique, le Fa5 a reçu moins d'attention. Cette étude vise à développer un outil d'apprentissage automatique pour prévenir les blessures dans la pratique du Fa5 en comprenant les facteurs contribuant aux blessures. Les données anthropométriques, sportives et relatives aux blessures ont été recueillies auprès de 1827 participants par le biais d'un questionnaire. L'algorithme employé est un random forest, ce qui a permis de déterminer l'importance des variables en amont de la phase d'optimisation. Nous avons ajusté le seuil du modèle pour augmenter la recall aux faux négatifs, qui sont plus problématiques que les faux positifs dans la détection des blessures. Le modèle final a atteint un rappel de 0,70 et une accuracy de 0,65, les attributs physiques et la durée de l'entraînement étant identifiés comme des caractéristiques importantes.

## Mots-clés

Foot 5, machine learning, prévention, blessures.

## Abstract

Football is a popular team sport worldwide, with several variants, including Futsal, beach soccer, and five-a-side football (Fa5). While football has been extensively studied regarding injury prediction using machine learning techniques, Fa5 has received less attention. This study aims to develop a machine learning tool to prevent injuries in Fa5 practice by understanding the factors contributing to injuries. We collected data from 1827 participants through a questionnaire survey, including physical attributes, practice habits, and injury details. Using a tree-based approach, we reduced the dataset's dimension and selected a decision tree ensemble method, the random forest, to achieve better regularization. After cross-validation, we adjusted the model's threshold cutoff to increase

sensitivity to false negatives, which are more problematic than false positives in injury detection. The final model achieved a recall of 0.70 and an accuracy of 0.65, with physical attributes and duration of practice identified as important features.

## Keywords

Five-a-side-football, machine learning, prevention, injuries.

## 1 Introduction

Le football est l'une des activités physiques les plus pratiquées dans le monde. En 2006, la FIFA (Fédération Internationale de Football Association) recensait 265 millions de footballeurs dont 226 millions de non-licenciés [1], tous pays confondus. Il existe cependant de nombreuses variantes qui découlent du football traditionnel : le futsal, le beach soccer, le football à 5, le tennis-ballon, le jorkyball, le foot fauteuil, le cécifoot, etc. Nous nous intéressons dans cette étude à une pratique qui tend à se développer en France : le Foot 5 aussi appelé couramment « five » ou « urban ». D'après la FFF (Fédération Française de Football), il existe à l'heure actuelle 250 centres de Foot 5 soit 1000 terrains. Il est estimé qu'en France, il y aurait à ce jour entre 2 millions et 3 millions [2] de joueurs réguliers de Foot 5. Comme son nom l'indique, le Foot 5 se joue à 5 contre 5. L'épidémiologie des blessures dans le Foot 5 est peu décrite. Il paraît donc intéressant de définir des "profils" de sportifs à risque de blessures, afin de pouvoir réaliser de la prévention auprès de ces patients.

L'usage de l'intelligence artificielle et notamment l'approche « Machine Learning » (ou apprentissage automatique) connaît un intérêt croissant dans la littérature pour développer des modèles qui prédisent le risque de blessure [3]. Un modèle de Machine Learning (ML) est un outil informatique qui, à partir d'une liste de variables d'entrées décrivant un participant, va pouvoir fournir une probabilité de risque de blessure pour ce participant [4], et c'est à partir de cette probabilité que la décision sera prise de qualifier si le participant se blessera ou non. Le machine learning peut être utilisé comme un outil d'aide à la prise de décision grâce aux probabilités calculées, modulo une valeur seuil, mais il peut aussi être un outil

<footnote n="1">¹ Centre de recherche et d'innovation, Talan, Paris</footnote>

<footnote n="2">² Institut Régional de Médecine du Sport et de la Santé, IRMS², Bois Guillaume</footnote>

<footnote n="3">³ Faculté de Médecine et de Pharmacie, Rouen</footnote>

<footnote n="4">⁴ Centre de l'appareil locomoteur de l'estuaire, Le Havre</footnote>
capable d'identifier plus efficacement des variables d'entrées importantes dans la prédiction de blessure au football. Plusieurs études ont proposé des approches de ML [5-7], qui ont permis de mettre en évidence des variables d'entrées pertinentes comme la qualité du sommeil, l'historique des blessures, l'âge du pic de croissance, la taille, la longueur des jambes, pourcentage de masse grasse.

Devant l'émergence de cette pratique du football, il est intéressant de connaître les facteurs de risques de blessures. Une fois ceux-ci connus, cela permettrait de diminuer le nombre de blessures en lien avec cette pratique. Nous avons essayé de développer un modèle prédictif de blessure, à l'aide des algorithmes de machine learning sur la base des données recueillies par les travaux de Tiévant [8].

# 2 Matériel et méthode

## 2.1 Les données

Nous avons réalisé une étude épidémiologique observationnelle, transversale et rétrospective. L'étude a été conduite de manière multicentrique en France. Les patients ont été recrutés via un auto-questionnaire uniquement disponible sur internet. Les patients pouvaient y accéder via le QR code d'une affiche, installée dans les salles privées de Foot 5, ou par un lien disponible sur les réseaux sociaux. Les réponses ont été collectées via le logiciel LimeSurvey®. Les critères d'inclusion étaient de pratiquer le Foot 5 et d'avoir 18 ans ou plus, en raison de pathologies potentiellement spécifiques aux moins de 18 ans. Le questionnaire a été mis à disposition de tous les participants de Foot 5 pendant 6 semaines, du 11 mai au 22 juin 2022.

Ce questionnaire, anonyme, comportait des informations générales sur le sportif :

- Des données générales et anthropométriques : sexe, âge, taille, poids.

- Des données sur l'hygiène de vie : tabagisme, consommation d'alcool, hydration quotidienne, alimentation.

- Des données sur la pratique sportive : pratique antérieure de football et niveau de pratique, autres sports pratiqués.

- Des données précises sur la pratique du Foot 5 : nombre de séances par semaine, temps de pratique, renforcement musculaire adapté, échauffement et type d'échauffement, le poste joué.

Dans un second temps, en cas de blessure survenue lors des 12 derniers mois, la description de cette blessure a été demandée :

- Le type de blessure, la localisation, le mécanisme, le poste joué au moment de la blessure, l'échauffement pratiqué avant la séance, le moment de la blessure, la consommation d'alcool avant la séance.

- Le diagnostic lié à la blessure : nécessité de consultation aux urgences, si le diagnostic a été posé par un professionnel de santé (et si oui, quel est son métier), avec quels examens complémentaires.

- La prise en charge de cette blessure : médicale, chirurgicale ou sans prise en charge adaptée.

- Les conséquences de cette blessure : la durée d'arrêt de la pratique (permettant de définir la sévérité de la

blessure), la durée d'un éventuel arrêt de travail, les séquelles actuelles.

- Le nombre de blessures totales lors des 12 derniers mois (si les sportifs se blessaient plusieurs fois, ils ne pouvaient décrire qu'une seule blessure).

## 2.2 Définition de la blessure

Nous nous sommes basés sur la définition proposée par Fuller et al. [9] pour étudier les blessures dans le Foot 5. La blessure est définie comme : « toute plainte physique exprimée par un joueur, à la suite d'un entraînement ou d'un match de football, indépendamment du besoin de soins médicaux et de la durée où la pratique du football n'était pas possible. » [9].

## 2.3 Cible, métriques et traitement des données

Avant d'élaborer un modèle de machine learning il est primordial de définir la cible (ou « target » en anglais) et les métriques qui permettront d'apprécier la qualité des prédictions du modèle. La cible de cette étude est la prédiction du risque de blessure d'un participant avant de pratiquer sa séance de Foot 5. Les métriques utilisées sont l'accuracy, le *recall* et la précision et l'AUC (« Area Under the Curve») qui permettra de comparer différents modèles de classification. Le jeu de données est composé de 1827 lignes (les participants) et de 78 colonnes. Cependant sur ces 78 colonnes, seules 46 décrivent les participants et ont été utilisée pour l'entraînement du modèle, les 32 autres colonnes ne concernent que la blessure et elles n'ont pas été utilisées dans l'entraînement afin d'éviter le *data leakage*.

L'entraînement est fait selon la méthode *cross validation* avec 5 *fold*. Cette méthode consiste à subdiviser le groupe de données d'entraînement en 5 sous-groupes. Le modèle va être entraîné sur 4 sous-groupes puis va être validé sur le 5ème sous-groupe. Cette opération est répétée 5 fois, de sorte que chaque sous-groupe soit utilisé une fois pour l'évaluation [10]. L'étape finale de l'entraînement calcule la moyenne des métriques pour chacune des 5 validations.

Un échantillon de 80% des participants de l'étude sont choisis aléatoirement pour construire le groupe d'entraînement, les 20% restants constituent le groupe test. Le groupe d'entraînement va servir à optimiser un modèle de machine learning. Le groupe de test ne sera utilisé que pour évaluer les performances du modèle, sur des données qu'il n'a jamais vues, en utilisant le modèle optimiser sur l'échantillon de 80% des patients.

## 2.4 L'algorithmme

Étant donné que nous disposons d'un jeu de données labélisés, nous nous sommes concentrés sur des approches de machine learning supervisé. Les algorithmes de machine learning supervisé les plus courant dans la prédiction des blessures [3] sont les arbres de décision, les régressions logistiques binaire, le support vector machine et les modèles ensemblistes [11] tel que le random forest (RF). Après un premier benchmark des différents algorithmes (Tableau 1), le RF est le modèle qui obtenu le score AUC le plus élevé, c'est pourquoi nous avons retenu ce dernier. L'algorithme de RF est une méthode d'apprentissage automatique supervisé pour la classification et la régression. Il s'agit d'une extension de la méthode d'arbre de décision qui combine plusieurs arbres de décision pour améliorer la performance des prédictions. Le principe de base
capable d'identifier plus efficacement des variables d'entrées importantes dans la prédiction de blessure au football. Plusieurs études ont proposé des approches de ML [5-7], qui ont permis de mettre en évidence des variables d'entrées pertinentes comme la qualité du sommeil, l'historique des blessures, l'âge du pic de croissance, la taille, la longueur des jambes, pourcentage de masse grasse.

Devant l'émergence de cette pratique du football, il est intéressant de connaître les facteurs de risques de blessures. Une fois ceux-ci connus, cela permettrait de diminuer le nombre de blessures en lien avec cette pratique. Nous avons essayé de développer un modèle prédictif de blessure, à l'aide des algorithmes de machine learning sur la base des données recueillies par les travaux de Tiévant [8].

# 2 Matériel et méthode

## 2.1 Les données

Nous avons réalisé une étude épidémiologique observationnelle, transversale et rétrospective. L'étude a été conduite de manière multicentrique en France. Les patients ont été recrutés via un auto-questionnaire uniquement disponible sur internet. Les patients pouvaient y accéder via le QR code d'une affiche, installée dans les salles privées de Foot 5, ou par un lien disponible sur les réseaux sociaux. Les réponses ont été collectées via le logiciel LimeSurvey®. Les critères d'inclusion étaient de pratiquer le Foot 5 et d'avoir 18 ans ou plus, en raison de pathologies potentiellement spécifiques aux moins de 18 ans. Le questionnaire a été mis à disposition de tous les participants de Foot 5 pendant 6 semaines, du 11 mai au 22 juin 2022.

Ce questionnaire, anonyme, comportait des informations générales sur le sportif :

- Des données générales et anthropométriques : sexe, âge, taille, poids.

- Des données sur l'hygiène de vie : tabagisme, consommation d'alcool, hydration quotidienne, alimentation.

- Des données sur la pratique sportive : pratique antérieure de football et niveau de pratique, autres sports pratiqués.

- Des données précises sur la pratique du Foot 5 : nombre de séances par semaine, temps de pratique, renforcement musculaire adapté, échauffement et type d'échauffement, le poste joué.

Dans un second temps, en cas de blessure survenue lors des 12 derniers mois, la description de cette blessure a été demandée :

- Le type de blessure, la localisation, le mécanisme, le poste joué au moment de la blessure, l'échauffement pratiqué avant la séance, le moment de la blessure, la consommation d'alcool avant la séance.

- Le diagnostic lié à la blessure : nécessité de consultation aux urgences, si le diagnostic a été posé par un professionnel de santé (et si oui, quel est son métier), avec quels examens complémentaires.

- La prise en charge de cette blessure : médicale, chirurgicale ou sans prise en charge adaptée.

- Les conséquences de cette blessure : la durée d'arrêt de la pratique (permettant de définir la sévérité de la

blessure), la durée d'un éventuel arrêt de travail, les séquelles actuelles.

- Le nombre de blessures totales lors des 12 derniers mois (si les sportifs se blessaient plusieurs fois, ils ne pouvaient décrire qu'une seule blessure).

## 2.2 Définition de la blessure

Nous nous sommes basés sur la définition proposée par Fuller et al. [9] pour étudier les blessures dans le Foot 5. La blessure est définie comme : « toute plainte physique exprimée par un joueur, à la suite d'un entraînement ou d'un match de football, indépendamment du besoin de soins médicaux et de la durée où la pratique du football n'était pas possible. » [9].

## 2.3 Cible, métriques et traitement des données

Avant d'élaborer un modèle de machine learning il est primordial de définir la cible (ou « target » en anglais) et les métriques qui permettront d'apprécier la qualité des prédictions du modèle. La cible de cette étude est la prédiction du risque de blessure d'un participant avant de pratiquer sa séance de Foot 5. Les métriques utilisées sont l'accuracy, le *recall* et la précision et l'AUC (« Area Under the Curve») qui permettra de comparer différents modèles de classification. Le jeu de données est composé de 1827 lignes (les participants) et de 78 colonnes. Cependant sur ces 78 colonnes, seules 46 décrivent les participants et ont été utilisée pour l'entraînement du modèle, les 32 autres colonnes ne concernent que la blessure et elles n'ont pas été utilisées dans l'entraînement afin d'éviter le *data leakage*.

L'entraînement est fait selon la méthode *cross validation* avec 5 *fold*. Cette méthode consiste à subdiviser le groupe de données d'entraînement en 5 sous-groupes. Le modèle va être entraîné sur 4 sous-groupes puis va être validé sur le 5ème sous-groupe. Cette opération est répétée 5 fois, de sorte que chaque sous-groupe soit utilisé une fois pour l'évaluation [10]. L'étape finale de l'entraînement calcule la moyenne des métriques pour chacune des 5 validations.

Un échantillon de 80% des participants de l'étude sont choisis aléatoirement pour construire le groupe d'entraînement, les 20% restants constituent le groupe test. Le groupe d'entraînement va servir à optimiser un modèle de machine learning. Le groupe de test ne sera utilisé que pour évaluer les performances du modèle, sur des données qu'il n'a jamais vues, en utilisant le modèle optimiser sur l'échantillon de 80% des patients.

## 2.4 L'algorithmme

Étant donné que nous disposons d'un jeu de données labélisés, nous nous sommes concentrés sur des approches de machine learning supervisé. Les algorithmes de machine learning supervisé les plus courant dans la prédiction des blessures [3] sont les arbres de décision, les régressions logistiques binaire, le support vector machine et les modèles ensemblistes [11] tel que le random forest (RF). Après un premier benchmark des différents algorithmes (Tableau 1), le RF est le modèle qui obtenu le score AUC le plus élevé, c'est pourquoi nous avons retenu ce dernier. L'algorithme de RF est une méthode d'apprentissage automatique supervisé pour la classification et la régression. Il s'agit d'une extension de la méthode d'arbre de décision qui combine plusieurs arbres de décision pour améliorer la performance des prédictions. Le principe de base
de l'algorithme de RF est de construire un grand nombre d'arbres de décision indépendants et de combiner leurs prédictions pour obtenir une prédiction finale. Les étapes principales de l'algorithme de RF sont :

- La sélection aléatoire d'un échantillon avec remplacement (bootstrap) des données d'entraînement.

- La sélection aléatoire d'un sous-ensemble de variables d'entrée (caractéristiques) pour chaque arbre de décision.

- La Construction d'un arbre de décision pour chaque échantillon bootstrap et chaque sous-ensemble de variables d'entrée.

- L'Aggrégation des prédictions de tous les arbres de décision pour obtenir une réponse finale. Pour la classification, la réponse finale est obtenue par vote majoritaire.

<table><caption>Tableau 1 : Valeurs moyennes et écarts types des différentes métriques en pourcentage obtenues lors de l'entraînement du modèle selon la méthode cross validation.</caption><thead><tr><th>Modèle</th><th>Recall</th><th>Précision</th><th>AUC</th><th>Accuracy</th></tr></thead><tbody><tr><td>RF</td><td>71,1(+/- 4)</td><td>61,9(+/- 9)</td><td>70,6</td><td>66,1(+/- 9)</td></tr><tr><td>XGBoost</td><td>67,6(+/- 5)</td><td>61,2(+/- 9)</td><td>70,5</td><td>65,3(+/- 8)</td></tr><tr><td>SVM</td><td>74(+/- 3)</td><td>60,8(+/- 8)</td><td>69,3</td><td>64,4(+/- 7)</td></tr><tr><td>Arbre de décision</td><td>74,4(+/- 4)</td><td>58(+/- 8)</td><td>68,2</td><td>59,8(+/- 7)</td></tr></tbody></table>

# 3 Résultats

## 3.1 Entrainement du modèle

L'entraînement et l'optimisation du modèle aboutissent à un accuracy de 66,1 % avec un recall de 71,1 % (Tableau 1). Ces premiers résultats sont encourageants mais l'utilisation de l'outil, à des fins de prévention, doit être plus sensible à la détection de faux négatifs. Dans cette optique, il est possible de modifier, pendant la phase d'entraînement, la valeur seuil qui différencie une prédiction négative, d'une prédiction positive. Ainsi pour le modèle Random Forest le seuil a été modifié manuellement pour diminuer la prédiction de faux négatifs. Cependant cette action a pour conséquence de diminuer la précision ce qui s'accompagne d'une augmentation de la prédiction de faux positifs (Tableau 2).

<table><caption>Tableau 2 : Valeurs des différentes métriques en pourcentage obtenues lors de l'entraînement avec une nouvelle valeur seuil.</caption><thead><tr><th>Modèle</th><th>Recall</th><th>Précision</th><th>AUC</th><th>Accuracy</th></tr></thead><tbody><tr><td>Random Forest</td><td>85,9</td><td>58,2</td><td>70,6</td><td>64,7</td></tr><tr><td>Valeur seuil de 0,425</td><td></td><td></td><td></td><td></td></tr></tbody></table>

Avec l'ajustement de cette nouvelle valeur seuil égal à 0,425 au lieu de 0,475, le recall du Random Forest a été augmentée de 14,8 point pour une diminution de 1,45 point d'accuracy, mais comme anticipé une diminution de la précision de 6%.

## 3.2 Test du modèle

L'objectif est de tester le modèle précédemment optimisé sur des données inconnues et ainsi mesurer la qualité des prédictions. Ainsi, nous avons testé les 2 modèles de Random Forest précédemment présentés sur les 20% de patients non connus par l'algorithme.

<table><caption>Tableau 3 : Valeurs des différentes métriques en pourcentage obtenues lors du test du modèle.</caption><thead><tr><th>Modèle</th><th>Recall</th><th>Précision</th><th>AUC</th><th>Accuracy</th></tr></thead><tbody><tr><td>Random Forest</td><td>83,3</td><td>54,2</td><td>69,2</td><td>60,0</td></tr><tr><td>Valeur seuil de 0,475</td><td></td><td></td><td></td><td></td></tr></tbody></table>

On constate une légère dégradation de le recall entre l'entraînement et le test, mais la précision est le paramètre le plus fortement dégradé. La dégradation combinée de ces deux métriques se traduit par une diminution de l'accuracy passant de 64,9% à 60,0% (Tableau 3).

<table><caption>Tableau 4 : Matrice de confusion obtenue lors de la phase de test.</caption><thead><tr><th rowspan="2">Matrice de confusion</th><th colspan="2">Prédiction</th></tr><tr><th>0</th><th>1</th></tr></thead><tbody><tr><th rowspan="2">Observation</th><td>0</td><td>79</td><td>118</td></tr><tr><td>1</td><td>28</td><td>140</td></tr></tbody></table>

La matrice de confusion (Tableau 4) nous montre que le nombre de prédictions correctes s'élève à 219 sur un total de 365. On dénombre seulement 28 faux négatifs, autrement dit seuls 28 blessés n'ont pas été identifiés par le modèle mais cela se fait au détriment de la détection de 118 faux positifs.

# 4 Discussion

Nous n'avons pas identifié d'études ayant développé un modèle de machine learning pour prédire le risque de blessures au foot 5. Nous avons donc comparé notre étude aux résultats produits dans le football, en lien avec une approche machine learning.

On peut noter que la taille des échantillons des autres études varie de 86 à 952 participants (Tableau 5). Nous proposons une analyse avec une taille d'échantillon plus importante constituée de 1827 participants. Cette différence de taille d'échantillon peut s'explique par le fait que les joueurs de football des différentes études évoluent au niveau professionnel alors que notre approche repose sur des participants pouvant être débutants, amateurs ou professionnels.

Nos métriques sont dans le même ordre de grandeur que celles obtenues par Oliver et al. [12]. Nous retrouvons également un modèle dont le recall est supérieur à la précision. Quelques variables d'entrées sont communes à nos deux études comme le poids, l'âge et l'IMC. Cependant Oliver et al. [12] utilisent d'autres variables d'entrées que nous n'avons pas été en mesure de recueillir, comme des mesures neuromusculaires (saut de contre-mouvement unipodal, pic de force verticale de réaction au sol) et des données anthropométriques supplémentaires (comme la longueur des jambes).
de l'algorithme de RF est de construire un grand nombre d'arbres de décision indépendants et de combiner leurs prédictions pour obtenir une prédiction finale. Les étapes principales de l'algorithme de RF sont :

- La sélection aléatoire d'un échantillon avec remplacement (bootstrap) des données d'entraînement.

- La sélection aléatoire d'un sous-ensemble de variables d'entrée (caractéristiques) pour chaque arbre de décision.

- La Construction d'un arbre de décision pour chaque échantillon bootstrap et chaque sous-ensemble de variables d'entrée.

- L'Aggrégation des prédictions de tous les arbres de décision pour obtenir une réponse finale. Pour la classification, la réponse finale est obtenue par vote majoritaire.

<table><caption>Tableau 1 : Valeurs moyennes et écarts types des différentes métriques en pourcentage obtenues lors de l'entraînement du modèle selon la méthode cross validation.</caption><thead><tr><th>Modèle</th><th>Recall</th><th>Précision</th><th>AUC</th><th>Accuracy</th></tr></thead><tbody><tr><td>RF</td><td>71,1(+/- 4)</td><td>61,9(+/- 9)</td><td>70,6</td><td>66,1(+/- 9)</td></tr><tr><td>XGBoost</td><td>67,6(+/- 5)</td><td>61,2(+/- 9)</td><td>70,5</td><td>65,3(+/- 8)</td></tr><tr><td>SVM</td><td>74(+/- 3)</td><td>60,8(+/- 8)</td><td>69,3</td><td>64,4(+/- 7)</td></tr><tr><td>Arbre de décision</td><td>74,4(+/- 4)</td><td>58(+/- 8)</td><td>68,2</td><td>59,8(+/- 7)</td></tr></tbody></table>

# 3 Résultats

## 3.1 Entrainement du modèle

L'entraînement et l'optimisation du modèle aboutissent à un accuracy de 66,1 % avec un recall de 71,1 % (Tableau 1). Ces premiers résultats sont encourageants mais l'utilisation de l'outil, à des fins de prévention, doit être plus sensible à la détection de faux négatifs. Dans cette optique, il est possible de modifier, pendant la phase d'entraînement, la valeur seuil qui différencie une prédiction négative, d'une prédiction positive. Ainsi pour le modèle Random Forest le seuil a été modifié manuellement pour diminuer la prédiction de faux négatifs. Cependant cette action a pour conséquence de diminuer la précision ce qui s'accompagne d'une augmentation de la prédiction de faux positifs (Tableau 2).

<table><caption>Tableau 2 : Valeurs des différentes métriques en pourcentage obtenues lors de l'entraînement avec une nouvelle valeur seuil.</caption><thead><tr><th>Modèle</th><th>Recall</th><th>Précision</th><th>AUC</th><th>Accuracy</th></tr></thead><tbody><tr><td>Random Forest</td><td>85,9</td><td>58,2</td><td>70,6</td><td>64,7</td></tr><tr><td>Valeur seuil de 0,425</td><td></td><td></td><td></td><td></td></tr></tbody></table>

Avec l'ajustement de cette nouvelle valeur seuil égal à 0,425 au lieu de 0,475, le recall du Random Forest a été augmentée de 14,8 point pour une diminution de 1,45 point d'accuracy, mais comme anticipé une diminution de la précision de 6%.

## 3.2 Test du modèle

L'objectif est de tester le modèle précédemment optimisé sur des données inconnues et ainsi mesurer la qualité des prédictions. Ainsi, nous avons testé les 2 modèles de Random Forest précédemment présentés sur les 20% de patients non connus par l'algorithme.

<table><caption>Tableau 3 : Valeurs des différentes métriques en pourcentage obtenues lors du test du modèle.</caption><thead><tr><th>Modèle</th><th>Recall</th><th>Précision</th><th>AUC</th><th>Accuracy</th></tr></thead><tbody><tr><td>Random Forest</td><td>83,3</td><td>54,2</td><td>69,2</td><td>60,0</td></tr><tr><td>Valeur seuil de 0,475</td><td></td><td></td><td></td><td></td></tr></tbody></table>

On constate une légère dégradation de le recall entre l'entraînement et le test, mais la précision est le paramètre le plus fortement dégradé. La dégradation combinée de ces deux métriques se traduit par une diminution de l'accuracy passant de 64,9% à 60,0% (Tableau 3).

<table><caption>Tableau 4 : Matrice de confusion obtenue lors de la phase de test.</caption><thead><tr><th rowspan="2">Matrice de confusion</th><th colspan="2">Prédiction</th></tr><tr><th>0</th><th>1</th></tr></thead><tbody><tr><th rowspan="2">Observation</th><td>0</td><td>79</td><td>118</td></tr><tr><td>1</td><td>28</td><td>140</td></tr></tbody></table>

La matrice de confusion (Tableau 4) nous montre que le nombre de prédictions correctes s'élève à 219 sur un total de 365. On dénombre seulement 28 faux négatifs, autrement dit seuls 28 blessés n'ont pas été identifiés par le modèle mais cela se fait au détriment de la détection de 118 faux positifs.

# 4 Discussion

Nous n'avons pas identifié d'études ayant développé un modèle de machine learning pour prédire le risque de blessures au foot 5. Nous avons donc comparé notre étude aux résultats produits dans le football, en lien avec une approche machine learning.

On peut noter que la taille des échantillons des autres études varie de 86 à 952 participants (Tableau 5). Nous proposons une analyse avec une taille d'échantillon plus importante constituée de 1827 participants. Cette différence de taille d'échantillon peut s'explique par le fait que les joueurs de football des différentes études évoluent au niveau professionnel alors que notre approche repose sur des participants pouvant être débutants, amateurs ou professionnels.

Nos métriques sont dans le même ordre de grandeur que celles obtenues par Oliver et al. [12]. Nous retrouvons également un modèle dont le recall est supérieur à la précision. Quelques variables d'entrées sont communes à nos deux études comme le poids, l'âge et l'IMC. Cependant Oliver et al. [12] utilisent d'autres variables d'entrées que nous n'avons pas été en mesure de recueillir, comme des mesures neuromusculaires (saut de contre-mouvement unipodal, pic de force verticale de réaction au sol) et des données anthropométriques supplémentaires (comme la longueur des jambes).
Les études de Ayala et al. [7] et Rommers et al. [6] obtiennent des résultats plus précis. Même si notre *recall* est du même ordre de grandeur que les 3 études précédemment, leur précision est nettement supérieure. Nous avons identifié 2 facteurs qui expliqueraient cette différence :

- L'utilisation de certaines variables d'entrées plus pertinentes dans la prédiction des blessures. Pour Rommers et al. [6], la variable d'entrée la plus importante est l'âge du pic de croissance. Ayala et al. [7] mettent en évidence l'impact de la qualité du sommeil sur le risque de blessure, ce facteur aggravant a déjà été cité par Cresswell et Eklund [13]. Et pour finir, une dernière variable semble importante dans l'étude réalisée par Ayala et al. [7], qui est l'historique des blessures du participant, ce qui est cohérent avec la littérature [14,15].

- La blessure à identifier peut, si elle est très spécifique, influencer les performances du modèle. Comme le souligne Ayala et al. [7], “Perhaps, the fact that the current study [7] built on injury-specific predictive model might explain the slightly better predictive performance results obtained in comparison with the non-specific injury risk model”. Dans notre étude la blessure n’est pas spécifique à une localisation ou à un type d’atteinte. Cela peut donc expliquer, en partie, nos moins bonnes performances.

Il convient de noter que cette étude sur la réalisation d'un modèle prédictif des blessures au foot 5 a quelques limites. Tout d'abord, la population étudiée n'est probablement pas représentative de l'ensemble des pratiquants de foot 5. En effet, les participants à l'étude sont principalement des étudiants (32,3%), des employés (24,7%) et des cadres et professions intellectuelles supérieures (22,7%). De plus, le modèle développé ne dépasse pas l' existant en termes de métriques (Tableau 5). Néanmoins, l'amélioration de notre modèle doit passer par une augmentation de la précision, cela permettra de diminuer la proportion de faux positifs. Nous suggérons deux axes pour l'amélioration des performances du modèle. En premier lieu, nous suggérons une augmentation de la taille de l'échantillon car les algorithmes de machine learning peuvent gagner en *accuracy* avec une augmentation de la taille de la base de données [16]. De plus, une augmentation de la base de données permettra d'envisager des algorithmes plus précis comme les réseaux de neurones et autre forme de deep learning. Deuxièmement, en s'appuyant sur les méthodes utilisées dans d'autres analyses sur le

football, nous pouvons envisager des pistes d'amélioration pour une future étude : nous pourrions questionner les participants sur la qualité de leur sommeil, être plus précis quant à l'historique de leur blessure ou affiner les données anthropométriques.

Cette étude peut servir pour développer une application à destination des sportifs pour les sensibiliser aux risques de blessures et les prévenir en amont avec une consultation médicale dédiée. Elle permet également de sensibiliser les professionnels de santé aux facteurs de risque de blessures et de promouvoir des stratégies de prévention pour réduire l'incidence de ces blessures chez les joueurs de foot 5.

## 5 Conclusion

Grâce aux données récoltées par l'étude de Tievant [8] sur la pratique du Foot 5, un modèle prédictif a pu être développé et testé. Le modèle repose sur un algorithme de machine learning supervisé : le Random Forest. Ce modèle est constitué de plusieurs centaines d'arbres de décision qui vont participer pour prédire le risque de blessure d'un participant en fonction de certaines informations d'entrées. Dans notre cas, ce sont les informations sur le temps de jeu et quelques caractéristiques anthropométriques qui participent à fournir les meilleures prédictions. Le modèle se révèle être précis à 64,9% avec une précision de 60,1% et un *recall* de 70,3%. Ce qui en fait un modèle assez efficace pour ne pas prédire trop de faux négatifs.

Cette approche prédictive avec un algorithme de machine learning est nouvelle, à notre connaissance, pour le foot 5. Cependant il existe plusieurs approches similaires dans le football. En comparant nos résultats avec la littérature, deux pistes d'améliorations sont envisageables. D'une part l'augmentation de la taille de l'échantillon qui permettrait de gagner en *accuracy* grâce à l'utilisation d'algorithmes comme les réseaux de neurones et d'autre part le questionnement des participants sur la qualité de leur sommeil, l'historique de leur blessure et affiner les données anthropométriques. Ce questionnaire [8], dans une étude de plus grande envergure, va donc pouvoir évoluer afin d'améliorer notre compréhension et la prévention des blessures dans le foot 5.

<table><caption>Tableau 5 : Comparatif des différentes études sur l'application de modèle de machine learning dans la prédiction de la blessure au football.</caption><thead><tr><td>Nom de l'étude</td><td>Recall</td><td>Précision</td><td>AUC</td><td>Taille de l'étude</td><td>Variables d'entrées importantes</td></tr></thead><tbody><tr><td>Rossi et al., 2018</td><td>80,0</td><td>87,0</td><td>Non communiqué</td><td>952</td><td>Historique des blessures, vitesse de course, distance parcourue</td></tr><tr><td>Ayala et al., 2019</td><td>77,8</td><td>83,3</td><td>87,3</td><td>86</td><td>Qualité du sommeil</td></tr><tr><td>Oliver et al., 2020</td><td>74,2</td><td>55,6</td><td>66,3</td><td>355</td><td>Données anthropométriques (poids, âge, IMC)</td></tr><tr><td>Rommers et al., 2020</td><td>85</td><td>85</td><td>Non communiqué</td><td>734</td><td>L'âge du pic de croissance, la taille, la longueur des jambes, pourcentage de masse grasse.</td></tr><tr><td>Notre modèle</td><td>83,3</td><td>54,2</td><td>69,2</td><td>1827</td><td>Fréquence de jeu, âge, IMC, temps de jeu</td></tr></tbody></table>
Les études de Ayala et al. [7] et Rommers et al. [6] obtiennent des résultats plus précis. Même si notre *recall* est du même ordre de grandeur que les 3 études précédemment, leur précision est nettement supérieure. Nous avons identifié 2 facteurs qui expliqueraient cette différence :

- L'utilisation de certaines variables d'entrées plus pertinentes dans la prédiction des blessures. Pour Rommers et al. [6], la variable d'entrée la plus importante est l'âge du pic de croissance. Ayala et al. [7] mettent en évidence l'impact de la qualité du sommeil sur le risque de blessure, ce facteur aggravant a déjà été cité par Cresswell et Eklund [13]. Et pour finir, une dernière variable semble importante dans l'étude réalisée par Ayala et al. [7], qui est l'historique des blessures du participant, ce qui est cohérent avec la littérature [14,15].

- La blessure à identifier peut, si elle est très spécifique, influencer les performances du modèle. Comme le souligne Ayala et al. [7], "Perhaps, the fact that the current study [7] built on injury-specific predictive model might explain the slightly better predictive performance results obtained in comparison with the non-specific injury risk model". Dans notre étude la blessure n'est pas spécifique à une localisation ou à un type d'atteinte. Cela peut donc expliquer, en partie, nos moins bonnes performances.

Il convient de noter que cette étude sur la réalisation d'un modèle prédictif des blessures au foot 5 a quelques limites. Tout d'abord, la population étudiée n'est probablement pas représentative de l'ensemble des pratiquants de foot 5. En effet, les participants à l'étude sont principalement des étudiants (32,3%), des employés (24,7%) et des cadres et professions intellectuelles supérieures (22,7%). De plus, le modèle développé ne dépasse pas l' existant en termes de métriques (Tableau 5). Néanmoins, l'amélioration de notre modèle doit passer par une augmentation de la précision, cela permettra de diminuer la proportion de faux positifs. Nous suggérons deux axes pour l'amélioration des performances du modèle. En premier lieu, nous suggérons une augmentation de la taille de l'échantillon car les algorithmes de machine learning peuvent gagner en *accuracy* avec une augmentation de la taille de la base de données [16]. De plus, une augmentation de la base de données permettra d'envisager des algorithmes plus précis comme les réseaux de neurones et autre forme de deep learning. Deuxièmement, en s'appuyant sur les méthodes utilisées dans d'autres analyses sur le

football, nous pouvons envisager des pistes d'amélioration pour une future étude : nous pourrions questionner les participants sur la qualité de leur sommeil, être plus précis quant à l'historique de leur blessure ou affiner les données anthropométriques.

Cette étude peut servir pour développer une application à destination des sportifs pour les sensibiliser aux risques de blessures et les prévenir en amont avec une consultation médicale dédiée. Elle permet également de sensibiliser les professionnels de santé aux facteurs de risque de blessures et de promouvoir des stratégies de prévention pour réduire l'incidence de ces blessures chez les joueurs de foot 5.

## 5 Conclusion

Grâce aux données récoltées par l'étude de Tievant [8] sur la pratique du Foot 5, un modèle prédictif a pu être développé et testé. Le modèle repose sur un algorithme de machine learning supervisé : le Random Forest. Ce modèle est constitué de plusieurs centaines d'arbres de décision qui vont participer pour prédire le risque de blessure d'un participant en fonction de certaines informations d'entrées. Dans notre cas, ce sont les informations sur le temps de jeu et quelques caractéristiques anthropométriques qui participent à fournir les meilleures prédictions. Le modèle se révèle être précis à 64,9% avec une précision de 60,1% et un *recall* de 70,3%. Ce qui en fait un modèle assez efficace pour ne pas prédire trop de faux négatifs.

Cette approche prédictive avec un algorithme de machine learning est nouvelle, à notre connaissance, pour le foot 5. Cependant il existe plusieurs approches similaires dans le football. En comparant nos résultats avec la littérature, deux pistes d'améliorations sont envisageables. D'une part l'augmentation de la taille de l'échantillon qui permettrait de gagner en *accuracy* grâce à l'utilisation d'algorithmes comme les réseaux de neurones et d'autre part le questionnement des participants sur la qualité de leur sommeil, l'historique de leur blessure et affiner les données anthropométriques. Ce questionnaire [8], dans une étude de plus grande envergure, va donc pouvoir évoluer afin d'améliorer notre compréhension et la prévention des blessures dans le foot 5.

<table><caption>Tableau 5 : Comparatif des différentes études sur l'application de modèle de machine learning dans la prédiction de la blessure au football.</caption><thead><tr><td>Nom de l'étude</td><td>Recall</td><td>Précision</td><td>AUC</td><td>Taille de l'étude</td><td>Variables d'entrées importantes</td></tr></thead><tbody><tr><td>Rossi et al., 2018</td><td>80,0</td><td>87,0</td><td>Non communiqué</td><td>952</td><td>Historique des blessures, vitesse de course, distance parcourue</td></tr><tr><td>Ayala et al., 2019</td><td>77,8</td><td>83,3</td><td>87,3</td><td>86</td><td>Qualité du sommeil</td></tr><tr><td>Oliver et al., 2020</td><td>74,2</td><td>55,6</td><td>66,3</td><td>355</td><td>Données anthropométriques (poids, âge, IMC)</td></tr><tr><td>Rommers et al., 2020</td><td>85</td><td>85</td><td>Non communiqué</td><td>734</td><td>L'âge du pic de croissance, la taille, la longueur des jambes, pourcentage de masse grasse.</td></tr><tr><td>Notre modèle</td><td>83,3</td><td>54,2</td><td>69,2</td><td>1827</td><td>Fréquence de jeu, âge, IMC, temps de jeu</td></tr></tbody></table>
# 6 Références

1. FIFA. FIFA Big Count 2006: 270 million people active in football [Internet]. FIFA Communication divisions; 2007 mai [cité 8 nov 2022]. Disponible sur: https://digitalhub.fifa.com/m/55621f9fdc8ea7b4/original/mzid0qmguixkcmruvema-pdf.pdf

2. La mode du Five, une pratique en pleine expansion [Internet]. L'Équipe. [cité 16 sept 2022]. Disponible sur: https://www.lequipe.fr/France-Football/Actualites/La-mode-du-five-une-pratique-en-pleine-expansion/1331413

3. Van Eetvelde H, Mendonça LD, Ley C, Seil R, Tischer T. Machine learning methods in sport injury prediction and prevention: a systematic review. J Exp Orthop. 14 avr 2021;8(1):27.

4. Hastie T, Friedman J, Tibshirani R. The Elements of Statistical Learning [Internet]. New York, NY: Springer; 2001 [cité 2 avr 2023]. (Springer Series in Statistics). Disponible sur: http://link.springer.com/10.1007/978-0-387-21606-5

5. Rossi A, Pappalardo L, Cintia P, Iaia FM, Fernández J, Medina D. Effective injury forecasting in soccer with GPS training data and machine learning. PLOS ONE. 25 juill 2018;13(7):e0201264.

6. Rommers N, Rössler R, Verhagen E, Vandecasteele F, Verstockt S, Vaeyens R, Lenoir M, D'Hondt E, Witvrouw E. A machine learning approach to assess injury risk in elite youth football players. Med Sci SPORTS Exerc. 2020;52(8):1745-51.

7. Ayala F, López-Valenciano A, Martín JAG, Croix MDS, Vera-Garcia FJ, García-Vaquero M del P, Ruiz-Pérez I, Myer GD. A Preventive Model for Hamstring Injuries in Professional Soccer: Learning Algorithms. Int J Sports Med. mai 2019;40(5):344-53.

8. Tievant R. Étude épidémiologique des blessures liées à la pratique du foot 5 : identification des profils sportifs à risque. Rouen: UFR de santé de Rouen Normandie; 2022 p. France.

9. Fuller CW, Ekstrand J, Junge A, Andersen TE, Bahr R, Dvorak J, Hägglund M, McCrory P, Meeuwisse WH. Consensus statement on injury definitions and data collection procedures in studies of football (soccer) injuries. Scand J Med Sci Sports. 2006;16(2):83-92.

10. 3.1. Cross-validation: evaluating estimator performance [Internet]. scikit-learn. [cité 27 sept 2022]. Disponible sur: https://scikit-learn/stable/modules/cross_validation.html

11. Géron A. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. O'Reilly Media, Inc.;

2022. 878 p.

12. Oliver JL, Ayala F, De Ste Croix MBA, Lloyd RS, Myer GD, Read PJ. Using machine learning to improve our understanding of injury risk and prediction in elite male youth football players. J Sci Med Sport. 1 nov 2020;23(11):1044-8.

13. Cresswell SL, Eklund RC. The Nature of Player Burnout in Rugby: Key Characteristics and Attributions. J Appl Sport Psychol. 1 sept 2006;18(3):219-39.

14. Fousekis K, Tsepis E, Poulmedis P, Athanasopoulos S, Vagenas G. Intrinsic risk factors of non-contact quadriceps and hamstring strains in soccer: a prospective study of 100 professional players. Br J Sports Med. 1 juill 2011;45(9):709-14.

15. Hägglund M, Waldén M, Ekstrand J. Injury incidence and distribution in elite football—a prospective study of the Danish and the Swedish top divisions. Scand J Med Sci Sports. 2005;15(1):21-8.

16. Brill E, Lin J, Banko M, Dumais ST, Ng AY. Data-Intensive Question Answering. In: TREC. 2001. p. 90.
# 6 Références

1. FIFA. FIFA Big Count 2006: 270 million people active in football [Internet]. FIFA Communication divisions; 2007 mai [cité 8 nov 2022]. Disponible sur: https://digitalhub.fifa.com/m/55621f9fdc8ea7b4/original/mzid0qmguixkcmruvema-pdf.pdf

2. La mode du Five, une pratique en pleine expansion [Internet]. L'Équipe. [cité 16 sept 2022]. Disponible sur: https://www.lequipe.fr/France-Football/Actualites/La-mode-du-five-une-pratique-en-pleine-expansion/1331413

3. Van Eetvelde H, Mendonça LD, Ley C, Seil R, Tischer T. Machine learning methods in sport injury prediction and prevention: a systematic review. J Exp Orthop. 14 avr 2021;8(1):27.

4. Hastie T, Friedman J, Tibshirani R. The Elements of Statistical Learning [Internet]. New York, NY: Springer; 2001 [cité 2 avr 2023]. (Springer Series in Statistics). Disponible sur: http://link.springer.com/10.1007/978-0-387-21606-5

5. Rossi A, Pappalardo L, Cintia P, Iaia FM, Fernández J, Medina D. Effective injury forecasting in soccer with GPS training data and machine learning. PLOS ONE. 25 juill 2018;13(7):e0201264.

6. Rommers N, Rössler R, Verhagen E, Vandecasteele F, Verstockt S, Vaeyens R, Lenoir M, D'Hondt E, Witvrouw E. A machine learning approach to assess injury risk in elite youth football players. Med Sci SPORTS Exerc. 2020;52(8):1745-51.

7. Ayala F, López-Valenciano A, Martín JAG, Croix MDS, Vera-Garcia FJ, García-Vaquero M del P, Ruiz-Pérez I, Myer GD. A Preventive Model for Hamstring Injuries in Professional Soccer: Learning Algorithms. Int J Sports Med. mai 2019;40(5):344-53.

8. Tievant R. Étude épidémiologique des blessures liées à la pratique du foot 5 : identification des profils sportifs à risque. Rouen: UFR de sante de Rouen Normandie; 2022 p. France.

9. Fuller CW, Ekstrand J, Junge A, Andersen TE, Bahr R, Dvorak J, Hägglund M, McCrory P, Meeuwisse WH. Consensus statement on injury definitions and data collection procedures in studies of football (soccer) injuries. Scand J Med Sci Sports. 2006;16(2):83-92.

10. 3.1. Cross-validation: evaluating estimator performance [Internet]. scikit-learn. [cité 27 sept 2022]. Disponible sur: https://scikit-learn/stable/modules/cross_validation.html

11. Géron A. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow. O'Reilly Media, Inc.;

2022. 878 p.

12. Oliver JL, Ayala F, De Ste Croix MBA, Lloyd RS, Myer GD, Read PJ. Using machine learning to improve our understanding of injury risk and prediction in elite male youth football players. J Sci Med Sport. 1 nov 2020;23(11):1044-8.

13. Cresswell SL, Eklund RC. The Nature of Player Burnout in Rugby: Key Characteristics and Attributions. J Appl Sport Psychol. 1 sept 2006;18(3):219-39.

14. Fousekis K, Tsepis E, Poulmedis P, Athanasopoulos S, Vagenas G. Intrinsic risk factors of non-contact quadriceps and hamstring strains in soccer: a prospective study of 100 professional players. Br J Sports Med. 1 juill 2011;45(9):709-14.

15. Hägglund M, Waldén M, Ekstrand J. Injury incidence and distribution in elite football—a prospective study of the Danish and the Swedish top divisions. Scand J Med Sci Sports. 2005;15(1):21-8.

16. Brill E, Lin J, Banko M, Dumais ST, Ng AY. Data-Intensive Question Answering. In: TREC. 2001. p. 90.
# Classification de documents métiers pour l'aide à l'extraction et la classification de relations lexico-sémantiques typées et pondérées

Camille GOSSET¹,², Mokhtar Boumedyen BILLAMI², Mathieu LAFOURCADE¹, Christophe BORTOLASO²

¹ LIRMM, Montpellier

² Berger-Levrault, Labège

Camille.gosset@berger-levrault.com

## Résumé

La langue française est riche et complexe dans sa nature, offrant un vaste choix de mots et de possibilités d'expression. Cependant, cette richesse peut également conduire à la polysémie des mots. L'extraction de relations lexico-sémantiques dans ce cadre peut être une tâche complexe et difficile, en raison de la nature de la langue et de la façon dont les phrases sont construites. Après une extraction terminologique, l'extraction de relations entre ces termes de mêmes domaines peut être effectuée à l'aide d'une classification de type de relations. Le classifieur nous permet de confirmer un type donné entre deux termes du corpus. Ensuite, un filtre sur les relations extraites peut être appliqué en utilisant la classification par domaine métier. Cependant, sur des textes de spécialité, les algorithmes de classification multi-classe sont-ils aussi performants comme leur application sur les textes génériques ? Dans cet article, nous évaluons plusieurs modèles de classifications ayant différents types de représentation de documents pour une application à des domaines métiers. Cette évaluation a permis de constater une extraction de relations plus fine avec certains modèles.

## Mots-clés

Classification de textes/ documents, Classification de domaines, Représentation de documents, Classification de relation, Vocabulaire de spécialité.

## 1 Introduction

L'extraction de relations à partir de textes est un domaine actif dans le traitement automatique des langues. Les relations se forment entre différents termes clés, mais leur pertinence dépend de la façon dont ils sont utilisés dans le contexte. Pour filtrer les relations qui ne sont pas pertinentes, une méthode possible est de les classifier selon leur domaine d'application. Ainsi, si deux termes clefs d'une relation $t_1, t_2$ appartiennent à un domaine $d$, alors la relation $r$ appartient également à $d$. De plus, en classifiant les documents, les termes clefs rattachés au document sont également classifiés, permettant ainsi de rattacher un document à l'un des domaines.

Il existe différentes méthodes de classification de domaines, notamment la classification automatique, la classification manuelle par des experts humains et la classification hybride combinant les deux approches. L'efficacité de ces méthodes dépend de plusieurs facteurs, tels que la qualité et la quantité

des données d'entraînement, la pertinence des catégories de classification et la précision des algorithmes utilisés. Dans ce papier, nous nous intéressons à la question de la classification de documents selon des domaines de spécialités. En effet, nous nous demandons si la classification de documents peut aider l'extraction de relations. L'objectif final est de pouvoir filtrer les relation d'une ontologie construite à partir de textes en fonction de huit domaines spécifiques : État civil et Cimetières, Élections, Commande publique, Urbanisme, Comptabilité et Finances locales, Ressources Humaines Territoriales, Justice et Santé. Nous avons à notre disposition des articles déjà classifiés dans un domaine précis, mais aussi des ouvrages dont il n'est pas possible de récupérer leurs domaines. Pour résoudre ce problème, nous avons élaboré trois stratégies possibles : la classification de documents, la classification directe des termes clés des experts et la classification directe des relations. Nous avons effectué une analyse des données et un développement expérimental comparatif des performances des différentes stratégies pour évaluer leur efficacité.

## 2 Présentation des données

Notre étude analyse un corpus de documents spécialisés en français comprenant 172 ouvrages et 12 838 articles dans le domaine juridique et pratique, couvrant 8 secteurs du secteur public : État civil et Cimetières, Élections, Commande publique, Urbanisme, Comptabilité et Finances locales, Ressources Humaines Territoriales, Justice et Santé. Les articles sont classés dans un domaine spécifique, tandis que les ouvrages ne le sont pas. Pour déterminer le domaine auquel appartient chaque ouvrage ou partie d'ouvrage, il est nécessaire de les classifier. Le corpus a été annoté manuellement avec des termes-clés choisis par des experts spécialisés dans différents domaines du secteur public. Les annotations sont manuelles et les termes-clés ont été décrits avec plusieurs formes fléchies et parfois avec des informations supplémentaires non pertinentes. La liste unique de termes-clés représentatifs comprend 46 142 termes-clés répartis entre les ouvrages et les articles.

Les termes-clés utilisés ne sont pas toujours exclusifs à un seul domaine, ce qui peut conduire à une intersection entre différents domaines.

Les résultats de la matrice de corrélation des différents domaines ont montré que le domaine de la santé et celui des ressources humaines territoriales présentent la plus forte corrélation, atteignant 54%. Il y a également une corrélation
# Classification de documents métiers pour l'aide à l'extraction et la classification de relations lexico-sémantiques typées et pondérées

Camille GOSSET¹,², Mokhtar Boumedyen BILLAMI², Mathieu LAFOURCADE¹, Christophe BORTOLASO²

¹ LIRMM, Montpellier

² Berger-Levrault, Labège

Camille.gosset@berger-levrault.com

## Résumé

La langue française est riche et complexe dans sa nature, offrant un vaste choix de mots et de possibilités d'expression. Cependant, cette richesse peut également conduire à la polysémie des mots. L'extraction de relations lexico-sémantiques dans ce cadre peut être une tâche complexe et difficile, en raison de la nature de la langue et de la façon dont les phrases sont construites. Après une extraction terminologique, l'extraction de relations entre ces termes de mêmes domaines peut être effectuée à l'aide d'une classification de type de relations. Le classifieur nous permet de confirmer un type donné entre deux termes du corpus. Ensuite, un filtre sur les relations extraites peut être appliqué en utilisant la classification par domaine métier. Cependant, sur des textes de spécialité, les algorithmes de classification multi-classe sont-ils aussi performants comme leur application sur les textes génériques ? Dans cet article, nous évaluons plusieurs modèles de classifications ayant différents types de représentation de documents pour une application à des domaines métiers. Cette évaluation a permis de constater une extraction de relations plus fine avec certains modèles.

## Mots-clés

Classification de textes/ documents, Classification de domaines, Représentation de documents, Classification de relation, Vocabulaire de spécialité.

## 1 Introduction

L'extraction de relations à partir de textes est un domaine actif dans le traitement automatique des langues. Les relations se forment entre différents termes clés, mais leur pertinence dépend de la façon dont ils sont utilisés dans le contexte. Pour filtrer les relations qui ne sont pas pertinentes, une méthode possible est de les classifier selon leur domaine d'application. Ainsi, si deux termes clefs d'une relation $t_1, t_2$ appartiennent à un domaine $d$, alors la relation $r$ appartient également à $d$. De plus, en classifiant les documents, les termes clefs rattachés au document sont également classifiés, permettant ainsi de rattacher un document à l'un des domaines.

Il existe différentes méthodes de classification de domaines, notamment la classification automatique, la classification manuelle par des experts humains et la classification hybride combinant les deux approches. L'efficacité de ces méthodes dépend de plusieurs facteurs, tels que la qualité et la quantité

des données d'entraînement, la pertinence des catégories de classification et la précision des algorithmes utilisés. Dans ce papier, nous nous intéressons à la question de la classification de documents selon des domaines de spécialités. En effet, nous nous demandons si la classification de documents peut aider l'extraction de relations. L'objectif final est de pouvoir filtrer les relation d'une ontologie construite à partir de textes en fonction de huit domaines spécifiques : État civil et Cimetières, Élections, Commande publique, Urbanisme, Comptabilité et Finances locales, Ressources Humaines Territoriales, Justice et Santé. Nous avons à notre disposition des articles déjà classifiés dans un domaine précis, mais aussi des ouvrages dont il n'est pas possible de récupérer leurs domaines. Pour résoudre ce problème, nous avons élaboré trois stratégies possibles : la classification de documents, la classification directe des termes clés des experts et la classification directe des relations. Nous avons effectué une analyse des données et un développement expérimental comparatif des performances des différentes stratégies pour évaluer leur efficacité.

## 2 Présentation des données

Notre étude analyse un corpus de documents spécialisés en français comprenant 172 ouvrages et 12 838 articles dans le domaine juridique et pratique, couvrant 8 secteurs du secteur public : État civil et Cimetières, Élections, Commande publique, Urbanisme, Comptabilité et Finances locales, Ressources Humaines Territoriales, Justice et Santé. Les articles sont classés dans un domaine spécifique, tandis que les ouvrages ne le sont pas. Pour déterminer le domaine auquel appartient chaque ouvrage ou partie d'ouvrage, il est nécessaire de les classifier. Le corpus a été annoté manuellement avec des termes-clés choisis par des experts spécialisés dans différents domaines du secteur public. Les annotations sont manuelles et les termes-clés ont été décrits avec plusieurs formes fléchies et parfois avec des informations supplémentaires non pertinentes. La liste unique de termes-clés représentatifs comprend 46 142 termes-clés répartis entre les ouvrages et les articles.

Les termes-clés utilisés ne sont pas toujours exclusifs à un seul domaine, ce qui peut conduire à une intersection entre différents domaines.

Les résultats de la matrice de corrélation des différents domaines ont montré que le domaine de la santé et celui des ressources humaines territoriales présentent la plus forte corrélation, atteignant 54%. Il y a également une corrélation
légèrement inférieure à 30% entre "commande publique" et "comptabilité et finances locales", ainsi qu'entre "justice" et "état civil et cimetières". Nous avons analysé en détail les données des articles pour déterminer les domaines des ouvrages. Les résultats montrent que 41 935 termes-clés ne sont présents soit dans les articles soit dans les ouvrages, et que 3 141 termes-clés sur un total de 5 167 sont exclusivement présents dans les articles, tandis que 38 794 termes-clés sur un total de 40 975 sont exclusivement présents dans les ouvrages.

## 3 Approche

Nous avons mis en place un système expérimental pour notre étude comparative d'extraction de relations. L'architecture de ce système est illustrée sur la Figure 1. À partir de documents textuels bruts, le but est de pouvoir extraire des relations entre les idées clés et de pouvoir les filtrer en fonction du domaine.

<figure><img src="image_17.png" /><figcaption>Figure 1 - Système général d'extraction de relations en utilisant la classification de relations</figcaption></figure>

### 2.1 Classification de documents

Tout d'abord, nous avons développé un système de classification de documents. Celui-ci attribut chacun des paragraphes de chacun des textes un des 8 domaines après les avoir prétraités. Le système prend en entrée d'une part les articles qui sont déjà associés à un domaine spécifique et d'une autre part les ouvrages dont le domaine est à déterminer. Dans le cas des ouvrages, nous utilisons un système de classification qui prend en entrée une représentation du texte plutôt que le texte en lui-même qui peut être un sac de mots ou une représentation vectorielle.

#### 2.1.1 Pré-traitement des textes

Les textes ont été prétraités selon les méthodes classiques. Pour ce faire, nous avons utilisé la bibliothèque Stanza [1]. Nous avons réalisé les étapes suivantes dans cet ordre : mise en minuscule, suppression de la ponctuation, tokenisation des phrases, suppression des stopwords en français, lemmatisation.

#### 2.1.2 Classification de documents

Nous utilisons la classification automatique et supervisée pour attribuer une catégorie à chaque document, mais cela est difficile à faire directement avec les données textuelles brutes. Ainsi, nous utilisons différentes méthodes de représentation des documents. Nous utilisons des modèles de classification multi-classes pour attribuer l'une des 8 classes apprises. Pour ce faire, nous avons utilisé plusieurs modèles de classification multi-classes tels que *MultinomialNB*, *LinearSVC* et *SGDClassifier*.

#### 2.1.3 Représentation de documents

Nous utilisons trois méthodes courantes afin de représenter les documents : les méthodes classiques, les embeddings et les modèles de langage. La première façon de représenter les documents consiste à les représenter par sac de mots (ou *bag*

of words - BoW, en anglais). Nous nous intéressons à deux façons de le décrire : *Classic BoW* et *TF-IDF*. Ensuite, en ce qui concerne les embeddings, deux méthodes sont possibles : utilisation des plongements lexicaux (*word embeddings*) avec le modèle word2vec ou utilisation de doc2vec qui consiste à créer un vecteur du document directement. Finalement, concernant les modèles de langues, nous utilisons la méthode de représentation phrase par phrase grâce à Sentence-CamemBERT et Sentence-Flaubert (récupérés depuis *HuggingFace*) pour créer une représentation de chacune des phrases, puis nous appliquons la moyenne.

### 2.2 Extraction terminologique

Dans la deuxième étape du système, un extracteur terminologique est utilisé pour extraire des expressions. Cependant, le système automatique utilisé par notre système effectue une unification des expressions extraites afin de regrouper les différentes formes fléchies d'un texte sous une même forme représentative. Les annotations des experts sont utilisées comme extraction terminologique, mais d'autres méthodes telles que pke [2], TopicRank [3], keyBERT [4] ou YAKE [5] peuvent également être utilisées. Pour l'étape d'unification, les données sont prétraitées pour éliminer les premiers mots outils tels que les déterminants, par exemple. Nous utilisons la lemmatisation pour unifier les annotations d'un même identifiant sous un même terme-clé représentatif dit référent. Nous avons divisé notre problème en deux cas de figure : les termes simples et complexes. Pour les termes complexes, la forme fléchie ayant le plus grand nombre d'occurrences dans le corpus est choisie comme substitut pour représenter un terme-clé donné. Pour les termes simples, une forme canonique dite standard est privilégiée pour privilégier la forme singulière et générique à la forme plurielle. Ainsi, "de restauration immobilière", "restauration immobilière" et "Restauration immobilière" font tous les trois références au même terme-clé.

### 2.3 Extraction de relations

La dernière étape du système général (voir Figure 1) consiste à extraire les relations entre deux termes clés. Pour ce faire, plusieurs techniques d'extraction de relations sont disponibles et peuvent être utilisées, mais notre système utilise une classification de type de relations pour extraire des relations potentielles à partir des termes clés extraits précédemment. Nous utilisons une base de connaissance lexicale pour identifier les types de relations appropriées entre les termes clés d'un même domaine. Ensuite, les relations extraites sont vectorisées pour apprendre le type de relation associé à l'aide d'une classification. Après l'apprentissage, un vecteur de relations est construit en sélectionnant des paires de termes clés, qui peut être associé ou non à un type de relation donné.

#### 2.3.1 Instances de relations lexico-sémantiques à partir d'une base de connaissance

En utilisant une base de connaissance lexico-sémantique, nous récupérons des relations potentielles entre les termes-clés unifiés de même domaine. Nous avons choisi d'utiliser le réseau lexico-sémantique JeuxDeMots [6] pour le français car il contenait 14 millions de nœuds et 320 millions de relations à l'époque de notre choix, et était librement
légèrement inférieure à 30% entre "commande publique" et "comptabilité et finances locales", ainsi qu'entre "justice" et "état civil et cimetières". Nous avons analysé en détail les données des articles pour déterminer les domaines des ouvrages. Les résultats montrent que 41 935 termes-clés ne sont présents soit dans les articles soit dans les ouvrages, et que 3 141 termes-clés sur un total de 5 167 sont exclusivement présents dans les articles, tandis que 38 794 termes-clés sur un total de 40 975 sont exclusivement présents dans les ouvrages.

## 3 Approche

Nous avons mis en place un système expérimental pour notre étude comparative d'extraction de relations. L'architecture de ce système est illustrée sur la Figure 1. À partir de documents textuels bruts, le but est de pouvoir extraire des relations entre les idées clés et de pouvoir les filtrer en fonction du domaine.

<figure><img src="image_17.png" /><figcaption>Figure 1 - Système général d'extraction de relations en utilisant la classification de relations</figcaption></figure>

### 2.1 Classification de documents

Tout d'abord, nous avons développé un système de classification de documents. Celui-ci attribut chacun des paragraphes de chacun des textes un des 8 domaines après les avoir prétraités. Le système prend en entrée d'une part les articles qui sont déjà associés à un domaine spécifique et d'une autre part les ouvrages dont le domaine est à déterminer. Dans le cas des ouvrages, nous utilisons un système de classification qui prend en entrée une représentation du texte plutôt que le texte en lui-même qui peut être un sac de mots ou une représentation vectorielle.

#### 2.1.1 Pré-traitement des textes

Les textes ont été prétraités selon les méthodes classiques. Pour ce faire, nous avons utilisé la bibliothèque Stanza [1]. Nous avons réalisé les étapes suivantes dans cet ordre : mise en minuscule, suppression de la ponctuation, tokenisation des phrases, suppression des stopwords en français, lemmatisation.

#### 2.1.2 Classification de documents

Nous utilisons la classification automatique et supervisée pour attribuer une catégorie à chaque document, mais cela est difficile à faire directement avec les données textuelles brutes. Ainsi, nous utilisons différentes méthodes de représentation des documents. Nous utilisons des modèles de classification multi-classes pour attribuer l'une des 8 classes apprises. Pour ce faire, nous avons utilisé plusieurs modèles de classification multi-classes tels que *MultinomialNB*, *LinearSVC* et *SGDClassifier*.

#### 2.1.3 Représentation de documents

Nous utilisons trois méthodes courantes afin de représenter les documents : les méthodes classiques, les embeddings et les modèles de langage. La première façon de représenter les documents consiste à les représenter par sac de mots (ou *bag*

of words - BoW, en anglais). Nous nous intéressons à deux façons de le décrire : *Classic BoW* et *TF-IDF*. Ensuite, en ce qui concerne les embeddings, deux méthodes sont possibles : utilisation des plongements lexicaux (*word embeddings*) avec le modèle word2vec ou utilisation de doc2vec qui consiste à créer un vecteur du document directement. Finalement, concernant les modèles de langues, nous utilisons la méthode de représentation phrase par phrase grâce à Sentence-CamemBERT et Sentence-Flaubert (récupérés depuis *HuggingFace*) pour créer une représentation de chacune des phrases, puis nous appliquons la moyenne.

### 2.2 Extraction terminologique

Dans la deuxième étape du système, un extracteur terminologique est utilisé pour extraire des expressions. Cependant, le système automatique utilisé par notre système effectue une unification des expressions extraites afin de regrouper les différentes formes fléchies d'un texte sous une même forme représentative. Les annotations des experts sont utilisées comme extraction terminologique, mais d'autres méthodes telles que pke [2], TopicRank [3], keyBERT [4] ou YAKE [5] peuvent également être utilisées. Pour l'étape d'unification, les données sont prétraitées pour éliminer les premiers mots outils tels que les déterminants, par exemple. Nous utilisons la lemmatisation pour unifier les annotations d'un même identifiant sous un même terme-clé représentatif dit référent. Nous avons divisé notre problème en deux cas de figure : les termes simples et complexes. Pour les termes complexes, la forme fléchie ayant le plus grand nombre d'occurrences dans le corpus est choisie comme substitut pour représenter un terme-clé donné. Pour les termes simples, une forme canonique dite standard est privilégiée pour privilégier la forme singulière et générique à la forme plurielle. Ainsi, "de restauration immobilière", "restauration immobilière" et "Restauration immobilière" font tous les trois références au même terme-clé.

### 2.3 Extraction de relations

La dernière étape du système général (voir Figure 1) consiste à extraire les relations entre deux termes clés. Pour ce faire, plusieurs techniques d'extraction de relations sont disponibles et peuvent être utilisées, mais notre système utilise une classification de type de relations pour extraire des relations potentielles à partir des termes clés extraits précédemment. Nous utilisons une base de connaissance lexicale pour identifier les types de relations appropriées entre les termes clés d'un même domaine. Ensuite, les relations extraites sont vectorisées pour apprendre le type de relation associé à l'aide d'une classification. Après l'apprentissage, un vecteur de relations est construit en sélectionnant des paires de termes clés, qui peut être associé ou non à un type de relation donné.

#### 2.3.1 Instances de relations lexico-sémantiques à partir d'une base de connaissance

En utilisant une base de connaissance lexico-sémantique, nous récupérons des relations potentielles entre les termes-clés unifiés de même domaine. Nous avons choisi d'utiliser le réseau lexico-sémantique JeuxDeMots [6] pour le français car il contenait 14 millions de nœuds et 320 millions de relations à l'époque de notre choix, et était librement
disponible. Cette ressource nous permet de récupérer
différents types de relations tels que l'hyperonymie,
l'hyponymie, les constituants (has_part), la synonymie et
l'antonymie. Nous récupérons l'instance de relation sous la
forme Terme1-Type_relation-Terme2-Poids, où le poids
représente le niveau de confiance attribué à la relation. Ce
score est obtenu grâce aux joueurs qui ont attribué chacun un
score de confiance à une relation donnée, et nous filtrons tout
poids inférieur ou égal à 0 car cela signifie que peu de
joueurs ont donné leur confiance à cette relation. D'autres
ressources lexico-sémantiques existent, telles BabelNet [7]
ou WordNet [8], mais nous avons choisi d'utiliser
JeuxDeMots pour nos besoins.

2.3.2 Création de représentations vectorielles des paires de termes

Dans cette section nous apprenons des plongements lexicaux et en déduisons part une opération arithmétique simple une représentation vectorielle des instances de relations extraites depuis notre base de connaissances.

**Entrainement des plongements lexicaux.** Nous utilisons des termes-clés, qu'ils soient des expressions comme "Projet et construction soumis à enquête publique" ou des mots singuliers tels que "caravanage". Cependant, les modèles entraînés sur des corpus standards ne sont pas adaptés pour traiter des plongements lexicaux pour des termes et des expressions spécifiques identifiés à l'avance par des experts. Nous souhaitons donc apprendre des plongements lexicaux pour les termes et les expressions. Nous extrayons des vecteurs moyens à partir des différents composants d'une expression pour obtenir des représentations vectorielles continues de termes-clés. Pour ce faire, nous entraînons des plongements lexicaux sur le corpus MÉTIER en faisant une substitution lexicale dans l'ensemble du corpus MÉTIER de chaque annotation experte par son terme-clé référent. Nous utilisons ensuite l'architecture CBOW (Continuous Bag Of Words) de Word2Vec avec un paramétrage par défaut, en considérant les termes-clés comme des entités plutôt que la moyenne des mots les composant. Nous cherchons ainsi à forcer la compréhension des suites de mots comme un élément indivisible (par exemple, "dépenses_publiques" pour le terme-clé "dépenses publiques").

**Déduction des représentations vectorielles de relations
typées.** Après avoir entraîné nos plongements lexicaux à
l'aide de *Word2vec*, nous pouvons en déduire des
représentations vectorielles de relations dites typées. Nous
disposons d'un ensemble de paires de termes-clés reliées par
un type de relation, et les représentations vectorielles varient
en fonction du type de relation. Nous extrayons un ensemble
d'apprentissage de paires de termes-clés pour un type de
relation donné à partir de la liste de termes-clés. Nous
récupérons ensuite les vecteurs associés aux termes-clés que
nous avons précédemment construits avec *Word2Vec*. Nous
formons une paire de vecteurs de termes-clés à partir des
vecteurs de termes-clés, puis nous calculons un nouveau
vecteur en effectuant une opération entre les deux vecteurs de
chaque paire en entrée. Mathématiquement, si $V_1$ représente
un terme-clé source et $V_2$ un terme-clé cible, tous deux liés
par une relation R, alors $operationRelation(V_1, V_2)$ est le
vecteur de relation (source, R, cible). Les relations peuvent
être symétriques ou non symétriques, ce qui détermine

l'opération à effectuer sur les vecteurs de mots. Si la relation est non symétrique, nous utilisons la différence, tandis qu'en cas de symétrie, nous appliquons une valeur absolue à cette différence. L'hyperonymie (r_isa) et l'hyponymie (r_hypo) sont des exemples de relations non symétriques, tandis que la synonymie est une relation symétrique. Nous utilisons l'exemple concret de la relation d'hyperonymie pour illustrer le calcul du vecteur de relation dans le cas d'une relation non symétrique, et l'exemple de la relation de synonymie pour illustrer le calcul du vecteur de relation dans le cas d'une relation symétrique.

2.3.3 Classification : apprentissage du type de relations

Nous avons développé des classificateurs binaires pour prédire
le type de relations entre deux termes, en utilisant un
ensemble équilibré de relations sémantiques tirées de
JeuxDeMots pour l'apprentissage et la validation. Chaque
classificateur s'applique sur deux relations qui vont de pair et
associe un type de relation, regroupant les hyponymes et
hyperonymes, les synonymes et antonymes, et les
constituants "fait partie de" et "est une partie de". Plusieurs
modèles de classification binaire ont été créés allant des
arbres de décision et des méthodes ensemblistes jusqu'aux
machines à vecteur de support (Support Vector Machine -
SVM), pour déterminer le modèle le plus pertinent pour
classifier les relations à partir de nos vecteurs de relations et
pour la classification de domaine. Les vecteurs embeddings
de relations sont fournis aux classificateurs pour prédire si
une paire de termes fait référence à une association soit entre
une paire de relations du premier type dans un paquet, soit de
l'autre type de relation du même paquet. Les classificateurs sont
utilisés de manière imbriquée pour prédire de nouvelles
relations sémantiques non connues en exécutant les
classificateurs successivement et en sélectionnant ceux qui ont
obtenu un score supérieur à 95% de confiance. Le but est de
déterminer de nouvelles relations pour un domaine métier
spécifique, plutôt que de filtrer un réseau lexical et d'obtenir
uniquement des relations présentes dans une base de
connaissances. Le développement de classificateurs pour la
prédiction de nouvelles relations peut être vu comme un axe
d'enrichissement de telles ressources.

4 Evaluation

3.1 Corpus de test

Afin d'évaluer différents modèles de classification de
documents, nous utilisons les articles déjà catégorisés entre
les différents domaines. Cela permet d'avoir un corpus déjà
labélisé. Nous avons constaté que nous avions une
composition très déséquilibrée. Pour cela nous avons
équilibré notre corpus afin de créer un corpus de test
équilibré. Pour cela, nous avons réduit le nombre
d'échantillons au nombre d'articles de la plus petite classe à
savoir "élections". Nous nous retrouvons donc avec 250
éléments dans chacune des classes après le rééquilibrage.

3.2 Résultats

Nous allons maintenant présenter les résultats de notre
expérimentation pour la classification de documents. Nous
allons tout d'abord exposer les scores obtenus pour
l'attribution des textes aux 8 domaines. Ensuite, nous
disponible. Cette ressource nous permet de récupérer
différents types de relations tels que l'hyperonymie,
l'hyponymie, les constituants (has_part), la synonymie et
l'antonymie. Nous récupérons l'instance de relation sous la
forme Terme1-Type_relation-Terme2-Poids, où le poids
représente le niveau de confiance attribué à la relation. Ce
score est obtenu grâce aux joueurs qui ont attribué chacun un
score de confiance à une relation donnée, et nous filtrons tout
poids inférieur ou égal à 0 car cela signifie que peu de
joueurs ont donné leur confiance à cette relation. D'autres
ressources lexico-sémantiques existent, telles BabelNet [7]
ou WordNet [8], mais nous avons choisi d'utiliser
JeuxDeMots pour nos besoins.

2.3.2 Création de représentations vectorielles des paires de termes

Dans cette section nous apprenons des plongements lexicaux et en déduisons part une opération arithmétique simple une représentation vectorielle des instances de relations extraites depuis notre base de connaissances.

**Entrainement des plongements lexicaux.** Nous utilisons des termes-clés, qu'ils soient des expressions comme "Projet et construction soumis à enquête publique" ou des mots singuliers tels que "caravanage". Cependant, les modèles entraînés sur des corpus standards ne sont pas adaptés pour traiter des plongements lexicaux pour des termes et des expressions spécifiques identifiés à l'avance par des experts. Nous souhaitons donc apprendre des plongements lexicaux pour les termes et les expressions. Nous extrayons des vecteurs moyens à partir des différents composants d'une expression pour obtenir des représentations vectorielles continues de termes-clés. Pour ce faire, nous entraînons des plongements lexicaux sur le corpus MÉTIER en faisant une substitution lexicale dans l'ensemble du corpus MÉTIER de chaque annotation experte par son terme-clé référent. Nous utilisons ensuite l'architecture CBOW (Continuous Bag Of Words) de Word2Vec avec un paramétrage par défaut, en considérant les termes-clés comme des entités plutôt que la moyenne des mots les composant. Nous cherchons ainsi à forcer la compréhension des suites de mots comme un élément indivisible (par exemple, "dépenses_publiques" pour le terme-clé "dépenses publiques").

**Déduction des représentations vectorielles de relations
typées.** Après avoir entraîné nos plongements lexicaux à
l'aide de Word2vec, nous pouvons en déduire des
représentations vectorielles de relations dites typées. Nous
disposons d'un ensemble de paires de termes-clés reliées par
un type de relation, et les représentations vectorielles varient
en fonction du type de relation. Nous extrayons un ensemble
d'apprentissage de paires de termes-clés pour un type de
relation donné à partir de la liste de termes-clés. Nous
récupérons ensuite les vecteurs associés aux termes-clés que
nous avons précédemment construits avec Word2Vec. Nous
formons une paire de vecteurs de termes-clés à partir des
vecteurs de termes-clés, puis nous calculons un nouveau
vecteur en effectuant une opération entre les deux vecteurs de
chaque paire en entrée. Mathématiquement, si V₁ représente
un terme-clé source et V₂ un terme-clé cible, tous deux liés
par une relation R, alors operationRelation (V₁, V₂) est le
vecteur de relation (source, R, cible). Les relations peuvent
être symétriques ou non symétriques, ce qui détermine

l'opération à effectuer sur les vecteurs de mots. Si la relation est non symétrique, nous utilisons la différence, tandis qu'en cas de symétrie, nous appliquons une valeur absolue à cette différence. L'hyperonymie (r_isa) et l'hyponymie (r_hypo) sont des exemples de relations non symétriques, tandis que la synonymie est une relation symétrique. Nous utilisons l'exemple concret de la relation d'hyperonymie pour illustrer le calcul du vecteur de relation dans le cas d'une relation non symétrique, et l'exemple de la relation de synonymie pour illustrer le calcul du vecteur de relation dans le cas d'une relation symétrique.

2.3.3 Classification : apprentissage du type de relations

Nous avons développé des classificateurs binaires pour prédire
le type de relations entre deux termes, en utilisant un
ensemble équilibré de relations sémantiques tirées de
JeuxDeMots pour l'apprentissage et la validation. Chaque
classificateur s'applique sur deux relations qui vont de pair et
associe un type de relation, regroupant les hyponymes et
hyperonymes, les synonymes et antonymes, et les
constituants "fait partie de" et "est une partie de". Plusieurs
modèles de classification binaire ont été créés allant des
arbres de décision et des méthodes ensemblistes jusqu'aux
machines à vecteur de support (Support Vector Machine -
SVM), pour déterminer le modèle le plus pertinent pour
classifier les relations à partir de nos vecteurs de relations et
pour la classification de domaine. Les vecteurs embeddings
de relations sont fournis aux classificateurs pour prédire si
une paire de termes fait référence à une association soit entre
une paire de relations du premier type dans un paquet, soit de
l'autre type de relation du même paquet. Les classificateurs sont
utilisés de manière imbriquée pour prédire de nouvelles
relations sémantiques non connues en exécutant les
classificateurs successivement et en sélectionnant ceux qui ont
obtenu un score supérieur à 95% de confiance. Le but est de
déterminer de nouvelles relations pour un domaine métier
spécifique, plutôt que de filtrer un réseau lexical et d'obtenir
uniquement des relations présentes dans une base de
connaissances. Le développement de classificateurs pour la
prédiction de nouvelles relations peut être vu comme un axe
d'enrichissement de telles ressources.

4 Evaluation

3.1 Corpus de test

Afin d'évaluer différents modèles de classification de
documents, nous utilisons les articles déjà catégorisés entre
les différents domaines. Cela permet d'avoir un corpus déjà
labélisé. Nous avons constaté que nous avions une
composition très déséquilibrée. Pour cela nous avons
équilibré notre corpus afin de créer un corpus de test
équilibré. Pour cela, nous avons réduit le nombre
d'échantillons au nombre d'articles de la plus petite classe à
savoir "élections". Nous nous retrouvons donc avec 250
éléments dans chacune des classes après le rééquilibrage.

3.2 Résultats

Nous allons maintenant présenter les résultats de notre
expérimentation pour la classification de documents. Nous
allons tout d'abord exposer les scores obtenus pour
l'attribution des textes aux 8 domaines. Ensuite, nous
Classification de documents métiers pour l'aide à l'extraction et à la classification de relations lexico-sémantiques typées et pondérées

sélectionnons les résultats les plus performants pour la classification afin de vérifier leur pertinence pour l'extraction de relations. Enfin, nous comparons les résultats obtenus avec et sans classification de documents. Tous les résultats sont évalués selon une mesure unique : la F-mesure.

<table><caption>Table 1 - Résultats de classification de documents</caption><thead><tr><th>Catégories</th><th>Représentation de documents</th><th>Prediction</th><th>Commande publique</th><th>Compétibilité et finances locales</th><th>Justice</th><th>RH territorialisé</th><th>Santé</th><th>Urbanisme</th><th>Elections</th><th>Etat civil & cl夷dresse</th><th>Moyenne</th></tr></thead><tbody><tr><td rowspan="2">Plongements lexicaux</td><td>Doc2Vec</td><td>most_21 millar</td><td>0.93</td><td>0.89</td><td>0.91</td><td>0.77</td><td>0.78</td><td>0.92</td><td>0.98</td><td>0.92</td><td>0.89</td></tr><tr><td>Word2Vec</td><td>Linear SVC</td><td>0.48</td><td>0.32</td><td>0.02</td><td>0.22</td><td>0.38</td><td>0.07</td><td>0.40</td><td>0.57</td><td>0.31</td></tr><tr><td rowspan="2">Méthodes classiques</td><td>Classic BoW</td><td>Linear SVC</td><td><b>0.99</b></td><td><b>0.95</b></td><td>0.88</td><td><b>0.96</b></td><td>0.94</td><td><b>0.96</b></td><td><b>0.99</b></td><td>0.91</td><td><b>0.95</b></td></tr><tr><td>TF-IDF</td><td>Linear SVC</td><td>0.94</td><td>0.91</td><td>0.93</td><td>0.95</td><td><b>0.97</b></td><td>0.92</td><td><b>0.99</b></td><td>0.94</td><td>0.94</td></tr><tr><td rowspan="2">Modèles de langues</td><td>Sentence CamemBET</td><td>Linear SVC</td><td>0.94</td><td>0.89</td><td>0.90</td><td>0.90</td><td>0.92</td><td>0.92</td><td>0.94</td><td><b>0.97</b></td><td>0.92</td></tr><tr><td>TF-IDF</td><td>Linear SVC</td><td>0.94</td><td>0.89</td><td>0.90</td><td>0.90</td><td>0.92</td><td>0.92</td><td>0.94</td><td><b>0.97</b></td><td>0.92</td></tr></tbody></table>

### 3.2.1 Résultats de classification de documents

Les résultats de la classification de documents sont présentés dans la Table 1 qui contient uniquement les meilleurs résultats pour chaque catégorie de représentation de documents. Les meilleurs résultats sont mis en évidence pour chacun des 8 domaines. Bien que d'autres modèles aient également donné de bons résultats, nous avons choisi d'utiliser les méthodes classiques, telles que *Classic BoW* et *TF-IDF*, car elles ne nécessitent pas de modèle spécifique pour une langue en particulier. Cela signifie que notre modèle peut être utilisé pour d'autres langues sans avoir à entraîner un nouveau modèle pour chaque langue. Bien que les méthodes classiques semblent plus simples, les résultats obtenus peuvent servler surprenants. Cependant, une analyse plus fine sera effectuée pour confirmer ces résultats.

### 3.2.2 Résultats dans le cadre de l'extraction de relations

Les résultats pour l'extraction de relations, avec et sans classification, sont présentés dans la Table 2. Les résultats pour chaque domaine classé sont spécifiés, mais les résultats moyens sont présentés dans les deux dernières colonnes, car le modèle d'extraction de relations est moyenné par défaut, quand le domaine n'est pas connu. Nous constatons que la classification de domaine conduit à de meilleurs résultats pour les relations asymétriques (hyperonymie VS hyponymie et fait partie de VS est une partie de) et pour les relations symétriques (synonymie et antonymie) pour deux des quatre classifieurs (*SVC* et *Decision Tree*). Nous pouvons donc conclure qu'il est utile d'utiliser une classification de domaine avant d'extraire les relations. Nous supposons que cela améliore également la qualité des relations extraites, mais une analyse qualitative est nécessaire pour confirmer cette hypothèse, que nous envisageons de réaliser dans le futur.

## 5 Conclusion

Pour conclure, dans cet article, nous avons étudié si la classification automatique de textes peut aider à l'extraction de relations. Nous avons évalué différentes représentations de documents et constaté que la représentation sous sac de mots est efficace pour la classification de textes de spécialité, qui a permis de classifier nos documents dans huit domaines

<table><caption>Table 2 - Résultats de l'extraction de relations à la fois lors de la classification de domaine et sans</caption><thead><tr><th>Type de relation</th><th>Classer</th><th>Commande publique</th><th>Compétibilité et finances locales</th><th>Justice</th><th>RH territorialisé</th><th>Santé</th><th>Urbanisme</th><th>Elections</th><th>Etat civil & cl夷dresse</th><th>Moyenne x domaine</th><th>Moyenne x cl夷dresse</th></tr></thead><tbody><tr><td rowspan="3">Hyperonymie VS Hyponymie</td><td>SVC</td><td>0.78</td><td>0.80</td><td>0.79</td><td>0.86</td><td>0.83</td><td>0.84</td><td>0.89</td><td>0.83</td><td><b>0.83</b></td><td>0.75</td></tr><tr><td>DT</td><td>0.57</td><td>0.68</td><td>0.71</td><td>0.77</td><td>0.79</td><td>0.72</td><td>0.78</td><td>0.71</td><td><b>0.72</b></td><td>0.71</td></tr><tr><td>RF</td><td>0.75</td><td>0.74</td><td>0.76</td><td>0.81</td><td>0.83</td><td>0.78</td><td>0.85</td><td>0.80</td><td><b>0.79</b></td><td>0.78</td></tr><tr><td rowspan="3">k-NN (k=5)</td><td>0.65</td><td>0.81</td><td>0.80</td><td>0.84</td><td>0.78</td><td>0.82</td><td>0.87</td><td>0.77</td><td><b>0.79</b></td><td>0.78</td></tr><tr><td>SVC</td><td>0.85</td><td>0.74</td><td>0.74</td><td>0.79</td><td>0.85</td><td>0.78</td><td>0.84</td><td>0.80</td><td><b>0.80</b></td><td>0.73</td></tr><tr><td>DT</td><td>0.76</td><td>0.76</td><td>0.76</td><td>0.76</td><td>0.76</td><td>0.76</td><td>0.76</td><td>0.76</td><td><b>0.75</b></td><td>0.72</td></tr><tr><td rowspan="3">Synonymie VS Antonymie</td><td>RF</td><td>0.79</td><td>0.61</td><td>0.64</td><td>0.69</td><td>0.75</td><td>0.65</td><td>0.76</td><td>0.73</td><td>0.70</td><td><b>0.78</b></td></tr><tr><td>k-NN (k=5)</td><td>0.65</td><td>0.61</td><td>0.64</td><td>0.66</td><td>0.66</td><td>0.63</td><td>0.65</td><td>0.6</td><td>0.64</td><td><b>0.74</b></td></tr><tr><td>SVC</td><td>0.75</td><td>0.84</td><td>0.83</td><td>0.84</td><td>0.91</td><td>0.80</td><td>0.66</td><td>0.84</td><td><b>0.82</b></td><td>0.79</td></tr><tr><td rowspan="3">Fait partie de VS est une partie de</td><td>DT</td><td>0.76</td><td>0.72</td><td>0.75</td><td>0.72</td><td>0.81</td><td>0.61</td><td>0.54</td><td>0.61</td><td><b>0.68</b></td><td>0.65</td></tr><tr><td>RF</td><td>0.79</td><td>0.81</td><td>0.76</td><td>0.86</td><td>0.89</td><td>0.79</td><td>0.63</td><td>0.86</td><td><b>0.80</b></td><td>0.73</td></tr><tr><td>k-NN (k=5)</td><td>0.28</td><td>0.80</td><td>0.78</td><td>0.81</td><td>0.81</td><td>0.72</td><td>0.55</td><td>0.79</td><td><b>0.75</b></td><td>0.75</td></tr></tbody></table>

différents. Nous avons ensuite utilisé cette classification pour l'extraction de relations, en passant par l'extraction terminologique, et avons observé que la classification de documents améliore la qualité des résultats pour la plupart des relations. En résumé, cette étude montre que la classification automatique de documents peut aider à l'extraction de relations. Nous prévoyons toutefois de poursuivre nos recherches en effectuant une étude approfondie sur des corpus de référence en anglais, ainsi qu'en modifiant nos systèmes d'extraction terminologique et d'extraction de relations pour trouver une combinaison performante pour des textes de spécialité et de référence.

## 6 Références

[1] P. Qi, Y. Zhang, Y. Zhang, J. Bolton, et C. D. Manning, « Stanza: A Python Natural Language Processing Toolkit for Many Human Languages », dans *System Demonstrations*, ACL, 2020.

[2] F. Boudin, « pke: an open source python-based keyphrase extraction toolkit », dans *Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: System Demonstrations*, Osaka, Japan, déc. 2016, p. 69-73.

[3] A. Bougouin, F. Boudin, et B. Daille, « TopicRank: Graph-Based Topic Ranking for Keyphrase Extraction », 2013.

[4] M. Grootendorst, « KeyBERT: Minimal keyword extraction with BERT. » Zenodo, 2020.

[5] R. Campos, V. Mangaravite, A. Pasquali, A. Jorge, C. Nunes, et A. Jatowt, « YAKE! Keyword extraction from single documents using multiple local features », *Information Sciences*, vol. 509, p. 257-289, janv. 2020.

[6] M. Lafourcade, « JeuxDeMots: Un réseau lexico-sémantique pour le français, issu de jeux et d'inférences », p. 40, 2020.

[7] R. Navigli et S. P. Ponzetto, « BabelNet: The automatic construction, evaluation and application of a wide-coverage multilingual semantic network », *Artificial Intelligence*, vol. 193, p. 217-250, déc. 2012.

[8] G. A. Miller, « WordNet: A Lexical Database for English », *Communications of the ACM*, vol. 38, n° 11, p. 39-41, 1995, doi: 10.1145/219717.219748.
Classification de documents métiers pour l'aide à l'extraction et à la classification de relations lexico-sémantiques typées et pondérées

sélectionnons les résultats les plus performants pour la classification afin de vérifier leur pertinence pour l'extraction de relations. Enfin, nous comparons les résultats obtenus avec et sans classification de documents. Tous les résultats sont évalués selon une mesure unique : la F-mesure.

<table><caption>Table 1 - Résultats de classification de documents</caption><thead><tr><th>Catégories</th><th>Représentation de documents</th><th>Prediction</th><th>Commande publique</th><th>Compétibilité et finances locales</th><th>Justice</th><th>RH territoriale</th><th>Santé</th><th>Urbanisme</th><th>Elections</th><th>Etat civil & cl夷eurs</th><th>Moyenne</th></tr></thead><tbody><tr><td rowspan="2">Plongements lexicaux</td><td>Doc2Vec</td><td>most_21 millier</td><td>0.93</td><td>0.89</td><td>0.91</td><td>0.77</td><td>0.78</td><td>0.92</td><td>0.98</td><td>0.92</td><td>0.89</td></tr><tr><td>Word2Vec</td><td>Linear SVC</td><td>0.48</td><td>0.32</td><td>0.02</td><td>0.22</td><td>0.38</td><td>0.07</td><td>0.40</td><td>0.57</td><td>0.31</td></tr><tr><td rowspan="2">Méthodes classiques</td><td>Classic BoW</td><td>Linear SVC</td><td><b>0.99</b></td><td><b>0.95</b></td><td>0.88</td><td><b>0.96</b></td><td>0.94</td><td><b>0.96</b></td><td><b>0.99</b></td><td>0.91</td><td><b>0.95</b></td></tr><tr><td>TF-IDF</td><td>Linear SVC</td><td>0.94</td><td>0.91</td><td>0.93</td><td>0.95</td><td><b>0.97</b></td><td>0.92</td><td><b>0.99</b></td><td>0.94</td><td>0.94</td></tr><tr><td rowspan="2">Modèles de langues</td><td>Sentence CamemBET RT</td><td>Linear SVC</td><td>0.94</td><td>0.89</td><td>0.90</td><td>0.90</td><td>0.92</td><td>0.92</td><td>0.94</td><td><b>0.97</b></td><td>0.92</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr></tbody></table>

### 3.2.1 Résultats de classification de documents

Les résultats de la classification de documents sont présentés dans la Table 1 qui contient uniquement les meilleurs résultats pour chaque catégorie de représentation de documents. Les meilleurs résultats sont mis en évidence pour chacun des 8 domaines. Bien que d'autres modèles aient également donné de bons résultats, nous avons choisi d'utiliser les méthodes classiques, telles que *Classic BoW* et *TF-IDF*, car elles ne nécessitent pas de modèle spécifique pour une langue en particulier. Cela signifie que notre modèle peut être utilisé pour d'autres langues sans avoir à entraîner un nouveau modèle pour chaque langue. Bien que les méthodes classiques semblent plus simples, les résultats obtenus peuvent servler surprenants. Cependant, une analyse plus fine sera effectuée pour confirmer ces résultats.

### 3.2.2 Résultats dans le cadre de l'extraction de relations

Les résultats pour l'extraction de relations, avec et sans classification, sont présentés dans la Table 2. Les résultats pour chaque domaine classé sont spécifiés, mais les résultats moyens sont présentés dans les deux dernières colonnes, car le modèle d'extraction de relations est moyenné par défaut, quand le domaine n'est pas connu. Nous constatons que la classification de domaine conduit à de meilleurs résultats pour les relations asymétriques (hyperonymie VS hyponymie et fait partie de VS est une partie de) et pour les relations symétriques (synonymie et antonymie) pour deux des quatre classifieurs (*SVC* et *Decision Tree*). Nous pouvons donc conclure qu'il est utile d'utiliser une classification de domaine avant d'extraire les relations. Nous supposons que cela améliore également la qualité des relations extraites, mais une analyse qualitative est nécessaire pour confirmer cette hypothèse, que nous envisageons de réaliser dans le futur.

## 5 Conclusion

Pour conclure, dans cet article, nous avons étudié si la classification automatique de textes peut aider à l'extraction de relations. Nous avons évalué différentes représentations de documents et constaté que la représentation sous sac de mots est efficace pour la classification de textes de spécialité, qui a permis de classifier nos documents dans huit domaines

<table><caption>Table 2 - Résultats de l'extraction de relations à la fois lors de la classification de domaine et sans</caption><thead><tr><th>Type de relation</th><th>Classer</th><th>Commande publique</th><th>Compétibilité et finances locales</th><th>Justice</th><th>RH territoriale</th><th>Santé</th><th>Urbanisme</th><th>Elections</th><th>Etat civil & cl夷eurs</th><th>Moyenne x domaine</th><th>Moyenne x cl夷e de domaine</th></tr></thead><tbody><tr><td rowspan="3">Hyperonymie VS Hyponymie</td><td>SVC</td><td>0.78</td><td>0.80</td><td>0.79</td><td>0.86</td><td>0.83</td><td>0.84</td><td>0.89</td><td>0.83</td><td><b>0.83</b></td><td>0.75</td></tr><tr><td>DT</td><td>0.57</td><td>0.68</td><td>0.71</td><td>0.77</td><td>0.79</td><td>0.72</td><td>0.78</td><td>0.71</td><td><b>0.72</b></td><td>0.71</td></tr><tr><td>RF</td><td>0.75</td><td>0.74</td><td>0.76</td><td>0.81</td><td>0.83</td><td>0.78</td><td>0.85</td><td>0.80</td><td><b>0.79</b></td><td>0.78</td></tr><tr><td rowspan="3">Antonymie VS Synonymie</td><td>k-NN (k=5)</td><td>0.65</td><td>0.81</td><td>0.80</td><td>0.84</td><td>0.78</td><td>0.82</td><td>0.87</td><td>0.77</td><td><b>0.79</b></td><td>0.78</td></tr><tr><td>SVC</td><td>0.85</td><td>0.74</td><td>0.74</td><td>0.79</td><td>0.85</td><td>0.78</td><td>0.84</td><td>0.80</td><td><b>0.80</b></td><td>0.73</td></tr><tr><td>DT</td><td>0.76</td><td>0.76</td><td>0.76</td><td>0.76</td><td>0.76</td><td>0.76</td><td>0.76</td><td>0.76</td><td><b>0.75</b></td><td>0.72</td></tr><tr><td rowspan="3">Fait partie de VS est une partie de</td><td>k-NN (k=5)</td><td>0.65</td><td>0.61</td><td>0.64</td><td>0.66</td><td>0.66</td><td>0.63</td><td>0.65</td><td>0.6</td><td>0.64</td><td><b>0.74</b></td></tr><tr><td>SVC</td><td>0.75</td><td>0.84</td><td>0.83</td><td>0.84</td><td>0.91</td><td>0.80</td><td>0.66</td><td>0.84</td><td><b>0.82</b></td><td>0.79</td></tr><tr><td>DT</td><td>0.76</td><td>0.72</td><td>0.75</td><td>0.72</td><td>0.81</td><td>0.61</td><td>0.54</td><td>0.61</td><td><b>0.68</b></td><td>0.65</td></tr><tr><td rowspan="3">Fait partie de VS est une partie de</td><td>RF</td><td>0.79</td><td>0.81</td><td>0.76</td><td>0.86</td><td>0.89</td><td>0.79</td><td>0.63</td><td>0.86</td><td><b>0.80</b></td><td>0.73</td></tr><tr><td>k-NN (k=5)</td><td>0.28</td><td>0.80</td><td>0.78</td><td>0.81</td><td>0.81</td><td>0.72</td><td>0.55</td><td>0.79</td><td><b>0.75</b></td><td>0.75</td></tr></tbody></table>

différents. Nous avons ensuite utilisé cette classification pour l'extraction de relations, en passant par l'extraction terminologique, et avons observé que la classification de documents améliore la qualité des résultats pour la plupart des relations. En résumé, cette étude montre que la classification automatique de documents peut aider à l'extraction de relations. Nous prévoyons toutefois de poursuivre nos recherches en effectuant une étude approfondie sur des corpus de référence en anglais, ainsi qu'en modifiant nos systèmes d'extraction terminologique et d'extraction de relations pour trouver une combinaison performante pour des textes de spécialité et de référence.

## 6 Références

[1] P. Qi, Y. Zhang, Y. Zhang, J. Bolton, et C. D. Manning, « Stanza: A Python Natural Language Processing Toolkit for Many Human Languages », dans *System Demonstrations*, ACL, 2020.

[2] F. Boudin, « pke: an open source python-based keyphrase extraction toolkit », dans *Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: System Demonstrations*, Osaka, Japan, déc. 2016, p. 69-73.

[3] A. Bougouin, F. Boudin, et B. Daille, « TopicRank: Graph-Based Topic Ranking for Keyphrase Extraction », 2013.

[4] M. Grootendorst, « KeyBERT: Minimal keyword extraction with BERT. » Zenodo, 2020.

[5] R. Campos, V. Mangaravite, A. Pasquali, A. Jorge, C. Nunes, et A. Jatowt, « YAKE! Keyword extraction from single documents using multiple local features », *Information Sciences*, vol. 509, p. 257-289, janv. 2020.

[6] M. Lafourcade, « JeuxDeMots: Un réseau lexico-sémantique pour le français, issu de jeux et d'inférences », p. 40, 2020.

[7] R. Navigli et S. P. Ponzetto, « BabelNet: The automatic construction, evaluation and application of a wide-coverage multilingual semantic network », *Artificial Intelligence*, vol. 193, p. 217-250, déc. 2012.

[8] G. A. Miller, « WordNet: A Lexical Database for English », *Communications of the ACM*, vol. 38, n° 11, p. 39-41, 1995, doi: 10.1145/219717.219748.
# Application de l'IA au désentrelacement de formes d'onde radar

L. Lesieur¹,², V. Guardia¹, A. Khenchaf², J.-M. Le Caillec³, C. Cornu¹, A. Toumi²

¹ Thales Defence Mission Systems, Brest, France

² Lab-STICC CNRS UMR 6285, ENSTA Bretagne, Brest, France

³ Lab-STICC CNRS UMR 6285, IMT Atlantique, Brest, France

louis.lesieur@ensta-bretagne.org

## Résumé

Dans un contexte d'augmentation des tensions géopolitiques, la guerre électronique est un enjeu majeur des problèmes de défense. Notre article se propose d'étudier l'application de l'IA au problème du désentrelacement, autrement dit la séparation de formes d'onde radar, sans connaissance a priori. D'abord, nous présentons le problème, les données d'entrée, et les méthodes usuelles de désentrelacement. Afin de profiter du potentiel de l'IA, nous détaillons ensuite les difficultés de son application : la frugalité des données et les exigences d'explicabilité et de temps réel.

## Mots-clés

Guerre électronique, désentrelacement, impulsions radar

## Abstract

In a context of increasing geopolitical tensions, electronic warfare is a key challenge in defence issues. Our article intends to investigate AI application to the deinterleaving problem, in other words, radar waveform separation, without prior knowledge. Firstly, we introduce the problem, the input data, and usual deinterleaving methods. So as to take advantage of AI's capacities, we then detail some of the challenges raised by its application : data frugality, and explainability and real-time requirements.

## Keywords

Electronic warfare, deinterleaving, radar pulses

## 1 Introduction

Dans le cadre de la guerre moderne, les ondes électromagnétiques (EM) sont utilisées pour communiquer, se répérer, surveiller, ou guider une arme. Par exemple, le radar émet un signal par impulsions, pour détecter des objets dans son environnement. Plus globalement, la guerre électronique (GE) est l'ensemble de toutes les actions visant à la maîtrise du spectre EM.

**Chaîne de réception.** Parmi les systèmes participant au soutien électronique, le récepteur de GE est le système passif "écoutant" les émissions radar environnantes. Son objectif est de détecter tous les émetteurs, d'identifier les émetteurs connus, et de lever l'alerte en cas de présence d'émetteurs inconnus. Dans son architecture générique (Figure 1),

<figure><img src="image_18.png" /><figcaption>FIGURE 1 – Chaîne de réception</figcaption></figure>

le signal capté par les antennes passe par un traitement numérique du signal (TNS), qui se charge notamment d'extraire et de caractériser les impulsions radar. Les impulsions reçues sont enchevêtrées, ou "entrelacées". La fonction de désentrelacement intervient ici : il s'agit, sur une fenêtre temporelle donnée, de rassembler les impulsions issues d'un même radar pour former des groupes. La fonction pistage va suivre temporellement ces fenêtres, au sein d'un objet dénommé piste, qui est la reconnaissance de la persistance d'un même émetteur dans le temps. Enfin, les pistes sont comparées à une bibliothèque de formes d'onde connues pour identifier les émetteurs présents. Les performances sur une scène de guerre ne peuvent être évaluées, mais le système est développé de façon à optimiser des critères de détection. Un échec serait de manquer la détection d'un émetteur inconnu à proximité.

**Motivation.** Depuis une vingtaine d'années, le nombre d'émetteurs présents simultanément dans un environnement a tendance à croître. Une des causes est l'apparition sur le marché de nouveaux émetteurs, qui sont moins chers et qui compensent une puissance de crête moins forte par une émission plus longue. Parallèlement, les formes d'onde radar deviennent de plus en plus complexes. Le pouvoir séparateur du désentrelacement dans les systèmes classiques peut être dépassé dans certaines situations de haute densité ou de haute complexité des formes d'onde, ce qui pousse l'industrie à développer de nouvelles méthodes.

**Intérêt de l'IA en GE.** Ces dernières années, les techniques d'intelligence artificielle (IA) se sont beaucoup dé-
# Application de l'IA au désentrelacement de formes d'onde radar

L. Lesieur¹,², V. Guardia¹, A. Khenchaf², J.-M. Le Caillec³, C. Cornu¹, A. Toumi²

¹ Thales Defence Mission Systems, Brest, France

² Lab-STICC CNRS UMR 6285, ENSTA Bretagne, Brest, France

³ Lab-STICC CNRS UMR 6285, IMT Atlantique, Brest, France

louis.lesieur@ensta-bretagne.org

## Résumé

Dans un contexte d'augmentation des tensions géopolitiques, la guerre électronique est un enjeu majeur des problèmes de défense. Notre article se propose d'étudier l'application de l'IA au problème du désentrelacement, autrement dit la séparation de formes d'onde radar, sans connaissance a priori. D'abord, nous présentons le problème, les données d'entrée, et les méthodes usuelles de désentrelacement. Afin de profiter du potentiel de l'IA, nous détaillons ensuite les difficultés de son application : la frugalité des données et les exigences d'explicabilité et de temps réel.

## Mots-clés

Guerre électronique, désentrelacement, impulsions radar

## Abstract

In a context of increasing geopolitical tensions, electronic warfare is a key challenge in defence issues. Our article intends to investigate AI application to the deinterleaving problem, in other words, radar waveform separation, without prior knowledge. Firstly, we introduce the problem, the input data, and usual deinterleaving methods. So as to take advantage of AI's capacities, we then detail some of the challenges raised by its application : data frugality, and explainability and real-time requirements.

## Keywords

Electronic warfare, deinterleaving, radar pulses

## 1 Introduction

Dans le cadre de la guerre moderne, les ondes électromagnétiques (EM) sont utilisées pour communiquer, se répérer, surveiller, ou guider une arme. Par exemple, le radar émet un signal par impulsions, pour détecter des objets dans son environnement. Plus globalement, la guerre électronique (GE) est l'ensemble de toutes les actions visant à la maîtrise du spectre EM.

**Chaîne de réception.** Parmi les systèmes participant au soutien électronique, le récepteur de GE est le système passif "écoutant" les émissions radar environnantes. Son objectif est de détecter tous les émetteurs, d'identifier les émetteurs connus, et de lever l'alerte en cas de présence d'émetteurs inconnus. Dans son architecture générique (Figure 1),

<figure><img src="image_18.png" /><figcaption>FIGURE 1 – Chaîne de réception</figcaption></figure>

le signal capté par les antennes passe par un traitement numérique du signal (TNS), qui se charge notamment d'extraire et de caractériser les impulsions radar. Les impulsions reçues sont enchevêtrées, ou "entrelacées". La fonction de désentrelacement intervient ici : il s'agit, sur une fenêtre temporelle donnée, de rassembler les impulsions issues d'un même radar pour former des groupes. La fonction pistage va suivre temporellement ces fenêtres, au sein d'un objet dénommé piste, qui est la reconnaissance de la persistance d'un même émetteur dans le temps. Enfin, les pistes sont comparées à une bibliothèque de formes d'onde connues pour identifier les émetteurs présents. Les performances sur une scène de guerre ne peuvent être évaluées, mais le système est développé de façon à optimiser des critères de détection. Un échec serait de manquer la détection d'un émetteur inconnu à proximité.

**Motivation.** Depuis une vingtaine d'années, le nombre d'émetteurs présents simultanément dans un environnement a tendance à croître. Une des causes est l'apparition sur le marché de nouveaux émetteurs, qui sont moins chers et qui compensent une puissance de crête moins forte par une émission plus longue. Parallèlement, les formes d'onde radar deviennent de plus en plus complexes. Le pouvoir séparateur du désentrelacement dans les systèmes classiques peut être dépassé dans certaines situations de haute densité ou de haute complexité des formes d'onde, ce qui pousse l'industrie à développer de nouvelles méthodes.

**Intérêt de l'IA en GE.** Ces dernières années, les techniques d'intelligence artificielle (IA) se sont beaucoup dé-
veloppées, en particulier du côté de l'apprentissage profond. La littérature sur l'IA appliquée à des problèmes de GE est éclectique et couvre les algorithmes de partitionnement (clustering), d'apprentissage automatique classique (machine learning) et d'apprentissage profond (DL : Deep Learning). Quelques exemples sont le désentrelacement par cartes autoadaptives [1], le débruitage de signaux par auto-encodeur [7], l'augmentation de données pour des images radar par réseau adverse génératif [4]. L'avantage principal des techniques d'IA est sa capacité à capturer l'information sous-jacente et à généraliser, de sorte à pouvoir reconnaître des motifs complexes même s'ils n'ont jamais été rencontrés tels quels. Les désavantages principaux des techniques de DL sont le manque d'explicabilité, et la complexité en temps de calcul. Ces points sont plus développés dans la section 4.

L'objectif de cet article est de proposer l'étude de la problématique de désentrelacement à l'aide de l'IA. Nous commencerons par une présentation des données d'entrée, puis nous formaliserons le problème du désentrelacement, enfin nous étudierons les défis applicatifs liés au désentrelacement par techniques d'IA.

## 2 Données

L'appellation "forme d'onde" (FO) désigne en GE la caractérisation de l'onde émise par un radar. Chaque FO correspond à une fonction opérationnelle spécifique : la mesure de vitesse, la surveillance de cibles à faible altitude, etc.

**Paramètres primaires.** Une impulsion est une émission EM décrite par un PDW (Pulse Descriptor Word), vecteur unique de ses paramètres, dits primaires (Fig. 2) :

- le temps d'arrivée (TOA : Time of Arrival)

- la direction d'arrivée (DOA : Direction of Arrival)

- la largeur d'impulsion (LI)

- l'amplitude (A)

- la fréquence (RF : Radio Frequency)

<figure><img src="image_19.png" /><figcaption>FIGURE 2 – Représentation des paramètres sur deux impulsions. $PDW_i = (TOA_i, DOA_i, RF_i, LI_i, A_i)$</figcaption></figure>

**Paramètres secondaires.** Pour décrire complètement une formes d'onde (FO), il est nécessaire d'utiliser des paramètres secondaires, qui prennent en compte plusieurs impulsions. La période de répétition des impulsions (PRI) est un paramètre secondaire primordial, qui quantifie la période entre l'émission de deux impulsions consécutives. Dans le cas le plus simple, cette période est fixe dans le temps. Mais un certain nombre des formes d'onde d'intérêt modulent leur PRI, c'est-à-dire que l'écart temporel entre les impulsions n'est pas fixe. Parmi ces FO agiles en PRI, certaines

peuvent suivre un motif. Le motif est caractérisé par une période de répétition du motif (PRM) qui est la somme de ses PRI. Quand un tel motif est défini, on parle de modulation de type stagger, dont le nombre de moments est égal au nombre d'impulsions dans le motif. Un autre type remarquable de modulation en PRI est le jitter, sa PRI n'est pas définie par un motif, mais suit une distribution aléatoire. Dans ce cas, les paramètres de la FO peuvent être la PRI moyenne et l'écart-type autour de celle-ci. Enfin, d'autres modulations interim impulsions sont possibles, sur des paramètres autres que la PRI. La Figure 3 représente une forme d'onde prenant 3 valeurs en fréquence. Ces modulations inter-impulsions sont aussi ancrées dans un motif.

<figure><img src="image_20.png" /><figcaption>FIGURE 3 – Trois motifs consécutifs d'une forme d'onde de type stagger à 4 moments, agile en fréquence</figcaption></figure>

**Scènes d'observation.** Du point de vue du récepteur, on observe un flux temporel de PDW, qui sont émis par plusieurs émetteurs indépendants présents dans l'environnement proche. C'est un mélange de FO, dont on ne connaît *a priori* ni les caractéristiques, ni le nombre. La scène est l'ensemble des données observées sur une fenêtre temporelle. La représentation classique d'une scène avec mélange de FO est la représentation en séries temporelles des paramètres. Sur la Figure 4, chaque point correspond à une impulsion. Une autre représentation utile consiste à projeter les impulsions dans le plan RF-LI. De multiples perturbations peuvent avoir lieu entre l'émission des impulsions et la mesure de celles-ci par le récepteur. Un type de bruit différent du bruit de mesure est le mitage. Il indique l'absence de détection d'une impulsion, et peut avoir plusieurs causes : les conditions atmosphériques, les effets de masquage par des obstacles ou une absence volontaire d'écoute pour des raisons de compatibilité électromagnétique.

## 3 Problème du désentrelacement

**Formalisation du problème.** Considérons une scène avec présence de *K* émetteurs, sur une fenêtre d'observation de durée *D*. Une impulsion est représentée par son PDW, ici un quintuplet de paramètres primaires : $x = (t, l, f, a, \theta)$, avec *t* le TOA, *l* la LI, *f* la fréquence, *a* l'amplitude, *θ* la direction d'arrivée. La *k*-ième forme d'onde, $k \le K$, notée $X^{(k)}$, est un ensemble de $n^{(k)}$ impulsions émises par l'émetteur : $X^{(k)} = \{x_i^{(k)}\}_{i \le n^{(k)}}$. Dans un but de simulation, on peut appliquer un taux de mitage en éliminant certaines impulsions. Enfin, on note *X* l'ensemble final de toutes les impulsions observées. Elles sont ordonnées par temps d'arrivée :
veloppées, en particulier du côté de l'apprentissage profond. La littérature sur l'IA appliquée à des problèmes de GE est éclectique et couvre les algorithmes de partitionnement (clustering), d'apprentissage automatique classique (machine learning) et d'apprentissage profond (DL : Deep Learning). Quelques exemples sont le désentrelacement par cartes autoadaptives [1], le débruitage de signaux par autoencodeur [7], l'augmentation de données pour des images radar par réseau adverse génératif [4]. L'avantage principal des techniques d'IA est sa capacité à capturer l'information sous-jacente et à généraliser, de sorte à pouvoir reconnaître des motifs complexes même s'ils n'ont jamais été rencontrés tels quels. Les désavantages principaux des techniques de DL sont le manque d'explicabilité, et la complexité en temps de calcul. Ces points sont plus développés dans la section 4.

L'objectif de cet article est de proposer l'étude de la problématique de désentrelacement à l'aide de l'IA. Nous commencerons par une présentation des données d'entrée, puis nous formaliserons le problème du désentrelacement, enfin nous étudierons les défis applicatifs liés au désentrelacement par techniques d'IA.

## 2 Données

L'appellation "forme d'onde" (FO) désigne en GE la caractérisation de l'onde émise par un radar. Chaque FO correspond à une fonction opérationnelle spécifique : la mesure de vitesse, la surveillance de cibles à faible altitude, etc.

**Paramètres primaires.** Une impulsion est une émission EM décrite par un PDW (Pulse Descriptor Word), vecteur unique de ses paramètres, dits primaires (Fig. 2) :

- le temps d'arrivée (TOA : Time of Arrival)

- la direction d'arrivée (DOA : Direction of Arrival)

- la largeur d'impulsion (LI)

- l'amplitude (A)

- la fréquence (RF : Radio Frequency)

<figure><img src="image_19.png" /><figcaption>FIGURE 2 – Représentation des paramètres sur deux impulsions. $PDW_i = (TOA_i, DOA_i, RF_i, LI_i, A_i)$</figcaption></figure>

**Paramètres secondaires.** Pour décrire complètement une formes d'onde (FO), il est nécessaire d'utiliser des paramètres secondaires, qui prennent en compte plusieurs impulsions. La période de répétition des impulsions (PRI) est un paramètre secondaire primordial, qui quantifie la période entre l'émission de deux impulsions consécutives. Dans le cas le plus simple, cette période est fixe dans le temps. Mais un certain nombre des formes d'onde d'intérêt modulent leur PRI, c'est-à-dire que l'écart temporel entre les impulsions n'est pas fixe. Parmi ces FO agiles en PRI, certaines

peuvent suivre un motif. Le motif est caractérisé par une période de répétition du motif (PRM) qui est la somme de ses PRI. Quand un tel motif est défini, on parle de modulation de type stagger, dont le nombre de moments est égal au nombre d'impulsions dans le motif. Un autre type remarquable de modulation en PRI est le jitter, sa PRI n'est pas définie par un motif, mais suit une distribution aléatoire. Dans ce cas, les paramètres de la FO peuvent être la PRI moyenne et l'écart-type autour de celle-ci. Enfin, d'autres modulations interimpulsions sont possibles, sur des paramètres autres que la PRI. La Figure 3 représente une forme d'onde prenant 3 valeurs en fréquence. Ces modulations inter-impulsions sont aussi ancrées dans un motif.

<figure><img src="image_20.png" /><figcaption>FIGURE 3 – Trois motifs consécutifs d'une forme d'onde de type stagger à 4 moments, agile en fréquence</figcaption></figure>

**Scènes d'observation.** Du point de vue du récepteur, on observe un flux temporel de PDW, qui sont émis par plusieurs émetteurs indépendants présents dans l'environnement proche. C'est un mélange de FO, dont on ne connaît *a priori* ni les caractéristiques, ni le nombre. La scène est l'ensemble des données observées sur une fenêtre temporelle. La représentation classique d'une scène avec mélange de FO est la représentation en séries temporelles des paramètres. Sur la Figure 4, chaque point correspond à une impulsion. Une autre représentation utile consiste à projeter les impulsions dans le plan RF-LI. De multiples perturbations peuvent avoir lieu entre l'émission des impulsions et la mesure de celles-ci par le récepteur. Un type de bruit différent du bruit de mesure est le mitage. Il indique l'absence de détection d'une impulsion, et peut avoir plusieurs causes : les conditions atmosphériques, les effets de masquage par des obstacles ou une absence volontaire d'écoute pour des raisons de compatibilité électromagnétique.

## 3 Problème du désentrelacement

**Formalisation du problème.** Considérons une scène avec présence de *K* émetteurs, sur une fenêtre d'observation de durée *D*. Une impulsion est représentée par son PDW, ici un quintuplet de paramètres primaires : $x = (t, l, f, a, \theta)$, avec *t* le TOA, *l* la LI, *f* la fréquence, *a* l'amplitude, *θ* la direction d'arrivée. La *k*-ième forme d'onde, $k \le K$, notée $X^{(k)}$, est un ensemble de $n^{(k)}$ impulsions émises par l'émetteur : $X^{(k)} = \{x_i^{(k)}\}_{i \le n^{(k)}}$. Dans un but de simulation, on peut appliquer un taux de mitage en éliminant certaines impulsions. Enfin, on note *X* l'ensemble final de toutes les impulsions observées. Elles sont ordonnées par temps d'arrivée :
<figure><img src="image_21.png" /><figcaption>FIGURE 4 – Deux représentations d’une scène, en fonction du temps (a) et dans le plan LI-fréquence (b). Formes d’onde : PRI fixe (bleu), stagger d’ordre 2 (vert), stagger d’ordre 7 avec agilité de fréquence (orange).</figcaption></figure>

$$X = \bigcup_k X^{(k)} = \{x_i\}_{i \le N}, \quad i < j \Rightarrow t_i < t_j$$

L'objectif du désentrelacement est de reconstituer, pour une telle scène, les ensembles $X^{(k)}$ à partir de l'ensemble d'observation $X$, le nombre d'émetteurs $K$ étant inconnu. C'est un problème de partitionnement (clustering). On représente une solution à ce problème par un vecteur d'entiers naturels $(y_i)_{i \le n}$, chaque entier correspondant à un émetteur.

**Métriques.** La qualité d'un partitionnement représenté par $\hat{y}$ est estimée par des métriques, qui sont des fonctions de type $m(y, \hat{y})$ à valeurs dans $\mathbb{R}$, où $y$ est la réalité. En désentrelacement par IA, les métriques de clustering traditionnelles sont fréquemment utilisées, en particulier l'indice de Rand ajusté (ARI : Adjusted Rand Index) [8, 5]. Le principe de l'indice de Rand appliqué à notre problème est de le considérer comme un problème de classification binaire sur toutes les paires d'impulsions. Gasperini et al. [5] proposent un ensemble de trois critères complémentaires, dont ils utiliseront des variantes, dites floues (fuzzy), comme fonctions de coût : la pureté, la non-fragmentation, et la détection. La pureté évalue à quel point chaque classe prédite est composée d'impulsions appartenant en réalité à une même FO. La fragmentation évalue le fait que les impulsions d'une même vraie FO sont divisées en plusieurs classes prédites. Enfin, la détection est un critère permettant de vérifier qu'à chaque vraie FO il correspond une classe "principale" qui la représente.

**Approche conventionnelle.** L'approche conventionnelle pour effectuer le désentrelacement est d'exploiter les intervalles temporels entre impulsions. Pour cela on calcule unDTOA, qui est une différence entre deux TOA. La définition duDTOA à l'ordre $k$ est la suivante : $DTOA_i^{(k)} = TOA_{i+k} - TOA_i$. La méthode d'HistogrammesDTOA (HDTOA) se base sur le calcul, pour une scène, d'histogrammes desDTOA à différents ordres. Cela permet de mettre en valeur les périodes de répétition des impulsions (PRI) des formes d'onde (FO). En effet, si les deux impulsions $x_i$ et $x_{i+k}$ appartiennent à une même FO, alors leDTOA sera égal à la PRI de cette FO (ou à un multiple de la PRI), par définition. La seconde étape de cette méthode est l'extraction des FO, en identifiant les impulsions contribuant aux pics dépassant un seuil dans l'histogramme. Une version remarquable de cette méthode [9] construit un histogramme cumulé des différents niveaux deDTOA (Fig. 5).

<figure><img src="image_22.png" /><figcaption>FIGURE 5 – Histogramme cumulé</figcaption></figure>

# 4 Désentrelacement par IA : difficul-
tés et exigences

Nous avons vu que le désentrelacement peut être considéré comme un problème de clustering, mais il diffère des problèmes classiques en cela que la proximité des paramètres comme la fréquence n'est pas le seul critère, la modulation de PRI étant un paramètre fondamental dans la définition des FO. Une difficulté du problème réside dans la grande variabilité des paramètres. Dans cette section, nous voyons plus en détail d'autres difficultés.

**Frugalité des données.** Le problème de la frugalité des données se pose ici de deux façons. D'abord, en ce qui concerne la labellisation, à cause de la difficulté technique d'étiqueter correctement les données réelles. La solution évidente est la simulation, qui doit alors être liée à la connaissance du récepteur considéré, et suffisamment complexe pour prendre en compte les phénomènes physiques de propagation, de réflexion, etc. Un autre aspect de la frugalité des données est qu'on n'a pas connaissance de toutes les formes d'onde susceptibles d'être rencontrées en temps de guerre, le nombre de FO connues n'est pas très élevé. La première approche est l'augmentation de données, soit par
<figure><img src="image_21.png" /><figcaption>FIGURE 4 – Deux représentations d’une scène, en fonction du temps (a) et dans le plan LI-fréquence (b). Formes d’onde : PRI fixe (bleu), stagger d’ordre 2 (vert), stagger d’ordre 7 avec agilité de fréquence (orange).</figcaption></figure>

$$X = \bigcup_k X^{(k)} = \{x_i\}_{i \le N}, \quad i < j \Rightarrow t_i < t_j$$

L'objectif du désentrelacement est de reconstituer, pour une telle scène, les ensembles $X^{(k)}$ à partir de l'ensemble d'observation $X$, le nombre d'émetteurs $K$ étant inconnu. C'est un problème de partitionnement (clustering). On représente une solution à ce problème par un vecteur d'entiers naturels $(y_i)_{i \le n}$, chaque entier correspondant à un émetteur.

**Métriques.** La qualité d'un partitionnement représenté par $\hat{y}$ est estimée par des métriques, qui sont des fonctions de type $m(y, \hat{y})$ à valeurs dans $\mathbb{R}$, où $y$ est la réalité. En désentrelacement par IA, les métriques de clustering traditionnelles sont fréquemment utilisées, en particulier l'indice de Rand ajusté (ARI : Adjusted Rand Index) [8, 5]. Le principe de l'indice de Rand appliqué à notre problème est de le considérer comme un problème de classification binaire sur toutes les paires d'impulsions. Gasperini et al. [5] proposent un ensemble de trois critères complémentaires, dont ils utiliseront des variantes, dites floues (fuzzy), comme fonctions de coût : la pureté, la non-fragmentation, et la détection. La pureté évalue à quel point chaque classe prédite est composée d'impulsions appartenant en réalité à une même FO. La fragmentation évalue le fait que les impulsions d'une même vraie FO sont divisées en plusieurs classes prédites. Enfin, la détection est un critère permettant de vérifier qu'à chaque vraie FO il correspond une classe "principale" qui la représente.

**Approche conventionnelle.** L'approche conventionnelle pour effectuer le désentrelacement est d'exploiter les intervalles temporels entre impulsions. Pour cela on calcule unDTOA, qui est une différence entre deux TOA. La définition duDTOA à l'ordre $k$ est la suivante : $DTOA_i^{(k)} = TOA_{i+k} - TOA_i$. La méthode d'HistogrammesDTOA (HDTOA) se base sur le calcul, pour une scène, d'histogrammes desDTOA à différents ordres. Cela permet de mettre en valeur les périodes de répétition des impulsions (PRI) des formes d'onde (FO). En effet, si les deux impulsions $x_i$ et $x_{i+k}$ appartiennent à une même FO, alors leDTOA sera égal à la PRI de cette FO (ou à un multiple de la PRI), par définition. La seconde étape de cette méthode est l'extraction des FO, en identifiant les impulsions contribuant aux pics dépassant un seuil dans l'histogramme. Une version remarquable de cette méthode [9] construit un histogramme cumulé des différents niveaux deDTOA (Fig. 5).

<figure><img src="image_22.png" /><figcaption>FIGURE 5 – Histogramme cumulé</figcaption></figure>

# 4 Désentrelacement par IA : difficul-
tés et exigences

Nous avons vu que le désentrelacement peut être considéré comme un problème de clustering, mais il diffère des problèmes classiques en cela que la proximité des paramètres comme la fréquence n'est pas le seul critère, la modulation de PRI étant un paramètre fondamental dans la définition des FO. Une difficulté du problème réside dans la grande variabilité des paramètres. Dans cette section, nous voyons plus en détail d'autres difficultés.

**Frugalité des données.** Le problème de la frugalité des données se pose ici de deux façons. D'abord, en ce qui concerne la labellisation, à cause de la difficulté technique d'étiqueter correctement les données réelles. La solution évidente est la simulation, qui doit alors être liée à la connaissance du récepteur considéré, et suffisamment complexe pour prendre en compte les phénomènes physiques de propagation, de réflexion, etc. Un autre aspect de la frugalité des données est qu'on n'a pas connaissance de toutes les formes d'onde susceptibles d'être rencontrées en temps de guerre, le nombre de FO connues n'est pas très élevé. La première approche est l'augmentation de données, soit par
GAN, au risque de générer des FO non pertinentes ou trans-
gressant les règles de la théorie radar, soit par connaissances
expertes. La seconde approche est d'utiliser des algorithmes
adaptés à la frugalité des données, comme le few-shot lear-
ning évoqué par [6], ou l'apprentissage semi-supervisé.

**Exigence d'explicabilité.** L'explicabilité est le fait, pour un algorithme donné, d'être capable de donner des éléments d'explication de la sortie à partir des entrées. Un récepteur de GE est un système critique, où l'explicabilité dans une certaine mesure est un besoin. On veut être capable d'apporter aux opérateurs des éléments permettant de justifier les décisions dans un contexte de guerre. Or, une caractéristique commune de nombreuses architectures de DL est l'effet "boîte noire", c'est notamment le cas pour les algorithmes de désentrelacement prenant appui sur les techniques de segmentation comme [5, 3]. On distingue généralement deux approches. La première est de construire un modèle explicable directement, en développant un modèle transparent par nature, par exemple en sortant du DL avec des algorithmes comme DBSCAN associé à des distances entre impulsions [10], les arbres de décision, ou utiliser des solutions hybrides avec de l'IA symbolique. Le mécanisme d'attention [2], utilisé en traitement du langage naturel, peut être une possibilité pour augmenter le niveau d'explicabilité des architectures de DL. La seconde approche est de chercher des explications *a posteriori* dans un réseau de neurones, c'est-à-dire après l'inférence.

**Exigences de système embarqué.** La plupart des récepteurs de GE sont voués à être embarqués pour des missions tactiques, par exemple dans un système naval ou aéroporté. Deux questions sont à considérer : la complexité en temps de calcul et la capacité en mémoire. La complexité temporelle est ici une exigence de temps réel. Le récepteur doit être capable de lever l'alerte en cas de menace, avec une latence maximum de l'ordre de la seconde, tout en continuant à traiter le flux d'impulsions reçues. Dans cette optique, un paramètre à prendre en compte est le nombre d'impulsions à traiter, en jouant sur la taille de la fenêtre de désentrelacement. Néanmoins, certaines architectures volumineuses comme les réseaux Transformers pourraient être rédhibitoires. L'autre exigence discriminante du point de vue opérationnel est la capacité en mémoire : la masse et le volume du récepteur physique doivent être minimisés. Une solution répondant aux problématiques de complexité est de réduire le flux d'information initial, en effectuant un partitionnement des impulsions par paramètres primaires en début de traitement. Le risque est de mélanger plusieurs FO dès la première étape, et de propager l'erreur pour la suite du désentrelacement. En théorie, il existe également des techniques de compression de réseaux de neurones, comme le pruning ou l'approximation de rang faible.

5 Conclusion et perspectives

Après avoir exposé le contexte de la guerre électronique et
les données d'entrée, nous avons formalisé le problème du
désentrelacement de formes d'onde radar. Dans la dernière
section, nous avons étudié les défis applicatifs du désentre-

lacement par IA, et apporté quelques éléments de réponse.
La simulation répondra au manque de données labellisées,
et l'augmentation de données au faible nombre de formes
d'onde connues. Enfin, nous avons étudié les contraintes
d'explicabilité et ainsi que les exigence liées aux systèmes
embarqués critiques.

Dans les travaux futurs, il s'agira de simuler des algo-
rithmes de désentrelacement IA pour les comparer à l'al-
gorithme de référence HDTOA, et quantifier leur respect
des contraintes évoquées précédemment.

Remerciements

Ce travail s'inscrit dans le cadre d'une collaboration entre
Thales DMS et le Lab-STICC.

Références

[1] AW Ata'a and SN Abdullah. Deinterleaving of radar signals and prf identification algorithms. *IET radar, sonar & navigation*, 1(5):340–347, 2007.

[2] D. Bahdanau, K. Cho, and Y. Bengio. Neural machine translation by jointly learning to align and translate. *arXiv preprint arXiv:1409.0473*, 2014.

[3] W. Chaoyue, L. Zhangmeng, and H. Zhitao. A radar signal deinterleaving method based on semantic segmentation thought with neural network. *arXiv preprint arXiv:2110.13706*, 2021.

[4] Z. Cui, M. Zhang, Z. Cao, and C. Cao. Image data augmentation for sar sensor via generative adversarial nets. *IEEE Access*, 7:42255–42268, 2019.

[5] S. Gasperini, M. Paschali, C. Hopke, D. Wittmann, and N. Navab. Signal clustering with class-independent segmentation. In *ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, pages 3982–3986. IEEE, 2020.

[6] P. Lang, X. Fu, M. Martorella, J. Dong, R. Qin, X. Meng, and M. Xie. A comprehensive survey of machine learning applied to radar signal processing. *arXiv preprint arXiv:2009.13702*, 2020.

[7] X. Li, Z.M. Liu, and Z. Huang. Denoising of radar pulse streams with autoencoders. *IEEE Communications Letters*, 24(4):797–801, 2020.

[8] S. Mahmod. Deinterleaving pulse trains with dbscan and fart, 2019.

[9] HK Mardia. New techniques for the deinterleaving of repetitive sequences. In *IEE Proceedings F (Radar and Signal Processing)*, volume 136, pages 149–154. IET, 1989.

[10] M. Mottier, G. Chardon, and F. Pascal. Deinterleaving and clustering unknown radar pulses. In *2021 IEEE Radar Conference (RadarConf21)*, pages 1–6. IEEE, 2021.
GAN, au risque de générer des FO non pertinentes ou trans-
gressant les règles de la théorie radar, soit par connaissances
expertes. La seconde approche est d'utiliser des algorithmes
adaptés à la frugalité des données, comme le few-shot learn-
ning évoqué par [6], ou l'apprentissage semi-supervisé.

**Exigence d'explicabilité.** L'explicabilité est le fait, pour un algorithme donné, d'être capable de donner des éléments d'explication de la sortie à partir des entrées. Un récepteur de GE est un système critique, où l'explicabilité dans une certaine mesure est un besoin. On veut être capable d'apporter aux opérateurs des éléments permettant de justifier les décisions dans un contexte de guerre. Or, une caractéristique commune de nombreuses architectures de DL est l'effet "boîte noire", c'est notamment le cas pour les algorithmes de désentrelacement prenant appui sur les techniques de segmentation comme [5, 3]. On distingue généralement deux approches. La première est de construire un modèle explicable directement, en développant un modèle transparent par nature, par exemple en sortant du DL avec des algorithmes comme DBSCAN associé à des distances entre impulsions [10], les arbres de décision, ou utiliser des solutions hybrides avec de l'IA symbolique. Le mécanisme d'attention [2], utilisé en traitement du langage naturel, peut être une possibilité pour augmenter le niveau d'explicabilité des architectures de DL. La seconde approche est de chercher des explications a posteriori dans un réseau de neurones, c'est-à-dire après l'inférence.

**Exigences de système embarqué.** La plupart des récepteurs de GE sont voués à être embarqués pour des missions tactiques, par exemple dans un système naval ou aéroporté. Deux questions sont à considérer : la complexité en temps de calcul et la capacité en mémoire. La complexité temporelle est ici une exigence de temps réel. Le récepteur doit être capable de lever l'alerte en cas de menace, avec une latence maximum de l'ordre de la seconde, tout en continuant à traiter le flux d'impulsions reçues. Dans cette optique, un paramètre à prendre en compte est le nombre d'impulsions à traiter, en jouant sur la taille de la fenêtre de désentrelacement. Néanmoins, certaines architectures volumineuses comme les réseaux Transformers pourraient être rédhibitoires. L'autre exigence discriminante du point de vue opérationnel est la capacité en mémoire : la masse et le volume du récepteur physique doivent être minimisés. Une solution répondant aux problématiques de complexité est de réduire le flux d'information initial, en effectuant un partitionnement des impulsions par paramètres primaires en début de traitement. Le risque est de mélanger plusieurs FO dès la première étape, et de propager l'erreur pour la suite du désentrelacement. En théorie, il existe également des techniques de compression de réseaux de neurones, comme le pruning ou l'approximation de rang faible.

5 Conclusion et perspectives

Après avoir exposé le contexte de la guerre électronique et
les données d'entrée, nous avons formalisé le problème du
désentrelacement de formes d'onde radar. Dans la dernière
section, nous avons étudié les défis applicatifs du désentre-

lacement par IA, et apporté quelques éléments de réponse.
La simulation répondra au manque de données labellisées,
et l'augmentation de données au faible nombre de formes
d'onde connues. Enfin, nous avons étudié les contraintes
d'explicabilité et ainsi que les exigence liées aux systèmes
embarqués critiques.

Dans les travaux futurs, il s'agira de simuler des algo-
rithmes de désentrelacement IA pour les comparer à l'al-
gorithme de référence HDTOA, et quantifier leur respect
des contraintes évoquées précédemment.

Remerciements

Ce travail s'inscrit dans le cadre d'une collaboration entre
Thales DMS et le Lab-STICC.

Références

[1] AW Ata'a and SN Abdullah. Deinterleaving of radar signals and prf identification algorithms. *IET radar, sonar & navigation*, 1(5):340–347, 2007.

[2] D. Bahdanau, K. Cho, and Y. Bengio. Neural machine translation by jointly learning to align and translate. *arXiv preprint arXiv:1409.0473*, 2014.

[3] W. Chaoyue, L. Zhangmeng, and H. Zhitao. A radar signal deinterleaving method based on semantic segmentation thought with neural network. *arXiv preprint arXiv:2110.13706*, 2021.

[4] Z. Cui, M. Zhang, Z. Cao, and C. Cao. Image data augmentation for sar sensor via generative adversarial nets. *IEEE Access*, 7:42255–42268, 2019.

[5] S. Gasperini, M. Paschali, C. Hopke, D. Wittmann, and N. Navab. Signal clustering with class-independent segmentation. In *ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)*, pages 3982–3986. IEEE, 2020.

[6] P. Lang, X. Fu, M. Martorella, J. Dong, R. Qin, X. Meng, and M. Xie. A comprehensive survey of machine learning applied to radar signal processing. *arXiv preprint arXiv:2009.13702*, 2020.

[7] X. Li, Z.M. Liu, and Z. Huang. Denoising of radar pulse streams with autoencoders. *IEEE Communications Letters*, 24(4):797–801, 2020.

[8] S. Mahmod. Deinterleaving pulse trains with dbscan and fart, 2019.

[9] HK Mardia. New techniques for the deinterleaving of repetitive sequences. In *IEE Proceedings F (Radar and Signal Processing)*, volume 136, pages 149–154. IET, 1989.

[10] M. Mottier, G. Chardon, and F. Pascal. Deinterleaving and clustering unknown radar pulses. In *2021 IEEE Radar Conference (RadarConf21)*, pages 1–6. IEEE, 2021.
Session 3 : Apprentissage
Session 3 : Apprentissage
# L'IA explicable appliquée à la détection de ceintures et de téléphones au volant

M. Gornet<fnref n="1" />, W. Maxwell<fnref n="1" />

¹ Télécom Paris, IP Paris - Institut Polytechnique de Paris
NOS - Numérique, Organisation et Société
i3 - institut interdisciplinaire de l'innovation

melanie.gornet@telecom-paris.fr

## Résumé

Une nouvelle génération de dispositifs de détection d'in-
fractions routières à base d'IA pour le contrôle du port de
la ceinture, ou du téléphone au volant, est en cours de dé-
veloppement. Ces systèmes s'appuient sur des réseaux de
neurones profonds pour classifier des images d'éventuelles
infractions et envoyer la décision de l'algorithme à un opé-
rateur humain pour vérification. Un cadre réglementaire
existe pour les radars d'excès de vitesse classiques mais ce
cadre doit être aménagé pour s'adapter aux particularités
des nouveaux systèmes, notamment l'impossibilité d'un au-
dit par essais et l'introduction de l'humain dans la boucle
de contrôle des sanctions. L'objectif de cette étude est de
comparer le fonctionnement et l'encadrement des radars
classiques avec le fonctionnement des nouveaux systèmes,
afin d'identifier les besoins en explicabilité de ces dispo-
sitifs à base d'IA. Nos conclusions pour ce cas d'usage
peuvent s'appliquer à d'autres cas d'usages où des images
sont proposées à des opérateurs humains, tels que les sys-
tèmes de vidéo intelligente.

## Mots-clés

radar, explicabilité, humain dans la boucle, vidéo intelli-
gente, infractions routières

## Abstract

A new generation of AI-based tools is being developed to
help identify road safety violations such as failure to wear
a seatbelt, or use of a phone while driving. An existing re-
gulatory framework applies to traditional speed radars, but
this framework must be tailored to accommodate the unique
features of new systems, like the inability to conduct au-
dits through testing and the involvement of humans in the
enforcement of sanctions. The objective of this study is to
compare the functioning and regulatory framework of clas-
sic speed radar systems with the functioning of new image
recognition systems in order to identify needs for explai-
nability of the new AI-based systems. Our conclusions in
this use case can be generalized to other "smart video" use
cases where images are proposed to human operators.

## Keywords

radar, explainability, human in the loop, smart video, traffic
violations

# 1 Introduction

Depuis quelques années les systèmes dits d'intelligence ar-
tificielle<fnref n="1" />, ou IA, se sont multipliés. Notamment, les sys-
tèmes d'apprentissage profond<fnref n="2" /> sont utilisés pour les tâches
de reconnaissance d'images : ils sont alors appelés réseaux
de neurones convolutionnels<fnref n="3" />.

D'autre part, de nombreux textes, réalisés par des experts
internationaux comme le Groupe d'Experts de Haut Niveau
sur l'Intelligence Artificielle (GEHN IA<fnref n="4" />) de la Commis-
sion Européenne, appellent à prendre en compte un certain
nombre de principes éthiques lors du cycle de vie des sys-
tèmes d'IA. Parmi ces principes, l'explicabilité et la trans-
parence sont des préoccupations principales, elles appa-
raissent dans la quasi intégralité des textes sur l'éthique de
l'IA [22], ainsi que dans le projet de règlement européen
sur l'intelligence artificielle, aussi appelé AI Act [17]. En ef-
fet, les systèmes d'apprentissage, et notamment les réseaux
neuronaux, sont très opaques et le nombre considérable de
paramètres rend la décision d'autant plus compliquée à in-
terpréter.

Pour caractériser l'explicabilité et la transparence, nous
considérerons ici les définitions données par le GEHN
IA qui, dans ses lignes directrices, définit l'explicabilité
comme « *la capacité d'expliquer à la fois les processus
techniques d'un système d'IA et les décisions humaines qui
s'y rapportent* » et la transparence comme « *l'exigence se-
lon laquelle les systèmes d'IA doivent être conçus et mis
en œuvre de manière à en permettre leur supervision / leur
suivi* ». La transparence apparaît alors plus générale, com-
prenant l'explicabilité des systèmes et des décisions, mais
aussi la traçabilité et la communication [33]. Elle est davan-
tage liée à l'accès à l'information, alors que l'explicabilité

<footnote n="1">1. Le terme « intelligence artificielle » est très controversé, notamment pour son caractère anthropomorphe, c'est-à-dire rappelant des traits humains [42].</footnote>

<footnote n="2">2. Ou *deep learning* en anglais.</footnote>

<footnote n="3">3. Ou *convolutional neural networks* en anglais.</footnote>

<footnote n="4">4. Plus connu sous le nom de HLEG en anglais.</footnote>
# L'IA explicable appliquée à la détection de ceintures et de téléphones au volant

M. Gornet<fnref n="1" />, W. Maxwell<fnref n="1" />

¹ Télécom Paris, IP Paris - Institut Polytechnique de Paris
NOS - Numérique, Organisation et Société
i3 - institut interdisciplinaire de l'innovation

melanie.gornet@telecom-paris.fr

## Résumé

Une nouvelle génération de dispositifs de détection d'in-
fractions routières à base d'IA pour le contrôle du port de
la ceinture, ou du téléphone au volant, est en cours de dé-
veloppement. Ces systèmes s'appuient sur des réseaux de
neurones profonds pour classifier des images d'éventuelles
infractions et envoyer la décision de l'algorithme à un opé-
rateur humain pour vérification. Un cadre réglementaire
existe pour les radars d'excès de vitesse classiques mais ce
cadre doit être aménagé pour s'adapter aux particularités
des nouveaux systèmes, notamment l'impossibilité d'un au-
dit par essais et l'introduction de l'humain dans la boucle
de contrôle des sanctions. L'objectif de cette étude est de
comparer le fonctionnement et l'encadrement des radars
classiques avec le fonctionnement des nouveaux systèmes,
afin d'identifier les besoins en explicabilité de ces dispo-
sitifs à base d'IA. Nos conclusions pour ce cas d'usage
peuvent s'appliquer à d'autres cas d'usages où des images
sont proposées à des opérateurs humains, tels que les sys-
tèmes de vidéo intelligente.

## Mots-clés

radar, explicabilité, humain dans la boucle, vidéo intelli-
gente, infractions routières

## Abstract

A new generation of AI-based tools is being developed to
help identify road safety violations such as failure to wear
a seatbelt, or use of a phone while driving. An existing re-
gulatory framework applies to traditional speed radars, but
this framework must be tailored to accommodate the unique
features of new systems, like the inability to conduct au-
dits through testing and the involvement of humans in the
enforcement of sanctions. The objective of this study is to
compare the functioning and regulatory framework of clas-
sic speed radar systems with the functioning of new image
recognition systems in order to identify needs for explai-
nability of the new AI-based systems. Our conclusions in
this use case can be generalized to other "smart video" use
cases where images are proposed to human operators.

## Keywords

radar, explainability, human in the loop, smart video, traffic
violations

# 1 Introduction

Depuis quelques années les systèmes dits d'intelligence ar-
tificielle<fnref n="1" />, ou IA, se sont multipliés. Notamment, les sys-
tèmes d'apprentissage profond<fnref n="2" /> sont utilisés pour les tâches
de reconnaissance d'images : ils sont alors appelés réseaux
de neurones convolutionnels<fnref n="3" />.

D'autre part, de nombreux textes, réalisés par des experts
internationaux comme le Groupe d'Experts de Haut Niveau
sur l'Intelligence Artificielle (GEHN IA<fnref n="4" />) de la Commis-
sion Européenne, appellent à prendre en compte un certain
nombre de principes éthiques lors du cycle de vie des sys-
tèmes d'IA. Parmi ces principes, l'explicabilité et la trans-
parence sont des préoccupations principales, elles appa-
raissent dans la quasi intégralité des textes sur l'éthique de
l'IA [22], ainsi que dans le projet de règlement européen
sur l'intelligence artificielle, aussi appelé AI Act [17]. En ef-
fet, les systèmes d'apprentissage, et notamment les réseaux
neuronaux, sont très opaques et le nombre considérable de
paramètres rend la décision d'autant plus compliquée à in-
terpréter.

Pour caractériser l'explicabilité et la transparence, nous
considérerons ici les définitions données par le GEHN
IA qui, dans ses lignes directrices, définit l'explicabilité
comme « *la capacité d'expliquer à la fois les processus
techniques d'un système d'IA et les décisions humaines qui
s'y rapportent* » et la transparence comme « *l'exigence se-
lon laquelle les systèmes d'IA doivent être conçus et mis
en œuvre de manière à en permettre leur supervision / leur
suivi* ». La transparence apparaît alors plus générale, com-
prenant l'explicabilité des systèmes et des décisions, mais
aussi la traçabilité et la communication [33]. Elle est davan-
tage liée à l'accès à l'information, alors que l'explicabilité

<footnote n="1">1. Le terme « intelligence artificielle » est très controversé, notamment pour son caractère anthropomorphe, c'est-à-dire rappelant des traits humains [42].</footnote>

<footnote n="2">2. Ou *deep learning* en anglais.</footnote>

<footnote n="3">3. Ou *convolutional neural networks* en anglais.</footnote>

<footnote n="4">4. Plus connu sous le nom de HLEG en anglais.</footnote>