Classification de tweets en situation d’urgence pour la gestion de crises (2023)

Abstract: Le traitement de données provenant de réseaux sociaux en temps réel est devenu une outil attractifdans les situations d’urgence, mais la surcharge d’informations reste un défi à relever. Dans cet article,nous présentons un nouveau jeu de données en français annoté manuellement pour la gestion de crise.Nous testons également plusieurs modèles d’apprentissage automatique pour classer des tweets enfonction de leur pertinence, de l’urgence et de l’intention qu’ils véhiculent afin d’aider au mieux lesservices de secours durant les crises selon des méthodes d’évaluation spécifique à la gestion de crise.Nous évaluons également nos modèles lorsqu’ils sont confrontés à de nouvelles crises ou même denouveaux types de crises, avec des résultats encourageants

## motivations les réseaux sociaux ont changé la façon dont les gens interagissent, communiquent ou ont accès à l'information partout dans le monde. leur utilisation est largement répandue chez les internautes, les institutions publiques et les entreprises pour informer à propos d'événements ou de produits ou encore, et sans être exhaustifs, partager des opinions. tous les domaines de la vie quotidienne sont concernés, y compris la gestion de crise qui nous intéresse ici. en effet, les catastrophes naturelles représentent une menace permanente pour les populations, les infrastructures et les ressources naturelles. la gestion efficace de ces crises nécessite des outils et des approches innovants pour aider les équipes d'intervention à réagir rapidement et à prendre des décisions éclairées @xcite @xcite . dans ce contexte, les réseaux sociaux, en particulier twitter, offrent une source d'information riche et en temps réel sur les événements en cours @xcite . par exemple, plus de 17 000 tweets ont été postés pendant l'incendie de notre dame en 2019. lors du séisme de 2023 en turquie et en syrie, des victimes piégées sous les décombres ont appelé à l'aide en publiant des messages sur twitter @xcite . ainsi, twitter peut être utilisé pour obtenir des informations cruciales en situation de crise comme l'état des infrastructures ou bien le niveau de préparation de la population face à la crise. l'une des principales caractéristiques des tweets postés en période de crise est la variété des informations véhiculées qui entraîne des différences de traitement par les services de secours. par exemple, dans le tweet (a) 1 l'auteur signale un danger qui approche et le message doit donc être traité en priorité. le tweet (b) exprime quant à lui une critique envers le système de gestion de la crise. même si ce tweet peut être pris en compte afin d'améliorer le service, il n'a pas de caractère urgent et ne nécessite donc pas d'intervention des secours. enfin, l'exemple (c) est un avertissement officiel. il doit être pris en compte par les secours afin qu'ils puissent se préparer au mieux à la catastrophe arrivant. dans cet article, nous commençons par présenter les travaux existants sur la gestion de crise pour les médias sociaux, ainsi que les corpus existants en français. la section 3 présente notre corpus annoté. la section 4 présente les modèles et les expérimentations de classification que nous avons menées sur ce corpus, ainsi qu'une analyse d'erreurs permettant d'identifier les principaux défis à relever et pistes d'amélioration pour le futur dans ce domaine. enfin, nous concluons avec quelques perspectives pour des travaux futurs en section 5. ## état de l'art de nombreux travaux d'analyse des tweets en cas de crises ont émergé dans différentes langues, majoritairement l'anglais, que ce soit pendant ou après une crise @xcite @xcite @xcite . l'objectif est de proposer un système de classification des messages selon : (1) l'utilité (le message est-il utile ou non pour les services de secours ?), (2) l'urgence (le message est-il urgent ou non pour les services de secours ? éventuellement, quel degré d'urgence ?) et (3) les intentions véhiculées (déclaration de dégâts, avertissement, critique, etc.). d'autres classifications ont également été proposées comme la détection de messages postés par des témoins directs ou indirects de la crise (zahra et al., 2020). des campagnes d'évaluation ont été proposées dans ce domaine, notamment trec-is (incident streams track) 3 associé à trec 2019 et 2020 (mccreadie et al., 2019, 2020) et plus récemment crisisfacts2022 4 pour la génération de résumé de situations de crises. les participants de trec-is ont pour objectif le développement de systèmes de veille en temps réel capables de suivre l'évolution d'incidents tels que des catastrophes naturelles, des incidents terroristes ou des crises de santé publique à partir de flux de données textuelles en ligne, tels que des flux twitter ou des flux de nouvelles en langue anglaise. les meilleurs systèmes soumis utilisent des approches neuronales. par exemple, wang et al. (2021) et dusart et al. (2021) utilisent une variation du modèle bert, qui a été pré-entrainé sur des tweets relatifs à des crises dans une approche multi-tâche. globalement, les résultats montrent que la détection de l'intention reste la plus complexe en raison du déséquilibre des données d'apprentissage (les messages urgents sont souvent minoritaires, par exemple de l'ordre de 3,87 % pour les dégâts matériels et 1,93 % pour les dégâts humains). en ce qui concerne les ressources en langue française, on peut citer le projet suricate-nat 5 qui vise à exploiter twitter pour être informé rapidement de séismes ou d'inondations ayant lieu en france, ou encore le cadre proposé par (interdonato et al., 2018) pour extraire et regrouper automatiquement des données relatives à une crise sans recourir à une annotation manuelle ou à des catégories prédéfinies. cependant, les données de cette étude ne sont pas disponibles. kozlowski et al. (2020) ont proposé le premier corpus en français, composé d'environ 13 000 tweets concernant des crises écologiques (catastrophes naturelles) et annotés manuellement selon trois niveaux d'information : 3. https://www.dcs.gla.ac.uk/~richardm/trec_is/ 4. https://crisisfacts.github.io/ 5. http://www.suricatenat.fr/suricate-nat/ l'utilité, l'urgence et les intentions. plus récemment, diwersy et al. (2022) ont utilisé un corpus de discours publics pour analyser les changements dans l'utilisation des mots et expressions pendant la crise sanitaire de la covid-19 en france, en utilisant des méthodes phonético-textométriques. caillaut et al. (2022) ont construit automatiquement un corpus de 6 023 documents contenant 304 826 entités liées en utilisant la wikipédia française afin de géolocaliser les publications des réseaux sociaux en temps réel lors de catastrophes naturelles. enfin, le projet crisisnlp 6 rassemble une communauté de chercheurs autour de la création de ressources et d'outils de traitement de texte pour l'analyse de données de médias sociaux pendant les crises. le projet a produit des corpus dans plusieurs langues, dont le français (17 329 tweets relatifs à un événement de glissement de terrain survenu en 2015). en gestion de crises, les méthodes les plus anciennes utilisées pour classifier les messages s'appuyaient sur l'apprentissage automatique avec notamment l'utilisation de random forest (breiman, 2001) ou des réseaux bayésiens @xcite . les approches utilisées plus récemment sont de deux types : celles qui utilisent des modèles d'apprentissage profond comme les réseaux neuronaux convolutifs @xcite ou les réseaux de neurones récurrents (alharbi & lee, 2019), et celles qui utilisent les transformeurs @xcite avec des modèles tels que bert @xcite . la campagne d'évaluation trec-is (incident stream) (mccreadie et al., 2020) donne un apercu des méthodes actuelles pour l'identification de tweets en situation de crise et lors de l'édition 2021, les transformeurs sont les modèles qui ont obtenu les meilleurs résultats 7 . pour conclure, un défi important est la capacité des systèmes à identifier des messages urgents pour des crises nouvelles non présentes lors de l'entraînement. or, d'après le rapport du giec 2022 (de pryck, 2022), le changement climatique va entraîner de nouveaux types de crises et il faut donc avoir un modèle capable de se préparer à l'inconnu pour un déploiement chez les acteurs de cellules de crises. dans cet article, nous nous intéressons pour la première fois à ce défi sur des données en français en évaluant la portabilité de nos modèles à différents types de crises. ## conclusions et perspectives nous avons présenté dans cet article un nouveau corpus en français annoté pour la gestion de crise. ce corpus est varié en types et en nombre de crises : crises prévisibles (tempête, ouragan, inondation) et crises soudaines (effondrement, incendie, attaque terroriste). cette diversité permet aux intervenants de se préparer à faire face aux situations imprévues et à mettre en place des stratégies de gestion de crise adaptées. nous avons mené des expérimentations pour évaluer l'efficacité de modèles d'apprentissage supervisé pour la détection automatique des tweets pertinents et urgents liés à une crise. nous avons montré que les modèles obtenaient des résultats encourageants lorsqu'ils sont testés sur de nouvelles crises ou même de nouveaux types de crises. au vu des résultats, nous constatons que le problème reste encore déséquilibré en termes de classes comme en termes de représentativité des crises. aussi, nous envisageons d'augmenter automatiquement le corpus sur les classes et les crises les moins représentées. une autre piste envisagée est de chercher d'autres sources d'information liées aux crises et de les combiner avec les tweets dans une perspective de détection multi-modale.