Toolbox : une chaîne de traitement de corpus pour les humanités numériques (Toolbox : a corpus processing pipeline for digital humanities) (2022)

Abstract: Le projet Toolbox propose une chaîne de traitement pour la manipulation et le traitement de corpus textuels incluant la numérisation (OCR/HTR), la conversion au format TEI, la fouille de texte (reconnaissance d’entités nommées) et la visualisation de données. Les fonctionnalités sont accessibles via une interface en ligne qui sert de surcouche graphique à des scripts développés par nos soins ou utilisant des outils externes. Elles permettent d’automatiser les tâches élémentaires de traitement de corpus pour les chercheurs en humanités numériques. Cet outil est ouvert aux contributions externes.

## motivations pour le traitement de leurs corpus textuels, les chercheurs en sciences humaines ont besoin d'un certain nombre d'outils pour des tâches classiques telles que la numérisation (ocr/htr), la conversion en un format compatible avec l'édition numérique (xml-tei), la fouille de texte et la visualisation des données. si de nombreux outils sont proposés pour exécuter certaines de ces tâches individuellement, il n'existe actuellement pas de chaîne de traitement en accès libre qui les centralise. ainsi, mettre en oeuvre chacune de ces tâches peut s'avérer chronophage et nécessiter la collaboration de chercheurs de plusieurs domaines d'expertise. nous proposons donc une solution qui réponde au double besoin de centraliser et d'automatiser les traitements de corpus textuels, et d'en permettre l'usage à des chercheurs non experts en informatique. nous proposons une interface web basée sur du code html et javascript, et enrichie de l'application flask 1 . l'interface propose un ensemble de fonctionnalités pour le traitement de fichiers de l'utilisateur. ces fonctionnalités se basent sur des scripts python disponibles indépendamment et essentiellement développés par nos soins. la plateforme comporte pour le moment trois volets de traitements de données textuelles, détaillés ci-dessous. cette liste est vouée à être progressivement enrichie selon les besoins. pour chaque tâche, l'utilisateur doit seulement téléverser le(s) document(s) à traiter, préciser quelques paramètres au besoin, et récupérer le fichier de sortie généré. acquisition de corpus le volet acquisition de corpus comporte les fonctionnalités ci-dessous : -scraping de corpus à partir de wikisource 2 . l'utilisateur peut choisir de créer un corpus aléatoire à partir de textes wikisource, ou de préciser des urls à moissonner. il est possible de régler la taille du corpus à collecter ou le pourcentage à extraire à partir d'un texte donné. -numérisation et transcription de documents (ocr/htr) via des instances kraken 3 ou tesseract (smith, 2007) selon les modèles utilisés. -correction d'erreurs des sorties de reconnaissance automatique de caractères. -conversion de fichiers (.txt ou .odt) vers un format xml-tei (pytlik zillig, 2009) ; formatage de fichiers pour le calcul d'accord inter-annotateurs. fouille de texte actuellement, pour le volet de la fouille de texte, la plateforme propose la reconnaissance des entités nommées. l'indexation de corpus via une interface de fouille textuelle est également proposée. le premier module permet d'annoter en entités nommées des fichiers au format xml-tei. il est possible d'annoter avec spacy (honnibal & montani, 2017) ou flair (akbik et al., 2018) en sélectionnant le modèle de son choix. la deuxième possibilité permet d'indexer un corpus textuel sur l'interface obvie 4 à partir de fichiers respectant le format d'entrée. visualisation ce volet renvoie vers des outils développés en interne : 1) tanagra, une interface web pour l'identification, la géolocalisation et la cartographie des noms de lieux dans les textes ; 2) minerva, qui permet de visualiser le lexique et les sentiments autour des entités nommées. si ces dernières sont désambiguïsées via wikidata, il est possible de les regrouper selon une propriété de la base (par exemple le genre pour les personnes).