# Constitution de corpus - Défis méthodologiques et solutions apportées par l'infrastructure Istex

Mathilde Huguin

► To cite this version:

Mathilde Huguin. Constitution de corpus - Défis méthodologiques et solutions apportées par l'infrastructure Istex. École thématique. Modèles de langue pour le traitement sémantique et l'intégration de connaissances et données en agriculture, alimentation et environnement, Montpellier, France. 2025. hal-05332761

HAL Id: hal-05332761

https://cnrs.hal.science/hal-05332761v1

Submitted on 27 Oct 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Constitution de corpus

Défis méthodologiques et solutions apportées par l'infrastructure Istex

Mathilde Huguin

IR PhD Inist - CNRS

mathilde.huguin@inist.fr

2025 | École thématique Modèles de langue pour le traitement sémantique et l'intégration de connaissances et données en agriculture, alimentation et environnement

<figure><img src="image_2.png" /></figure>
# Plan

## PARTIE 1 : ÉLÉMENTS CONTEXTUELS

1. Les corpus

2. Défis méthodologiques

3. Istex

## PARTIE 2 : CONSTITUTION D'UN CORPUS SPÉCIALISÉ

4. Présentation du cas d'usage

5. Sélection des documents

6. Exploration, visualisation & affinage

7. Premières annotations : extractions d'EN

8. Conclusion

9. Annexes et références
# PARTIE 1 : ÉLÉMENTS CONTEXTUELS
Les corpus
# Les corpus

Qu'est ce qu'un corpus ?
# Partie 1 : éléments contextuels | Les corpus

## QU'EST-CE QU'UN CORPUS ?

* Employé depuis l'antiquité dans la langue savante pour désigner des collections de textes (juridiques, épigraphiques, ...): "Recueil formé d'un ensemble de données sélectionnées et rassemblées pour intéresser une même discipline" (Mellet, 2002)

* Apparition du terme chez les linguistes dans les années 60 alors que des collectes existent depuis longtemps (premiers corpus informatisés; cf. Léon, 2008; Benzitoun et Cappeau, 2025)

* Définition très discutée en linguistique et en **linguistique de corpus** (taille, représentativité, etc. cf. Sinclair, 1996; Habert, 2000); distinction entre réservoir (ou archive) et corpus (Rastier, 2004)

* Depuis 2000, évolution exponentielle des réservoirs et des corpus (documentaires ou non)

* Matière première des LLM : ils structurent, apportent savoir, diversité linguistique et contextuelle, conditionnent l'efficacité des modèles

* Utilisation des LLM sur les corpus (augmentation de 47% des publications en 6 ans, entre 12 et 82% des publications jamais lues, cf. Larivière et al., 2009)
# Partie 1 : éléments contextuels | Les corpus

## QU'EST-CE QU'UN CORPUS ?

### Évolution des corpus et bases de données documentaires
(1960-2022)

<figure><img src="image_3.png" /></figure>
# Partie 1 : éléments contextuels | Les corpus

## QU'EST-CE QU'UN CORPUS ?

<figure><img src="image_4.png" /></figure>
# Partie 1 : éléments contextuels | Les corpus

## QU'EST-CE QU'UN CORPUS ?

Premier corpus annoté

~4,5 millions de mots, annotations syntaxiques

<figure><img src="image_5.png" /></figure>
# Partie 1 : éléments contextuels | Les corpus

## QU'EST-CE QU'UN CORPUS ?

<figure><img src="image_6.png" /></figure>
# Partie 1 : éléments contextuels | Les corpus

## QU'EST-CE QU'UN CORPUS ?

<figure><img src="image_7.png" /></figure>
# Partie 1 : éléments contextuels | Les corpus

## QU'EST-CE QU'UN CORPUS ?

<figure><img src="image_8.png" /></figure>
# Partie 1 : éléments contextuels | Les corpus

## QU'EST-CE QU'UN CORPUS ?

### Corpus web

~9,8 milliards de mots, français web
(aujd. 23.8G)

<figure><img src="image_9.png" /></figure>
# Partie 1 : éléments contextuels | Les corpus

## QU'EST-CE QU'UN CORPUS ?

<figure><img src="image_10.png" /></figure>

Corpus web multilingue

~46 milliards de doc., multilingue web (166)
# Les corpus

## Corpus & LLM
# Partie 1 : éléments contextuels | Les corpus

## CORPUS & LLM

<table><thead><tr><td>Type de corpus</td><td>Fonction</td><td>Exemple</td></tr></thead><tbody><tr><td>Pre-training Cor- pora</td><td>Apprentissage initial du modèle sur un vaste corpus généraliste multi-domaines</td><td>Donner au modèle une connaissance gé- nériale du monde → Common Crawl pour ChatGPT (données massives issues du web)</td></tr><tr><td>Instruction Fine- tuning Datasets</td><td>Adaptation du modèle via des exemples su- pervisés ou consignes explicites</td><td>Répondre à des instructions claires → Alpaca (52 000 instructions-réponses générées par GPT-3.5, utilisé pour fine-tuner LLaMA)</td></tr><tr><td>Preference Data- sets</td><td>Apprentissage des préférences utilisateur, renforcement par feedback humain</td><td>Privilégier les réponses utiles → Stiennon et al. (2022) (réponse A plus pertinente que B)</td></tr><tr><td>Evaluation Data- sets</td><td>Évaluation de la qualité, précision et robustesse du modèle à l'aide de benchmarks stan- dardisés</td><td>Tester la compréhension multi-domaines → MMLU (questions multi-choix couvrant 57 do- maines, cf. Hendrycks et al., 2021)</td></tr></tbody></table>

Usages majeurs selon Liu et al. (2024)
# Les corpus

## Biais
# Partie 1 : éléments contextuels | Les corpus

## BIAIS

### Exemples de biais induits par les datasets

* IA du "pôle emploi" autrichien : "Le Berufsinformat a par exemple proposé à des candidats masculins de postuler dans le domaine de l'informatique, tandis qu'ils conseillaient à des candidates ayant un CV identique de se tourner vers les études de genre ou la restauration" (cf. Courrier international 2024)

* Certains outils médicaux basés sur l'IA (OpenAI's GPT-4, Meta's Llama 3 and Palmyra-Med) ont tendance à minimiser les symptômes des femmes ou des minorités ethniques (cf. Financial Times 2025)
# Partie 1 : éléments contextuels | Les corpus

## BIAIS

<figure><img src="image_11.png" /><figcaption>English map</figcaption></figure>

<figure><img src="image_12.png" /><figcaption>French map</figcaption></figure>

<figure><img src="image_13.png" /><figcaption>Russian map</figcaption></figure>

<figure><img src="image_14.png" /><figcaption>Arabic map</figcaption></figure>

> « Mapping the answers to the prompt "Could you assign a positivity score to these words" for every country in the world, in 4 languages » (Boussidan et al., 2024)
Défis méthodologiques
# Défis méthodologiques

## Questions incontournables
# Partie 1 : éléments contextuels | Défis méthodologiques

## QUESTIONS INCONTOURNABLES

### La constitution d'un corpus peut être plus longue que son analyse

* Quels **genres de texte** doit-on inclure dans le corpus (scientifique, journalistique, conversationnel, littéraire, etc.) ? Comment gérer la **qualité linguistique** des données (erreurs, bruit, doublons, textes tronqués, OCR de mauvaise qualité) ?

* Quels sont **les droits et licences associés** aux données, et peut-on les utiliser légalement pour l'entraînement ou la recherche ?

* Sous quels **formats** les données sont-elles disponibles (texte brut, PDF, HTML, XML, JSON, etc.), et sont-ils adaptés au traitement automatique ?

* Quelle méthode de récupération des documents est employée (web scraping, API, dépôts institutionnels, partenariats, crowdsourcing), et quelles en sont les limites ?
# Partie 1 : éléments contextuels | Défis méthodologiques

## QUESTIONS INCONTOURNABLES

<table><thead><tr><td>Genre</td><td>Atouts</td><td>Risques et limites</td></tr></thead><tbody><tr><td>Juridique</td><td>Précision, structure, faible ambiguité</td><td>Faible variété, manque d'expression naturelle et d'exemples pratiques</td></tr><tr><td>Web</td><td>Grande diversité thématique, registres variés</td><td>Qualité inégale, bruit, duplication, informations erronées</td></tr><tr><td>Journalistique</td><td>Clarté, structuration éditoriale, capacité argumentative</td><td>Biais idéologique/politique, diversité de formats, subjectivité</td></tr><tr><td>Scientifique</td><td>Rigueur factuelle, données structurées, terminologie experte</td><td>Jargon/terminologie, spécialisation, généralisation limitée</td></tr><tr><td>Brevet</td><td>Descriptions techniques détaillées, structure normée</td><td>Complexité technique, difficulté d'interprétation</td></tr></tbody></table>

Influence du genre de texte sur la qualité du corpus (e.g. Labadie et Prince (2008) sur la segmentation)
# Partie 1 : éléments contextuels | Défis méthodologiques

## QUESTIONS INCONTOURNABLES

### Droits et licences associés aux données

* Textes littéraires : copyright souvent strict (ex. éditeurs modernes), Open Access rare (Project Gutenberg pour œuvres tombées dans le domaine public)

* Données du web : protégées par copyright, conditions d'utilisation souvent restrictives (sauf API ouvertes)

* Journaux quotidiens : protégés par copyright, reproduction interdite

* Publications scientifiques : copyright par l'éditeur, TDM possible pour la recherche (**directive UE 2019**; transposition de la directive européenne en droit français 2020/2021)
# Partie 1 : éléments contextuels | Défis méthodologiques

## QUESTIONS INCONTOURNABLES

### Formats

* **CSV** adapté à des contenus courts ou tabulaires mais ne gère pas la hiérarchie du texte et peut être limitant pour des documents complexes

* **PDF, DOCX** extractions sont souvent imparfaites : risques liés au formatage, aux éléments non textuels et à la segmentation non standardisée

* **TXT** universel et simple à manipuler mais sans structure balisée, perte des tableaux ou figures

* **XML/TEI** facilite l'extraction structurée mais nécessite souvent des parsers complexes, et la gestion de schémas différents selon les sources peut s'avérer fastidieuse

* **JSON** permet de structurer les textes et les métadonnées mais requiert un nettoyage intensif si la structure varie
# Partie 1 : éléments contextuels | Défis méthodologiques

## QUESTIONS INCONTOURNABLES

<table><thead><tr><td>Moyen</td><td>Description / Avantages</td><td>Limites</td><td>Exemple</td></tr></thead><tbody><tr><td>API</td><td>Accès structuré aux données, rapide et fiable</td><td>Limité en volume et quotas</td><td>HAL, arXiv API, Twitter API</td></tr><tr><td>Web scraping</td><td>Extraction flexible depuis des pages web</td><td>robots.txt bloquant, nettoyage nécessaire</td><td>Articles de presse, blogs, forums</td></tr><tr><td>Interface web</td><td>Téléchargement direct de lots de documents</td><td>Conversion parfois nécessaire (PDF → texte), métadonnées limitées</td><td>Project Gutenberg, PubMed Central</td></tr><tr><td>Crowdsourcing</td><td>Création de corpus via contributions humaines</td><td>Temps et coût humain, contrôle de qualité</td><td></td></tr></tbody></table>

Moyens techniques pour récupérer des données
# Défis méthodologiques

Istex dans le paysage des réservoirs
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

<figure><img src="image_15.png" /></figure>

Comparaison quantitative des réservoirs (les chiffres peuvent varier en fonction des mises à jour et des méthodologies de comptabilisation)
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

<table><thead><tr><td>Réservoirs</td><td>Origine des données</td><td>Fournisseurs</td></tr></thead><tbody><tr><td>Lens</td><td>Microsoft Academic, PubMed, Crossref, OpenAlex, Unpaywall, ORCID</td><td>Cambia</td></tr><tr><td>OpenAlex</td><td>Microsoft Academic, Crossref, PubMed, Unpaywall, DOAJ, ORCID, ROR, Internet archive, crawls web, arXiv, Zenodo</td><td>OurResearch</td></tr><tr><td>Dimensions</td><td>Crossref, PubMed, DataCite, arXiv + 130 éditeurs</td><td>Digital Science</td></tr><tr><td>Matilda</td><td>Crossref, PubMed Central, arXiv et RePEc, BASE + Unpaywall, ORCID</td><td>I3 & Huma-Num</td></tr><tr><td>Crossref</td><td>Crossref</td><td>Crossref</td></tr><tr><td>WOS</td><td>Revues sélectionnées</td><td>Clarivate</td></tr><tr><td>Scopus</td><td>Revues sélectionnées</td><td>Elsevier</td></tr><tr><td>Pubmed</td><td>Références sélectionnées (MEDLINE)</td><td>National Library of Medicine</td></tr><tr><td>PMC</td><td>Négociation, OA</td><td>National Library of Medicine</td></tr><tr><td>Istex</td><td>Négociations, Achats, Plan de soutien, GIS CollEX-Persée, OA</td><td>Istex</td></tr></tbody></table>

Origine des données (Bouchard, 2024, Gusenbauer, 2022)
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

<table><tr><td></td><td>Lens</td><td>OpenAlex</td><td>Dimensions</td><td>Matilda</td><td>Pubmed</td><td>PMC</td><td>Istex</td></tr><tr><td>Filtres</td><td>+</td><td>+</td><td>+</td><td>+/-</td><td>+</td><td>+</td><td>+</td></tr></table>

Propriétés des réservoirs : des usages différents
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

<table><thead><tr><th></th><th>Lens</th><th>OpenAlex</th><th>Dimensions</th><th>Matilda</th><th>Pubmed</th><th>PMC</th><th>Istex</th></tr></thead><tbody><tr><th>Filtres</th><td>+</td><td>+</td><td>+</td><td>+/-</td><td>+</td><td>+</td><td>+</td></tr><tr><th>Tris</th><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td></tr></tbody></table>

Propriétés des réservoirs : des usages différents
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

<table><thead><tr><th></th><th>Lens</th><th>OpenAlex</th><th>Dimensions</th><th>Matilda</th><th>Pubmed</th><th>PMC</th><th>Istex</th></tr></thead><tbody><tr><th>Filtres</th><td>+</td><td>+</td><td>+</td><td>+/-</td><td>+</td><td>+</td><td>+</td></tr><tr><th>Tris</th><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td></tr><tr><th>Enrichissements</th><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>++</td></tr></tbody></table>

Propriétés des réservoirs : des usages différents
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

<table><thead><tr><th></th><th>Lens</th><th>OpenAlex</th><th>Dimensions</th><th>Matilda</th><th>Pubmed</th><th>PMC</th><th>Istex</th></tr></thead><tbody><tr><th>Filtres</th><td>+</td><td>+</td><td>+</td><td>+/-</td><td>+</td><td>+</td><td>+</td></tr><tr><th>Tris</th><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td></tr><tr><th>Enrichissements</th><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>++</td></tr><tr><th>Recherche assistée</th><td>++</td><td>+/-</td><td>-</td><td>-</td><td>+</td><td>+</td><td>++</td></tr></tbody></table>

Propriétés des réservoirs : des usages différents
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

<table><thead><tr><th></th><th>Lens</th><th>OpenAlex</th><th>Dimensions</th><th>Matilda</th><th>Pubmed</th><th>PMC</th><th>Istex</th></tr></thead><tbody><tr><td>Filtres</td><td>+</td><td>+</td><td>+</td><td>+/-</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Tris</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Enrichissements</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>++</td></tr><tr><td>Recherche assistée</td><td>++</td><td>+/-</td><td>-</td><td>-</td><td>+</td><td>+</td><td>++</td></tr><tr><td>Formats biblio. (e.g. BIB, MODS)</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td></tr></tbody></table>

Propriétés des réservoirs : des usages différents
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

<table><thead><tr><th></th><th>Lens</th><th>OpenAlex</th><th>Dimensions</th><th>Matilda</th><th>Pubmed</th><th>PMC</th><th>Istex</th></tr></thead><tbody><tr><td>Filtres</td><td>+</td><td>+</td><td>+</td><td>+/-</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Tris</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Enrichissements</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>++</td></tr><tr><td>Recherche assistée</td><td>++</td><td>+/-</td><td>-</td><td>-</td><td>+</td><td>+</td><td>++</td></tr><tr><td>Formats biblio. (e.g. BIB, MODS)</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Indicateurs biblio.</td><td>+</td><td>+</td><td>+</td><td>+</td><td>-</td><td>-</td><td>-</td></tr></tbody></table>

Propriétés des réservoirs : des usages différents
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

<table><thead><tr><th></th><th>Lens</th><th>OpenAlex</th><th>Dimensions</th><th>Matilda</th><th>Pubmed</th><th>PMC</th><th>Istex</th></tr></thead><tbody><tr><td>Filtres</td><td>+</td><td>+</td><td>+</td><td>+/-</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Tris</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Enrichissements</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>++</td></tr><tr><td>Recherche assistée</td><td>++</td><td>+/-</td><td>-</td><td>-</td><td>+</td><td>+</td><td>++</td></tr><tr><td>Formats biblio. (e.g. BIB, MODS)</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Indicateurs biblio.</td><td>+</td><td>+</td><td>+</td><td>+</td><td>-</td><td>-</td><td>-</td></tr><tr><td>Indicateurs TDM</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>+</td></tr></tbody></table>

Propriétés des réservoirs : des usages différents
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

<table><thead><tr><th></th><th>Lens</th><th>OpenAlex</th><th>Dimensions</th><th>Matilda</th><th>Pubmed</th><th>PMC</th><th>Istex</th></tr></thead><tbody><tr><td>Filtres</td><td>+</td><td>+</td><td>+</td><td>+/-</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Tris</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Enrichissements</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>++</td></tr><tr><td>Recherche assistée</td><td>++</td><td>+/-</td><td>-</td><td>-</td><td>+</td><td>+</td><td>++</td></tr><tr><td>Formats biblio. (e.g. BIB, MODS)</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Indicateurs biblio.</td><td>+</td><td>+</td><td>+</td><td>+</td><td>-</td><td>-</td><td>-</td></tr><tr><td>Indicateurs TDM</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>+</td></tr><tr><td>Texte intégral</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>+</td><td>+</td></tr></tbody></table>

Propriétés des réservoirs : des usages différents
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

<table><thead><tr><th></th><th>Lens</th><th>OpenAlex</th><th>Dimensions</th><th>Matilda</th><th>Pubmed</th><th>PMC</th><th>Istex</th></tr></thead><tbody><tr><td>Filtres</td><td>+</td><td>+</td><td>+</td><td>+/-</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Tris</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Enrichissements</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>++</td></tr><tr><td>Recherche assistée</td><td>++</td><td>+/-</td><td>-</td><td>-</td><td>+</td><td>+</td><td>++</td></tr><tr><td>Formats biblio. (e.g. BIB, MODS)</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Indicateurs biblio.</td><td>+</td><td>+</td><td>+</td><td>+</td><td>-</td><td>-</td><td>-</td></tr><tr><td>Indicateurs TDM</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>+</td></tr><tr><td>Texte intégral</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>+</td><td>+</td></tr><tr><td>Formats TDM standardisés (e.g. TEI)</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>+</td></tr></tbody></table>

Propriétés des réservoirs : des usages différents
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

<table><thead><tr><th></th><th>Lens</th><th>OpenAlex</th><th>Dimensions</th><th>Matilda</th><th>Pubmed</th><th>PMC</th><th>Istex</th></tr></thead><tbody><tr><td>Filtres</td><td>+</td><td>+</td><td>+</td><td>+/-</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Tris</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Enrichissements</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>++</td></tr><tr><td>Recherche assistée</td><td>++</td><td>+/-</td><td>-</td><td>-</td><td>+</td><td>+</td><td>++</td></tr><tr><td>Formats biblio. (e.g. BIB, MODS)</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td><td>+</td></tr><tr><td>Indicateurs biblio.</td><td>+</td><td>+</td><td>+</td><td>+</td><td>-</td><td>-</td><td>-</td></tr><tr><td>Indicateurs TDM</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>+</td></tr><tr><td>Texte intégral</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>+</td><td>+</td></tr><tr><td>Formats TDM standardisés (e.g. TEI)</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>+</td></tr><tr><td>Passerelles</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>+</td></tr></tbody></table>

Propriétés des réservoirs : des usages différents
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

### Istex : infrastructure dédiée à la constitution et à l'analyse de corpus

⊕ Des données vérifiées accessibles un seul lieu pour de nombreuses sources
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

### Istex : infrastructure dédiée à la constitution et à l'analyse de corpus

* Des données vérifiées accessibles un seul lieu pour de nombreuses sources

* Des données interopérables, des formats homogénéisés et des données corrigées (moins de prétraitements)
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

### Istex : infrastructure dédiée à la constitution et à l'analyse de corpus

* Des données vérifiées accessibles un seul lieu pour de nombreuses sources

* Des données interopérables, des formats homogénéisés et des données corrigées (moins de prétraitements)

* Des données enrichies (réocérisation, structuration de texte, métadonnées) : des documents retrouvés et analysés plus facilement
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

### Istex : infrastructure dédiée à la constitution et à l'analyse de corpus

* Des données vérifiées accessibles un seul lieu pour de nombreuses sources

* Des données interopérables, des formats homogénéisés et des données corrigées (moins de prétraitements)

* Des données enrichies (réocérisation, structuration de texte, métadonnées) : des documents retrouvés et analysés plus facilement

* Des millions de textes et de métadonnées téléchargeables facilement
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

### Istex : infrastructure dédiée à la constitution et à l'analyse de corpus

* Des données vérifiées accessibles un seul lieu pour de nombreuses sources

* Des données interopérables, des formats homogénéisés et des données corrigées (moins de prétraitements)

* Des données enrichies (réocérisation, structuration de texte, métadonnées) : des documents retrouvés et analysés plus facilement

* Des millions de textes et de métadonnées téléchargeables facilement

* Des connexions vers des outils / plateformes du monde académique
# Partie 1 : éléments contextuels | Défis méthodologiques

## ISTEX DANS LE PAYSAGE DES RÉSERVOIRS

### Istex : infrastructure dédiée à la constitution et à l'analyse de corpus

* Des données vérifiées accessibles un seul lieu pour de nombreuses sources

* Des données interopérables, des formats homogénéisés et des données corrigées (moins de prétraitements)

* Des données enrichies (réocérisation, structuration de texte, métadonnées) : des documents retrouvés et analysés plus facilement

* Des millions de textes et de métadonnées téléchargeables facilement

* Des connexions vers des outils / plateformes du monde académique

* Un cadre juridique sécurisé par une licence appropriée et déjà négociée
Istex
# Istex

## Qu'est-ce qu'Istex?
# Partie 1 : éléments contextuels | Istex

## QU'EST-CE QU'ISTEX?

Istex est une infrastructure dédiée à la **constitution et à l'analyse de corpus** (ou fouille de textes, TDM) qui donne accès :

* à des ressources textuelles et lexicales enrichies (publications et terminologies)

* à des outils pour sélectionner et analyser ces ressources
# Partie 1 : éléments contextuels | Istex

## QU'EST-CE QU'ISTEX?

Annoter, enrichir et analyser

Se documenter

30M de publications

Recherche et téléchargement facilités

API

Istex Search

Istex Loterre

73 terminologies

Istex TDM

44 web services de TDM

Istex

Réservoir de publications
multilingues et multidisciplinaires

Publication des résultats

Lodex

## Constituer un corpus

39 corpus prêts à l'emploi

Corpus Istex

Data Istex

Réferentiels, catalogue

## Visualiser

Datalake
# Istex

Pour quels usages ?
# Partie 1 : éléments contextuels | Istex

## POUR QUELS USAGES ?

### Une ressource documentaire

* Trouver des articles scientifiques

* Alimenter des bases documentaires, des agrégateurs (Google Scholar, Click & Read, ENT)

### Un matériau de recherche

* Constituer des corpus

* Faire de la fouille de textes ou du TDM, du TAL (entraîner des LLM, faire de la RI, etc. e.g. Bénard *et al.*, 2023)

Projet ANR MaTOS
# Istex

## Chaîne de traitements
# Partie 1 : éléments contextuels | Istex

## CHAÎNE DE TRAITEMENTS

<figure><img src="image_16.png" /></figure>
# Partie 1 : éléments contextuels | Istex

## CHAÎNE DE TRAITEMENTS

<figure><img src="image_17.png" /></figure>
# Partie 1 : éléments contextuels | Istex

## CHAÎNE DE TRAITEMENTS

<figure><img src="image_18.png" /></figure>
# Partie 1 : éléments contextuels | Istex

## CHAÎNE DE TRAITEMENTS

<figure><img src="image_19.png" /></figure>
# Partie 1 : éléments contextuels | Istex

## CHAÎNE DE TRAITEMENTS

<figure><img src="image_20.png" /></figure>
# PARTIE 2 : CONSTITUTION D'UN CORPUS SPÉCIALISÉ
# Présentation du cas d'usage
# Partie 2 : constitution d'un corpus spécialise | Présentation du cas d'usage

**Objectif** Cette recherche en sociologie de l'alimentation vise à comprendre comment les motivations des personnes véganes et végétariennes évoluent au fil du temps (justifications éthiques, sanitaires ou écologiques). L'étude s'intéresse spécifiquement à la manière dont ces transformations sont traitées dans la littérature scientifique internationale.

**Moyen** Afin d'explorer ces évolutions, un corpus de publications académiques internationales sera constitué et analysé.
## Partie 2 : constitution d'un corpus spécialise | Présentation du cas d'usage
### MÉTHODOLOGIE

<figure><img src="image_21.png" /></figure>

**Requêtage** et première exploration des résultats dans Istex Search

<figure><img src="image_22.png" /></figure>

**Téléchargement** du corpus au format approprié

<figure><img src="image_23.png" /></figure>

**Visualisation et exploration** des résultats dans Lodex

<figure><img src="image_24.png" /></figure>

**Affinage** du corpus

<figure><img src="image_25.png" /></figure>

**Premières annotations :** extractions des EN

<figure><img src="image_26.png" /></figure>

Sélection des documents

Exploration, visualisation & affinage

Annotations
Sélection des documents
# Sélection des documents

## Présentation d'Istex Search
# Partie 2 : constitution d'un corpus spécialisé | Sélection des documents

## PRÉSENTATION D'ISTEX SEARCH

### Application en ligne qui permet :

* D'interroger l'API grâce à trois modes de requêtage

* De consulter un document dans une notice détaillée

* De naviguer dans les résultats avec différents modes de tri et différents filtres

* De vérifier la compatibilité TDM grâce à des indicateurs techniques

* De sélectionner / exclure des documents pour éliminer simplement le bruit

* De télécharger massivement des documents au format approprié

https://search.istex.fr
# Sélection des documents

## Requêtage
# Partie 2 : constitution d'un corpus spécialisé | Sélection des documents

## REQUÊTAGE

Q

Requêtage et première exploration
des résultats dans Istex Search
# Partie 2 : constitution d'un corpus spécialisé | Sélection des documents
## REQUÊTAGE

### Requête 1

* végan
* vegan
* véganisme
* veganism
* végétarien
* vegetarian
* végétarisme
* vegetarism
* végétalien
* vegetarian
* végétalisme
* vegetalism
* végétarianisme
* vegetarianism

**Description** Liste de mots-clés anglais et français, coordonnés par l'opérateur booléen OR (= ou inclusif), insensibilité à la casse mais sensibilité aux diacritiques (chat = CHAT; éclair ≠ eclair)

**Résultats** 41 739 documents

**Problèmes** Il y a du silence; Variantes morphosyntaxiques ou dérivationnelles non recherchées (tokenisation lacto-végétarien mais absence de lemmatisation)
## Partie 2 : constitution d'un corpus spécialisé | Sélection des documents
### REQUÊTAGE

#### Requête 2

végan* vegan* végétar* vegetar* végétalien*
vegetalian* végétalisme* vegetalism*

**Description** Recherche des formes
morphologiquement apparentées
grâce à la troncature symbolisée
par *

**Résultats** 53 594 documents

**Problèmes** Il y a du bruit (documents récents)
# Partie 2 : constitution d'un corpus spécialisé | Sélection des documents
## REQUÊTAGE

Original Article

### Effect of slope on the forest structure of the Atlantic Forest domain in southern Brazil

Efeito da inclinação na estrutura de uma floresta do domínio Mata Atlântica no sítio Brasil

D. C. Souzaª, L. R. Souzaᵇ, E. V. Coutoᶜ, M. G. Caxambúᵈ and A. P. Peronᵉ

### Effet de la pente sur la structure d'une forêt brésilienne

<footnote>ªUniversidade Tecnológica Federal do Paraná – UTFPR, Departamento de Biodiversidade e Comunicação da Natureza – DABIC, PR, Brasil</footnote>

<footnote>ᵇUniversidade Tecnológica Federal do Paraná – UTFPR, Curso de Engenharia Ambiental, Campo Mourão, PR, Brasil</footnote>

<footnote>ᶜUniversidade Tecnológica Federal do Paraná – UTFPR, Programa de Pós-graduação em Inovações Tecnológicas – PPGIT, Campo B</footnote>
# Partie 2 : constitution d'un corpus spécialisé | Sélection des documents
## REQUÊTAGE

### Original Article

## Effect of slope on the forest structure of the Atlantic Forest domain in southern Brazil

Efeito da inclinação na estrutura de uma floresta do dominio Mata Atlântica no st Brasil

D. C. Souzaª, ●, L. R. Souzaª, ●, E. V. Coutoª, ●, M. G. Caxambúª, ● and A. P. Peronª, ●

## Effet de la pente sur la structure d'une forêt brésilienne

the temporary crop begins, being these collections every 20 meters along the slope. In these samples, macro- and micro-nutrients were analyzed.

The physical analysis of the remaining soil was carried out through three trenches called T1, T2 and T3: T1 located at high slope, and T2 and T3 at medium slope. Soil particle size analyses were made for each trench, for soil classification according to the Brazilian Soil Classification System (Embrapa, 2006). In the trenches, color and horizon were determined in situ. As for the color, the Munsell Color Chart was used as a reference (USDA, 1988). The slope of the area was determined along a transect that covered all the plots, using GNS spectra premark 220, accurate to 0.06m. The same equipment was used to fix the four vertices of the plots, so in future studies the same plots can be used.

### 2.3. Phytosociology

The forest structure was sampled in 12 continuous rectangular plots, with 30 X 20 m, totaling 0.72 ha. The

### 2.4. Data analysis

Species were analyzed for clusters according to their distribution in the area by means of a Detrended Correspondence Analysis (DCA). These distribution data were used together with soil chemical properties to set some pattern between the plots. These were analyzed by Canonical Correspondence Analysis (CCA), which allows associating species distribution with abiotic variables. Pedological variables with the greatest pressure on phytosociological characteristics were tested for patterns in the environmental gradient by Regression Analysis to identify the influence of the variable and creating prediction models. All analyses were run in the R program. To test normality and perform regression analysis, the Shapiro, test function and the Im function of the R base were used (R Core Team, 2020). For multivariate analysis, the decorana and cca functions of the *vegan* package were used (Oksanen et al., 2020).

### 3. Results and Discussion

## Vegan est le nom d'un package R cité dans le corps du texte

<footnote>ªUniversidade Tecnológica Federal do Paraná – UTFPR, Departamento de Biodiversidade e Conservação da Natureza – DABIC, PR, Brasil</footnote>

<footnote>ªUniversidade Tecnológica Federal do Paraná – UTFPR, Curso de Engenharia Ambiental, Campo Mourão, PR, Brasil</footnote>

<footnote>ªUniversidade Tecnológica Federal do Paraná – UTFPR, Programa de Pós-graduação em Inovações Tecnológicas – PPGIT, Campo B</footnote>
Research paper

Preventing intense false positive and negative reactions attributed to the principle of ELISA to re-investigate antibody studies in autoimmune diseases

Kuniaki Terato a,*, Christopher T. Do a, Dawn Cutler a, Takaki Waritani a, Hiroshi

Publication sur les maladies auto-immunes

<footnote>a Chondrex Inc., 2607 151st Place NE, Redmond, WA 98052, United States</footnote>
# Partie 2 : constitution d'un corpus spécialisé | Sélection des documents
## REQUÊTAGE

Research paper

Preventing intense false positive and negative re-
attributed to the principle of ELISA to re-investig-
studies in autoimmune diseases

Kuniaki Terato a,*, Christopher T. Do a, Dawn Cutler a, Takaki W

Publication sur les maladies auto-immunes

Terme présent dans les références bibliographiques

<footnote>ª Chondrex Inc., 2607 151st Place NE, Redmond, WA 98052, United States</footnote>

<footnote>Kijima, Y., Iwatsuki, S., Akamatsu, H., Terato, K., Kuwabara, Y., Ueda, S., Shionoya, H., 2009. Natural antibodies to pathogenic bacteria and their toxins in whey protein concentrate. Food Sci. Technol. Res. 56, 475.</footnote>

<footnote>Kjeldsen-Kragh, J., 1999. Rheumatoid arthritis treated with vegetarian diets. Am. J. Clin. Nutr. 70, 594S.</footnote>

<footnote>Komiya, I., Arimura, Y., Nakabayashi, K., Yamada, A., Osaki, T., Yamaguchi, H., Kamiya, S., 2011. Increased concentrations of antibody against heat shock protein in patients with myeloperoxidase anti-neutrophil cytoplasmic autoantibody positive microscopic polyangiitis. Microbiol. Immunol. 55, 531.</footnote>

<footnote>Ligier, S., Fortin, P., Newkirk, M., 1998. A new antibody in rheumatoid arthritis targeting glycated IgG: IgM anti-IgG-AGE. Br. J. Rheumatol. 37, 1307.</footnote>

<footnote>Lucke, K., Miehlke, S., Jacobs, E., Schuppler, M., 2006. Prevalence of Bacteroides and Prevotella spp. in ulcerative colitis. J. Med. Microbiol. 55, 617.</footnote>

<footnote>Maes, M., Twisk, F., Kubera, M., Ringel, K., Leunis, J., Geffard, M., 2011. Increased IgA responses to the LPS of commensal bacteria is associated with inflammation and activation of cell-mediated immunity in chronic fatigue syndrome. J. Affect. Disord. 136, 909.</footnote>
# Partie 2 : constitution d'un corpus spécialisé | Sélection des documents
## REQUÊTAGE

### Requête 3

```
title: (végan* vegan* végétar* vegetar*
végétalien* vegetalian* végétalisme*
vegetalism*) abstract: (végan* vegan*
végétar* vegetar* végétalien*
vegetalian* végétalisme* vegetalism*)
subject.value: (végan* vegan* végétar*
vegetar* végétalien* vegetalian*
végétalisme* vegetalism*)
keywords. teeft: (végan* vegan*
végétar* vegetar* végétalien*
vegetalian* végétalisme* vegetalism*)
```

**Description** Cibler les champs les plus à même de renvoyer des documents pertinents : title, abstract, subject.value, keywords.teeft

**Résultats** 8 143 documents

**Problèmes** Il y a du bruit (documents anciens)
An epystell of ye famous doctor Erasmus of Rotterdam : vnto the
reuerende father & excellent prince, Christofer bysshop of Basyle,
co[n]cernyng the forbedyng of eatynge of flessh, and lyke
constituyons of men. &c

An epystell of ye famous doctor Erasmus of Rotterdam : vnto the reuerende father & excellent prince, Christofer bysshop of Basyle, co[n]cernyng the forbedyng of eatynge of flessh, and lyke constituyons of men. &c

Erasmus, Desiderius d. 1536

Pas de résumé

<figure><img src="image_27.png" /></figure>

REVENIR AUX RÉSULTATS

<figure><img src="image_28.png" /></figure>

PARTAGER LE DOCUMENT

Informations sur ce document

Database Other Index 1534

ark:/737/5%24-F088UQL:2

Consulter ce document

Texta integrá

<figure><img src="image_29.png" /></figure>

<figure><img src="image_30.png" /></figure>

<figure><img src="image_31.png" /></figure>

Médiafonctionnelles

<figure><img src="image_32.png" /></figure>

<figure><img src="image_33.png" /></figure>

<figure><img src="image_34.png" /></figure>

<figure><img src="image_35.png" /></figure>

<figure><img src="image_36.png" /></figure>

SELECTIONNER

<figure><img src="image_37.png" /></figure>

EXCLURE

Publication de 1534
# Partie 2 : constitution d'un corpus spécialisé | Sélection des documents

## REQUÊTAGE

An epistell of ye famous doctor Erasmus of Rotterdam : vnto the
reuerende father & excellent prince, Christofer bysshop of Basyle,
co[n]cernyng the forbedyngne of eatynge of flessh, and lyke
constituytions of men. &c

An epistell of ye famous doctor Erasmus of Rotterdam : vnto the reuerende father & excellent prince, Christofer bysshop of Basyle, co[n]cernyng the forbedyngne of eatynge of flessh, and lyke constituytions of men. &c

Erasmus, Desiderius d. 1536

Pas de résumé

X REVENIR AUX RÉSULTATS

<figure><img src="image_38.png" /></figure>

PARTAGER LE DOCUMENT

<figure><img src="image_39.png" /></figure>

Publication de 1534

<figure><img src="image_40.png" /></figure>

<figure><img src="image_41.png" /></figure>

Document sans résumé, non océrisé
# Partie 2 : constitution d'un corpus spécialisé | Sélection des documents

## REQUÊTAGE

Langue de publication

<figure><img src="image_42.png" /></figure>

- anglais : 7991 doc. (98,1 %)

- allemand : 63 doc. (0,8 %)

- français : 49 doc. (0,6 %)

- autres : 40 doc. (0,5 %)

Indicateur des langues de publication
Langue de publication

<figure><img src="image_43.png" /></figure>

<figure><img src="image_44.png" /></figure>

anglais : 7991 doc. (98,1%)

<figure><img src="image_45.png" /></figure>

allemand : 63 doc. (0,8%)

<figure><img src="image_46.png" /></figure>

français : 49 doc. (0,6%)

<figure><img src="image_47.png" /></figure>

autres : 40 doc. (0,5%)

Indicateur des langues de publication

В аналите короткого рассказа Евгения Попова 'Как съели пепута' мы могли бы прибегнуть к интересному положению Клада Леви-Строца, согласно которому кухня любого общества преследует собой особый язык, на котором оно бессознательно расрaskивает свою структуру (Lévi-Strauss 1983: 373). Дело в том, что, по утверждению французского учебного, кулинарные премиё, как и язык, можно анализировать в контститутивных элементах, так называемых системах, организованных по определенным структурям оппозиции и корреляции. Так, например, английскую кухню можно отличать от французской посредством трех оппозиций:

эиздосное/эиздосное (то есть национальное или заграничное сырье); централизованное/нецентрализованное (тो есть вкусное или безвкусное) [...] Другими словами, в аштильской кухне на основные, безвкусно приготовляемые балоад, идти отечественные продукты; а на централизованые — ампирная продукция, в которой все дифференциализированные качества вкоь выражены (чай, фруктовый пирог, апельсинальный мармелад, портвейн). И наоборот, во французской кухне оппозиции эиздосное/эиздосное значительно ослаблены или отсутствуют, а одинаково выдаренные густыми сочетаются друг с другом, как в центральной, так и в перш...

Document russe
## Partie 2 : constitution d'un corpus spécialisé | Sélection des documents
### REQUÊTAGE

#### Requête 4

(title:(végan* vegan* végétar* vegetar*
végétalien* vegetalian* végétalisme*
vegetalism*) abstract:(végan* vegan*
végétar* vegetar* végétalien*
vegetalian* végétalisme* vegetalism*)
subject.value:(végan* vegan* végétar*
vegetar* végétalien* vegetalian*
végétalisme* vegetalism*)
keywords.teeft:(végan* vegan*
végétar* vegetar* végétalien*
vegetalian* végétalisme* vegetalism*))
AND publicationDate:[1950 TO 2025]
AND abstract:* AND language:(eng fre)

**Description** Contraindre la présence d'un résumé, contraindre les langues, cibler les dates de publications grâce à l'intervalle [1950 TO *] le tout grâce au parenthésage et à l'opérateur AND

**Résultats** 4 018 documents
## Partie 2 : constitution d'un corpus spécialisé | Sélection des documents
### TÉLÉCHARGEMENT

Q

Requêtage et première exploration
des résultats dans Istex Search

<figure><img src="image_48.png" /></figure>

Téléchargement du corpus au format approprié
<figure><img src="image_49.png" /></figure>

Modale de téléchargement des données dans Istex Search
Exploration, visualisation & affinage
# Exploration, visualisation & affinage

## Présentation de Lodex
## Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage

### PRÉSENTATION DE LODEX

<figure><img src="image_50.png" /></figure>

Requêtage et première exploration
des résultats dans Istex Search

<figure><img src="image_51.png" /></figure>

Téléchargement du cor-
pus au format approprié

<figure><img src="image_52.png" /></figure>

Visualisation et exploration
des résultats dans Lodex
# « Linked Open Data Experiment »

Application web open-source dédiée à la **visualisation** de données structurées
(Gregorio et al., 2019)

https://www.lodex.fr
# Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage

## PRÉSENTATION DE LODEX

<figure><img src="image_53.png" /></figure>

**Transformer ses données en site web** À partir de différents formats (CSV, JSON, TXT,...)
# Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage

## PRÉSENTATION DE LODEX

<figure><img src="image_54.png" /></figure>

**Transformer ses données en site web** À partir de différents formats (CSV, JSON, TXT,...)

<figure><img src="image_55.png" /></figure>

**Explorer ses données** À l'aide de différents graphiques, filtres et au travers de données complémentaires
# Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage
## PRÉSENTATION DE LODEX

<figure><img src="image_56.png" /></figure>

**Transformer ses données en site web** À partir de différents formats (CSV, JSON, TXT,...)

<figure><img src="image_57.png" /></figure>

**Explorer ses données** À l'aide de différents graphiques, filtres et au travers de données complémentaires

<figure><img src="image_58.png" /></figure>

**Enrichir ses données** Grâce à un catalogue de web services
# Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage

## PRÉSENTATION DE LODEX

<figure><img src="image_59.png" /></figure>

**Transformer ses données en site web** À partir de différents formats (CSV, JSON, TXT,...)

<figure><img src="image_60.png" /></figure>

**Explorer ses données** À l'aide de différents graphiques, filtres et au travers de données complémentaires

<figure><img src="image_61.png" /></figure>

**Enrichir ses données** Grâce à un catalogue de web services

<figure><img src="image_62.png" /></figure>

**Aligner ses données** Avec des données similaires ou connexes (requête SPARQL)
# Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage

## PRÉSENTATION DE LODEX

<figure><img src="image_63.png" /></figure>

**Transformer ses données en site web** À partir de différents formats (CSV, JSON, TXT,...)

<figure><img src="image_64.png" /></figure>

**Explorer ses données** À l'aide de différents graphiques, filtres et au travers de données complémentaires

<figure><img src="image_65.png" /></figure>

**Enrichir ses données** Grâce à un catalogue de web services

<figure><img src="image_66.png" /></figure>

**Aligner ses données** Avec des données similaires ou connexes (requête SPARQL)

<figure><img src="image_67.png" /></figure>

**Exporter ses données** Totalement ou partiellement (JSONL, CSV...)
# Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage

## PRÉSENTATION DE LODEX

<figure><img src="image_68.png" /></figure>

**Transformer ses données en site web** À partir de différents formats (CSV, JSON, TXT,...)

<figure><img src="image_69.png" /></figure>

**Explorer ses données** À l'aide de différents graphiques, filtres et au travers de données complémentaires

<figure><img src="image_70.png" /></figure>

**Enrichir ses données** Grâce à un catalogue de web services

<figure><img src="image_71.png" /></figure>

**Aligner ses données** Avec des données similaires ou connexes (requête SPARQL)

<figure><img src="image_72.png" /></figure>

**Exporter ses données** Totalement ou partiellement (JSONL, CSV...)

Exemple
# Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage

## PRÉSENTATION DE LODEX

<figure><img src="image_73.png" /></figure>

Interface d'import des données dans Lodex
# Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage
## PRÉSENTATION DE LODEX

<figure><img src="image_74.png" /></figure>

Transformation des données par le loader
## Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage

### PRÉSENTATION DE LODEX

<figure><img src="image_75.png" /></figure>

Import du modèle
# Exploration, visualisation & affinage

## Exploration
## Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage
### EXPLORATION

→ ACCESS LEXIBUS

ETLIMC

LOTTERIE

ISTEX SEARCH

DOC LODEX

ISTEX TM

ISTEX École Thématique interdisciplinaire

Modèles de langue pour le traitement sémantique et l'intégration de connaissances et données en agriculture, alimentation et environnement.

# Corpus Véganisme et Végétarisme

## Description du corpus

Le présent travail s'appuie sur le corpus « Véganisme et végétarisme ». Conçu comme resource documentaire destinée à l'analyse des transformations sociales et culturelles liées aux réflexes alimentaires alternatifs. Ce corpus s'inscrit dans une perspective de sociologie de l'alimentation, en mettant enface sur l'évolution des représentations, des pratiques et des aspirations associées au véganisme et au végétarisme.

Constitué à partir des publications indexées dans la base **ISTex Search**, il bénéfice d'un enrichissement automatisé grâce à plusieurs services de text and data mining (TDM), notamment :

* **Teeft**, qui assure l'extraction de mots-clés et facilite l'identification des thématiques dominantes;

* **entityTag**, qui procède à la reconnaissance des entités nommées (individus, lieux, organismes).

Ce dispositif permet non seulement de cartographier la production scientifique consacrée à ces pratiques alimentaires, mais également d'envisager une analyse diachronique des discours académiques et de leurs évolutions. L'objectif est ainsi de fournir un matériau robuste et interdisciplinaire, apte à nourrir une réflexion sur les dynamiques sociales, culturelles et politiques qui traversent les débats contemporains autour du véganisme et du végétarisme.

CONSULTER LA REQUÊTE INITIALE
## Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage
### EXPLORATION

<figure><img src="image_76.png" /><figcaption>Années de publication</figcaption></figure>
## Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage
### EXPLORATION

<figure><img src="image_77.png" /><figcaption>Mots-clés d'auteurs</figcaption></figure>

<figure><img src="image_78.png" /><figcaption>Catégories WoS</figcaption></figure>
## Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage
### EXPLORATION

<figure><img src="image_79.png" /></figure>

Revues du corpus
## Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage
### EXPLORATION

<figure><img src="image_80.png" /><figcaption>Revues du corpus</figcaption></figure>

<figure><img src="image_81.png" /><figcaption>Revues hispanophones (gestion du multilinguisme)</figcaption></figure>
### Artículo Original / Original Artikel e

Estado nutricional, hábitos de alimentación y de estilo de vida en vegetarianos de Asunción y Gran Asunción, Paraguay

Nutritional status, eating habits and lifestyle factors among vegetarians from Asunción and Great Asunción, Paraguay

### RESUMEN

Una dieta vegetariana se define por la exclusión total o parcial de alimentos de origen animal. Cuando es planificada adecuadamente (nuestro案 prevent y tratar enfermedades. Sin embargo, una dieta strictiva en ciertos alimentos debe ser evaluada. El propósito de esta investigación fue describir parámetros antropométricos, hábitos de alimentación y de estilo de vida en ovo-lacto-vegetarianos y veganos y explorar diferencias en la ingesta de nutrientes críticos entre ambos grupos. Estudio descriptivo de corte transversal, realizado en ovo-lacto-vegetarianos y veganos de Asunción, Paraguay,

Melissa Penner Teichpäff, Natalia Elizabeth Cazalés Cañete<fnref n="1" />

Exemple d'article issu de la revue *Revista chilena de nutrición*

<footnote n="1">1. Canario de Nutrición, Facultad de Ciencias Médicas, Universidad del Pacífico, Asunción, Paraguay.</footnote>
## Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage
### AFFINAGE

Q

Requête et première exploration
des résultats dans Istex Search

<figure><img src="image_82.png" /></figure>

Téléchargement du corpus au format approprié

<figure><img src="image_83.png" /></figure>

Visualisation et exploration
des résultats dans Lodex

<figure><img src="image_84.png" /></figure>

Affinage du corpus
## Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage
### AFFINAGE

<figure><img src="image_85.png" /></figure>

Langues : français (42), anglais (3 976)
## Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage
### AFFINAGE

<figure><img src="image_86.png" /></figure>

Langues : français (42), anglais (3 976)

<figure><img src="image_87.png" /></figure>

Langues issues du WS (8 langues; 3 955 en/4 018)
## Partie 2 : constitution d'un corpus spécialisé | Exploration, visualisation & affinage
### AFFINAGE

<figure><img src="image_88.png" /></figure>

Suppression des documents dans le dataset
Premières annotations : extractions d'EN
## Partie 2 : constitution d'un corpus spécialisé | Premières annotations :
extractions d'entités nommées

### PRÉSENTATION D'ISTEX TDM

Q

Requêtage et première exploration
des résultats dans Istex Search

<figure><img src="image_89.png" /></figure>

Téléchargement du cor-
pus au format approprié

<figure><img src="image_90.png" /></figure>

Visualisation et exploration
des résultats dans Lodex

<figure><img src="image_91.png" /></figure>

Révision de la re-
quête dans Istex Search

<figure><img src="image_92.png" /></figure>

Premières annota-
tions : extraction des EN
# Premières annotations : extractions d'EN

## Présentation d'Istex TDM
## Partie 2 : constitution d'un corpus spécialisé | Premières annotations : extractions d'entités nommées

### Les services de fouille de textes

* Istex met a disposition 44 web services dans Istex TDM (Cuxac, 2024)

* Prétraitement (textExtract)

* Classification (aiAbstractCheck)

* Validation (bibCheck)

* Extraction (diseaseTag)

* Alignement (loterre-resolvers)

* Un web service est un programme mono-tâche, frugal avec un paramétrage minimal

* Les web services peuvent être utilisés dans Lodex, via TDM Factory, ou en ligne de commande
# Premières annotations : extractions d'EN

## Extraction d'information
# Partie 2 : constitution d'un corpus spécialisé | Premières annotations :
extractions d'entités nommées

## EXTRACTION D'INFORMATION

<figure><img src="image_93.png" /></figure>

Istex contient des annotations mais elles sont parfois incomplètes (Unitex)
## Partie 2 : constitution d'un corpus spécialisé | Premières annotations :
extractions d'entités nommées

### EXTRACTION D'INFORMATION

<figure><img src="image_94.png" /></figure>

Extraction des entités nommées de lieux, organismes et personnes grâce au web service multilingue *entitytag*
## Partie 2 : constitution d'un corpus spécialisé | Premières annotations :
extractions d'entités nommées

### EXTRACTION D'INFORMATION

Colonne EN extraction pour la ligne ark:/67375/G14-FS05MDP9-V

<figure><img src="image_95.png" /></figure>

Résultats de la détection des entités nommées
# Partie 2 : constitution d'un corpus spécialisé | Premières annotations :
extractions d'entités nommées

## EXTRACTION D'INFORMATION

Grand-Duché de Luxembourg

<figure><img src="image_96.png" /></figure>

id: grandduchedeluxembourg

cartographyCode: LUX

about: http://data.loterre.fr/ark:/67375/9SD-HXXBRCFQ-F

prefLabel@fr: Luxembourg

prefLabel@en: Luxembourg

wikidataURI: https://www.wikidata.org/wiki/Q1842

geonameURI: https://www.geonames.org/2960313

countryCode: LU

latitude: 49.765705074151

longitude: 5.965223432344

localization@en: Western Europe

localization@fr: Europe occidentale

## Traitement des entités nommées de lieux : utilisation du web service Pays et subdivision
## Partie 2 : constitution d'un corpus spécialisé | Premières annotations :
extractions d'entités nommées

### EXTRACTION D'INFORMATION

Colonne Loterre pour la ligne ark:/67375/G14-FS05MDP9
V

<figure><img src="image_97.png" /></figure>

Résultats de l'alignement avec Loterre
## Partie 2 : constitution d'un corpus spécialisé | Premières annotations :
extractions d'entités nommées

### EXTRACTION D'INFORMATION

<figure><img src="image_98.png" /></figure>
## Partie 2 : constitution d'un corpus spécialisé | Premières annotations :
extractions d'entités nommées

### EXTRACTION D'INFORMATION

Cartographie des lieux cités

<figure><img src="image_99.png" /></figure>

<figure><img src="image_100.png" /></figure>

<figure><img src="image_101.png" /></figure>

Cartographie des lieux cités | OpenStreetMap

<figure><img src="image_102.png" /></figure>

<figure><img src="image_103.png" /></figure>
## Partie 2 : constitution d'un corpus spécialisé | Premières annotations : extractions d'entités nommées

### EXTRACTION D'INFORMATION

<figure><img src="image_104.png" /></figure>

Rapport entre les mots-clés et pays cités

### ‘I don’t eat meat’: Discourse on food among transnational Hindus

Jennifer B. Saunders

Hindu transmigrants use discourse on diet as a way to maintain connections with India, as well as to construct Indian, Hindu and caste identities. In this article, I argue that such discourse on food is a meta-discourse that reframes the symbolic meaning of food in the transnational context. This article examines a transnational Hindu community's discourse on food, and pairs R.S. Khare's arguments about the communicative function of food in a South Asian context with transnational and performance theories, as well as with Arjun Appadurai's argument about the significance of imagination in creating lived realities. Through their narratives involving food, this community is actively engaged in shifting the meanings of what it eats to emphasise their connections with each other, and with India. Thus, a vegetarian diet and the use of 'authentic' Indian ingredients become the symbols of Indian identity through discourse, which is then solidified through the acts of cooking and eating. This article is based on fieldwork conducted with an extended transnational Hindu

### Exemple d'article en sociologie
Conclusion
# Conclusion

Une méthodologie itérative : examen des données ↔ révision de la requête

* La pertinence scientifique : circonscrire au maximum le sujet quitte à créer du silence ?
Conclusion

Une méthodologie itérative : examen des données ↔ révision de la requête

* La pertinence scientifique : circonscrire au maximum le sujet quitte à créer du silence ?

* La pertinence technique : se limiter aux documents possédant un résumé, un PDF texte, un texte nettoyé, un nombre de mots / pages raisonnable ?
# Conclusion

## Une méthodologie itérative : examen des données ↔ révision de la requête

* La pertinence scientifique : circonscrire au maximum le sujet quitte à créer du silence ?

* La pertinence technique : se limiter aux documents possédant un résumé, un PDF texte, un texte nettoyé, un nombre de mots / pages raisonnable ?

## Des aides précieuses développées dans Istex

* L'interface Istex Search
# Conclusion

## Une méthodologie itérative : examen des données ↔ révision de la requête

* La pertinence scientifique : circonscrire au maximum le sujet quitte à créer du silence ?

* La pertinence technique : se limiter aux documents possédant un résumé, un PDF texte, un texte nettoyé, un nombre de mots / pages raisonnable ?

## Des aides précieuses développées dans Istex

* L'interface Istex Search

* L'appui de Lodex et des web services
Annexes et références
# Les outils Istex

<table><tr><td>ISTEX</td><td>Istex</td><td>Site général, vitrine du possible</td><td>www.istex.fr</td></tr><tr><td></td><td>Data</td><td>Informations sur les données Istex (collections, enrichissements) & accès aux corpus (Cuxac et al., 2019)</td><td>data.istex.fr</td></tr><tr><td></td><td>Search</td><td>Application pour interroger l'API et télécharger des corpus</td><td>search.istex.fr</td></tr><tr><td></td><td>Lodex</td><td>Outil de création de sites web (visualisation / enrichissement de données) (Gregorio et al., 2019)</td><td>www.lodex.fr</td></tr><tr><td></td><td>TDM</td><td>Bibliothèque de web services (Cuxac, 2024)</td><td>services.istex.fr</td></tr><tr><td></td><td>Lo-terre</td><td>Bibliothèque de terminologies multilingues (Khayari et al., 2021)</td><td>www.loterre.fr</td></tr></table>
## Se documenter

* Documentation Istex: https://doc.istex.fr/tdm

* Documentation API Istex: https://doc.istex.fr/api

* Documentation Lodex: https://www.lodex.fr/docs/documentation/

## S'authentifier

* Vérifier ses droits d'accès: https://api.istex.fr/auth
## Se tenir informé

* Article d'actualité : https://www.istex.fr/category/actualites/

## Chercher de l'aide / Contribuer à l'amélioration

* Via le formulaire : https://www.istex.fr/contact/

* Via les listes : contact@listes.istex.fr, https://groupes.renater.fr/sympa/subscribe/lodex?previous_action=info
Références

BENZITOUN, C. et CAPPEAU, P. (2025). Les corpus et leur exploitation. *Encyclopédie Grammaticale du Français*, En ligne. Artwork Size : 995084 bytes Medium : application/pdf Publisher : NAKALA - https://nakala.fr (Huma-Num - CNRS) Version Number : 1.

BOUCHARD, A. (2024). Sortir de Google Scholar, Scopus ou Web of Science : que valent Lens, Dimensions, OpenAlex et Matilda pour la recherche bibliographique ? [*à distance*] | URFIST de Paris.

BOUSSIDAN, A., DUCEL, F., NÉVÉOL, A. et FORT, K. (2024). What ChatGPT tells us about ourselves.

BÉNARD, M., MESTIVIER, A., KUBLER, N., ZHU, L., BAWDEN, R., DE LA CLERGERIE, E., ROMARY, L., HUGUIN, M., NOMINÉ, J.-F., PENG, Z. et YVON, F. (2023). MaTOS : Traduction automatique pour la science ouverte. *In BOUDIN, F., DAILLE, B., DUFOUR, R., EL, O., HOUBRE, M., JOURDAN, L. et KOOLI, N.*, éditeurs : Actes de CORIA-TALN 2023. Actes de l'atelier "Analyse et Recherche de Textes Scientifiques" (ARTS)@TALN 2023, pages 8-15, Paris, France. ATALA.

CUXAC, P. (2024). La fouille de textes en IST : les outils Istex-TDM. Nancy, France.
Références

CUXAC, P., COLLIGNON, A., GREGORIO, S. et PARMENTIER, F. (2019). Des bases de données massives au Web de données : désambiguïsation et alignement d'entités géographiques dans les textes scientifiques. *In 12ème Colloque international d'ISKO-France : Données et mégadonnées ouvertes en SHS : de nouveaux enjeux pour l'état et l'organisation des connaissances?*

GREGORIO, S., COLLIGNON, A., PARMENTIER, F. et THOUVENIN, N. (2019). LODEX : des données structurées au web sémantique. *In Atelier Web des Données de la 19ème Conférence sur l'Extraction et la Gestion des Connaissances (EGC 2019)*, Metz, France.

GUSENBAUER, M. (2022). Search where you will find most : Comparing the disciplinary coverage of 56 bibliographic databases. *Scientometrics*, 127(5) :2683-2745.

HABERT, B. (2000). Des corpus représentatifs : de quoi, pour quoi, comment ? *In BILGER, M.*, éditeur : *Linguistique sur corpus. Etudes et réflexions - Mireille Bilger*, pages 11-58. Presses Universitaires de Perpignan, Perpignan.

HENDRYCKS, D., BURNS, C., BASART, S., ZOU, A., MAZEIKA, M., SONG, D. et STEINHARDT, J. (2021). Measuring massive multitask language understanding.
Références

KHAYARI, M., RESZETKO, V., VACHEZ, D., VEDOVOTTO, N., YON, J. et AUBIN, S. (2021). De TermSciences à Loterre : comment l'Inist-CNRS a rendu les terminologies ouvertes plus conformes aux principes FAIR.

LABADIE, A. et PRINCE, V. (2008). The impact of corpus quality and type on topic based text segmentation evaluation. *In 2008 International Multiconference on Computer Science and Information Technology*, pages 313–319.

LARIVIÈRE, V., GINGRAS, Y. et ARCHAMBAULT, E. (2009). The decline in the concentration of citations, 1900–2007. *Journal of the American Society for Information Science and Technology*, 60(4):858–862.

LIU, Y., CAO, J., LIU, C., DING, K. et JIN, L. (2024). Datasets for Large Language Models : A Comprehensive Survey. arXiv:2402.18041 [cs].

LÉON, J. (2008). Aux sources de la « Corpus Linguistics » : Firth et la London School. *Langages*, 171(3):12–33. Place : Paris Publisher : Armand Colin.

MELLET, S. (2002). Corpus et recherches linguistiques : Introduction. *Corpus*, (1).
Références

RASTIER, F. (2004). Enjeux épistémologiques de la linguistique de corpus. *In WILLIAM, G.*, éditeur : *La linguistique de corpus.*, pages 31-46. Presses Universitaires de Rennes, Rennes.

SINCLAIR, J. (1996). Preliminary recommendations on Corpus Typology. Rapport préliminaire, Expert Advisory Group on Language Engineering Standards.

STIENNON, N., OUYANG, L., WU, J., ZIEGLER, D. M., LOWE, R., VOSS, C., RADFORD, A., AMODEI, D. et CHRISTIANO, P. (2022). Learning to summarize from human feedback.