# Développement et évaluation d'outils d'intelligence artificielle pour faciliter les revues de littérature en sciences infirmières

Vincent de Andrade, Pierre-Boris Mathern, Aurore Margat, Rémi Gagnayre

<figure><img src="image_1.png" /></figure>

## To cite this version:

Vincent de Andrade, Pierre-Boris Mathern, Aurore Margat, Rémi Gagnayre. Développement et évaluation d'outils d'intelligence artificielle pour faciliter les revues de littérature en sciences infirmières. Congrès mondial du SIDIIEF, SIDIIEF, Jun 2025, Lausanne, Suisse. hal-05505203

HAL Id: hal-05505203

https://sorbonne-paris-nord.hal.science/hal-05505203v1

Submitted on 11 Feb 2026

HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d'enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# Développement et évaluation d'outils d'intelligence artificielle pour faciliter les revues de littérature en sciences infirmières

Vincent de Andrade, Pierre-Boris Mathern

École Universitaire de Recherche Sciences Infirmières en Promotion de la Santé, Université Sorbonne Paris Nord

Laboratoire Éducations et Promotion de la Santé UR 3412, Université Sorbonne Paris Nord

<figure><img src="image_3.png" /></figure>

CONGRÈS
MONDIAL

<figure><img src="image_4.png" /></figure>

L'INNOVATION
INFIRMIÈRE
Moteur des transformations en santé

2 au 5
JUIN
2025
# Pourquoi cette présentation ?

* Parce que dans la recherche il est essentiel de savoir mener des revues de littérature. Or c'est chronophage : en moyenne cela demande 61 semaines de travail et mobilise 5 personnes !

Open Access

Research

**BMJ Open** Analysis of the time and workers needed to conduct systematic reviews of medical interventions using data from the PROSPERO registry

Rohit Borah,¹,² Andrew W Brown,²,³ Patrice L Capers,²,³ Kathryn A Kaiser²,³

was also recorded when reported.

**Results:** The mean estimated time to complete the project and publish the review was 67.3 weeks (IQR=42). The number of studies found in the literature searches ranged from 27 to 92 020; the mean yield rate of included studies was 2.94% (IQR=2.5); and the mean number of authors per review was 5, SD=3. Funded reviews took significantly longer to complete and publish (mean=42 vs 26 weeks) and involved more authors and team members (mean=6.8 vs 4.8 people) than those that did not report funding (both p<0.001).

<figure><img src="image_5.png" /></figure>

<figure><img src="image_6.png" /></figure>
# Pourquoi ?

Ce qui prend du temps ce sont :

* La rédaction de l'équation de recherche ;

* Le tri des références d'articles par des critères d'exclusion ;

Les sciences infirmières ont également besoin de mener des revues de littérature, ce qui peut constituer un frein à la recherche dans ce domaine.

<figure><img src="image_7.png" /></figure>

SIDIEF

<figure><img src="image_8.png" /></figure>
* Nous nous sommes posé la question de la place que pourrait prendre une IA générative pour aider les chercheurs dans ces deux étapes.

* Certaines publications commencent déjà à dire que l'IA générative pourrait aider au moins à la rédaction des équations de recherche.

5v3 [cs.IR] 9 Feb 2023

Can ChatGPT Write a Good Boolean Query for Systematic Review Literature Search?

SHUAI WANG, The University of Queensland, Australia

HARRISEN SCELLS, Leipzig University, Germany

GUIDO ZUCCON, The University of Queensland, Australia

BEVAN KOOPMAN, CSIRO, Australia

Systematic reviews are comprehensive reviews of the literature for a highly focused research question. These reviews are often treated as the highest form of evidence in evidence-based medicine, and are the key strategy to answer research questions in the medical field. To create a high-quality systematic review, complex Boolean queries are often constructed to retrieve studies for the review topic. However, it often takes a long time for systematic review researchers to construct a high quality systematic review Boolean query, and often the resulting queries are far from effective. Poor queries may lead to biased or invalid reviews, because they missed to retrieve key evidence, or to extensive increase in review costs, because they retrieved too many irrelevant studies. Recent advances in Transformer-based generative models have shown great potential to effectively follow instructions from users and generate answers based on the instructions being made. In this paper, we investigate the effectiveness of the latest of such models, ChatGPT, in generating effective Boolean queries for systematic review literature search. Through a number of extensive experiments on standard test collections for the task, we find that ChatGPT is capable of generating queries that lead to high search precision, although trading-off this for recall. Overall, our study demonstrates the potential of ChatGPT in generating effective Boolean queries for systematic review literature search. The ability of ChatGPT to follow complex instructions and generate queries with high precision makes it a valuable tool for researchers conducting systematic reviews, particularly for rapid reviews where time is a constraint and often trading-off higher precision for lower recall is acceptable.

ACM Reference Format:

Shuai Wang, Harrisen Scells, Guido Zuccon, and Bevan Koopman. 2023. Can ChatGPT Write a Good Boolean Query for Systematic Review Literature Search?. 1, 1 (February 2023), 19 pages. https://doi.org/10.1145/nnnnnn.nnnnnnn
* Nous avons travaillé sur ce sujet et nous proposons deux outils open source s'appuyant sur des IA :

* LEPS Query IA : qui rédige l'équation de recherche ; et interroge les bases de données

* LEPS Filter IA : qui aide les chercheurs à sélectionner plus vite les références bibliographiques pertinente parmi l'ensemble des résultats ;

<figure><img src="image_9.png" /></figure>

<figure><img src="image_10.png" /></figure>

<figure><img src="image_11.png" /></figure>
# Vue d'Ensemble de l'Écosystème

* Deux applications complémentaires formant un écosystème complet

* Solution intégrée couvrant la recherche jusqu'à l'analyse préliminaire

* Support de trois bases de données majeures: PubMed, Europe PMC, HAL

<figure><img src="image_12.png" /></figure>

<figure><img src="image_13.png" /></figure>
Validation des termes MeSH

Génération d'équations de recherche

Interrogation des API

Export des résultats (JSON)
# Capacités de Recherche

PubMed

Europe PMC

HAL

Extraction automatique des termes: Oui ✅

Validation des termes MeSH: Oui ✅

Analyse stratégique des requêtes: Oui ✅

Génération d'équations de recherche: Oui ✅

Bases supportées: PubMed, Europe PMC, HAL ✅

<figure><img src="image_14.png" /></figure>
## Compatibilité avec le Référentiel PRISMA (1/2)

<figure><img src="image_15.png" /></figure>

LEPS

Laboratoire Educations
et Promotion de la santé
UR 3412

UNIVERSITÉ
SORBONNE
PARIS NORD

<table><thead><tr><td>Critère PRISMA</td><td>Statut</td><td>Explication</td></tr></thead><tbody><tr><td>Identification des sources d'information</td><td>Partiel ⚠</td><td>Recherche dans 3 bases de données majeures</td></tr><tr><td>Stratégie de recherche complète</td><td>Complet ✓</td><td>Génération d'équations optimisées avec validation MeSH</td></tr><tr><td>Processus de sélection des études</td><td>Partiel ⚠</td><td>Filtrage basé sur mots-clés et NLP, mais documentation limitée</td></tr></tbody></table>

<figure><img src="image_16.png" /></figure>

SIDIEF

CONGRÈS
MONDIAL

L'INNOVATION
INFIRMIÈRE

2 au 5
JUIN
2025
<table><thead><tr><td>Critère PRISMA</td><td>Statut</td><td>Explication</td></tr></thead><tbody><tr><td>Extraction des données</td><td>Partiel ⚠</td><td>Extraction des métadonnées mais analyse structurée limitée</td></tr><tr><td>Évaluation du risque de biais</td><td>Non supporté ✗</td><td>Pas d'évaluation de la qualité méthodologique</td></tr><tr><td>Synthèse des résultats</td><td>Limité ⚠</td><td>Analyse NLP mais pas de fonctionnalité complète de synthèse</td></tr></tbody></table>

<figure><img src="image_17.png" /></figure>

<figure><img src="image_18.png" /></figure>
# Support des Types de Revues (1/3)

Revue systématique: Amélioré

## Phases supportées:

- Recherche documentaire initiale

- Filtrage préliminaire

## Phases partielles:

- Extraction des données

## Phases manquantes:

- Évaluation de la qualité

- Synthèse formelle

Revue narrative: Très bon

## Phases supportées:

- Recherche documentaire

- Extraction des termes

- Filtrage thématique

## Phases partielles:

- Analyse thématique via NLP

<figure><img src="image_19.png" /></figure>
# Support des Types de Revues (2/3)

Revue de la portée: Très bon ✓

## Phases supportées:

- Recherche documentaire

- Cartographie initiale

- Filtrage thématique

## Phases partielles:

- Analyse thématique

Revue parapluie: Amélioré ↑

## Phases supportées:

- Recherche documentaire

- Filtrage des revues
  systématiques

## Phases manquantes:

- Évaluation formelle

- Synthèse des synthèses

<figure><img src="image_20.png" /></figure>
# Support des Types de Revues (3/3)

Revue rapide: Excellent

**Phases supportées:**

- Recherche documentaire accélérée

- Filtrage rapide

**Phases partielles:**

- Synthèse préliminaire via NLP

Méta-analyse: Amélioré

**Phases supportées:**

- Recherche documentaire initiale

- Filtrage des études

**Phases partielles:**

- Extraction préliminaire des données

**Phases manquantes:**

- Extraction systématique des données quantitatives

- Analyse statistique

<figure><img src="image_21.png" /></figure>
# Application de Filtrage et d'Analyse

## LEPS-FILTER

* Filtrage des résultats par mots-clés

* Analyse via modèles NLP (spaCy, NLTK)

* Traitement des données extraites

* Analyse préliminaire des contenus

<figure><img src="image_22.png" /></figure>

<figure><img src="image_23.png" /></figure>
# Capacités d'Analyse
LEPS-FILTER

<table><thead><tr><td>Fonctionnalité</td><td>Statut</td></tr></thead><tbody><tr><td>Filtrage par mots-clés</td><td>Oui ✓</td></tr><tr><td>Analyse NLP des contenus</td><td>Oui ✓</td></tr><tr><td>Extraction des métadonnées</td><td>Oui ✓</td></tr><tr><td>Analyse structurée</td><td>Partielle ⚠</td></tr></tbody></table>

<figure><img src="image_24.png" /></figure>

<figure><img src="image_25.png" /></figure>

<figure><img src="image_26.png" /></figure>

<figure><img src="image_27.png" /></figure>
# Améliorations Potentielles: Extraction de Données

## LEPS-FILTER

* Développer l'extraction automatique des sections des résumés
  Objectifs, méthodes, résultats, conclusions

* Améliorer l'extraction des données quantitatives

* Tailles d'échantillon, valeurs p, intervalles de confiance

* Structurer les données extraites pour faciliter l'analyse comparative

<figure><img src="image_28.png" /></figure>

<figure><img src="image_29.png" /></figure>
<figure><img src="image_30.png" /></figure>
<figure><img src="image_31.png" /></figure>
Conclusion

* Particulièrement adapté aux revues narratives, de portée et rapides

- Support à améliorer pour les revues systématiques et méta-analyses

* Approche innovante d'automatisation combinant validation MeSH, équations optimisées et filtrage NLP

- Développements futurs nécessaires pour une conformité PRISMA complète

- Outils d'assistance, d'aide à la formulation et à la classification

- Application de veille documentaire avec automatisation de veilles hebdomadaires à partir d'équations spécifiques.

- RGPD compatible et utilisation locale donc plus écologique.

<figure><img src="image_32.png" /></figure>
# Références

1. Borah R, Brown AW, Capers PL, Kaiser KA. **Analysis of the time and workers needed to conduct systematic reviews of medical interventions using data from the PROSPERO registry.** *BMJ Open*. 1 févr 2017;7(2):e012545. doi: 10.1136/bmjopen-2016-012545.

2. Wang S, Scells H, Koopman B, Zuccon G. **Can ChatGPT Write a Good Boolean Query for Systematic Review Literature Search?** [Internet]. arXiv; 2023 [cité 1 mars 2025]. doi: 10.1145/3539618.3591703. Disponible sur: http://arxiv.org/abs/2302.03495

3. Ruksakulpiwat S, Kumar A, Ajibade A. **Using ChatGPT in Medical Research: Current Status and Future Directions.** *J Multidiscip Healthc*. 2023;16:1513-20. doi: 10.2147/JMDH.S413470

4. Aveyard H, Bradbury-Jones C. **An analysis of current practices in undertaking literature reviews in nursing: findings from a focused mapping review and synthesis.** *BMC Med Res Methodol*. 16 mai 2019;19:105. doi: 10.1186/s12874-019-0751-7

<figure><img src="image_33.png" /></figure>
Remerciements

Aux Pr Rémi GAGNAYRE et Pr Aurore MARGAT pour le soutien qu'ils nous apportent dans nos recherches sur
des applications d'automatisation en recherche.

<figure><img src="image_34.png" /></figure>

SIDIEF

CONGRÈS
MONDIAL

<figure><img src="image_35.png" /></figure>

L'INNOVATION
INFIRMIÈRE
Moteur des transformations en santé

2 au 5
JUIN
2025