# Développement et évaluation d'outils d'intelligence artificielle pour faciliter les revues de littérature

Vincent de Andrade, Pierre-Boris Mathern, Aurore Margat

► To cite this version:

Vincent de Andrade, Pierre-Boris Mathern, Aurore Margat. Développement et évaluation d'outils d'intelligence artificielle pour faciliter les revues de littérature. Congrès de la SFAR, SFAR, Sep 2025, Paris, France. hal-05505169

HAL Id: hal-05505169

https://sorbonne-paris-nord.hal.science/hal-05505169v1

Submitted on 11 Feb 2026

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# ANESTHÉSIE • RÉANIMATION • MÉDECINE PÉRIOPÉRATOIRE

<figure><img src="image_2.png" /></figure>

<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>

SFAR

LE CONGRÈS

17-19

SEPTEMBRE 2025

PALAIS DES CONGRÈS
DE PARIS

<figure><img src="image_5.png" /></figure>

f in

<figure><img src="image_6.png" /></figure>
# Développement et évaluation d'outils d'intelligence artificielle pour faciliter les revues de littérature

Vincent de Andrade, Pierre-Boris Mathern

École Universitaire de Recherche Sciences Infirmières en Promotion de la Santé, Université

Sorbonne Paris Nord

Laboratoire Éducations et Promotion de la Santé UR 3412, Université Sorbonne Paris Nord

<figure><img src="image_7.png" /></figure>

<figure><img src="image_8.png" /></figure>
# Pourquoi cette présentation ?

* Parce que dans la recherche il est essentiel de savoir mener des revues de littérature. Or c'est chronophage : en moyenne cela demande 61 semaines de travail et mobilise 5 personnes !

Open Access

**BMJ Open** Analysis of the time and workers needed to conduct systematic reviews of medical interventions using data from the PROSPERO registry

Rohit Borah,¹,² Andrew W Brown,²,³ Patrice L Capers,²,³ Kathryn A Kaiser²,³

Research

was also recorded when reported.

**Results:** The mean estimated time to complete the project and publish the review was 67.3 weeks (IQR=42). The number of studies found in the literature searches ranged from 27 to 92 020; the mean yield rate of included studies was 2.94% (IQR=2.5); and the mean number of authors per review was 5, SD=3. Funded reviews took significantly longer to complete and publish (mean=42 vs 26 weeks) and involved more authors and team members (mean=6.8 vs 4.8 people) than those that did not report funding (both p<0.001).
# Pourquoi ?

Ce qui prend du temps ce sont :

- La rédaction de l'équation de recherche ;

- Le tri des références d'articles par des critères d'exclusion ;

Cela peut constituer un frein à la recherche !
* Nous nous sommes posé la question de la place que pourrait prendre une IA générative pour aider les chercheurs dans ces deux étapes.

* Certaines publications commencent déjà à dire que l'IA générative pourrait aider au moins à la rédaction des équations de recherche.

Can ChatGPT Write a Good Boolean Query for Systematic Review Literature Search?

SHUAI WANG, The University of Queensland, Australia
HARRISEN SCELLS, Leipzig University, Germany
GUIDO ZUCCON, The University of Queensland, Australia
BEVAN KOOPMAN, CSIRO, Australia

Systematic reviews are comprehensive reviews of the literature for a highly focused research question. These reviews are often treated as the highest form of evidence in evidence-based medicine, and are the key strategy to answer research questions in the medical field. To create a high-quality systematic review, complex Boolean queries are often constructed to retrieve studies for the review topic. However, it often takes a long time for systematic review researchers to construct a high quality systematic review Boolean query, and often the resulting queries are far from effective. Poor queries may lead to biased or invalid reviews, because they missed to retrieve key evidence, or to extensive increase in review costs, because they retrieved too many irrelevant studies. Recent advances in Transformer-based generative models have shown great potential to effectively follow instructions from users and generate answers based on the instructions being made. In this paper, we investigate the effectiveness of the latest of such models, ChatGPT, in generating effective Boolean queries for systematic review literature search. Through a number of extensive experiments on standard test collections for the task, we find that ChatGPT is capable of generating queries that lead to high search precision, although trading-off this for recall. Overall, our study demonstrates the potential of ChatGPT in generating effective Boolean queries for systematic review literature search. The ability of ChatGPT to follow complex instructions and generate queries with high precision makes it a valuable tool for researchers conducting systematic reviews, particularly for rapid reviews where time is a constraint and often trading-off higher precision for lower recall is acceptable.

ACM Reference Format:

Shuai Wang, Harrison Scells, Guido Zuccon, and Bevan Koopman. 2023. Can ChatGPT Write a Good Boolean Query for Systematic Review Literature Search?. 1, 1 (February 2023), 19 pages. https://doi.org/10.1145/nnnnnnn.nnnnnnn

5v3 [cs.IR] 9 Feb 2023
* Nous avons travaillé sur ce sujet et nous proposons deux outils open source s'appuyant sur des IA :

* **LEPS Query IA** : qui rédige l'équation de recherche ; et interroge les bases de données

* **LEPS Filter IA** : qui aide les chercheurs à sélectionner plus vite les références bibliographiques pertinente parmi l'ensemble des résultats ;

<figure><img src="image_9.png" /></figure>
Vue d'Ensemble de
l'Écosystème

* Deux applications complémentaires formant un écosystème complet

* Solution intégrée couvrant la recherche jusqu'à l'analyse préliminaire

* Support de trois bases de données majeures: PubMed, Europe PMC, HAL

<figure><img src="image_10.png" /></figure>
# Application de Recherche
Bibliographique

## LEPS-QUERY

<figure><img src="image_11.png" /></figure>
<figure><img src="image_12.png" /></figure>

Home > Products > Embase > Embase AI

## Simplify biomedical searching for all with Embase AI

Trying to navigate the endless sea of scientific literature? Leverage the power of AI-based natural language search on Embase to quickly find the precise information you need. Experts worldwide trust Embase for its comprehensive biomedical data. Go further, faster with Embase AI.

Request a demo

<figure><img src="image_13.png" /></figure>

Clarivate

Academia & Government

Products and services * About * Insights * Contact us

## Web of Science Research Assistant

A generative-AI-powered tool that helps you quickly find the right content and easily navigate complex research tasks

Product login

Contact sales

Overview

Benefits

Features

Resources

## Enhance your research with a responsibly developed, generative AI-powered tool.

Discover fresh insights faster so you can focus on creating new knowledge. Far more than a chatbot, the Web of Science Research Assistant runs alongside you as you work,

<figure><img src="image_14.png" /></figure>

Home > Products > Scopus > Scopus AI

## Scopus AI: Think bigger. Move faster. Act with confidence.

Scopus AI combines trusted, peer-reviewed content with sophisticated AI to deliver faster, deeper insights.

Built for academic workflows, it accelerates discovery, identifies patterns and supports strategic thinking—all while championing academic rigor.

Contact us

<figure><img src="image_15.png" /></figure>
# Capacités de Recherche

<figure><img src="image_16.png" /></figure>

LEPS

Laboratoire Educations
et Promotion de la santé
UR 3412

UNIVERSITÉ
SORBONNE
PARIS NORD

Extraction automatique des termes: Non ⚠

Validation et explosion des termes MeSH: Non ⚠

Analyse stratégique des requêtes: Non ⚠

Génération d'équations de recherche: Oui ✓

Bases supportées: Uniquement la base du propriétaire ⚠
# Capacités de Recherche

<figure><img src="image_17.png" /></figure>

LEPS

Laboratoire Educations
et Promotion de la santé
UR 3412

UNIVERSITÉ
SORBONNE
PARIS NORD

PubMed

Europe PMC

HAL

Extraction automatique des termes: Oui ✅

Validation des termes MeSH: Oui ✅

Analyse stratégique des requêtes: Oui ✅

Génération d'équations de recherche: Oui ✅

Bases supportées: PubMed, Europe PMC, HAL ✅
## Compatibilité avec le Référentiel PRISMA

<figure><img src="image_18.png" /></figure>

<figure><img src="image_19.png" /></figure>

LEPS
Laboratoire Educations
et Promotion de la santé
UR 3412

UNIVERSITÉ
SORBONNE
PARIS NORD

<table><thead><tr><td>Critère PRISMA</td><td>Statut</td><td>Explication</td></tr></thead><tbody><tr><td>Identification des sources d'information</td><td>Partiel !</td><td>Recherche dans 3 bases de données majeures</td></tr><tr><td>Stratégie de recherche complète</td><td>Complet ✓</td><td>Génération d'équations optimisées avec validation MeSH</td></tr><tr><td>Processus de sélection des études</td><td>Partiel !</td><td>Filtrage basé sur mots-clés et NLP, mais documentation limitée</td></tr></tbody></table>
# Compatibilité avec le Référentiel PRISMA
(2/2)

<table><thead><tr><td>Critère PRISMA</td><td>Statut</td><td>Explication</td></tr></thead><tbody><tr><td>Extraction des données</td><td>Partiel ⚠</td><td>Extraction des métadonnées mais analyse structurée limitée</td></tr><tr><td>Évaluation du risque de biais</td><td>Non supporté ✗</td><td>Pas d'évaluation de la qualité méthodologique</td></tr><tr><td>Synthèse des résultats</td><td>Limité ⚠</td><td>Analyse NLP mais pas de fonctionnalité complète de synthèse</td></tr></tbody></table>
# Support des Types de Revues
(1/3)

<figure><img src="image_20.png" /></figure>

LEPS
Laboratoire Educations
et Promotion de la santé
UR 3412

UNIVERSITÉ
SORBONNE
PARIS NORD

## Revue systématique: Amélioré

<figure><img src="image_21.png" /></figure>

### Phases supportées:

- Recherche documentaire initiale

- Filtrage préliminaire

### Phases partielles:

- Extraction des données

### Phases manquantes:

- Évaluation de la qualité

- Synthèse formelle

## Revue narrative: Très bon

<figure><img src="image_22.png" /></figure>

### Phases supportées:

- Recherche documentaire

- Extraction des termes

- Filtrage thématique

### Phases partielles:

- Analyse thématique via NLP
# Support des Types de Revues (2/3)

<figure><img src="image_23.png" /></figure>

LEPS

Laboratoire Educations
et Promotion de la santé
UR 3412

UNIVERSITÉ
SORBONNE
PARIS NORD

Revue de la portée: Très bonne ✔

## Phases supportées:

- Recherche documentaire

- Cartographie initiale

- Filtrage thématique

## Phases partielles:

- Analyse thématique

Revue parapluie: Améliorer ↑

## Phases supportées:

- Recherche documentaire

- Filtrage des revues
  systématiques

## Phases manquantes:

- Évaluation formelle

- Synthèse des synthèses
# Support des Types de Revues (3/3)

<figure><img src="image_24.png" /></figure>

LEPS

Laboratoire Educations
et Promotion de la santé
UR 3412

UNIVERSITÉ
SORBONNE
PARIS NORD

## Revue rapide: Excellent ✅

### Phases supportées:

- Recherche documentaire accélérée

- Filtrage rapide

### Phases partielles:

- Synthèse préliminaire via NLP

## Méta-analyse: Amélioré ✅

### Phases supportées:

- Recherche documentaire initiale

- Filtrage des études

### Phases partielles:

- Extraction préliminaire des données

### Phases manquantes:

- Extraction systématique des données quantitatives

- Analyse statistique
# Application de Filtrage et d'Analyse
LEPS-FILTER

<figure><img src="image_25.png" /></figure>

LEPS

Laboratoire Educations
et Promotion de la santé
UR 3412

UNIVERSITÉ
SORBONNE
PARIS NORD

* Filtrage des résultats par mots-clés

* Analyse via modèles NLP (spaCy, NLTK)

* Traitement des données extraites

* Analyse préliminaire des contenus

<figure><img src="image_26.png" /></figure>
# Capacités d'Analyse
LEPS-FILTER

<table><thead><tr><td>Fonctionnalité</td><td>Statut</td></tr></thead><tbody><tr><td>Filtrage par mots-clés</td><td>Oui ✓</td></tr><tr><td>Analyse NLP des contenus</td><td>Oui ✓</td></tr><tr><td>Extraction des métadonnées</td><td>Oui ✓</td></tr><tr><td>Analyse structurée</td><td>Partielle ⚠</td></tr></tbody></table>
# Améliorations Potentielles: Extraction de Données

## LEPS-FILTER

* Développer l'extraction automatique des sections des résumés
  Objectifs, méthodes, résultats, conclusions

* Améliorer l'extraction des données quantitatives

* Tailles d'échantillon, valeurs p, intervalles de confiance

* Structurer les données extraites pour faciliter l'analyse comparative

<figure><img src="image_27.png" /></figure>
<figure><img src="image_28.png" /></figure>
<figure><img src="image_29.png" /></figure>
Conclusion

<figure><img src="image_30.png" /></figure>

LEPS

Laboratoire Educations
et Promotion de la santé
UR 3412

UNIVERSITÉ
SORBONNE
PARIS NORD

* Particulièrement adapté aux revues narratives, de portée et rapides

- Support à améliorer pour les revues systématiques et méta-analyses

- Approche innovante d'automatisation combinant validation MeSH, équations optimisées et filtrage NLP

- Développements futurs nécessaires pour une conformité PRISMA complète

- Outils d'assistance, d'aide à la formulation et à la classification

- Application de veille documentaire avec automatisation de veilles hebdomadaires à partir d'équations spécifiques.

- RGPD compatible et utilisation locale donc plus écologique.
Références

1. Borah R, Brown AW, Capers PL, Kaiser KA. Analysis of the time and workers needed to conduct systematic reviews of medical interventions using data from the PROSPERO registry. *BMJ Open*. 1 févr 2017;7(2):e012545. doi: 10.1136/bmjopen-2016-012545.

2. Wang S, Scells H, Koopman B, Zuccon G. Can ChatGPT Write a Good Boolean Query for Systematic Review Literature Search? [Internet]. arXiv; 2023 [cité 1 mars 2025]. doi: 10.1145/3539618.3591703. Disponible sur: http://arxiv.org/abs/2302.03495

3. Ruksakulpiwat S, Kumar A, Ajibade A. Using ChatGPT in Medical Research: Current Status and Future Directions. *J Multidiscip Healthc*. 2023;16:1513-20. doi: 10.2147/JMDH.S413470

4. Aveyard H, Bradbury-Jones C. An analysis of current practices in undertaking literature reviews in nursing: findings from a focused mapping review and synthesis. *BMC Med Res Methodol*. 16 mai 2019;19:105. doi: 10.1186/s12874-019-0751-7
Remerciements

Aux Pr Rémi GAGNAYRE et Pr Aurore MARGAT pour le soutien qu'ils nous apportent dans nos
recherches sur des applications d'automatisation en recherche.