Tri Automatique de la Littérature pour les Revues Systématiques (Automatically Ranking the Literature in Support of Systematic Reviews) (2017)

Abstract: Les revues systématiques de la littérature dans le domaine biomédical reposent essentiellement sur le travail bibliographique manuel d’experts. Nous évaluons les performances de la classification supervisée pour la découverte automatique d’articles à l’aide de plusieurs définitions des critères d’inclusion. Nous appliquons un modèle de regression logistique sur deux corpus issus de revues systématiques conduites dans le domaine du traitement automatique de la langue et de l’efficacité des médicaments. La classification offre une aire sous la courbe moyenne (AUC) de 0.769 si le classifieur est contruit à partir des jugements experts portés sur les titres et résumés des articles, et de 0.835 si on utilise les jugements portés sur le texte intégral. Ces résultats indiquent l’importance des jugements portés dès le début du processus de sélection pour développer un classifieur efficace pour accélérer l’élaboration des revues systématiques à l’aide d’un algorithme de classification standard.

## conclusion et perspectives en accord avec la littérature, nos résultats indiquent qu'un classifieur entrainé sur le titre et le résumé d'articles offre de bonnes performances pour le tri d'articles sur des critères d'inclusion majoritairement présent dans le texte intégral. cependant, pour atteindre ce résultat, il est important de disposer d'exemples d'articles exclus sur la base du résumé seul. ainsi, pour construire un corpus de référence qui permette d'évaluer ou d'entrainer des outils automatiques de tri de la littérature pour les revues systématiques, il est nécessaire de disposer d'une catégorisation des articles qui reflète les deux étapes du processus manuel de filtrage. dans la suite de ce travail, nous envisageons plusieurs directions : tout d'abord, nous souhaitons évaluer la généralisabilité de la classification aux revues systématiques des études sur l'évaluation des tests diagnostiques, réputées fastidieuses de par la difficulté de construire des requêtes permettant de réduire l'ensemble des documents à considérer. ensuite, nous prévoyons d'étudier l'apport du retour de pertinence (relevance feedback) en particulier pour les thèmes pour lesquels il n'est pas possible de construire d'emblée un classifieur intra-topic. l'intégration du retour de pertinence correspondrait en outre à un cas pratique d'utilisation de méthodes de classification automatique pour la sélection d'articles en vue d'une revue systématique où les experts valideraient la classification des articles dans l'ordre proposé par l'outil -produisant ainsi des jugements intégrables dynamiquement dans le classifieur.