Le recrutement en recherche clinique est une étape longue, difficile et coûteuse. L’objectif était de tester l’efficacité d’une solution utilisant des techniques d’intelligence artificielle (Text Mining, classification…) pour le screening et la détection de patients éligibles à l’inclusion dans les essais cliniques à l’institut de cancérologie de Lorraine, dans le but d’augmenter le recrutement dans les essais cliniques et d’accélérer la phase d’inclusion.

Les performances d’un outil informatique (SAS® Viya) utilisant l’intelligence artificielle ont été évaluées à l’aide des données cliniques informatisées de la première consultation médicale de l’ensemble des patients pris en charge dans le centre sur la période de janvier 2019 à mars 2023. Les critères d’évaluation de l’algorithme ont été les suivants : sensibilité, spécificité, F1-Score et temps gagné au screening.

Sur 9876 patients inclus dans l’étude, l’algorithme d’intelligence artificielle a obtenu une précision de 96 %, une sensibilité de 94 % et un F1-score de 0,95 pour détecter les patients atteints d’un cancer du sein (n
                     =2039) et potentiellement incluables dans un essai clinique. Le screening des 258 patients présélectionnés par l’algorithme d’intelligence artificielle et susceptibles d’être inclus a pris en moyenne 20 secondes par dossier contre cinq minutes et six secondes avec les procédures habituelles.

Cette étude conclut qu’un outil informatique utilisant l’intelligence artificielle facilite et accélère le processus de screening des patients potentiellement éligibles à l’inclusion dans les essais cliniques.

The recruitment step of all clinical trials is time consuming, harsh and generate extra costs. Artificial intelligence tools could improve recruitment in order to shorten inclusion phase. The objective was to assess the performance of an artificial intelligence driven tool (text mining, machine learning, classification…) for the screening and detection of patients, potentially eligible for recruitment in one of the clinical trials open at the “Institut de Cancérologie de Lorraine”.

Computerized clinical data during the first medical consultation among patients managed in an anticancer center over the 2019–2023 period were used to study the performances of an artificial intelligence tool (SAS® Viya). Recall, precision and F1-score were used to determine the artificial intelligence algorithm effectiveness. Time saved on screening was determined by the difference between the time taken using the artificial intelligence-assisted method and that taken using the standard method in clinical trial participant screening.

Out of 9876 patients included in the study, the artificial intelligence algorithm obtained the following scores: precision of 96 %, recall of 94 % and a 0.95 F1-score to detect patients with breast cancer (n
                     =2039) and potentially eligible for inclusion in a clinical trial. The screening of 258 potentially eligible patient's files took 20s per file vs. 5min and 6s with standard method.

This study suggests that artificial intelligence could yield sizable improvements over standard practices in several aspects of the patient screening process, as well as in approaches to feasibility, site selection, and trial selection.

# Introduction

Le cancer étant la principale cause de décès en France [1,2], le développement de traitements novateurs dans le cadre de la recherche clinique est essentiel pour améliorer les chances de rémission complète, la survie et la qualité des soins. Cependant, le taux de participation est d’environ 5 % chez les adultes pris en charge pour un cancer. De plus, près de 20 % des essais cliniques échouent par manque de recrutement [3,4]. En 2015, Carlisle et al. rapportaient que sur 2579 essais éligibles, 481 (19 %) ont été, soit interrompus pour échec du recrutement, soit terminés avec moins de 85 % de l’effectif attendu [5]. Les facteurs associés à ce manque de recrutement étaient principalement un trop grand nombre de facteurs d’éligibilité, un financement non industriel, la phase précoce de l’essai et le faible nombre de centres participants. De plus, même si le recrutement des patients effectué par un personnel spécialisé s’est montré efficace, il représente un temps humain considérable et un impact économique important [6].

L’intelligence artificielle est un concept qui décrit, au sens large, des systèmes automatisés capables d’effectuer des tâches considérées comme nécessitant de l’« intelligence », mettant ainsi en œuvre des mécanismes proches d’un raisonnement humain. Ces systèmes reposent sur des algorithmes, sur l’utilisation de systèmes informatiques et sur la nécessité d’avoir une grande quantité de données à analyser [7]. Ils sont déjà utilisés dans divers domaines de la recherche médicale : aide à la décision [8], à la prédiction [9] ou au recrutement [10] et plus largement, une aide à chaque étape d’un essai clinique, de la constitution de la cohorte au suivi des patients [11,12]. L’utilisation de l’intelligence artificielle pour le processus de screening dans le cadre de la recherche clinique semble très prometteuse [13–15] et pourrait pallier les freins rencontrés par les médecins investigateurs lors du recrutement des patients [16]. Aujourd’hui, il existe un grand nombre d’outils informatiques payants d’intelligence artificielle au sein des établissements de santé comme SAS® Viya (SAS® software, SAS Institute Inc., Cary, NC, USA) via une fonctionnalité de « machine learning ».

L’objectif principal était d’évaluer les performances de SAS® Viya dans l’identification de la localisation des cancers traités à l’institut de cancérologie de Lorraine (ICL) via les informations issues du dossier médical informatisé des patients. Dans un deuxième temps, il s’agissait d’étudier la capacité de l’outil d’intelligence artificielle à identifier des patients éligibles en vue de les inclure dans un essai clinique.

# Méthodes

## Population et données

Tous les patients atteints d’un cancer pris en charge à l’institut de cancérologie de Lorraine entre le 2 janvier 2019 et le 1er août 2023 ont été inclus dans l’étude, sauf refus express.

Ont été exclus les patients porteurs de tumeur bénigne ou de moins de dix-huit ans, ces derniers ne représentant qu’une faible part de l’activité de l’institut de cancérologie de Lorraine. De même, les patients pour lesquels l’histoire de la maladie n’était pas disponible dans le dossier médical informatisé ou ayant été vus uniquement pour un avis sans prise en charge par la suite n’ont pas été inclus.

Les données anonymisées issues du système d’information clinique de l’institut de cancérologie de Lorraine depuis le logiciel DxCare® (Medasys), à savoir l’âge, le sexe, la date de première venue ainsi que l’histoire de la maladie issue du dossier médical informatisé au moment du diagnostic ont été utilisées par l’outil d’intelligence artificielle SAS® Viya. Les informations médicales contenues dans l’histoire de la maladie, lues et analysées par l’intelligence artificielle, étaient extraites et analysées au format texte libre pour identifier la localisation du cancer. La localisation du cancer codée selon la dixième révision de la Classification internationale des maladies (CIM-10) [17] utilisée par le Programme de médicalisation des systèmes d’information (PMSI) a servi comme référence du diagnostic de cancer. Si un patient avait présenté plusieurs localisations de cancer primitif selon le PMSI, seule la première localisation dans l’année était conservée.

## Outil d’intelligence artificielle

L’outil SAS® Viya dispose du module SAS® Visual Text Analytics permettant de parcourir rapidement un grand volume de données textuelles non structurées. À l’aide d’algorithmes intelligents et de techniques de traitement du langage naturel ou « natural language processing » (traitement du langage naturel), les données importées passent par différentes étapes d’analyse au travers d’un « pipeline », entièrement paramétrable par l’utilisateur. La première étape, dite « d’analyse de texte », a pour objectif d’extraire, d’analyser et de stocker le texte sous forme de « termes » et « groupe de termes » qui sont quantifiés et cartographiés. Cette étape permet de lister les termes qu’il est pertinent de conserver dans l’analyse et, au contraire, de ne pas conserver ceux qui n’auraient pas d’intérêt particulier. La seconde étape concerne la création de concepts à partir des termes sélectionnés durant la première étape. Les algorithmes intelligents peuvent associer, au sein d’un concept prédéfini, des mots ou groupe de mots dont l’association est statistiquement significative dans les documents analysés (figure 1
                        ). Il est également possible pour l’utilisateur de créer des concepts personnalisés à l’aide de mots-clés ou d’expressions régulières. Les concepts prédéfinis ou personnalisés peuvent alors servir à la création de règles de catégorisation. Ces règles sont utilisées au cours de la dernière étape de modélisation de texte. À l’issue de ce traitement, les documents textuels qui étaient initialement non structurés sont classés dans différentes catégories structurées facilitant ainsi leur analyse.

### Identification de la localisation des cancers

Le PMSI nous a permis d’associer à des documents textuels non structurés, des diagnostics ou des localisations. Le traitement du langage naturel a ensuite été utilisé pour analyser ces documents et générer des règles de catégorisation afin de retrouver et prédire les diagnostics correspondant aux documents. L’algorithme a donc été entraîné pour « lire » des observations cliniques et en déduire la localisation cancéreuse. Pour entraîner son algorithme, SAS® Viya utilise 75 % du jeu de données pour la création des règles et les 25 % restants pour les valider. Si l’algorithme trouvait le bon diagnostic, alors il s’agissait d’un vrai positif (VP), s’il avait codé par excès un diagnostic, alors il s’agissait d’un faux positif (FP) et s’il avait attribué un autre diagnostic, alors il le considérait comme un faux négatif (FN).

### Aide au
                           screening

Afin de mettre en évidence des termes dans les dossiers médicaux informatisés, l’intelligence artificielle exécutait l’étape de création de concepts. Les termes identifiés et conservés par l’intelligence artificielle lors de l’étape d’analyse de texte pouvaient être sélectionnés manuellement pour établir des règles correspondant à des concepts. L’objectif de la création de ces concepts était de mettre en évidence dans le texte des mots-clés correspondant aux critères d’éligibilité d’une étude clinique en cours à l’institut de cancérologie de Lorraine. L’intelligence artificielle les faisait ressortir en gras (« élément correspondant ») et en italique, gras et surligné (« chevauchement de correspondances ») dans les observations médicales.

L’institut de cancérologie de Lorraine ayant ouvert essentiellement des essais de phase III ou des études de cohortes (plus de 84 %), l’aide au screening a été effectué sur les critères d’éligibilité de l’étude CANTO–Young.

CANTO (NCT01993498), pour « CANcer TOxicities », est une cohorte prospective constituée de femmes atteintes de cancer du sein et qui a pour but de décrire les toxicités liées aux traitements anticancéreux [2]. CANTO-Young (NCT01993498) est une étude dont le recrutement est en cours et qui se focalise sur les femmes de moins de 45 ans. Les patientes présentant les caractéristiques suivantes sont éligibles à l’inclusion : un âge entre 18 et 45 ans, un cancer du sein invasif prouvé histologiquement, une tumeur de stade cT0 à cT3 et cN0 à cN3 sans preuve clinique de métastase et non traitée au moment de l’inclusion.

Afin d’évaluer l’aide au screening, seules les patientes âgées de 18 à 45 ans présentant un cancer du sein (via le code diagnostique utilisé par le PMSI) ont été sélectionnées. Quatre concepts ont ensuite été créés manuellement et implantés dans SAS® Viya pour mettre en évidence les critères d’éligibilité de CANTO-Young dans les dossiers présélectionnés : un concept « preuve histologique », un concept « stade », un concept « métastase ou rechute » et un concept « traitement ». La figure 2
                            résume les étapes suivies par SAS® Viya pour l’identification de la localisation des cancers et la création de concepts pour l’aide au screening.

## Analyse statistique

Les variables catégorielles ont été décrites au moyen d’effectifs et de pourcentages et les variables continues à l’aide de moyennes et écarts-types. L’unité statistique utilisée était le cancer pour un patient. Seuls les groupes présentant au moins 50 occurrences de cancers ont été décrits. Le rappel (VP/(VP
                        +
                        FN)), la précision (VP/(VP
                        +
                        FP)) et le F1-score (2*rappel*précision/(rappel
                        +
                        précision)) ont été utilisés pour déterminer l’efficacité de l’algorithme de SAS® Viya dans l’identification des localisations des cancers [18]. Un F1-score compris entre 0,6 et 0,8 était considéré comme acceptable, un score compris entre 0,8 et 0,9 comme excellent et supérieur à 0,9 comme remarquable [19]. Un test de corrélation de Pearson [20] a été effectué entre le nombre d’occurrences de chaque localisation de cancer et le F1-score associé. Les résultats de l’intelligence artificielle concernant les dossiers identifiés comme cancer du sein ont été détaillés. L’évaluation de l’outil d’intelligence artificielle comme aide à l’identification des patients éligibles à l’inclusion dans un essai clinique portait sur la différence entre le temps moyen pris habituellement par les assistants de recherche clinique de l’institut de cancérologie de Lorraine pour la lecture d’un dossier et le temps moyen pris avec l’aide de SAS® Viya. Le temps moyen pris à l’aide du logiciel a été calculé suite à deux lectures réalisées séparément par deux médecins du service en charge des données de santé de l’institut de cancérologie de Lorraine.

# Résultats

## Caractéristiques de l’échantillon

Au total, 9876 patients ont été inclus (figure 3
                        ). L’échantillon était constitué de 4809 (48,7 %) hommes et 5067 (51,3 %) femmes. L’âge moyen des patients au moment du diagnostic était de 65 ans (± 13 ans), 67 ans (± 12 ans) pour les hommes et 64 ans (± 14 ans) pour les femmes. Le sein était la localisation la plus représentée avec 2039 cas soit près de 21 %. On dénombrait 1551 cas au niveau de l’appareil digestif soit près de 16 %, 1229 cas au niveau de l’appareil respiratoire soit 12 % et 908 cas au niveau des voies aérodigestives supérieures soit 9 %.

## Identification de la localisation des cancers

Les résultats de l’intelligence artificielle concernant la localisation des cancers sont présentés dans le tableau I
                         et sur la figure 4
                        . Il existait une corrélation positive entre le nombre d’occurrences des localisations de cancer et le F1-score obtenu (coefficient r=0,42 [0,23 ; 0,57] ; p
                        <0,001).

La règle utilisée par l’intelligence artificielle pour détecter les cancers du sein est présentée dans la figure 2 dans la partie concernant les catégories. Concernant l’identification des dossiers de cancers du sein, l’intelligence artificielle obtenait une précision de 96 %, un rappel de 94 % et un F1-score de 0,95. Il identifiait correctement 1913 dossiers de cancers du sein, 85 documents étaient classés comme faux positifs et 126 comme faux négatifs. Parmi les faux positifs, quatorze étaient des vrais positifs dont le code PMSI était erroné, 41 étaient des cancers du sein mais dont le code PMSI correspondait aux localisations secondaires identifiées, 23 correspondaient à une suspicion de cancer du sein ou une lésion du sein en cours de bilan, trois correspondaient à un antécédent de cancer du sein et pour les quatre derniers, l’erreur de diagnostic était due à un terme mal interprété. En effet, l’intelligence artificielle retenait « ACR » comme mot-clé pour « American Classification of Radiology » utilisée dans le cancer du sein, alors que cet acronyme était utilisé pour « arrêt cardiorespiratoire » dans l’histoire de la maladie. Parmi les faux négatifs, quatre étaient des vrais positifs dont le code PMSI était erroné, 43 étaient dus à l’absence d’information dans l’histoire de la maladie, douze contenaient des acronymes ou des mots-clés mal orthographiés rendant l’identification de la localisation par l’intelligence artificielle difficile et 67 étaient dus à un manque de puissance.

## Aide au screening

Au total, 258 dossiers de cancers du sein étaient inclus pour le screening (figure 3). La figure 5
                         présente la mise en évidence des mots-clés correspondant aux critères d’éligibilité de CANTO-Young pour un dossier médical. Le nombre de patientes réellement éligibles pour dans l’étude CANTO-Young était de 111.

À l’aide de l’outil d’intelligence artificielle, le temps humain mis pour effectuer le screening des 258 dossiers a été de 94min et 36 secondes soit environ 22 secondes par dossier pour le premier praticien et de 77min et 24 secondes pour le second praticien soit environ dix-huit secondes par dossier. Avec la méthode habituelle, les personnes en charge du screening à l’institut de cancérologie de Lorraine traitaient chacune 130 dossiers par mois en s’y consacrant entre 2 heures et 30 minutes à 3 heures par semaine. En moyenne, il leur fallait donc cinq minutes six secondes par dossier. Ainsi, le gain avec l’outil d’intelligence artificielle était de 4minutes et 46 secondes en moyenne. Le screening utilisant l’outil d’intelligence artificielle était environ quinze fois plus rapide que la méthode de screening traditionnelle.

# Discussion

L’outil SAS® Viya a démontré sa capacité à créer des données structurées à partir de texte libre issu des dossiers médicaux informatisés. Il a montré de bons résultats quant à la classification des localisations de cancers, notamment pour les localisations les plus représentées avec par exemple un F1-score supérieur à 0,9 pour le cancer du sein. La corrélation positive retrouvée entre le nombre de cancers et le F1-score pour chaque localisation confirmait que, plus le nombre de cas de cancers pour une localisation était élevé, plus l’intelligence artificielle était précise. La revue de Grothen et al. 
                     [21] souligne que le F1-score est le gold standard concernant l’évaluation d’outils de traitement du langage naturel. Dans la littérature s’intéressant aux performances du traitement du langage naturel en oncologie, on retrouve des résultats similaires en termes de F1-score [10,22]. L’étude de Shah et al. 
                     [23] a comparé en profondeur différents modèles d’intelligence artificielle (54 algorithmes différents) sur la base de 887 dossiers. À partir d’une vérification de résultats par une équipe de cliniciens et l’utilisation des données du PMSI comme critère de jugement, cette équipe a pu obtenir des F1-scores atteignant jusqu’à 0,951. Il est cependant important de noter que dans la plupart des études utilisant le traitement du langage naturel, les auteurs utilisent des modèles plus proches de la réalité et des habitudes de travail des cliniciens que les modèles de « machine learning » utilisés par SAS® Viya [23,24]. Enfin, pour les besoins de cette étude, l’analyse de texte s’est limitée à l’histoire de la maladie complétée en début de prise en charge, mais cette analyse pourrait être élargie à de nombreux autres documents, permettant à l’outil d’améliorer ses performances.

SAS® Viya a également montré un gain de temps considérable comme aide au screening. Ce gain de temps est fréquemment retrouvé dans la littérature qui compare l’aide au processus de screening par intelligence artificielle aux méthodes de screening manuelles traditionnelles [13,25,26]. Ces études montrent également la performance des algorithmes dans la sélection des patients éligibles à l’inclusion, que ce soit dans le nombre de patients identifiés ou le respect des critères d’éligibilité. Dans l’avenir, il serait pertinent de ne pas se limiter au screening mais d’utiliser les outils d’intelligence artificielle afin d’étudier la probabilité d’inclusion des patients dans différents essais ou études ouverts dans un établissement de santé.

Afin de permettre à l’algorithme de déterminer les localisations de cancer, il était essentiel que l’histoire de la maladie soit complétée de manière exhaustive et précise. L’utilisation, par exemple, d’acronymes, la présence de mots-clés mal orthographiés ou l’expression de doutes sur le diagnostic étaient identifiées comme causes d’erreurs de classification. Si le texte libre permet une flexibilité d’expression et une représentation complexe de la maladie, il représente autant de défis pour le traitement du langage naturel [24]. De plus, près de 13 % des cancers inclus ont été exclus dû à l’absence d’histoire de la maladie, rendant impossible la classification par l’intelligence artificielle. L’histoire de la maladie a été mise en place progressivement au sein de l’établissement expliquant son absence pour certains des dossiers les plus anciens. Une autre limite de cette étude était la qualité du codage PMSI. En effet, comme le code diagnostique extrait était celui correspondant à la première venue, des imprécisions de codage étaient possibles. SAS® Viya a alors pu comptabiliser comme faux positifs des diagnostics qu’il avait faits correctement mais dont les codes PMSI étaient erronés ou imprécis. Enfin, l’outil faisait difficilement la distinction entre les cancers du sein en cours ou comme antécédent. Ceci posait deux problèmes distincts. Premièrement, pour l’apprentissage et l’évaluation de l’algorithme car, si le cancer en cours n’était pas un cancer du sein mais un antécédent, il était comptabilisé comme un faux positif. Deuxièmement pour le screening, car des dossiers inéligibles d’emblée pouvaient être inclus dans les dossiers potentiellement éligibles à l’inclusion et ainsi représenter une perte de temps pour le lecteur. Pour répondre à cette problématique, l’outil d’intelligence artificielle pourrait être utilisé pour améliorer l’exhaustivité du codage PMSI, notamment pour les diagnostics associés, lui permettant ainsi d’être plus précis dans son analyse de texte. Enfin, il aurait été intéressant de comparer les performances de SAS® Viya dans la sélection des patients éligibles à l’inclusion dans l’étude CANTO-Young avec la sélection manuelle de ces patientes.

# Conclusion

La présente étude confirme les performances et avantages que présente l’utilisation de SAS® Viya en recherche clinique comme aide au screening en oncologie et selon des modalités simples. Elle ouvre sur des perspectives d’utilisation plus complexes, par exemple comme aide au codage pour le PMSI ou sélection directe de patients éligibles à des essais cliniques et pourrait être utilisée en routine au sein de l’institut de cancérologie de Lorraine en lui donnant accès à plus d’informations et en adaptant au maximum cet outil, déjà simple d’utilisation, aux cliniciens dans leur pratique quotidienne.

# Déclaration de liens d’intérêts

les auteurs déclarent ne pas avoir de liens d’intérêts.

Les auteurs remercient Baptiste Maingret, ingénieur en informatique pour son expertise en Data science et son aide pour utiliser SAS® Viya.