# Attentes méthodologiques pour la démonstration de l'efficacité des produits de santé par les études observationnelles

Michel Cucherat, Olivier Demarcq, Olivier Chassany, Claire Le Jeunne, Isabelle Borget, Cécile Collignon, Vincent Diebolt, Marion Feuilly, Béatrice Fiquet, Clémence Leyrat, et al.

► To cite this version:

Michel Cucherat, Olivier Demarcq, Olivier Chassany, Claire Le Jeunne, Isabelle Borget, et al. Attentes méthodologiques pour la démonstration de l'efficacité des produits de santé par les études observationnelles. Therapies, 2025, 80 (1), pp.33-46. 10.1016/j.therap.2024.10.052. hal-04812328

HAL Id: hal-04812328

https://hal.science/hal-04812328v1

Submitted on 22 May 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
<figure><img src="image_2.png" /></figure>

ATELIERS DE GIENS 2024/RECHERCHE CLINIQUE ET ÉVALUATION DES PRODUITS DE SANTÉ

# Attentes méthodologiques pour la démonstration de l'efficacité des produits de santé par les études observationnelles☆

Michel Cucherat<sup>a</sup>, Olivier Demarcq<sup>b</sup>,
Olivier Chassany<sup>c</sup>, Claire Le Jeunne<sup>d,e</sup>,
Isabelle Borget<sup>f,g,1</sup>, Cécile Collignon<sup>h,1</sup>,
Vincent Diebolt<sup>i,1</sup>, Marion Feuilly<sup>j,1</sup>,
Béatrice Fiquet<sup>k,1</sup>, Clémence Leyrat<sup>l,1</sup>,
Florian Naudet<sup>m,n,1</sup>, Raphaël Porcher<sup>o,p,1</sup>,
Nathalie Schmidely<sup>q,1</sup>, Tabassome Simon<sup>r,1</sup>,
Matthieu Roustit<sup>s,*</sup>

Disponible sur Internet le 22 octobre 2024

<footnote><sup>a</sup> Metaevidence.org, service de pharmacologie, hospices civils de Lyon, 69000 Lyon, France</footnote>

<footnote><sup>b</sup> Pfizer Inc, Chief Medical Affairs Organization, Pfizer US Commercial Division, 75014 Paris, France</footnote>

<footnote><sup>c</sup> Unité de recherche clinique en économie de la santé (URC-ECO), hôpital Hôtel-Dieu, AP-HP, 75004 Paris, France</footnote>

<footnote><sup>d</sup> Université Paris Cité, AP-HP, 75000 Paris, France</footnote>

<footnote><sup>e</sup> Hôpital Cochin, 75014 Paris, France</footnote>

<footnote><sup>f</sup> Gustave Roussy, Biostatistics and Epidemiology Office, université Paris-Saclay, 94810 Villejuif, France</footnote>

<footnote><sup>g</sup> Inserm, université Paris-Saclay, CESP U1018, Oncostat, labeled Ligue contre le cancer, 94810 Villejuif, France</footnote>

<footnote><sup>h</sup> Medtronic, 78620 L'Etang-la-Ville, France</footnote>

<footnote><sup>i</sup> F-CRIN Coordination, 31300 Toulouse, France</footnote>

<footnote><sup>j</sup> Bayer HealthCare SAS, département accès au marché, 59045 Lille, France</footnote>

<footnote><sup>k</sup> Amgen SAS, 92400 Courbevoie, France</footnote>

<footnote><sup>l</sup> Department of Medical Statistics, London School of Hygiene & Tropical Medicine, WC1E 7HT3 London, Royaume-Uni</footnote>

<footnote>☆ Les articles, analyses et propositions issus des Ateliers de Giens sont ceux des auteurs et ne préjugent pas de leur organisation.</footnote>

<footnote>* Auteur correspondant. Unité de pharmacologie clinique, Inserm CIC1406, Centre d'investigation clinique de Grenoble, CHU Grenoble Alpes, CS 10217, 38043 Grenoble cedex, France.</footnote>

<footnote>Adresse e-mail : MRoustit@chu-grenoble.fr (M. Roustit).</footnote>

<footnote n="1">¹ Les participants à la table ronde « Recherche clinique et évaluation des produits de santé » des Ateliers de Giens 2024.</footnote>
m University of Rennes, CHU Rennes, Inserm, EHESP, Irset (Institut de recherche en santé, environnement et travail) -UMR-S 1085, centre d'investigation clinique de Rennes (CIC1414), 35000 Rennes, France

n University Institute of France, 75000 Paris, France

o Université Paris Cité, université Sorbonne Paris Nord, Inserm, INRAe, Centre for Research in Epidemiology and Statistics (CRESS), hôpital Hôtel-Dieu, 75004 Paris, France

p Centre d'épidémiologie clinique, hôpital Hôtel-Dieu, AP-HP, 75000 Paris, France

q Takeda France, accès des patients à l'innovation, 75000 Paris, France

r Service de pharmacologie, plateforme de recherche clinique de l'Est parisien, Sorbonne université, AP-HP, 75012 Paris, France

s Université de Grenoble Alpes, Inserm, CIC1406, HP2 U1300, CHU Grenoble Alpes, 38043 Grenoble, France

## MOTS CLÉS

* Études observationnelles ;
* Real world data ;
* Real world evidence ;
* Health technology assessment ;
* Lecture critique ;
* Decision-making ;
* Agences de régulation ;
* Accès au marché

**Résumé** La problématique de l'évaluation de l'efficacité des technologies de santé (médecaments, dispositifs, etc.) par les études observationnelles prend de plus en plus d'importance depuis que les agences d'enregistrement et d'accès au marché envisagent de les considérer dans leur processus d'évaluation. Dans ce contexte, les études observationnelles doivent être capables d'apporter de réelles démonstrations, d'un niveau de fiabilité comparable à celles produites par l'approche classique basée sur l'essai randomisé et contrôlé (RCT). L'objectif de la table ronde a été d'établir les critères d'acceptabilité pour qu'une étude observationnelle (« non-randomized, non-interventional study ») puisse prétendre apporter ces démonstrations, et éventuellement servir d'étude confirmatoire pour les autorités d'enregistrement et d'accès au marché, la construction des stratégies thérapeutiques ou l'élaboration des recommandations. Pour cela, l'étude doit être une véritable étude de confirmation respectant la démarche hypothétique-déductive et garantissant l'absence de HARKing et de p-hacking en attestant de l'élaboration d'un protocole et d'un plan d'analyse statistique, enregistrés avant toute analyse inférentielle. Elle doit aussi s'inscrire dans une démarche formalisée d'inférence causale et montrer qu'elle permet d'identifier correctement l'estimand causal recherché. L'étude doit garantir l'absence de biais de confusion résiduelle à l'aide d'une prise en compte de tous les facteurs de confusion affectant la comparaison, ceux-ci devant être déterminés par une approche formelle (de type graphique de causalité, DAGs). Les diagnostics de biais de confusion résiduel par analyse de falsification et de nullification doivent montrer leur absence. L'étude doit être à faible risque de biais, en particulier de biais de sélection, entre autres en utilisant un design d'émulation d'essai cible. Le risque alpha global doit être strictement contrôlé. L'absence de publication sélective de résultat et de biais de sélection doit être garantie.

© 2024 Les Auteurs. Published by Elsevier Masson SAS au nom de Société française de pharmacologie and de thérapeutique. This article is published in Open Access under a Creative Commons Attribution 4.0 License (http://creativecommons.org/licenses/by/4.0/).

## Abréviations

AVK anti-vitamines K

AOD anticoagulants oraux directs

ATE average treatment effect

ATT average treatment effect among the treated

DAG diagramme acyclique orienté

FdC facteurs de confusion

HARKing hypothesizing after the results are known

HETE hypothesis evaluating treatment effectiveness

IPTW inverse probability of treatment weighting

ISPOR/ISPE Society for Pharmacoeconomics and Outcomes Research/International Society for Pharmacoepidemiology

ITT intention de traiter

NUC no uncontrolled confounding (ou hypothèse d'ignorabilité)

RCT essais randomisés contrôlés

RWD real world data

SAP statistical analysis plan

SMD standardized mean difference

## Introduction

Jusqu'à présent les études observationnelles étaient considérées comme insuffisamment fiables pour être prises en considération comme étude pivot dans l'évaluation initiale du bénéfice clinique des traitements (au sens large de technologie de santé) [1–3], en particulier par les agences d'enregistrement et d'accès au marché [4]. Cela s'explique par la présence de biais inhérents à l'approche observationnelle (tels que les biais de confusion, de sélection ou de classement), par l'absence de certaines données dans les sources utilisées (données manquantes ou données non recueillies), ainsi que par d'autres problématiques méthodologiques telles que le HARKing, le p hacking, la
multiplicité statistique, ou encore le biais de publication et le rapport sélectif des résultats (selective reporting). L'ensemble de ces problèmes et l'absence de langage statistique formel pour exprimer les effets causaux ne permettaient pas d'interpréter les résultats des études observationnelles de manière causale.

Cependant, depuis peu, les agences d'enregistrement et d'accès au marché envisagent de considérer, au cas par cas, les études observationnelles, comme les études sur données dites « de vraie vie » (real world data [RWD]), dans leur processus d'évaluation [5-7]. Cela concerne en particulier les études non interventionnelles non randomisées utilisées comme études confirmatoires (études inférentielles) de l'effet traitement à la place des essais randomisés contrôlés (RCT) pour éclairer les décisions réglementaires, les décisions de remboursement et de fixation du prix et les soins cliniques [8] à travers la construction des stratégies thérapeutiques et de recommandations médicales.

Cette évolution ne correspondrait cependant pas à une diminution de l'exigence de preuve au-delà de tout doute raisonnable pour la démonstration du bénéfice des traitements, mais elle se justifierait par les progrès théoriques et méthodologiques réalisés en épidémiologie comme l'inférence causale, l'émulation des essais cibles et bien d'autres [9]. En effet, ces progrès (ou innovations méthodologiques) laissent entrevoir la possibilité, sous certaines conditions, de produire des résultats sufisamment fiables, de haut niveau de preuve, utilisables à la place ou en complément de résultats de RCT, pour la prise de décision (« decision making »), la définition ou la modification des stratégies thérapeutiques, l'élaboration des recommandations, ou le health technology assessment.

Compte tenu des enjeux de ces décisions, l'utilisation de résultats d'études observationnelles à la place de résultats de RCT nécessite impérativement des exigences méthodologiques élevées afin de garantir à ces études une crédibilité proche de celle des RCT.

## Objectif de la table ronde

L'objectif de cette table ronde a été de définir à partir de l'expertise des participants, de l'état de l'art et de la littérature, les critères de validité méthodologique pour que des résultats d'études observationnelles puissent être considérés comme preuves du bénéfice clinique d'une technologie de santé (médicament, dispositif, etc.). Ces critères de validité définissent ainsi une liste d'attentes que pourraient avoir des évaluateurs et des décideurs pour prendre en considération les résultats de ce type d'études (Annexe 1). Toutefois, elle ne préjuge pas de l'usage que feront les différentes agences de cette ouverture possible vers des études observationnelles confirmatoires de l'effet traitement.

Cette liste est également destinée aux utilisateurs et concepteurs de ces études (connaître les critères d'acceptabilité méthodologiques à satisfaire pour maximiser leurs chances de voir les résultats de l'étude pris en compte dans le cadre d'un processus décisionnel). De manière plus générale, elle permet de connaître les

<caption>**Tableau 1** Exemples hypothétiques de scénario d'utilisation (sans préjuger de leur acceptabilité réelle par les agences).</caption>

* Hypocholestérolémiant de nouvelle génération mis sur le marché sur la base de son effet pharmacologique (baisse de LDL) et dont le bénéfice clinique sur la morbi-mortalité cardiovasculaire serait démontré par une étude observationnelle

* Pompe d'assistance ventriculaire gauche mise sur le marché sur des critères de performance et dont l'impact sur la mortalité dans le choc cardiogénique serait démontré ultérieurement par une étude observationnelle

* Démonstration de la supériorité en termes de contrôle glycémique d'une insuline basale par rapport à une autre du fait de ses meilleures propriétés pharmacocinétiques

* Thérapie génique de l'hémophilie mise sur le marché sur la base d'une étude non comparative et dont la supériorité au traitement supplétif serait obtenue ultérieurement par une étude observationnelle

conditions permettant de conduire une étude observationnelle causale de qualité.

## Terminologie et périmètre de la table ronde

Le domaine des études observationnelles est très vaste, regroupant des études d'une très grande diversité par : leur objectif (descriptif ou analytique, allant de l'épidémiologie et la santé publique à l'évaluation des technologies de santé ou des interventions), leur ambition (études exploratoires ou études de confirmation), leur design (études de cohorte, études cas-témoins, études transversales, études autocontrôlées, etc.), les sources de données utilisées (données primaires, bases de données administratives, dossiers médicaux électroniques, registres maladies, registres traitements, etc.), et leur méthode d'analyse (de régression multivariables classiques à des méthodes plus avancées, incluant le machine learning).

Compte tenu de l'objectif de la table ronde, la réflexion a porté exclusivement sur les études comparatives évaluant le bénéfice clinique et la sécurité d'une technologie de santé ou d'une intervention et dont la finalité est de faire changer la stratégie thérapeutique (régulation, recommandations, accès au marché, etc.).

La réflexion de la table ronde n'a pas concerné les études recourant à un groupe contrôle externe, sujet qui a fait l'objet d'une précédente table ronde en 2019 [10].

Bien que certaines de ces approches aient été validées de façon empirique [11], aucun exemple de prise de décision n'existe pour l'instant (en juin 2024) compte tenu de la récente évolution des positions des agences. Cette utilisation est cependant souvent revendiquée pour différents scénarios dont quelques exemples hypothétiques sont donnés dans le Tableau 1.
## Pourquoi des critères d'acceptabilité et non pas des recommandations de méthode

Le groupe de travail s'est attaché à définir les critères de validité méthodologique que doivent respecter les résultats des études observationnelles à visée confirmatoire, et non pas à faire des recommandations sur la façon de concevoir ou de réaliser ces études (qui sont d'ailleurs déjà disponibles) [8,12–15]. En effet, compte tenu de l'enjeu, la question est bien celle de la fiabilité effective des résultats obtenus et non pas de la qualité de la conception de l'étude.

Par exemple, pour le biais de confusion, l'enjeu est bien d'obtenir des résultats sans biais de confusion résiduel (ou avec un biais de confusion résiduel négligeable) et non pas "seulement" de mettre en œuvre une démarche de contrôle du biais de confusion. Une démarche de correction du biais de confusion même correcte peut échouer à atteindre son objectif pour de nombreuses raisons (facteurs de confusion non mesurés, modèle statistique non adapté aux données, etc.).

Dans ce contexte, il y a une réelle obligation de résultat (un biais de confusion résiduel négligeable) et non pas simplement une obligation de moyens (une démarche de correction du biais de confusion).

En effet, avec la démarche observationnelle, rien ne garantit que les méthodes utilisées pour corriger des biais, produisent bien l'effet escompté, car tout dépend de l'adéquation des données avec les hypothèses faites par ces méthodes. La démarche observationnelle ne peut isoler l'effet spécifiquement causé par le traitement que si les hypothèses de validité liées à cette démarche (hypothèses de l'inférence causale) et aux méthodes d'analyses utilisées sont effectivement vérifiées par les données. La justification de la plausibilité de ces hypothèses est donc primordiale (analyse d'identification, « identification analysis » [9]).

À la différence des RCT qui évitent la plupart des biais par design (et dont la réalisation correcte, non pervertie, garantit la fiabilité des résultats), dans les études observationnelles, les biais sont présents à la source. On tente alors de les corriger par l'analyse, mais le succès dépend de la mesure avec laquelle les données vérifient effectivement les hypothèses de validité des méthodes employées.

L'évaluation de ces études ne consiste donc pas à simplement vérifier si les principes méthodologiques ont été correctement employés (comme avec les RCT), mais bien à s'assurer que les hypothèses de validité des méthodes sont vérifiées dans le contexte de réalisation de l'étude et que les principes généraux de la démarche scientifique comme la démarche hypothéticodéductive ont été mis en œuvre.

Comme cette certitude n'est pas facile à obtenir, quand cela n'est pas passé complètement sous silence [16], les investigateurs font parfois apparaître dans la discussion des limites de leurs études des phrases du type : "results are likely to be affected by confounding bias and should be interpreted with caution", "However, because observational studies are prone to confounding and selection bias, causality cannot be affirmed", "Because claim databases can be vulnerable to selection and confounding bias, these results are statistical associations but not causal".

Encadré 1 : Études sur « données de vie réelle », une appellation à prosccrire.

L'appellation études sur « données de vie réelle » (« real world data », RWD) est couramment employée, principalement pour les distinguer des essais randomisés. Ce terme est mal adapté, car la problématique de ces études n'est pas vraiment la nature des données, mais bien le caractère observationnel qui conditionne leurs limites méthodologiques [17]. C'est la méthodologie et la solidité des résultats qui opposent fondamentalement les essais randomisés et les études observationnelles, pas les conditions de génération des données. Le terme « données de vraie vie » est aussi impropre, car toutes les études se basent sur des données réelles. À ce niveau, il est plutôt proposé de parler de données collectées en pratique courante.

Avec un objectif de production de preuve du bénéfice clinique, ce type de réserves rend caduque l'utilisabilité des résultats. Seuls des travaux où il sera possible, de façon licite, de s'abstenir de mentionner ce type de limites et de conclure à la causalité seront recevables pour cet usage (Encadré 1) [17].

## Les critères d'acceptabilité méthodologiques pour les études observationnelles confirmatoires

Dans l'état actuel des connaissances, il est possible de certifier les conditions de validité des résultats issus d'études observationnelles d'inférence de l'effet traitement [18].

### Critères d'acceptabilités en lien avec les principes de base de la démarche scientifique

#### Étude de confirmation

Afin de respecter l'approche hypothéticodéductive qui prévaut en matière d'évaluation du bénéfice des traitements (cf. ICH E9), l'étude observationnelle doit être une étude de confirmation, spécialement réalisée pour tester une hypothèse préspécifiée et établie avant l'analyse des données [19–21]. Ces études de confirmation sont dénommées « hypothesis evaluating treatment effectiveness (HETE) study » dans les bonnes pratiques Society for Pharmacoeconomics and Outcomes Research/International Society for Pharmacoepidemiology (ISPOR/ISPE) [22].

#### Garantie d'absence de HARKing

Une limite majeure des études rétrospectives, c'est-à-dire des études pour lesquelles la source des données existe déjà au moment de la formulation de l'objectif de l'étude et de sa planification [23], est la possibilité de HARKing. Le HARKing (de l'anglais « hypothesizing after the results are known », c'est-à-dire émettre des hypothèses une fois les résultats connus) survient lorsque l'hypothèse est formulée à partir d'une analyse préalable des données utilisées pour
l'étude elle-même. L'étude n'est plus alors une confirmation ou une infirmation indépendante de l'hypothèse. En cas de HARKing, les résultats de l'étude ne peuvent pas aller à l'encontre de l'hypothèse et le raisonnement est complètement tautologique : l'hypothèse n'est pas préalable à la réalisation de l'étude, mais découle directement des résultats observés qui, en retour, la confirment. La démarche ne respecte donc pas l'approche hypothético-déductive et demeure inductive car l'hypothèse n'est pas testée, mais fabriquée à partir des données.

Dans les études observationnelles rétrospectives, assurer l'absence de HARKing n'est pas simple et passe à minima par un enregistrement du protocole avant l'analyse [21], voire un accès aux données subordonné à la présentation d'un protocole, ou encore la traçabilité de la chronologie de l'accès aux bases de données. Aucun de ces moyens n'est cependant suffisant (en particulier lorsque les investigateurs assurent aussi la gestion des données comme dans les registres). Comme le proposent les bonnes pratiques de l'ISPOR/ISPE [20], il est attendu in fine un engagement explicite par les auteurs que l'hypothèse a bien été générée indépendamment du jeu de données utilisé pour l'étude (dans le protocole, le plan d'analyse statistique (statistical analysis plan [SAP]), le rapport d'analyse et la publication).

## Garantie d'absence de p-hacking

Le p-hacking consiste à adapter l'analyse des données en fonction des résultats produits et à ne publier que les résultats en faveur de l'hypothèse testée (« torture the data long enough and they will confess to anything », Ronald H. Coase). Cette pratique invalide les résultats produits, car il a été montré à de nombreuses reprises qu'il est faisable de produire, avec le même jeu de données, un grand nombre de résultats différents [23]. Des études méta-épidémiologiques ont montré la fréquence de cette pratique [24,25], qui peut être légitime dans le cadre des études exploratoires, mais rédhibitoires pour les études de confirmation [17].

Pour écarter la possibilité de p-hacking, il est attendu un protocole et un plan d'analyse statistique établis avant toute analyse inférentielle des données [24], enregistrés [25–27] avec une documentation de la chronologie d'accès aux données et une attestation des auteurs que l'analyse inférentielle a été réalisée conformément au plan d'analyse statistique établi a priori [27].

En particulier il convient de bien séparer les analyses de données « préparatoires » destinées à qualifier la/les sources de données de l'analyse inférentielle sur le ou les critères de jugement [24,28].

## Critères d'acceptabilité liées à la démonstration de la causalité

### Utilisation d'une approche d'inférence causale

La théorie de l'inférence causale [29–32] a permis d'identifier qu'une conclusion à la causalité à partir d'une comparaison observationnelle (et donc non expérimentale, non randomisée) était possible à condition que plusieurs hypothèses fondamentales soient vérifiées par les données et la façon de les analyser :

### Recommandation 1

Il est recommandé de ne prendre en considération pour la décision que des études qui s'inscrivent dans la démarche hypothéticodéductive de confirmation et pour lesquelles HARKing et p hacking peuvent être écartés en raison, par exemple, de la garantie que l'objectif, le protocole et le plan d'analyse statistique ont été établis avant toute analyse inférentielle et que cette analyse a été réalisée conformément à ce plan ; garantie apportée par l'attestation des auteurs, l'enregistrement ou la publication du protocole et du SAP, etc.

FDA (lignes de la recommandation FDA [8] où les mêmes concepts sont mentionnés) : ligne 51, 124, 112, 90.

* l'hypothèse de positivité : tous les patients dans la population cible peuvent recevoir tous les traitements comparés. Cette hypothèse rend, par exemple, infaisable l'évaluation à partir de données de soins courants d'un nouveau traitement qui serait systématiquement utilisé après sa mise à disposition chez tous les patients. Dans ce contexte, la probabilité qu'un nouveau patient reçoive le traitement comparateur sera quasiment nulle et l'hypothèse de positivité ne sera pas respectée ;

* l'hypothèse de régularité (« consistency ») : pour un patient donné, le devenir effectivement observé avec un traitement spécifique correspond au devenir potentiel sous cette même intervention. En d'autres termes, cela signifie que les patients d'un groupe ont bien reçu une version du traitement qui correspond à la définition du traitement attribué à ce groupe (comme dans un essai randomisé où tous les patients d'un groupe sont traités suivant le même protocole) ;

* l'hypothèse de non-interférence : le traitement de certains patients n'influence pas le devenir potentiel des autres patients. Cette hypothèse peut être remise en cause avec les vaccins par exemple, car une couverture vaccinale protège les patients non vaccinés. Dans cette situation une comparaison vaccinés/non-vaccinés pourrait conclure à l'absence d'intérêt du vaccin ;

* l'hypothèse d'échangeabilité conditionnelle (hypothèse NUC : *no uncontrolled confounding*, ou hypothèse d'ignorabilité) : elle signifie que le niveau de risque (fréquence du critère de jugement) du groupe comparateur, si celui-ci avait reçu le traitement, serait identique à celui du groupe traité. Autrement dit, la validité de cette hypothèse correspond à l'absence de biais de confusion.

En inférence causale, il faut vérifier la validité de l'ensemble de ces hypothèses qui ne sont pas toutes testables sur les données (comme l'hypothèse NUC). La plausibilité de ces hypothèses est alors établie à l'aide d'analyse de sensibilité et par la compréhension du contexte clinique dans son ensemble. Si ce n'est pas le cas, on parlent de « biais d'identification » [9,32]. Au niveau décisionnel, l'attente est une justification forte que ces hypothèses sont vérifiées par les données utilisées et la façon de les analyser. Dans l'essai randomisé correctement
<table><caption>**Tableau 2** Quelques estimands possibles en termes de population cible pour « l'effet traitement » dans les études observationnelles.</caption><thead><tr><td>Appellation</td><td>Définition</td><td>Population correspondante/cible</td><td>Question causale</td></tr></thead><tbody><tr><td>ATE (average treatment effect)</td><td>L'ATE peut être interprété comme la différence entre le résultat qui serait observé si tous les sujets étaient traités, vs non traités ; cette valeur n'est donc pas calculable (ce sont des « endpoints potentiels »), et doit être estimée à partir des résultats observés chez les traités et les non traités.</td><td>Toute la population</td><td>Peut-on recommander le traitement à tous les futurs patients (comparables à ceux éligibles pour l'étude) ?</td></tr><tr><td>ATT (ATE among the treated)</td><td>Correspond à l'ATE chez les patients traités uniquement</td><td>Population des patients ayant des caractéristiques similaires aux patients traités (sous-entendu avec le traitement à l'étude)</td><td>Confirmer que le traitement apporte un bénéfice chez ceux qui sont actuellement traités par lui ?</td></tr><tr><td>ATC (ATE among the controls)</td><td>Correspond à l'ATE chez les patients du groupe contrôle uniquement</td><td>Population des patients contrôles</td><td>Peut-on étendre l'utilisation du traitement chez ceux qui ne le reçoivent pas actuellement ?</td></tr></tbody></table>

conçu et réalisé aucune hypothèse n'est nécessaire pour conclure de manière causale.

## Raisonnement contre factuel

L'inférence causale nécessite impérativement un raisonnement contre factuel (reposant sur le concept de « potential outcome ») qui nécessite de pouvoir connaître pour chaque patient, le devenir potentiel sous traitement et sans traitement. Mais en pratique, on observe un seul de ces deux « outcomes potentiels » (l'autre étant le contrefait). La théorie de l'inférence causale propose des méthodes pour estimer le contrefait à partir des informations disponibles sur les patients. Le design de l'étude doit donc être comparatif : étude de cohorte, étude cas témoins ou design autocontrôlé, série temporelle interrompue, différence des différences, etc.

Les études purement descriptives ne permettent pas d'inférence causale et sont inappropriées, comme les simples comparaisons avant après (« change from baseline ») qui ne permettent pas d'isoler l'effet traitement en approche observationnelle [33].

## Estimand

Dans les études observationnelles, il existe plusieurs façons de concevoir l'effet traitement [34–36]. Chacune de ces façons correspond en fait à un estimand différent.

Attention cependant, dans cette acception, l'estimand ne correspond pas exactement à la même définition que celle utilisée en standard dans l'essai randomisé [37], où il a un sens plus général par rapport au concept de base qui désigne la quantité conceptuelle que l'on veut appréhender dans une analyse statistique/une recherche de causalité [38].

Les différents estimands possibles dans une étude observationnelle sont listés (Tableau 2).

Chaque estimand implique une méthode d'analyse appropriée : par exemple un appariement 1:1 sur les patients du groupe traité donne un effet moyen du traitement dans la population des patients traités (average treatment effect among the treated [ATT]) tandis que la pondération par l'inverse de la probabilité de traitement (inverse probability of treatment weighting [IPTW]) [avec les poids appropriés] permet d'obtenir l'effet moyen dans la population représentant l'ensemble des participants de l'étude (average treatment effect [ATE]).

Pour les études confirmatoires à visée d'évaluation d'une technologie de santé, l'estimand attendu est plutôt l'ATE (dans la population totale de l'étude), car il correspond directement au sens de l'effet traitement mesuré classiquement dans l'essai randomisé et il est l'estimand naturel dans une émulation d'essais cible.

### Recommandation 2

Il est recommandé de ne prendre en considération pour la décision que les études :

* mettant en œuvre de manière satisfaisante une approche d'inférence avec une question clairement causale ;

* fondées sur un raisonnement contre factuel du fait d'un design comparatif (reposant notamment sur l'émulation d'un essai cible, cf. ci-dessous) ;

* et avec un estimand correspondant directement à la question causale et qui satisfait les hypothèses de l'inférence causale (identificabilité).

FDA: 138, 37,223.
## Analyse en intention de traiter/analyse en traitement reçu

En termes d'estimand [37], il est possible de concevoir l'effet traitement de deux façons différentes : l'effet de la décision de traiter (intention de traiter) ou l'effet de prendre effectivement un traitement (traitement reçu). La première cherche à appréhender ce que l'on peut attendre du traitement en termes de chance a priori de modifier le devenir du patient, au moment où le médecin prend la décision de recourir à ce traitement et quel que soit ce qui arrivera au cours du traitement (observance, effets indésirables, risques compétitifs, etc.). Il correspond à la classique analyse en intention de traiter.

Après détermination de l'initiation du traitement, l'analyse prendra en considération tous les événements survenant durant la période de suivi prédéfini (par exemple 3 ans) et y compris ceux survenant après que le patient a arrêté le traitement initié si l'arrêt survient avant la fin du suivi.

L'analyse en traitement reçu ne considérera que les périodes d'exposition, durant lesquelles le patient reçoit effectivement le traitement considéré (étudié ou comparateur). Le suivi s'interrompt avec l'arrêt du traitement. Cette approche cherche donc à déterminer ce qu'apportera le traitement aux patients observants, qui le tolèrent, et qui ne présenterons pas d'événement intercurrent, situation particulière que l'on ne peut pas anticiper au moment de la décision de recourir pour un patient à un traitement donné.

Dans le cadre des études confirmatoires d'évaluation d'une technologie de santé il est attendu une approche de type intention de traiter (ITT) (pour la supériorité, comme c'est le cas dans l'essai randomisé pivot habituel), qui correspond à un estimand de type « treatment policy ».

### Recommandation 3

Il est recommandé de ne considérer que les résultats correspondant à un estimand approprié à la décision et à sa question causale, en général l'estimand de l'ATE, ce qui conduit à privilégier les méthodes de pondération par l'inverse de la probabilité de traitement (avec les bons poids) ou les méthodes de régression multivariable suivies d'une standardisation (g-computation) par rapport aux méthodes d'appariement.

De même il est recommandé de ne considérer pour la décision que les résultats issus d'une analyse en ITT avec un estimand « treatment policy » pour la gestion des événements intercurrents.

## Critères d'acceptabilité liées au biais de confusion

### La prise en compte de tous les facteurs de confusion

Le « biais » de confusion est une problématique majeure des études observationnelles du fait de l'absence de

randomisation. Biais de sélection mis de côté, le biais de confusion est certainement responsable de la majeure partie des discordances de conclusion entre études observationnelles et essais randomisés.

L'analyse a pour but de corriger le résultat de ce biais. Mais cela ne peut être obtenu, au minimum, que si l'ensemble des variables permettant le contrôle de ce biais est inclus dans l'analyse, soit sous forme d'un ajustement direct (régression multivariable), soit par des méthodes de type pondération ou standardisation.

L'attente est donc claire : une analyse prenant en compte tous les facteurs de confusion (FdC) de l'étude. Mais juger de cela n'est pas simple, car l'identification des FdC n'est pas triviale et le lecteur n'est pas forcément en mesure de les déterminer par lui-même afin de vérifier la complétude de la liste utilisée par les auteurs.

La liste des FdC pris en compte devra donc être justifiée pour apporter cette garantie. Cette justification doit reposer sur une démarche formalisée :

* une identification des variables associées aux critères de jugement (déterminants) à partir des connaissances, idéalement par une revue systématique de la littérature afin de garantir l'exhaustivité. L'avis d'experts seul et encore moins les données de l'étude elles-mêmes ne peuvent satisfaire cette exigence ;

* l'identification de toutes les interrelations entre ces variables et entre ces variables et le traitement étudié, en utilisant la connaissance des pratiques ;

* la formalisation de ces dépendances par un diagramme acyclique orienté (DAG) [39,40] (Fig. 1) ;

* l'identification d'un ensemble suffisant et minimal de variables (« minimal sufficient adjustment set ») permettant de bloquer tous les chemins conduisant à un « biais » de confusion.

Cette formalisation permet d'établir la liste des covariables à prendre en compte impérativement dans l'analyse conditionnée pour supprimer le biais de confusion. Elle permet aussi d'identifier les covariables à ne pas utiliser pour éviter d'introduire d'autres « biais » comme les collisionneurs ou les médiateurs [41–43].

Pour vérifier si cette attente est satisfaite, il convient de vérifier la rigueur de la démarche d'identification des covariables à prendre en compte et de vérifier que ces variables étaient bien mesurées et effectivement prises en compte de manière appropriée.

Au-delà de cette démarche préalable, il faut aussi, que la méthode d'analyse ait effectivement rempli correctement son rôle, car cela n'est pas garanti à 100 %. Par exemple avec une méthode de « matching » par le score de propension, il n'est pas garanti à 100 % que les FdC considérés se retrouvent distribués de la même façon dans les 2 groupes, ce qui est pourtant l'objectif.

Il est donc nécessaire de montrer la performance correcte de la méthode d'analyse. Les éléments nécessaires pour documenter cela varient en fonction de la méthode utilisée : chevauchement des distributions des scores de propension entre les 2 groupes, comparaison des
<figure><img src="image_3.png" /></figure>

**Figure 1.** Exemple de diagramme acyclique orienté (DAG), qui représente les relations causales entre les différentes variables. Une flèche représente un effet causal (potentiel), et une absence de flèche l'absence de toute relation causale entre deux variables. Le graphe est dit dirigé car tous les liens sont orientés, et acyclique car aucun chemin ne doit former de boucle fermée. Dans cet exemple, T représente le traitement, et Y le devenir du patient (outcome). L est un facteur de confusion, qui devra être pris en compte dans l'analyse. C'est un collisionneur (« collider ») sur le chemin T à C β Y, qui bloque ce chemin et ne doit pas être pris en compte dans l'analyse.

distributions des covariables après appariement ou pondération ou mesure du déséquilibre de chaque covariable (la p value est inadapté dans cette situation, une « standardized mean difference » SMD est plus appropriée même si elle présente certaines limites), etc.

Il existe une grande diversité de méthodes statistiques validées utilisables pour corriger le biais de confusion. Toutes ces méthodes fonctionnent correctement quand le modèle d'inférence causale utilisé correspond aux données et se valent donc à quelques détails près. Et il n'existe aucune méthode magique, garantissant la suppression de tout biais de confusion à coup sûr (même avec les méthodes d'IA). De ce fait, il est vain de chercher à juger l'exactitude du résultat à travers la méthode utilisée. C'est pour cette raison qu'ont été développés des diagnostics de la fiabilité des résultats produits.

## Une démonstration de l'absence de biais de confusion résiduel

Même avec une démarche optimale d'identification et l'utilisation d'une méthode d'analyse pour prendre en compte les FdC, il est toujours possible de craindre un biais de confusion résiduel (dû à un facteur non identifié ou à un modèle statistique mal adapté/spécifié ou d'autres raisons).

Un tel biais résiduel doit pouvoir être écarté par les résultats obtenus au niveau de contrôles négatifs [44–47] (ou positifs si le résultat est une absence d'association) ou par ceux de l'analyse quantitative de biais [48] (analyses de robustesse plus spécifiques que les analyses de sensibilité habituelle, spécialement conçues pour éprouver la robustesse du résultat obtenu vis-à-vis du biais de confusion, comme la E value) [49,50].

## Recommandation 4

Il est recommandé de ne prendre en considération pour la décision que des études pour lesquelles :

* Une démarche formalisée (type DAGs) a été utilisée pour identifier les FdC affectant l'étude.

* Tous les FdC affectant l'étude ont pu être pris en compte sans sur-ajustement.

* La méthode de prise en compte des FdC a rempli correctement son rôle [par exemple, pour une méthode d'appariement (matching), rééquilibrer correctement (SMD < 0,10 par exemple) la distribution des FdC entre les 2 groupes, etc.].

* Il est montré que le biais de confusion résiduel est négligeable à l'aide de contrôles négatifs (ou positifs) ou d'une analyse quantitative de biais bien conduite.

FDA : 76, 80, 150, 139, 188, 226, 229.

## Critères d'acceptabilité liées aux autres biais

### In fine, un risque de biais faible ou modéré

Les études observationnelles sont exposées à d'autres biais en plus du biais de confusion. Ces autres biais sont tout autant susceptibles de fausser les résultats. Ils peuvent être regroupés en 5 catégories : les biais de mesure, de déviation des traitements, de classification, les biais liés aux données manquantes et le biais de publication au niveau des résultats rapportés (« selective reporting bias »). Il est impossible de développer tous ces biais dans le cadre de ce compte rendu, mais il existe un outil d'évaluation du risque de biais couramment utilisé pour ces études observationnelles d'intervention, le ROBINS-I [51].

En utilisant cet outil, il est possible d'évaluer le risque de biais d'une étude, dont il est attendu par l'évaluateur qu'il soit faible ou modéré.

### Qualité des données

La question de la qualité des données est cruciale, mais complexe [24,28].

Les données peuvent être à la source de biais en raison de mauvaises classifications de l'exposition ou d'erreurs de mesure des critères de jugement. L'erreur peut être symétrique (affectant de la même façon les 2 groupes) ou asymétrique (l'erreur dépend du traitement reçu). Les conséquences de ces deux types d'erreurs sont différentes suivant la nature du résultat. Les erreurs symétriques ne peuvent pas induire de biais conduisant à conclure à tort à une différence, mais elles peuvent biaiser vers l'absence de différence (« bias toward the null ») et peuvent remettre en cause une conclusion sur l'absence de différence, dans le cas d'une étude de non-infériorité par exemple. Les erreurs asymétriques sont susceptibles d'induire un biais, quelle que soit la nature du résultat.

L'erreur de mesure ne doit pas être vue comme un simple problème de transcription dans la base de la survenue du critère de jugement, car le mécanisme du biais est
parfois complexe. Par exemple, pour comparer la fréquence des saignements majeurs entre les anticoagulants oraux directs (AOD) et les classiques anti-vitamines K (AVK), une étude sur base administrative utilise comme critère de jugement l'hospitalisation pour hémorragie. Cette étude est réalisée rapidement après la commercialisation des AOD. Une erreur asymétrique de « mesure » du critère de jugement est à craindre, car les médecins auront peu d'expérience pratique avec les AOD contraires au AVK. Il est probable que l'hospitalisation sera plus fréquente devant des saignements d'intensité identique chez les patients AOD que chez ceux recevant les AVK, surtout qu'aucun marqueur comparable à l'INR n'est disponible pour les AOD. Par précaution, les médecins préféreront hospitaliser les patients sous AOD. L'erreur survient donc à la base, dans le processus conduisant à la mesure, c'est-à-dire l'hospitalisation. La chaîne de mesure a des performances différentes entre les 2 groupes, avec plus de faux positifs dans le groupe traité. De plus le problème ne sera pas détecté par la validation de l'exactitude du motif d'hospitalisation.

Les erreurs de mesure sur les FdC peuvent rendre caduque l'analyse conditionnée, invalidant la possibilité de corriger les résultats du biais de confusion.

Sur cette question de la qualité des données, il est attendu une validation des données et des algorithmes utilisés en termes d'exactitude et de complétude (données manquantes). Cette validation repose sur une vérification des positifs et des négatifs (exposition et critère de jugement) systématique ou éventuellement sur un échantillon [28]. Ces études de validations permettront aussi de certifier les hypothèses nécessaires aux analyses quantitatives de bais visant à évaluer la robustesse des résultats vis-à-vis des biais liés aux données [48,52,53].

Une autre approche de validation des données (qui couvre aussi la validation de la prise en compte des FdC) est l'utilisation de contrôles positifs, c'est-à-dire de montrer que des résultats connus (ceux de précédents essais randomisés du domaine) sont retrouvés en analysant ces données.

L'absence de p hacking dans cette validation est primordiale pour convaincre. Cette validation peut être effectuée globalement pour la source de données (par son gestionnaire) avant son exploitation par des études sous forme d'une validation préalable des données (« benchmarking ») [54,55], ou spécifiquement étude par étude (réalisée par les auteurs de l'étude) [56].

Apparaît aussi le besoin d'adapter les sources de données (en particulier les registres) pour les rendre exploitables pour ce standard d'études observationnelles, si une telle exploitation est souhaitée par les gestionnaires de la source de données. Cela implique notamment d'inclure les critères de jugement nécessaires pour l'évaluation des traitements, d'inclure tous les FdC potentiels de ces études (ce qui pourrait aussi impliquer une harmonisation et une publication des DAGs par situation clinique donnée). Enfin les gestionnaires de ces bases devraient aussi prévoir les variables pouvant servir de contrôles négatifs ou positifs, et anticiper la validation des données.

### Recommandation 5

Adapter les sources de données pour qu'elles deviennent exploitables pour satisfaire ces critères d'acceptabilité pour les études observationnelles confirmatoires en veillant à la présence des critères de jugement nécessaire à l'évaluation des traitements, des facteurs de confusion et de variables pouvant servir de contrôles négatifs ou positifs.

## Le biais de sélection

Le biais de sélection est une problématique majeure des études observationnelles, certainement tout aussi importante que le biais de confusion. Ce biais complexe survient quand certains patients (ou des périodes de temps de suivi) pourtant éligibles ne sont pas inclus pour une raison dépendant à la fois du traitement et du critère de jugement.

Le terme « biais de sélection » est trompeur, car il ne s'agit pas d'un problème de représentativité (sélection uniquement de patients ECOG 0 par exemple) et il ne correspond pas non plus à son synonyme employé dans le domaine des essais randomisés. Ce terme est aussi parfois employé pour désigner le biais de confusion.

Il correspond notamment à la bonne synchronisation des débuts de suivi (t0) entre les deux groupes, qui est typiquement la randomisation dans les RCT. La Fig. 2. illustre ce problème de synchronisation des t0 avec l'exemple des CAR-T cells.

### Recommandation 6

Il est recommandé de ne prendre en considération pour la décision que des études pour lesquelles le risque de biais global évalué par l'outil ROBINS-I est faible ou modéré.

En particulier avec un faible risque de biais de sélection en raison, par exemple, de la bonne synchronisation des t0 du suivi entre les deux groupes,

Et un faible risque de biais de classification et de mesure attesté, par exemple, par des études de validation de la qualité de données.

FDA : 77, 139, 165, 167.

## Émulation d'un essai cible

L'émulation d'un essai cible consiste à mimer, lors de la réalisation de l'étude observationnelle, ce qui se passerait si un essai randomisé avait été réalisé pour aborder la même question de recherche [31,57–59]. Cette transposition du cadre de l'essai randomisé vers celui de l'étude observationnelle permet de mieux comprendre un certain nombre de biais et de défauts de construction des études observationnelles et d'y remédier [59].

Avec l'exemple précédent des CAR T-cells, la problématique du décalage des suivis devient évidente lorsque l'on émule ce qui se passe dans un essai randomisé.
<figure><img src="image_4.png" /></figure>

**Figure 2.** Exemple de biais de sélection de type biais de temps immortel. Avec les CAR T-cells, il s'écoule un délai entre la décision de recourir à ce traitement et son injection effective (le temps de réaliser la leucaphérèse et la transformation des lymphocytes-T du patient avant de lui réinjecter). Durant cette période des décès surviennent (représentés par des croix rouges). Dans une étude sur base de données, le seul moyen d'identifier les patients traités par CAR T-cell peut être la mention de l'injection. Ces patients sont alors comparés à des patients traités de manière conventionnelle, par chimiothérapie (CT), et qui sont identifiés par le fait qu'ils ont reçu cette chimiothérapie. Un biais de sélection de type biais de temps immortel affecte alors cette étude, car dans le groupe CAR T-cells, des patients pourtant éligibles, car la décision de recourir à ce traitement a été prise, ne seront pas inclus en raison de leur décès avant l'injection (croix rouges). En revanche, dans le groupe CT, les décès précoces sont enregistrés et décomptés (croix violettes). Sans différence entre les deux traitements, il y aura forcément plus de décès dans le groupe CT que dans le groupe CAR T-cells. Il y a donc non-inclusion de patients en raison du fait qu'ils sont dans le groupe CAR T-cells et qu'ils ont présenté le critère de jugement (décès), les 2 conditions qui conduisent au biais de temps immortel. Pour un patient éligible, pour lequel il a été décidé de le traiter par CAR T-cells, le fait de décéder précocement conduit à sa non-inclusion, tandis que pour un patient similaire pour lequel il a été décidé de recourir à la chimiothérapie, le décès survenant à la même date après la décision de traiter ne conduit pas à la non-inclusion du patient. Pour éviter ce biais de sélection, il faudrait définir les groupes par l'intention de recourir à un traitement par CAR T-cells ou par CT, et commencer le suivi à partir du moment de cette décision, ce qui synchronisera, dans l'histoire naturelle de la maladie, les t0 de début de suivi (et de décompte des événements) entre les 2 groupes. Cela ne sera possible que si la base contient, par exemple, le compte rendu de la réunion pluridisciplinaire qui prend la décision de traiter. Néanmoins, il existe des méthodes statistiques permettant de tenir compte de ce biais (e.g. clone-censor-weight approach).

Le suivi débute dans les 2 groupes à la randomisation. Les décès survenant dans le groupe CAR-T cells avant l'injection seront bien pris en considération dans l'analyse de l'essai.

Ce cadre d'émulation permet aussi d'aligner les questions causales de l'étude observationnelle avec celles de l'efficacité et de la sécurité des traitements tels qu'abordées dans les essais de confirmation.

Classiquement on attribue aux études observationnelles le rôle d'évaluer « l'effectiveness » des traitements tandis que l'essai estime « l'efficacy ». « L'efficacy » est définie [23] comme l'effet du traitement en conditions expérimentale tandis de « l'effectiveness » est l'effet dans les conditions d'utilisation en routine. Cette « effectiveness » s'apparente plus à un questionnement de santé publique : quel est l'impact d'un traitement en pratique compte tenu du profil des patients effectivement traités, de l'observance réelle hors cadre expérimental, du mésusage ou des utilisations hors indication [60]. On peut noter que la FDA utilise le terme « effectiveness » dans un autre sens qui est plutôt celui du bénéfice clinique [61].

Ces études observationnelles inférentielles destinées à la décision ont pour fonction, comme l'essai

randomisé pivot, de démontrer que le traitement apporte un bénéfice cliniquement pertinent, sans sélection non nécessaire des patients visés, et non pas d'évaluer l'impact de l'utilisation en pratique de ce traitement (qui a aussi un réel intérêt, mais il s'agit d'une autre interrogation). L'émulation d'un essai clinique permet en particulier d'aligner la réalisation de l'étude observationnelle inférentielle avec cet objectif.

Le processus d'émulation consiste à élaborer dans un premier temps un synopsis de protocole d'essai randomisé, puis de construire le protocole de l'étude observationnelle de façon à émuler chaque item de ce protocole.

L'émulation d'un essai cible a fait l'objet d'une évolution empirique dans le projet DUPLICATE-RCT [62] qui montre que les études observationnelles réalisées suivant cette approche ne permettent de retrouver les résultats des essais randomisés qu'elles ont émulés que dans 75 % des cas et avec une corrélation des effet de 0,82. Il existe donc des discordances et des travaux sont en cours pour identifier les facteurs conduisant à ces discordances [63]. Quoiqu'il en soit, même si l'émulation ne garantit pas automatiquement, à elle seule, la fiabilité des résultats, elle est un élément contributif important et son utilisation s'avère de plus en plus incontournable.
Sur ce point, il sera attendu une justification que l'émulation a été obtenue de manière satisfaisante, conformément au guide pratique PRINCIPLED, avec notamment la présentation du synopsis de l'essai et d'une « troisième colonne » décrivant l'émulation de chaque point (cf. Tableau 1 de la réf [24]). Une attention toute particulière sera portée sur ces aspects, car actuellement la méta-épidémiologie révèle que la plupart des revendications d'utilisation d'une approche d'émulation sont en fait abusives [64,65].

### Recommandation 7

Il est recommandé de ne prendre en considération pour la décision que des études pour lesquelles une approche d'émulation d'un essai cible a été utilisée et correctement réalisée, prenant pour preuve, par exemple, la présentation du protocole ou du synopsis de l'essai randomisé émulé, et une émulation satisfaisante de tous les points de ce protocole et une analyse statistique appropriée au regard du design de l'étude.

FDA: 138.

## Critères d'acceptabilité liées à d'autres aspects

### Un strict contrôle du risque alpha global

La multiplicité des comparaisons statistiques due à de multiples critères de jugement, traitements comparés ou populations et sous-groupes est très fréquente dans les études observationnelles [66]. Comme pour les essais randomisés, cette multiplicité entraîne une inflation du risque alpha global conduisant à un risque important de conclure à tort sur des différences qui n'existent pas. Il est donc attendu un contrôle strict du risque alpha global à l'aide des mêmes méthodes que celles utilisées pour l'essai randomisé comme la répartition du risque alpha global entre des co-critères principaux (« co-primary endpoints ») ou la hiérarchisation, avec ou sans réallocation du risque alpha.

Les résultats qui pourront être utilisés pour inférer un effet du traitement étudié devront donc être statistiquement significatifs en termes de risque alpha global et non pas simplement nominalement significatifs.

Des analyses intermédiaires sont parfois réalisées au fur et à mesure du peuplement de la base (en particulier quand il s'agit d'une étude sur un registre patient d'une pathologie peu fréquente). Du fait de la multiplicité qu'elles provoquent, ces analyses intermédiaires doivent être anticipées et réalisées avec une méthodologie statistique appropriée (type Haybittle-Peto, O'Brien et Fleming, etc.).

### Une informativité des rapports d'études permettant la lecture critique

L'informativité du rapport d'une étude est indispensable pour pouvoir juger si elle satisfait à tous ces critères d'acceptabilité méthodologiques. En l'absence de recommandations spécifiques aux études observationnelles confirmatoires, il est donc attendu que le rapport suive

### Recommandation 8

Il est recommandé de ne prendre en considération pour la décision que des résultats pour lesquels le risque alpha global est parfaitement bien contrôlé en raison, par exemple, de l'utilisation d'une méthode standard de gestion de la multiplicité des comparaisons statistiques (hiérarchisation, répartition, réallocation, gestion des analyses intermédiaires).

FDA: 242.

les recommandations de rédactions actuelles des études observationnelles comme STROBE [23], RECORD-PE [67] ou STaRT-RWE [68] en y ajoutant la description de l'essai cible émulé (rapporté suivant CONSORT en attendant un guide spécifique en cours de préparation).

## Biais de publication

Pour une même comparaison de traitements, à un temps donné, il est en général possible de réaliser plusieurs études observationnelles similaires en utilisant les différentes sources de données disponibles. Cette multiplicité peut être le point d'ancrage d'un biais de publication important si seulement les « résultats positifs » sont publiés (ou présentés aux agences).

Pour écarter cette éventualité, il est attendu qu'un rapport d'étude précise le nombre de recherches similaires entreprises par le même sponsor ou investigateur principal (PI) et les résultats de chacune de ces autres études (cf. études multibases ci-dessous). Bien que l'enregistrement des protocoles des études rétrospectives ait de nombreuses limites, il est un levier pour tenter d'empêcher et de détecer le biais de publication. Il est sans doute important que cet enregistrement a priori détaille des choses un peu différentes des RCTs et notamment la connaissance antérieure de la base. Une recherche systématique des autres études devrait être entreprise lorsque l'on s'apprête à utiliser une étude particulière à but décisionnel.

Une autre approche de la problématique du biais de publication est la réalisation d'études multibases. Bien qu'il ne s'agisse pas d'un rempart parfait, cette approche permet aussi de documenter d'emblée la stabilité ou la non-stabilité des résultats à travers les sources de données et pourrait conduire à une meilleure reproductibilité des résultats. [11,69].

### Recommandation 9

Il est recommandé de ne prendre en considération pour la décision que des études pour lesquelles il est possible d'écarter qu'elles ont été sélectionnées (et mise en avant ou présentées dans un dossier) en fonction de leurs résultats, par exemple en raison d'une attestation par le promoteur ou l'investigateur principal qu'aucune autre étude similaire n'a été réalisée dans le même but, qu'une revue systématique ne retrouve aucune trace d'autres études publiées ou enregistrées, ou que l'étude repose d'emblée sur plusieurs sources de données (études multibases).
Si plusieurs études similaires sont disponibles, la décision devra considérer la synthèse appropriée de ces études et non pas une étude particulière de façon isolée.

## Conclusion

Ce travail a délibérément choisi de s'orienter sur la pro-
position de recommandations pour aider les évaluateurs
ou les décideurs, qu'il s'agisse d'autorités de santé ou de
prescripteurs, à évaluer la qualité et la fiabilité des résul-
tats des études confirmatoires proposées par les promoteurs
d'études, plutôt que de générer des recommandations sur la
conception de ces mêmes études. Évidemment, et a fortiori
si les autorités de santé décidaient de s'approprier ce tra-
vail pour faire de ces recommandations leurs attentes, elles
peuvent inspirer les promoteurs dans leur rôle de concep-
teur pour développer les protocoles et conduire et rapporter
les études confirmatoires de manière à respecter les critères
de validité/fiabilité développés dans ce document.

Au terme de cette analyse, il apparaît que pour répondre
aux critères d'acceptabilité méthodologiques nécessaires
pour conclure dans un but décisionnel, les études obser-
vationnelles devront mettre en œuvre des approches
sophistiquées encore peu connues et peu utilisées en dehors
de cercles spécialisés.

Une véritable évolution est nécessaire, car, sauf excep-
tion, les études actuellement réalisées dans l'objectif de
démontrer la valeur des technologies de santé sont loin de
satisfaire toutes à ces critères d'acceptabilité méthodolo-
giques et de produire ainsi des résultats suffisamment fiables
pour induire un changement dans la stratégie thérapeutique
ou être prises en considération dans le processus décisionnel
des autorités de santé.

D'autre part, pour accompagner cette mutation, il va
être nécessaire de sensibiliser et former à ces nouvelles
approches et exigences, aussi bien les prescripteurs de ces
études que les lecteurs et décideurs.

## Recommandation 10

Sensibiliser les acteurs du domaine aux différences d'enjeux, d'objectifs et de méthodologie de ces études observationnelles confirmatoires par rapport aux études « habituelles », et former aux concepts de l'inférence causale et d'épidémiologie moderne.

La liste de ces critères d'acceptabilité a été établie
en fonction des connaissances et du retour d'expérience
actuel. Rien ne garantit que l'on puisse, en l'état des
connaissances, cerner toutes les situations qui pourront
se rencontrer en pratique. Même si tous ces critères
d'acceptabilité sont remplis, rien ne garantit que les résul-
tats soient pour autant propices à une utilisation à but
décisionnel. Au cas par cas, ces critères pourraient appa-
raître comme insuffisants en fonction de la situation, en
particulier en cas de petit effectif.

Cependant, même si à l'heure actuelle, ces attentes ne
sont pas atteintes, les progrès méthodologiques récents ont
déjà eu un impact visible sur la qualité de la recherche
observationnelle publiée.

# Annexe A. Matériel complémentaire

Le matériel complémentaire accompagnant la version en
ligne de cet article est disponible sur http://www.science
direct.com et https://doi.org/10.1016/j.therap.2024.10.052.

## Déclaration de liens d’intérêts

Les auteurs déclarent ne pas avoir de liens d'intérêts.

## Références

[1] Fanaroff AC, Calif RM, Harrington RA, Granger CB, McMurray JJV, Patel MR, et al. Randomized trials versus common sense and clinical observation: JACC review topic of the week. J Am Coll Cardiol 2020;76:580–9.

[2] Fonarow GC. Randomization - there is no substitute. JAMA Cardiol 2016;1:633-5.

[3] Hemkens LG, Contopoulos-Ioannidis DG, Ioannidis JPA. Agreement of treatment effects for mortality from routinely collected data and subsequent randomized trials: meta-epidemiological survey. BMJ 2016;352:i493.

[4] Wieseler B, Neyt M, Kaiser T, Hulstaert F, Windeler J. Replacing RCTs with real world data for regulatory decision making: a self-fulfilling prophecy? BMJ 2023;380:e073100.

[5] Concato J, Corrigan-Curay J. Real-world evidence — where are we now? New Engl J Med 2022;386:1680-2.

[6] European Medicines Agency. Real world evidence framework to support EU regulatory decision making; 2023. https://www.ema.europa.eu/en/documents/report/real-world-evidence-framework-support-eu-regulatory-decision-making-report-experience-gained-regulator-led-studies-september-2021-february-2023_en.pdf. [Consulté le 7 octobre 2024 (88 pp.)].

[7] Burns L, Le Roux N, Kalesnik-Orszulak R, Christian J, Hukkelhoven M, Rockhold F, et al. Real-world evidence for regulatory decision-making: guidance from around the world. Clinical Ther 2022;44:420-37.

[8] Center for Drug Evaluation, Research (CDER), Center for Biologics Evaluation and Research (CBER), Oncology Center of Excellence (OCE). Real-world evidence: considerations regarding non-interventional studies for drug and biological products guidance for industry; 2024. https://www.fda.gov/media/177128/download. [Consulté le 7 octobre 2024].

[9] Dahabreh IJ, Bibbins-Domingo K. Causal inference about the effects of interventions from observational studies in medical journals. JAMA 2024;331:1845-53.

[10] Cucherat M, Laporte S, Delaitre O, Behier JM, et al., participants à la table ronde « Recherche clinique » des Ateliers de Giens XXXV. Des études mono-bras aux études de comparaison externe. Considérations méthodologiques et recommandations. Therapie 2020;75:13-9.

[11] Wang SV, Verpillat P, Rassen JA, Patrick A, Garry EM, Bartels DB, et al. Transparency and reproducibility of observational cohort studies using large healthcare databases. Clin Pharmacol Ther 2016;99:325-32.

[12] Desai RJ, Wang SV, Sreedhara SK, Zabotka L, Khosrow-Khavar F, Nelson JC, et al. A Process guide for Inferential studies using healthcare data from routine Clinical Practice to Evaluate causal Effects of Drugs (PRINCIPLED): considerations from the FDA Sentinel Innovation Center. BMJ 2024;384:e076460.

[13] European Medicines Agency. Reflection paper on use of real-world data in non-interventional studies to generate real-world evidence - Scientific guideline; 2024.
https://www.ema.europa.eu/en/reflection-paper-use-real-world-data-non-interventional-studies-generate-real-world-evidence-scientific-guideline. [Consulté le 7 octobre 2024].

[14] CIOMS. Real-world data and real-world evidence in regulatory decision making: CIOMS 2024. https://cioms.ch/publications/product/real-world-data-and-real-world-evidence-in-regulatory-decision-making/#:~:text=This%20report%20was%20developed%20to%20inform%20discussions%20about%20the%20use. [Consulté le 7 octobre 2024].

[15] Haute Autorité de santé. Études en vie réelle pour l'évaluation des médicaments et dispositifs médicaux. 2021. https://www.has-sante.fr/jcms/p.3284524/fr/etudes-en-vie-reelle-pour-l-evaluation-des-medicaments-et-dispositifs-medicaux#:~:text=Ce%20guide%20m%C3%A9thodologique%20propos%C3%A9%20par%20la%20HAS%20vise%20%C3%A0%20soutenir. [Consulté le 7 octobre 2024].

[16] Hemkens LG, Ewald H, Naudet F, Ladanie A, Shaw JG, Sajeev G, et al. Interpretation of epidemiologic studies very often lacked adequate consideration of confounding. J Clin Epidemiol 2018;93:94–102.

[17] Pacheco RL, Martimbianco ALC, Riera R. Let's end 'real-world evidence' terminology usage: a study should be identified by its design. J Clin Epidemiol 2022;142:249–51.

[18] Franklin JM, Platt R, Dreyer NA, London AJ, Simon GE, Watanabe JH, et al. When can nonrandomized studies support valid inference regarding effectiveness or safety of new medical treatments? Clin Pharmacol Ther 2022;111:108–15.

[19] Panagiotou OA, Heller R. Inferential challenges for real-world evidence in the era of routinely collected health data: many researchers, many more hypotheses, a single database. JAMA Oncol 2021;7:1605–7.

[20] Thibault RT, Kovacs M, Hardwicke TE, Sarafoglou A, Ioannidis JPA, Munafò MR. Reducing bias in secondary data analysis via an Explore and Confirm Analysis Workflow (ECAW): a proposal and survey of observational researchers. R Soc Open Sci 2023;10:230568.

[21] Kerr NL. HARKing: hypothesizing after the results are known. Pers Soc Psychol Rev 1998;2:196–217.

[22] Berger ML, Sox H, Willke RJ, Brixner DL, Eichler HG, Goettsch W, et al. Good practices for real-world data studies of treatment and/or comparative effectiveness: recommendations from the joint ISPOR-ISPE Special Task Force on real-world evidence in health care decision making. Pharmacoepidemiol Drug Saf 2017;26:1033–9.

[23] Ahlbom A. Modern Epidemiology, 4th ed. TL Lash, TJ VanderWeele, S Haneuse, KJ Rothman. Wolters Kluwer, 2021. Eur J Epidemiol 2021;36:767–8.

[24] Desai RJ, Wang SV, Sreedhara SK, Zabotka L, Khosrow-Khavar F, Nelson JC, et al. Process guide for inferential studies using healthcare data from routine clinical practice to evaluate causal effects of drugs (PRINCIPLED): considerations from the FDA Sentinel Innovation Center. BMJ 2024;384:e076460.

[25] Naudet F, Patel CJ, DeVito NJ, Le Goff G, Cristea IA, Braillon A, et al. Improving the transparency and reliability of observational studies through registration. BMJ 2024;384:e076123.

[26] Huebner M, Vach W, Le Cessie S, Schmidt CO, Lusa L. Topic Group 'Initial Data Analysis' of the STRATOS Initiative (STRengthening Analytical Thinking for Observational Studies, http://www.stratos-initiative.org). Hidden analyses: a review of reporting practice and recommendations for more transparent reporting of initial data analyses. BMC Med Res Methodol 2020;20:61.

[27] Dal-Ré R, Ioannidis JP, Bracken MB, Buffler PA, Chan AW, Franco EL, et al. Making prospective registration of observational research a reality. Sci Transl Med 2014;6, 224cm1.

[28] FDA/CDER CBER. OCE. Real-world data: assessing electronic health records and medical claims data to support regulatory decision-making for drug and biological products; 2024.

https://www.fda.gov/regulatory-information/search-fda-guidance-documents/real-world-data-assessing-electronic-health-records-and-medical-claims-data-support-regulatory #:~:text=Pursuant%20to%20this%20section,%20FDA%20created%20a%20framework%20for%20a. [Consulté le 7 octobre 2024].

[29] Hernán MA, Robins JM. Causal inference. What if; 2020. https://www.hsph.harvard.edu/miguel-hernan/causal-inference-book/. [Consulté le 7 octobre 2024].

[30] Hernán MA. A definition of causal effect for epidemiological research. J Epidemiol Community Health 2004;58:265–71.

[31] Hernán MA. Methods of public health research - strengthening causal inference from observational data. New Engl J Med 2021;385:1345–8.

[32] Chatton A, Rohrer JM. The causal cookbook: recipes for propensity scores, g-computation, and doubly robust standardization. Adv Methods Pract Psychol Sci 2024;7(1), http://dx.doi.org/10.1177/25152459241236149. https://journals.sagepub.com/doi/epub/10.1177/25152459241236149. [Consulté le 7 octobre 2024].

[33] Tennant PWG, Arnold KF, Ellison GTH, Gilthorpe MS. Analyses of 'change scores' do not estimate causal effects in observational data. Int J Epidemiol 2022;51:1604–15.

[34] Naimi Al, Whitcomb BW. Defining and identifying average treatment effects. Am J Epidemiol 2023;192:685–7.

[35] Goetghebeur E, Le Cessie S, Stavola de B, Moodie EE, Waernbaum I, "on behalf of" the topic group Causal Inference (TG7) of the STRATOS initiative. Formulating causal questions and principled statistical answers. Stat Med 2020;39:4922–48.

[36] Greifer N, Stuart EA. Choosing the causal estimand for propensity score analysis of observational studies. arXiv 2021, http://dx.doi.org/10.48550/arXiv.2106.10577, 2106.10577 [Consulté le 7 octobre 2024].

[37] European Medicines Agency. ICH E9 (R1) addendum on estimands and sensitivity analysis in clinical trials to the guideline on statistical principles for clinical trials.; 2020. https://www.ema.europa.eu/en/documents/scientific-guideline/ich-e9-r1-addendum-estimands-and-sensitivity-analysis-clinical-trials-guideline-statistical-principles-clinical-trials-step-5_en.pdf#:~:text=ICH%20E9%20(R1)%20addendum%20on%20estimands%20and%20sensitivity%20analysis%20in. [Consulté le 7 octobre 2024].

[38] Dang LE, Gruber S, Lee H, Dahabreh IJ, Stuart EA, Williamson BD, et al. A causal roadmap for generating high-quality real-world evidence. J Clin Trans Sci 2023;7:e212.

[39] Lipsky AM, Greenland S. Causal directed acyclic graphs. JAMA 2022;327:1083–4.

[40] Williamson EJ, Aitken Z, Lawrie J, Dharmage SC, Burgess JA, Forbes AB. Introduction to causal diagrams for confounder selection. Respiriology 2014;19:303–11.

[41] Digitale JC, Martin JN, Glymour MM. Tutorial on directed acyclic graphs. J Clin Epidemiol 2022;142:264–7.

[42] van Zwieten A, Tennant PWG, Kelly-Irving M, Blyth FM, Teixeira-Pinto A, Khalatbari-Soltani S, et al. Avoiding overadjustment bias in social epidemiology through appropriate covariate selection: a primer. J Clin Epidemiol 2022;149:127–36.

[43] Griffith GJ, Morris TT, Tudball MJ, Herbert A, Mancano G, Pike L, et al. Collider bias undermines our understanding of COVID-19 disease risk and severity. Nat Commun 2020;11:5749.

[44] Piccininni M, Stensrud MJ. Using negative control populations to assess unmeasured confounding and direct effects. Epidemiology 2024;35:313–9.

[45] Groenwold RHH. Falsification end points for observational studies. JAMA 2013;309:1769–70.

[46] Lipsitch M, Tchetgen ET, Cohen T. Negative controls: a tool for detecting confounding and bias in observational studies. Epidemiology 2010;21:383–8.
[47] Prasad V, Jena AB. Prespecified falsification end points: can they validate true observational associations? JAMA 2013;309:241-2.

[48] Brown JP, Hunnicutt JN, Ali MS, Bhaskaran K, Cole A, Langan SM, et al. Quantifying possible bias in clinical and epidemiological studies with quantitative bias analysis: common approaches and limitations. BMJ 2024;385:e076365.

[49] Haneuse S, VanderWeele TJ, Arterburn D. Using the e-value to assess the potential effect of unmeasured confounding in observational studies. JAMA 2019;321:602-3.

[50] VanderWeele TJ, Ding P. Sensitivity analysis in observational research: introducing the e-value. Ann Intern Med 2017;167:268-74.

[51] Sterne JAC, Hernán MA, Reeves BC, Savović J, Berkman ND, Viswanathan M, et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ 2016;355, i4919.

[52] Fox MP, MacLehose RF, Lash TL. Applying quantitative bias analysis to epidemiologic data. 2nd ed. Springer; 2021. ISBN: 978-3-030-82672-7 (483 pp.).

[53] Zhang H, Clark AS, Hubbard RA. A quantitative bias analysis approach to informative presence bias in electronic health records. Epidemiology 2024;35:349-58.

[54] Dahabreh IJ, Robins JM, Hernán MA. Benchmarking observational methods by comparing randomized trials and their emulations. Epidemiology 2020;31:614-9.

[55] Matthews AA, Dahebreh IJ, MacDonald CJ, Lindahl B, Hofmann R, Erlinge D, et al. Prospective benchmarking of an observational analysis in the SWEDEHEART registry against the REDUCE-AMI randomized trial. Eur J Epidemiol 2024;39:349-61.

[56] Wing K, Williamson E, Carpenter JR, Wise L, Schneeweiss S, Smeeth L, et al. Medications for chronic obstructive pulmonary disease: a historical non-interventional cohort study with validation against RCT results. Health Technol Assess 2021;25:1-70.

[57] Hernán MA, Wang W, Leaf DE. Target trial emulation: a framework for causal inference from observational data. JAMA 2022;328:2446-7.

[58] Matthews AA, Danaei G, Islam N, Kurth T. Target trial emulation: applying principles of randomised trials to observational studies. BMJ 2022;378:e071108.

[59] Hernán MA, Sauer BC, Hernández-Díaz S, Platt R, Shrier I. Specifying a target trial prevents immortal time bias and other self-inflicted injuries in observational analyses. J Clin Epidemiol 2016;79:70-5.

[60] D'Andrea E, Schneeweiss S, Franklin JM, Kim SC, Glynn RJ, Lee SB, et al. Efficacy versus effectiveness: The HORIZON pivotal fracture trial and its emulation in claims data. Arthritis Rheumatol 2024, http://dx.doi.org/10.1002/art.42968. https://acrjournals.onlinelibrary.wiley.com/doi/10.1002/art.42968. [Consulté le 7 octobre 2024].

[61] FDA. Guidance document. Demonstrating substantial evidence of effectiveness for human drug and biological products. Draft guidance for industry.; 2019. https://www.fda.gov/regulatory-information/search-fda-guidance-documents/demonstrating-substantial-evidence-effectiveness-human-drug-and-biological-products. [Consulté le 7 octobre 2024].

[62] Wang SV, Schneeweiss S, Initiative RCT-DUPLICATE, Franklin JM, Desai RJ, Feldman W, et al. Emulation of randomized clinical trials with nonrandomized database analyses: results of 32 clinical trials. JAMA 2023;329:1376-85.

[63] Heyard R, Held L, Schneeweiss S, Wang SV. Design differences and variation in results between randomised trials and non-randomised emulations: meta-analysis of RCT-duplicate data. BMJMed 2024;3:e000709.

[64] Zhao SS, Lyu H, Solomon DH, Yoshida K. Improving rheumatoid arthritis comparative effectiveness research through causal inference principles: systematic review using a target trial emulation framework. Ann Rheum Dis 2020;79:883-90.

[65] Zuo H, Yu L, Campbell SM, Yamamoto SS, Yuan Y. The implementation of target trial emulation for causal inference: a scoping review. J Clin Epidemiol 2023;162:29-37.

[66] Hiemstra B, Keus F, Wetterslev J, Gluud C, van der Horst ICC. DEBATE-statistical analysis plans for observational studies. BMC Med Res Methodol 2019;19:233.

[67] Langan SM, Schmidt SA, Wing K, Ehrenstein V, Nicholls SG, Filion KB, et al. The reporting of studies conducted using observational routinely collected health data statement for pharmacoepidemiology (RECORD-PE). BMJ 2018;363, k3532.

[68] Wang SV, Pinheiro S, Hua W, Arlett P, Uyama Y, Berlin JA, et al. STaRT-RWE: structured template for planning and reporting on the implementation of real world evidence studies. BMJ 2021;372:m4856.

[69] Orsini LS, Monz B, Mullins CD, Van Brunt D, Daniel G, Eichler HG, et al. Improving transparency to build trust in real-world secondary data studies for hypothesis testing-Why, what, and how: recommendations and a road map from the real-world evidence transparency initiative. Pharmacoepidemiol Drug Saf 2020;29:1504-13.