<figure><img src="image_1.png" /></figure>

# Un outil novateur pour hiérarchiser l'évaluation des traitements expérimentaux contre la COVID-19 : un projet pilote

Lizanne Béïque<fnref n="1" />*, Savannah Clarke<fnref n="1" />, Mina Azad<fnref n="1" />, Elaha Sarwar<fnref n="1" />, Margaret Gale-Rowe<fnref n="1" />, Stacy Sabourin<fnref n="1" />, Cheryl Marinsky<fnref n="1" />, Jacqueline Arthur<fnref n="1" />

## Résumé

**Contexte** : Des centaines de traitements expérimentaux contre la COVID-19 ont émergé pendant que la pandémie de COVID-19 sévissait. Maintenir une bonne connaissance de la situation à l'égard de ce vaste paysage thérapeutique qui évoluait rapidement représentait un défi sans précédent pour l'Agence de la santé publique du Canada, qui s'efforçait de promouvoir et de protéger la santé des Canadiens. Il fallait un outil permettant de trier et de hiérarchiser l'évaluation de ces traitements.

**Méthodes** : L'objectif était d'élaborer et d'effectuer une validation initiale d'un outil visant à identifier les traitements expérimentaux contre la COVID-19 en vue d'un examen plus approfondi fondé sur une évaluation préliminaire efficace, à l'aide d'un processus systématique et fiable qui serait pratique à valider, à mettre en œuvre et à mettre à jour. La phase 1 de ce projet pilote a consisté en une recherche documentaire pour déterminer les outils existants de hiérarchisation de l'évaluation thérapeutique de la COVID-19, l'élaboration de l'Outil de notation rapide (ONR) et la validation initiale de l'outil.

**Résultats** : Aucun outil conçu pour classer les traitements expérimentaux contre la COVID-19 afin de hiérarchiser leurs évaluations n'a été identifié. Toutefois, quelques publications ont fourni des critères à considérer et des méthodes de classement thérapeutique, ce qui a contribué à façonner l'élaboration de l'ONR. L'ONR comprend huit critères et plusieurs descripteurs (« caractéristiques »). Une échelle universelle de notation des caractéristiques de -10 à 10 a été élaborée. La somme de toutes les cotes des caractéristiques a produit une cote globale de bénéfice pour chaque traitement. L'ONR a classé de façon appropriée les traitements au moyen d'une approche systématique, fiable et pratique.

**Conclusion** : La phase 1 a été réalisée avec succès. L'ONR présente plusieurs aspects distincts comparativement à d'autres outils, y compris son échelle de notation et sa méthode, ainsi que la capacité de tenir compte de l'information incomplète ou en attente. On prévoit que le cadre utilisé pour l'ONR se prêtera à d'autres situations dynamiques comportant de nombreuses interventions.

**Citation proposée** : Béïque L, Clarke S, Azad M, Sarwar E, Gale-Rowe M, Sabourin S, Marinsky C, Arthur J. Un outil novateur pour hiérarchiser l'évaluation des traitements expérimentaux contre la COVID-19 : un projet pilote. Relevé des maladies transmissibles au Canada 2024;50(10):390-8. https://doi.org/10.14745/ccdr.v50i10a04f

**Mots-clés** : techniques d'aide à la décision, évaluation thérapeutique, traitements expérimentaux, COVID-19, hiérarchisation

Cette œuvre est mise à la disposition selon les termes de la licence internationale Creative Commons Attribution 4.0

<figure><img src="image_2.png" /></figure>

## Affiliation

**\*Correspondance** : lizanne.beique@phac-aspc.gc.ca

<footnote n="1">¹ Direction générale des programmes sur les maladies infectieuses et de la vaccination, Agence de la santé publique du Canada, Ottawa, ON</footnote>
<figure><img src="image_3.png" /></figure>

# Introduction

## Contexte

Au début de la pandémie, la transmission mondiale rapide du SRAS-CoV-2, le virus à l'origine de la COVID-19, a entraîné des recherches approfondies sur un éventail d'options de traitement. Pendant que la pandémie sévissait, des centaines de traitements pharmaceutiques expérimentaux contre la COVID-19 (i.e., avant l'autorisation de mise en marché) ont émergé (1). Maintenir une bonne connaissance de la situation à l'égard de ce vaste paysage thérapeutique qui évoluait rapidement représentait un défi sans précédent pour l'Agence de la santé publique du Canada (l'Agence), qui œuvrait à promouvoir et protéger la santé des Canadiens (2). Une évaluation rapide et approfondie de tous les traitements expérimentaux n'était pas possible. Par conséquent, un outil pratique permettant de trier de façon systématique, fiable et efficace et d'établir l'ordre de priorité de l'évaluation de ces traitements était requis pour éclairer leur applicabilité éventuelle pour le Canada.

Pour identifier les outils existants de hiérarchisation de l'évaluation des traitements expérimentaux contre la COVID-19, une recherche documentaire a été effectuée dans Ovid MEDLINE® avec l'aide d'un bibliothécaire de l'Agence, à l'aide des concepts de recherche ciblés des « techniques d'aide à la décision », du « traitement ou de l'évaluation des traitements contre la COVID-19 » et des variations de leurs termes. Au total, 302 articles ont été identifiés; 46 ont été jugés pertinents et ont été examinés. La recherche n'a révélé aucun outil conçu pour classer les traitements expérimentaux contre la COVID-19 afin de hiérarchiser leurs évaluations. Cependant, plusieurs publications ont fourni des critères à prendre en considération au moment d'effectuer des évaluations des technologies de la santé ou de prendre des décisions sur la liste des médicaments (3-9). De plus, certaines de ces publications et leurs références présentaient différentes méthodes de classement des traitements et différents cadres d'évaluation (4,7,9-16). Bien qu'ils avaient des limites importantes (e.g., exiger une liste prédéfinie de traitements ayant des propriétés connues, complexes à mettre en œuvre ou à adapter rapidement), certains éléments, comme leurs critères d'évaluation, l'utilisation de cotes positives et négatives, ont été jugés pertinents pour être intégrés à un outil que l'Agence a élaboré à l'automne 2022. Le présent article fait état de la première phase de ce projet pilote pour élaborer ce qu'on appelle maintenant l'Outil de notation rapide (ONR).

## Objectif

Élaborer et effectuer une validation initiale d'un outil pour identifier les traitements expérimentaux contre la COVID-19 en vue d'une évaluation plus approfondie fondée sur un examen préliminaire efficace, à l'aide d'un processus systématique et fiable qui serait pratique à valider, à mettre en œuvre et à mettre à jour.

# Intervention

## Contexte

Pendant la pandémie, une équipe de quatre membres de l'équipe de traitements contre la COVID-19 de l'Agence a été formée pour élaborer l'ONR. Les membres avaient des antécédents en évaluation critique, en pharmacie clinique et de recherche, en évaluation thérapeutique, en évaluation de programme, en épidémiologie, en immunologie et en santé publique. Les traitements expérimentaux contre la COVID-19 ont été déterminés principalement à partir d'une revue quotidienne des principales sources d'information sur la COVID-19 (e.g., mises à jour et préimprimés des principaux essais sur la COVID-19) et de ClinicalTrials.gov. L'ONR a été élaboré à l'aide de Microsoft Excel®.

## Intervention

Le projet pilote s'est déroulé en deux phases :

* Phase 1 : Élaboration (étapes 1 et 2) et validation initiale (étape 3) de l'ONR

* Phase 2 : Poursuite de la validation et de l'amélioration de l'ONR

Première étape : Concevoir l'ONR. L'équipe de l'ONR a élaboré l'ONR, qui comprenait la définition du problème de décision qu'elle devait régler (13-15), les grandes catégories ou les « critères » qui seraient utilisés pour évaluer les traitements (e.g., l'innocuité), et des descripteurs ou « caractéristiques » plus précis pour chaque critère. Les critères et les caractéristiques ont été élaborés en fonction des résultats de la recherche documentaire, de la faisabilité de la mise en œuvre et de plus d'une douzaine de discussions internes avec les parties prenantes, tant à l'intérieur qu'à l'extérieur de l'équipe des traitements contre la COVID-19, qui participent à l'évaluation et à la surveillance des traitements (i.e., conseillers médicaux, gestionnaires, épidémiologistes, analystes des politiques et analystes de recherche). Ensuite, une échelle de notation des « caractéristiques » a été établie en fonction du problème de décision. Cette échelle universelle a été utilisée pour attribuer une cote à chaque caractéristique. Pour chaque traitement, on a calculé une cote globale de bénéfice perçu (« bénéfice global ») en additionnant les cotes de toutes les caractéristiques qui s'appliquaient à ce traitement.

Deuxième étape : Essai pilote de l'ONR. Au cours de la deuxième étape, les traitements ont été entrés dans l'ONR et classés par leur cote de « bénéfice global » pour déterminer ceux à évaluer de façon plus approfondie. Deux membres de l'équipe de l'ONR ont choisi indépendamment les caractéristiques appropriées (une pour chaque critère) à partir de la liste des caractéristiques possibles, en utilisant des sources d'information clés. Tous les écarts ont été résolus par une discussion avec
<figure><img src="image_4.png" /></figure>

un troisième membre jusqu'à ce que les trois membres soient entièrement d'accord. Lorsque des ajustements aux critères, aux caractéristiques ou aux cotes connexes étaient nécessaires, une approche consensuelle itérative au sein de l'équipe de l'ONR a été utilisée, avec la participation des parties prenantes, pour valider et maintenir l'uniformité interne (i.e., l'alignement et la cohérence entre les composants de l'ONR). La validité apparente du classement, l'uniformité interne et la fiabilité de l'ONR étaient jugées avoir été atteintes une fois que 10 traitements consécutifs avaient été entrés sans écart (i.e., la nécessité de faire appel à un tiers de l'équipe) ou la nécessité d'ajuster l'ONR, et le classement a été jugée appropriée par les membres de l'équipe de l'ONR.

## Troisième étape : Procéder à une première validation de l'ONR.

Cette étape consistait à valider davantage l'ONR à l'aide des commentaires de trois membres de l'équipe de traitements contre la COVID-19 qui n'avaient pas utilisé l'ONR pour évaluer les traitements individuels. Ensemble, ils avaient des compétences critiques en évaluation, des antécédents en médecine, en soins infirmiers et en santé publique. On leur a fourni des renseignements détaillés sur 15 traitements choisis au hasard dans l'ONR (en utilisant la fonction ALEA de Microsoft Excel). On leur a donné le temps de poser des questions et de délibérer, et on leur a demandé d'indiquer leur niveau d'accord ou de désaccord (à l'aide d'une échelle de Likert) avec le classement ordinal l'ONR de ces traitements (i.e., quel traitement avait été classé premier, deuxième, etc.). On leur a aussi demandé de fournir des énoncés décrivant les intervalles entre les classements (e.g., le traitement A présente clairement un plus grand bénéfice global que le traitement B; les traitements C et D offrent un bénéfice global très semblable). Les

classements ont été considérés comme validés (« appropriés ») si au moins deux des trois personnes étaient d'accord ou fortement d'accord (accord de consensus) avec le classement ordinal des traitements et sur 75 % ou plus des 12 énoncés de classement. Cette approche consensuelle a été adoptée pour tirer parti des avantages de la prise de décisions collaborative, tout en atténuant les risques associés aux préjugés individuels; le seuil de 75 % a été jugé pratique et significatif pour décrire un consensus substantiel.

## Mesures des résultats

Le tableau 1 présente la liste des mesures des résultats et les étapes au cours desquelles elles ont été évaluées.

## Résultats obtenus

### Conception de l'outil de notation rapide

Le problème de décision portait sur la nécessité de trier efficacement et de hiérarchiser le grand nombre de traitements expérimentaux contre la COVID-19 aux fins d'une évaluation plus approfondie, en fonction d'une évaluation préliminaire de leurs bénéfices perçus dans le contexte canadien. Les critères inclus dans l'ONR au moment de la rédaction et les éléments qui ont été utilisés pour élaborer les caractéristiques de chaque critère sont énumérés dans le tableau 2.

La figure 1 montre l'échelle élaborée et utilisée pour attribuer une cote à chaque caractéristique, avec des cotes allant de -10 à +10. Dans la plupart des cas, les caractéristiques n'avaient qu'un effet modéré sur le bénéfice perçu d'un traitement et, par conséquent, la plupart des cotes se situaient dans la fourchette de -5 à +5.

<table><caption>Tableau 1 : Mesures des résultats, description et étape</caption><thead><tr><td>Objectif</td><td>Mesure des résultats</td><td>Description</td><td>Étape(s)</td></tr></thead><tbody><tr><td>Élaboration de l'ONR</td><td>Caractère systématique de l'ONR</td><td>Le caractère systématique de l'ONR a été évalué en fonction de : la structure (séquence et configuration logiques et intuitives), du caractère opérationnel (clarté des définitions), du caractère non redondant (aucun dédoublement) et de l'indépendance mutuelle (sans chevauchement) des critères, des caractéristiques et des cotes des caractéristiques de l'ONR (15); et son uniformité interne.</td><td>1 et 2</td></tr><tr><td>Élaboration de l'ONR</td><td>Aspect pratique de l'ONR</td><td>L'aspect pratique de l'ONR a été évalué en fonction de la faisabilité de sa mise en œuvre (si l'ONR pouvait être établi à l'aide de Microsoft Excel), de son utilisation (la facilité avec laquelle les membres pouvaient sélectionner et entrer de l'information dans l'ONR) et de son adaptation (la facilité avec laquelle les critères, les caractéristiques et les cotes pouvaient être modifiés en fonction de l'évolution du contexte de la pandémie).</td><td>1 et 2</td></tr><tr><td>Élaboration de l'ONR</td><td>Fiabilité intraévaluateurs et interévaluateurs</td><td>La fiabilité intraévaluateurs (cohérence dans la sélection des caractéristiques pour un même traitement par un même membre de l'équipe de l'ONR au fil du temps, par exemple lors de la mise à jour des informations pour un traitement) et la fiabilité interévaluateurs (cohérence dans la sélection des caractéristiques pour un même traitement entre les membres de l'équipe de l'ONR pour chaque traitement entré dans l'ONR).</td><td>2</td></tr><tr><td>Élaboration de l'ONR</td><td>Le temps nécessaire pour effectuer une évaluation préliminaire de chaque traitement.</td><td>Le temps a été évalué une fois que l'équipe de l'ONR s'était familiarisée avec l'ONR (après avoir entré environ 15 traitements dans l'ONR). L'objectif était que l'ONR permette l'évaluation préliminaire de chaque traitement dans un délai de 30 minutes.</td><td>2</td></tr><tr><td>Élaboration et validation initiale de l'ONR</td><td>Pertinence du classement des traitements</td><td>La pertinence du classement des traitements a été évaluée sur la base de la validité apparente du classement des traitements.</td><td>2 et 3</td></tr></tbody></table>

Abréviation : ONR, outil de notation rapide
<figure><img src="image_5.png" /><figcaption>Tableau 2 : Critères et éléments pris en compte pour élaborer leurs caractéristiques</figcaption></figure>

<table><caption>Figure 1 : Échelle de notation des caractéristiques</caption><thead><tr><td>Critère</td><td>Éléments pris en compte pour l'élaboration des caractéristiques</td></tr></thead><tbody><tr><td>Qualité des données probantes</td><td>Phase de l'étude, conception de l'étude, disponibilité des résultats, examen par les pairs et limites importantes (e.g., généralisation limitée des résultats)</td></tr><tr><td>Impact clinique</td><td>Type de résultats, classification des résultats en tant que résultats primaires ou secondaires, ampleur de l'impact et signification statistique</td></tr><tr><td>Données sur l'innocuité</td><td>Effets indésirables, avertissements et précautions, contre-indications et interactions médicamenteuses</td></tr><tr><td>Préférence du patient</td><td>Avantages et inconvénients du traitement, voie d'administration, facilité d'accès au traitement (pour les traitements ambulatoires) et fréquence d'administration</td></tr><tr><td>Disponibilité d'alternatives thérapeutiques autorisées pour la même population cible de patients</td><td>Nombre d'alternatives de traitement autorisées. Populations de patients cibles générales : patients externes, patients hospitalisés qui ne sont pas dans une unité de soins intensifs, patients hospitalisés dans une unité de soins intensifs, patients atteints d'un syndrome post-COVID-19</td></tr><tr><td>Statut de l'autorisation au Canada</td><td>Présence ou absence d'une indication autorisée autre que celle étudiée</td></tr><tr><td>Statut réglementaire dans d'autres territoires de compétence</td><td>Statut réglementaire aux États-Unis, en Europe, en Australie et dans d'autres pays sélectionnés où les organismes de réglementation sont stricts</td></tr><tr><td>Paysage national du développement thérapeutique</td><td>Financement canadien actuel ou passé, sites d'étude au Canada et situation géographique du fabricant</td></tr></tbody></table>

<figure><img src="image_6.png" /></figure>

Le tableau 3 donne un exemple d'un critère, de ses caractéristiques connexes et de ses cotes tirées de l'ONR. Par exemple, s'il était démontré qu'un traitement était associé à une toxicité hépatique grave au cours d'un essai de phase 3 menant à une mise en garde et précaution importante, la caractéristique 4, « Mises en garde et précautions importantes (...) » serait la caractéristique sélectionnée pour le critère

d'innocuité pour ce traitement. Au cours de l'élaboration de l'outil, il a été décidé que cette caractéristique diminuerait le bénéfice perçu d'un traitement ayant cette caractéristique, dans le contexte canadien et en fonction d'une évaluation préliminaire et se verrait attribuer une cote de -2 (comme indiqué dans la figure 1).

<table><caption>Tableau 3 : Exemple de critère de sécurité, ses caractéristiques et leurs cotes</caption><thead><tr><td>Caractéristiques des critères d'innocuité</td><td>Cote de la caractéristique</td></tr></thead><tbody><tr><td>Caractéristique 1 : Aucune d'importance potentiellement significative selon un essai de phase 3 ou de données probantes du monde réel (i.e., aucun effet indésirable ou effets indésirables légers à modérés; aucun type ou nombre significatif d'interactions médicamenteuses, avertissements et contre-indications)</td><td>2</td></tr><tr><td>Caractéristique 2 : Inconnu, mais probablement aucun EI significatif (i.e., aucun EI ou des EI légers à modérés; aucun type ou nombre significatif d'interactions médicamenteuses, d'vertissements et de contre-indications)</td><td>1</td></tr><tr><td>Caractéristique 3 : Inconnu</td><td>0</td></tr><tr><td>Caractéristique 4 : Mises en garde et précautions importantes connues ou indications restreintes en raison de préoccupations importantes en matière de sécurité (e.g., traitement autorisé pour la COVID-19 dans un autre territoire de compétence, pour une indication non liée à la COVID-19 au Canada ou pour une indication liée à la COVID-19 si elle est évaluée pour un syndrome post-COVID-19)</td><td>-2</td></tr><tr><td>Caractéristique 5 : Inconnu, mais probablement quelques-uns d'importance potentiellement significative (e.g., au moins un des éléments suivants : EI, indication médicamenteuse, avertissements ou contre-indications significatifs ou un EI grave particulièrement préoccupant)</td><td>-3</td></tr></tbody></table>

Abréviation : EI, événement indésirable
<figure><img src="image_7.png" /></figure>

# Méthodes

## Mise en œuvre de l'outil de notation rapide

La figure 2 présente une version simplifiée du flux de travail utilisé pour l'élaboration de l'ONR au cours de la phase 1. Certains traitements pouvaient être exclus d'une évaluation plus poussée en fonction d'une seule caractéristique. On a attribué une cote de -100 à ces caractéristiques d'exclusion afin de s'assurer que les traitements ayant ces caractéristiques aient de faibles cotes de « bénéfice global » et ne figurent pas parmi les traitements les mieux classés pour une évaluation plus poussée. Les caractéristiques d'exclusion sont présentées dans la **boîte 1**. Compte tenu de l'évolution rapide du contexte de pandémie, tous les traitements étaient réévalués périodiquement (chaque fois que de nouveaux renseignements ressortaient des analyses quotidiennes des principales ressources sur la COVID-19 ou tous les six mois, selon la première éventualité).

# Résultats

## Mesures des résultats de l'outil de notation rapide

Après l'introduction d'une trentaine de traitements dans l'ONR au cours de la deuxième étape, les mesures des résultats, y compris la pertinence du classement et la nature systématique, la fiabilité et l'aspect pratique de l'ONR, ainsi que le temps requis pour effectuer une évaluation préliminaire, ont été atteintes. Une

procédure opérationnelle normalisée a été élaborée pour assurer l'uniformité continue de l'utilisation de l'ONR. La pertinence du classement a également été respectée à la troisième étape. Un consensus a été atteint pour le classement ordinal de tous les traitements et pour 10 des 12 énoncés (83 %) décrivant les intervalles entre les classements; les désaccords concernaient

## Boîte 1 : Caractéristiques d'exclusion

* Il est peu probable que le traitement soit actif contre les variants dominants actuels de la COVID-19

* Recommandé par l'International Disease Society of America et les National Institutes of Health des États-Unis

* Le fabricant a retiré sa demande à Santé Canada (selon les renseignements accessibles au public)

* Le fabricant a mis fin à la recherche sur la COVID-19 ou à son essai principal sur la COVID-19

* Le traitement est hors du champ de l'enquête (e.g., plasma de convalescence, hormones, anticoagulants, produits naturels, vitamines et produits d'origine humaine, comme les immunoglobulines)

* Il n'y a eu aucune information sur les résultats de l'essai pendant plus de six mois après la date d'achèvement de l'essai ou la dernière communication de l'ASPC avec le fabricant

* Aucun résultat d'essai de phase 3 n'est disponible ou attendu dans l'année qui suit la date d'évaluation

Abréviation : ASPC, Agence de la santé publique du Canada

<figure><img src="image_8.png" /><figcaption>Figure 2 : Simplification du flux de travail global de l'outil de notation rapide</figcaption></figure>

Abréviation : ONR, outil de notation rapide
<figure><img src="image_9.png" /></figure>

deux traitements. Des ajustements ont été apportés à l'ONR, et le classement global de ces traitements par rapport aux autres a été examiné jusqu'à ce qu'un consensus soit atteint. Dix mois après le début de la phase 1, 69 traitements expérimentaux contre la COVID-19 avaient fait l'objet d'une évaluation préliminaire au moyen de l'ONR.

## Discussion

Dans un contexte de pandémie dynamique, il était difficile d'identifier en temps opportun les traitements (avec des renseignements incomplets) pour une évaluation plus poussée afin d'améliorer la connaissance de la situation. L'ONR a permis de le faire au moyen d'un processus itératif continu visant à mettre à jour et à valider les critères, les caractéristiques et les cotes des caractéristiques, ainsi que son échelle de notation unique. L'échelle de notation de l'ONR a normalisé toutes les cotes des caractéristiques et a directement intégré le concept d'« importance » que d'autres outils abordent habituellement en attribuant des pondérations aux critères (7,13-15). L'appendice a été élaboré pour fournir plus de détails sur ces aspects clés de l'ONR, ainsi que sur certains de leurs avantages comparativement à d'autres outils couramment utilisés, comme les outils fondés sur le Système d'analyse du jugement objectifié (7,17-19) et d'autres outils fondés sur l'analyse décisionnelle multicritères (11,16,20).

Outre son rôle principal qui consiste à identifier les traitements devant faire l'objet d'une évaluation plus approfondie, l'ONR a servi de répertoire structuré pour les renseignements clés se rapportant aux traitements, ce qui a facilité la mise à jour en temps opportun avec de nouveaux renseignements et le suivi. Cela a permis d'améliorer la connaissance de la situation du paysage thérapeutique expérimental.

## Limites

L'ONR a des limites inhérentes au contexte dans lequel il a été élaboré et mis en œuvre. La façon dont ils ont été examinés et atténués est décrite ci-dessous. Pour optimiser l'efficacité de l'évaluation préliminaire, l'ONR s'est appuyé sur un sous-ensemble de critères d'évaluation utilisés dans des examens plus approfondis. Par exemple, les facteurs de mise en œuvre ne faisaient pas partie de l'ONR, car cette information n'était souvent pas disponible ou ne pouvait pas être déterminée rapidement. Un sous-ensemble différent de critères d'évaluation aurait pu influer sur le classement des traitements. Toutefois, la validation initiale au cours de la troisième étape a laissé entendre que le sous-ensemble des critères et des caractéristiques choisis était adéquat pour identifier les traitements à évaluer plus à fond.

La cote attribuée à chaque caractéristique a été convenue par un groupe spécifique de personnes. Un groupe différent aurait

pu attribuer des cotes différentes, ce qui aurait pu influer sur le classement des traitements. Cette limite est inhérente à tout processus décisionnel (18,21) et a été atténuée en faisant participer des personnes ayant des antécédents et des rôles différents à la conception et à la validation de l'ONR.

La validation initiale de l'ONR a été dirigée par l'équipe de l'ONR, ce qui aurait pu avoir une incidence sur les résultats. Plusieurs mesures ont été prises pour atténuer cette limite potentielle, comme l'utilisation d'une présentation structurée avec des questions soigneusement formulées par souci de clarté et de neutralité, et des efforts pour éviter les préjugés motivationnels.

## Implications et prochaines étapes

L'ONR a permis d'identifier en temps opportun les traitements à évaluer de façon plus approfondie, ainsi que de suivre efficacement le paysage thérapeutique dans un environnement en évolution. Son approche itérative a permis d'intégrer l'information la plus à jour sur les critères, les caractéristiques, les cotes et les traitements. De par la nature de cette conception, les deuxième et troisième étapes de la phase 1 seront répétées périodiquement.

La phase 2 de ce projet pilote consistera à évaluer la validation et la fiabilité de l'ONR avec d'autres agents thérapeutiques et parties prenantes, ainsi que des analyses statistiques et de sensibilité formelles. On s'attend à ce qu'un cadre adapté se prête à d'autres situations dynamiques impliquant de nombreuses interventions.

## Conclusion

La phase 1 du projet pilote a été couronnée de succès. L'ONR a permis de hiérarchiser de façon systématique, fiable et efficace les traitements expérimentaux contre la COVID-19 pour une évaluation plus approfondie et une meilleure connaissance de la situation du contexte thérapeutique émergent pendant une pandémie dynamique. L'ONR présente plusieurs aspects distincts comparativement à d'autres outils, y compris son échelle de notation et sa méthode, ainsi que sa capacité de tenir compte de l'information incomplète ou en attente.

## Déclaration des auteurs

L. B. — Conceptualisation, méthodologie, validation, rédaction de la version originale, rédaction-révision et édition

S. C. — Méthodologie, validation, rédaction-révision et édition

M. A. — Méthodologie, validation, rédaction-révision et édition

E. S. — Méthodologie, validation, rédaction-révision et édition

M. G. R. — Validation, rédaction-révision et édition

C. M. — Validation, rédaction-révision et édition

S. G. S. — Validation, rédaction-révision et édition

J. A. — Rédaction-révision et édition

## Intérêts concurrents

Aucun.
<figure><img src="image_10.png" /></figure>

## Remerciements

Nous remercions Taline Ekmekjian, Services de bibliothèque de l'Agence de la santé publique du Canada, de son aide dans l'élaboration de la stratégie de recherche. Nous remercions également Annecy Houston, Jane Kolbe, Lauren Kreps, Niyi Lawuyi, Dre Nadine Sicard, Claudia Vela, Dr Ping Yan et Dr Shenghai Zhang pour leurs commentaires sur les versions antérieures de l'ONR et leurs suggestions perspicaces.

## Financement

Ce travail a été soutenu par l'Agence de la santé publique du Canada.

## Références

1. Ledford H. Hundreds of COVID trials could provide a deluge of new drugs. Nature 2022;603(7899):25-7. DOI PubMed

2. Agence de la santé publique du Canada. Rapport sur les résultats ministériels de l'Agence de la santé publique du Canada 2021-2022. Ottawa, ON : ASPC; 2022. [Consulté le 20 oct. 2023]. https://www.canada.ca/fr/sante-publique/organisation/transparence/rapports-gestion/rapports-ministeriels-rendement/2021-2022.html

3. National Institute for Health and Care Excellence. Developing and updating local formularies. Manchester, UK: NICE; 2015. [Consulté le 18 juil. 2023]. www.nice.org.uk/Guidance/MPG1

4. Esba LCA, Almodaimegh H, Alhammad A, Ferwana M, Yousef C, Ismail S. P&T Committee Drug Prioritization Criteria: A Tool Developed by a Saudi Health Care System. P T 2018;43(5):293-300. PubMed

5. Frutos Pérez-Surio A, Gimeno-Gracia M, Alcacer Lopez MA, Sagredo Samanes MA, Pardo Jario MDP, Salvador Gomez MDT. Systematic review for the development of a pharmaceutical and medical products prioritization framework. J Pharm Policy Pract 2019;12:21. DOI PubMed

6. Husereau D, Boucher M, Noorani H. Priority setting for health technology assessment at CADTH. Int J Technol Assess Health Care 2010;26(3):341-7. DOI PubMed

7. Janknegt R, Steenhoek A. The System of Objectified Judgement Analysis (SOJA). A tool in rational drug selection for formulary inclusion. Drugs 1997;53(4):550-62. DOI PubMed

8. Specchia ML, Favale M, Di Nardo F, Rotundo G, Favaretti C, Ricciardi W. How to choose health technologies to be assessed by HTA? A review of criteria for priority setting. Epidemiol Prev 2015;39(4) (Suppl 1):39-44. PubMed

9. Yildirim FS, Sayan M, Sanlidag T, Uzun B, Ozsahin DU, Ozsahin I. Comparative Evaluation of the Treatment of COVID-19 with Multicriteria Decision-Making Techniques. J Healthc Eng 2021;2021:1. DOI PubMed

10. Chung S, Kim S, Kim J, Sohn K. Use of multiattribute utility theory for formulary management in a health system. Am J Health Syst Pharm 2010;67(2):128-35. DOI PubMed

11. Iskrov G, Miteva-Katrandzheva T, Stefanov R. Multi-Criteria Decision Analysis for Assessment and Appraisal of Orphan Drugs. Front Public Health 2016;4:214. DOI PubMed

12. Oortwijn WJ, Vondeling H, van Barneveld T, van Vugt C, Bouter LM. Priority setting for health technology assessment in The Netherlands: principles and practice. Health Policy 2002;62(3):227-42. DOI PubMed

13. Marsh K, M IJ, Thokala P, Baltussen R, Boysen M, Kalo Z. Multiple Criteria Decision Analysis for Health Care Decision Making-Emerging Good Practices: Report 2 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19(2):125-37. DOI PubMed

14. Thokala P, Devlin N, Marsh K, Baltussen R, Boysen M, Kalo Z, Longrenn T, Mussen F, Peacock S, Watkins J, Ijzerman M. Multiple Criteria Decision Analysis for Health Care Decision Making - An Introduction: Report 1 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19(1):1-13. DOI PubMed

15. Goetghebeur MM, Wagner M, Khoury H, Levitt RJ, Erickson LJ, Rindress D. Evidence and Value: Impact on DEcisionMaking--the EVIDEM framework and potential applications. BMC Health Serv Res 2008;8:270. DOI PubMed

16. Goetghebeur MM, Wagner M, Khoury H, Levitt RJ, Erickson LJ, Rindress D. Bridging health technology assessment (HTA) and efficient health care decision making with multicriteria decision analysis (MCDA): applying the EVIDEM framework to medicines appraisal. Med Decis Making 2012;32(2):376-88. DOI PubMed

17. Barbier L, Vandenplas Y, Boone N, Huys I, Janknegt R, Vulto AG. How to select a best-value biological medicine? A practical model to support hospital pharmacists. Am J Health-Syst Pharm 2022;79(22):2001-2011. DOI PubMed

18. Janknegt R, Kooistra J, Metting E, Dekhuijzen R. Rational selection of inhalation devices in the treatment of chronic obstructive pulmonary disease by means of the System of Objectified Judgement Analysis (SOJA). Eur J Hosp Pharm 2021;28(2):e4. DOI PubMed
19. Lim TM, Ibrahim MI. Evaluation of angiotensin II receptor blockers for drug formulary using objective scoring analytical tool. Pharm Pract (Granada) 2012;10(3):136-42. DOI PubMed

20. Hsu JC, Lin JY, Lin PC, Lee YC. Comprehensive value assessment of drugs using a multi-criteria decision analysis: An example of targeted therapies for metastatic colorectal cancer treatment. PLoS One 2019;14(12):e0225938. DOI PubMed

21. Angelis A, Kanavos P. Multiple Criteria Decision Analysis (MCDA) for evaluating new medicines in Health Technology Assessment and beyond: The Advance Value Framework. Soc Sci Med 2017;188:137-56. DOI PubMed

Appendice

<table><caption>Tableau A1 : Principaux aspects et avantages de l'Outil de notation rapide comparativement aux outils couramment utilisés<sup>a</sup></caption><thead><tr><td>Outil de notation rapide</td><td>Outils de notation couramment utilisés</td></tr></thead><tbody><tr><td>L'échelle de notation comprend des valeurs négatives, zéro et des valeurs positives.<br/>Les valeurs négatives sont attribuées aux caractéristiques qui sont indésirables (e.g., événements indésirables graves) et les valeurs positives, aux caractéristiques qui sont souhaitables (e.g., plan d'essai clinique solide). Une caractéristique qui n'est ni souhaitable ni indésirable se voit attribuer une valeur de zéro, car elle n'augmenterait ni ne diminuerait le bénéfice perçu qu'un traitement ayant cette caractéristique aurait (figure 1). Il est plus intuitif d'attribuer des cotes négatives, plutôt que de faibles cotes positives, à des caractéristiques indésirables.</td><td>Les échelles de notation commencent habituellement à zéro et comprennent seulement des valeurs positives, peu importe si la caractéristique est souhaitable ou indésirable.</td></tr><tr><td>L'interprétation d'une cote des caractéristiques demeure cohérente, peu importe les caractéristiques en cause.<br/>Les cotes des caractéristiques sont normalisées, car elles représentent toujours la même mesure. Les cotes reflètent l'effet qu'une caractéristique aurait sur le bénéfice perçu global qu'un traitement avec cette caractéristique aurait (figure 1). Cet aspect permet d'assurer l'uniformité interne des cotes entre différentes caractéristiques.<br/>Toutes les cotes des caractéristiques ont été attribuées en fonction de la réponse à la question suivante : « Quel serait l'effet de cette caractéristique sur le bénéfice perçu de ce traitement? » (figure 1). Si une nouvelle caractéristique est ajoutée et qu'on lui attribue une cote, on pourrait assurer la cohérence interne en posant les questions suivantes : « Un traitement avec cette nouvelle caractéristique aurait-il le même bénéfice perçu qu'un autre traitement avec une caractéristique différente avec la même cote? »</td><td>L'interprétation d'une cote varie souvent en fonction de ce qui est évalué. Bien que ces cotes soient parfois converties à l'aide d'une échelle commune, il est plus difficile d'assurer l'uniformité interne de l'outil.<br/>Par exemple, une cote de 5 pour une caractéristique d'innocuité peut ne pas avoir la même signification qu'une cote de 5 pour une caractéristique posologique, ou une caractéristique indésirable d'un critère peut avoir la même cote qu'une caractéristique souhaitable d'un critère différent.</td></tr><tr><td>L'ONR peut comprendre des caractéristiques d'exclusion auxquelles on attribue une cote négative qui ne peut pas être contrebalancée par les cotes d'autres caractéristiques souhaitables. Par conséquent, un traitement ayant une caractéristique d'exclusion serait classé au bas de la liste des traitements.<br/>Par exemple, si un traitement n'avait aucune activité contre un variant dominant contre la COVID-19 en circulation, l'ONR le classerait très bas dans la liste des traitements, peu importe le niveau de ses cotes pour d'autres caractéristiques. Les traitements ont été périodiquement réévalués pour s'assurer que les caractéristiques choisies reflétaient l'information la plus récente.</td><td>Les autres outils ne comprennent généralement pas les caractéristiques d'exclusion. Les traitements présentant une caractéristique très indésirable pourraient tout de même être classés parmi les traitements les plus intéressants si d'autres caractéristiques souhaitables l'emportent sur la cote de cette caractéristique très indésirable.</td></tr></tbody></table>
<figure><img src="image_11.png" /><figcaption>Tableau A1 : Principaux aspects et avantages de l'Outil de notation rapide comparativement aux outils couramment utilisés<sup>a</sup> (suité)</figcaption></figure>

<table><thead><tr><td>Outil de notation rapide</td><td>Outils de notation couramment utilisés</td></tr></thead><tbody><tr><td>Aucune pondération n'est attribuée aux critères.<br/>Cela permet de s'assurer que l'effet des caractéristiques d'exclusion et des caractéristiques « exceptionnelles » a l'effet prévu sur le bénéfice perçu global d'un traitement, selon une évaluation préliminaire.</td><td>D'autres outils attribuent habituellement une pondération aux critères pour indiquer leur importance par rapport à celle des autres critères.<br/>Les critères sont des termes généraux qui comprennent plusieurs caractéristiques possibles. L'attribution d'une pondération à des critères peut être problématique, surtout dans un environnement où de nouveaux traitements ayant de nouvelles caractéristiques émergent, parce que l'« importance » d'un critère dépend de ses caractéristiques. Un outil de notation qui attribue des pondérations à des critères serait inefficace dans la gestion des traitements ayant une caractéristique de l'exclusion ou « exceptionnelle ». Cela s'explique par le fait que l'effet de ces caractéristiques sur le « bénéfice global » perçu du traitement serait fixé et prédéterminé par le poids de leur critère.<br/>À titre d'exemple, nous utiliserons un outil de notation simplifié comportant seulement quatre critères, soit la qualité des données probantes, l'impact clinique, l'innocuité et la posologie. La qualité des données probantes reçoit une pondération de 40 points, l'impact clinique 30 points, l'innocuité 20 points et la posologie 10 points, pour un total de 100 points. La pondération du critère posologique a été déterminée selon que la posologie d'un traitement est, par exemple, une fois par jour pendant 10 jours, deux fois par jour pendant cinq jours ou trois fois par jour pendant trois jours. Ce critère a été jugé de faible importance par rapport aux autres critères et a reçu une pondération de 10 % dans l'évaluation. Une nouvelle posologie, par exemple une fois par mois, devient disponible et est considérée comme présentant un bénéfice particulier. L'effet de cette caractéristique sera limité par la pondération de son critère (i.e., qu'elle ne pourra tenir compte que d'un maximum de 10 points sur 100). Par conséquent, cette nouvelle caractéristique pourrait ne pas être bien reflétée dans le bénéfice perçu global de ce traitement.</td></tr><tr><td>L'ONR peut intégrer des renseignements incomplets ou inconnus en raison de la conception de l'échelle de notation (figure 1).<br/>Par exemple, l'ONR a une caractéristique pour les traitements ayant un « impact clinique inconnu » à laquelle on a attribué une cote de zéro parce que cette caractéristique n'a eu aucune incidence sur le bénéfice perçu de ce traitement. Lorsque les résultats sont devenus disponibles, la caractéristique (et la cote correspondante) a été mise à jour.</td><td>D'autres outils d'évaluation ne peuvent généralement tenir compte que d'un ensemble de traitements avec des renseignements complets sur chaque traitement.</td></tr><tr><td>Les cotes des caractéristiques pouvaient facilement être ajustées à mesure que le contexte de la pandémie évoluait ou que de nouveaux renseignements devenaient disponibles, et leur effet sur le classement global par rapport aux autres traitements rapidement constaté.</td><td>Ces outils évaluent habituellement les traitements à un moment précis et leur mise à jour en fonction de nouveaux renseignements peut être fastidieuse et prendre du temps.</td></tr></tbody></table>

Abréviation : ONR, outil de notation rapide

<footnote><sup>a</sup> Par exemple, les outils fondés sur le Système d'analyse du jugement objectifié (7,17–19) et d'autres outils fondés sur l'Analyse décisionnelle multicritères (11,16,20)</footnote>