# Élaboration de critères définissant les pratiques prometteuses en promotion de la santé et en prévention des maladies pour le Portail canadien des pratiques exemplaires

Nadia Fazal, M.P.H. (1); Suzanne F. Jackson, Ph. D. (1); Katy Wong, M. Sc. (2); Jennifer Yessis, Ph. D. (2); Nina Jetha, M.P.H. (3)

Cet article a fait l'objet d'une évaluation par les pairs.

<figure><img src="image_1.png" /></figure>

Diffuser cet article sur Twitter

## Résumé

**Introduction** : Dans le domaine de la promotion de la santé et de la prévention des maladies chroniques, tant les pratiques exemplaires que les pratiques prometteuses peuvent fournir des renseignements cruciaux sur les interventions qui améliorent les résultats sur la santé des individus et des collectivités, notamment leur mode d'action et les raisons de leur efficacité dans différents contextes.

**Méthodologie** : Nous avons établi des critères de définition des pratiques prometteuses sur la base des critères de l'Agence de la santé publique du Canada (ASPC) pour les pratiques exemplaires. Nous avons modifié et mis à l'épreuve (en trois phases) ces critères en nous servant d'interventions décrites dans des publications. Nous avons résolu les questions et les difficultés d'ordre théorique et méthodologique grâce à des consultations et des discussions approfondies avec un groupe de travail.

**Résultats** : L'équipe a établi un ensemble de critères relatifs aux pratiques prometteuses qui diffèrent sur six plans des critères relatifs aux pratiques exemplaires.

**Conclusion** : Bien que plusieurs difficultés complexes se soient présentées pendant l'élaboration des critères, des discussions et des débats exhaustifs nous ont permis de les surmonter. Les critères de sélection du Portail canadien des pratiques exemplaires permettent de repérer les pratiques exemplaires et prometteuses dans les domaines de la santé publique, de la promotion de la santé et de la prévention des maladies chroniques, voire éventuellement dans d'autres domaines.

**Mots-clés** : pratiques exemplaires, pratiques prometteuses, critères de sélection, études d'intervention, évaluation, santé publique, promotion de la santé, prévention des maladies chroniques

## Introduction

En 2004, l'Agence de la santé publique du Canada (ASPC) a déterminé, d'après les besoins exprimés par les praticien en santé, qu'il était primordial d'améliorer l'accès de ces derniers aux données des programmes afin de les aider à prendre des décisions éclairées lorsqu'ils conçoivent, mettent en œuvre et évaluent des interventions communautaires visant la promotion de la santé et la prévention des maladies

chroniques¹,². Pour répondre à ce besoin, l'ASPC a créé le Portail canadien des pratiques exemplaires en matière de promotion de la santé et de prévention des maladies chroniques (le Portail)³,⁴. Afin de déterminer les pratiques exemplaires à inclure dans le Portail, des critères d'inclusion et d'exclusion ont été élargorés⁵⁻⁸. Le Portail est devenu une base de données publique interrogeable, qui contient des interventions constituant des pratiques exemplaires pour les praticiens en

## Points saillants

Les critères relatifs aux pratiques prometteuses ont été élaborés à l'aide d'un processus d'examen itératif. Les pratiques prometteuses diffèrent des pratiques exemplaires sur six plans :

1. Le programme peut être présent dans la littérature grise et pas exclusivement dans des articles évalués par les pairs.

2. Les résultats positifs du programme peuvent avoir été observés à court terme seulement (dans les six mois de l'intervention) ou seulement durant l'intervention elle-même.

3. Le programme peut avoir une faible incidence au sens où les résultats positifs sont présents chez moins de la moitié de la population cible, ou bien les résultats positifs sont significatifs au niveau minimum seulement.

4. Le programme peut être mis en œuvre sur le terrain une fois seulement, et cela peut être au cours d'un essai pilote.

5. Le programme peut exiger la participation de spécialistes difficilement accessibles dans le contexte de l'intervention.

6. La qualité de l'étude ayant servi à évaluer le programme peut n'être que modérée.

santé et dans laquelle les utilisateurs peuvent effectuer des recherches en ligne en utilisant différentes variables de programme telles que le sujet d'intérêt, le groupe cible, la stratégie du programme, etc. Au fil des ans, l'ASPC a veillé à ce que

## Rattachement des auteures :

1. École de santé publique Dalla Lana, Université de Toronto, Toronto (Ontario), Canada

2. Centre pour l'avancement de la santé des populations Propel, Université de Waterloo, Waterloo (Ontario), Canada

3. Agence de la santé publique du Canada, Ottawa (Ontario), Canada

**Correspondance** : Nadia Fazal, Université de Toronto, 296, Glebemount Avenue, Toronto (Ontario) M4C 3V3; tél. : 416-421-3806; courriel : nadia.fazal@mail.utoronto.ca
le Portail mette l'accent sur la norme d'excellence en ce qui a trait aux pratiques exemplaires dans le domaine de la prévention des maladies chroniques, mais les pratiques prometteuses sont demeurées une source inexploitée d'apprentissage et de données sur les interventions. De nombreuses interventions de santé publique mises en œuvre au Canada n'étaient pas considérées comme des pratiques exemplaires alors que certaines pratiques prometteuses fournissaient des connaissances très utiles pour les praticiens en santé publique. En 2013, l'ASPC a reconnu l'importance d'élargir le Portail afin d'y inclure les pratiques prometteuses. Ce besoin a été constaté par le groupe consultatif de l'ICPE, et reconnu plus officiellement dans un rapport de réunion de toute la Direction générale présenté à l'ICPE et concernant l'établissement des priorités pour 2013-2014, ainsi que dans le Plan de développement et échange des connaissances 2013-2014 du Centre de prévention et de contrôle des maladies chroniques. Les travaux réalisés pour élargir le Portail afin d'y ajouter les pratiques prometteuses ont permis à l'ASPC de puiser dans ces riches sources de données probantes canadiennes et internationales, et ce, tout en continuant à mettre l'accent sur les méthodes de grande qualité et sur les critères établis.

Cet article est le résultat du travail accompli pour créer des critères d'inclusion et d'exclusion afin que les interventions constituant des pratiques prometteuses soient également incluses dans le Portail, et il met en lumière les difficultés méthodologiques et pratiques rencontrées lors de l'élaboration de ces critères. Nous avons entrepris cette étude en considérant qu'une pratique prometteuse est une intervention, un programme, un service, une stratégie ou une politique qui a le potentiel (ou « promet ») de devenir une pratique exemplaire. Nous avons également convenu qu'une pratique exemplaire est une intervention qui a réussi, à plusieurs reprises, à contribuer à l'atteinte des objectifs qu'elle visait, d'après les données probantes disponibles, et qui est considérée comme l'intervention la plus adaptée à une situation ou à un contexte particuliers. À notre connaissance, il n'existe pas d'autres bases de données, portails ou critères qui fassent la distinction entre les pratiques exemplaires et prometteuses.

Globalement, cette étude visait les grands objectifs suivants : 1) définir des critères de sélection clairs pour distinguer les pratiques

exemplaires des pratiques prometteuses en promotion de la santé et en prévention des maladies chroniques, 2) mettre à l'essai ces critères de sélection avec le Groupe de travail sur les pratiques prometteuses (le groupe de travail) en les appliquant à des interventions décrites dans des publications, afin de s'assurer qu'ils sont applicables à un éventail de modèles d'étude et 3) faire en sorte, par souci de transparence, que ces critères de sélection sont accessibles et faciles à comprendre pour tous ceux qui les utilisent.

## Méthodologie

### Phase I : Établissement des critères de définition des pratiques prometteuses

Nous (NF et SJ) avons passé en revue l'information pertinente dans la littérature grise comme dans les publications évaluées par les pairs afin de mieux comprendre comment les pratiques prometteuses ont été comprises, définies, classées et décrites par les théoriciens et les praticiens du domaine de la promotion de la santé et de la prévention des maladies chroniques. Nous avons utilisé deux bases de données bibliographiques importantes sur la santé (MEDLINE et EMBASE) ainsi que Google Scholar pour trouver des publications évaluées par les pairs. Pour faire les recherches, nous avons notamment employé des combinaisons des termes suivants : « inter-vention/pratique/prometteuse/émergente/exemplaire/novatrice », « critères de sélection/d'inclusion/d'exclusion », « définition/clas-sification », « évaluation de programme », « promotion de la santé/prévention des maladies ». Nous avons aussi recherché, à l'aide de Google, la littérature grise publiée sur Internet, et nous avons recherché les rapports et les documents non universitaires sur les sites Internet de certains organismes pertinents des domaines de la recherche et de la santé, tels que l'Association canadienne de santé publique (ACSP), la Collaboration Cochrane, le Centre de collaboration nationale des méthodes et outils (CCNMO), le Centre d'information et de coordination de la politique et la pratique fondées sur des preuves (EPPI-Centre), et les National Institutes of Health (NIH).

En prenant comme point de départ les critères de sélection des pratiques exemplaires du Portail, nous avons cherché les caractéristiques précises des interventions et des modèles d'études d'évaluation qui permettraient de distinguer clairement une

pratique prometteuse d'une pratique exemplaire et d'une pratique exclue (c'est-à-dire une pratique qui n'est considérée ni comme une pratique exemplaire, ni comme une pratique prometteuse). Une pratique prometteuse étant une intervention susceptible de devenir une pratique exemplaire, nous avons d'abord utilisé les trois piliers qui définissaient les pratiques exemplaires du Portail : 1) l'incidence globale de l'intervention, 2) la mesure dans laquelle l'intervention est adaptable et généralisable dans d'autres contextes et d'autres populations et 3) la qualité et la solidité des données probantes issues de l'évaluation de l'intervention, tout en tenant compte de la puissance des différents modèles d'étude.

À la suite de cette revue de la littérature, nous avons synthétisé l'information dans une liste de définitions et de critères potentiels pour les pratiques prometteuses. Nous avons transmis ces critères au groupe de travail (voir la section Remerciements pour obtenir une liste complète des membres du groupe de travail), puis nous les avons modifiés en fonction des commentaires de ce groupe. Nous avons ensuite mis les nouveaux critères à l'essai en effectuant trois essais pilotes selon une approche progressive.

### Phase II : Essais pilotes – distinction entre les pratiques prometteuses et exclues

Au cours du premier essai pilote, sept interventions visant à promouvoir la santé maternelle et infantile qui n'avaient pas été retenues en vue de l'inclusion comme pratiques exemplaires dans le Portail ont été réévaluées par NF (l'auteure principale) à la lumière des nouveaux critères définissant les pratiques prometteuses. Un système de triage simple et global fondé sur les résultats de cet essai pilote a été proposé pour déterminer sur quels critères une intervention était retenue ou rejetée avant de passer à l'étape plus laborieuse de l'examen de la qualité de la preuve. Des améliorations ont été apportées aux critères de sélection d'après les conclusions de l'essai pilote et les discussions menées avec le groupe de travail. Ces améliorations ont été apportées en raison des principales difficultés auxquelles nous avons été confrontés (et qui sont abordées plus loin).

Au cours du deuxième essai pilote, on a demandé à quatre examinateurs des pratiques exemplaires du Portail (dont NF, KW et JY) d'examiner trois ou quatre
interventions en équipe de deux. Dans le cadre de cet examen, huit interventions de prévention de l'obésité et cinq interventions de prévention des maladies mentales qui n'avaient pas été retenues antérieurement comme pratiques exemplaires ont été réévaluées. Afin de vérifier la fiabilité interévaluateurs, chaque paire d'examineurs devait comparer ses notes pour chaque critère de chaque intervention. Les examineurs ont relevé les différences entre leurs interprétations des critères et le pointage qu'ils avaient accordé à ceux-ci, puis en ont discuté. Lorsque les membres d'une paire et les paires s'accordaient sur un pointage, la qualité générique du critère était confirmée. En cas de désaccord, le groupe de travail discutait du dilemme et s'entendait sur les modifications à apporter au critère (certains des principaux enjeux rencontrés, par exemple l'établissement de lignes de démarcation et la définition de l'importance de l'incidence, sont abordés dans la section Analyse). Les deux premiers essais pilotes visaient à évaluer si les critères de sélection permettaient de distinguer les pratiques prometteuses des pratiques exclues. La phase suivante consistait à déterminer si les critères modifiés permettaient de distinguer efficacement pratiques exemplaires, pratiques prometteuses et pratiques exclues.

## Phase III : Essai pilote – distinction entre les pratiques exemplaires, prometteuses et exclues

Au cours du troisième essai pilote, sept examineurs chevronnés ont chacun évalué de quatre à neuf interventions sur un total de 62 interventions en matière de prévention des maladies mentales, de prévention des blessures, de prévention de la violence, de lutte contre le tabagisme, de promotion de la santé maternelle et infantile et de saine alimentation. Cet examen avait pour objet de vérifier si les critères modifiés permettaient de déterminer si une nouvelle intervention était exemplaire, prometteuse ou exclue. Chaque examinateur a rempli un formulaire de rétroaction individuellement et indiqué, le cas échéant, les problèmes ou les difficultés auxquels il s'est heurté en appliquant les critères de sélection. Les renseignements contenus dans ces formulaires ont été complés par NF (l'auteur principal), et les principaux thèmes et enjeux qui en sont ressortis ont fait l'objet de discussions entre les membres du groupe. Les membres du groupe sont parvenus à un consensus pour toutes les questions soulevées, et les améliorations nécessaires ont été apportées

aux critères (en particulier à propos de l'intégration des changements de contexte de façon uniforme, du traitement de plussieurs documents portant sur l'intervention et de la définition de l'importance de l'incidence). Cet essai pilote a permis à cinq des sept examineurs d'identifier, à l'aide des nouveaux critères, 11 pratiques prometteuses et une pratique exemplaire. Ces interventions ont été ajoutées au Portail (qui est accessible à l'adresse http://cbpp-pcpe.phac-aspc.gc.ca/fr/).

Tout au long des phases de mise à l'essai, les difficultés et les questions complexes qui se rapportaient aux critères ont fait l'objet de discussions et de débats au sein du groupe de travail et les membres du groupe ont convenu de chaque modification apportée aux critères. Chaque modification apportée aux critères. Chaque modification a impliqué également une amélioration des lignes directrices accompagnant les critères, du système de notation servant à évaluer la qualité de la preuve et du contextu du Guide à l'intention des évaluateurs du Portail (un guide étape par étape conçu pour aider les évaluateurs à utiliser les critères de sélection, qui contient des exemples ainsi que des ressources et des outils supplémentaires pour la prise de décision). Nous estimons que les aspects les plus intéressants de ces travaux sont les questions et les difficultés qui se sont posées lors de la création de ces critères, et les définitions sur lesquelles nous nous sommes entendus. Ces questions sont présentées et abordées dans les pages qui suivent.

## Résultats

La définition de « pratique exemplaire » qui a été finalement retenue d'après les résultats

des essais pilotes figure dans l'encadré 1. Le tableau 1 contient un résumé des principaux critères qui ont été définis pour distinguer les pratiques prometteuses des pratiques exemplaires au terme des essais pilotes. Les critères de base, essentiels à la fois pour les pratiques prometteuses et les pratiques exemplaires, se trouvent là où les colonnes sont fusionnées dans le tableau 1.

Le tableau 1 présente les différents critères associés aux pratiques exemplaires et aux pratiques prometteuses. L'examenateur qui utilise les critères de sélection du Portail les applique tous l'un après l'autre en vue de déterminer si l'intervention est exclue (auquel cas l'évaluation prend fin sur-lechamp), s'il s'agit d'une pratique prometteuse potentielle ou s'il s'agit d'une pratique exemplaire potentielle. La dernière étape consiste à attribuer des scores numériques d'après l'évaluation de la qualité des données probantes. Les scores varient en fonction du modèle d'étude (sur une échelle de 6 à 19) et correspondent à des données rigoureuses, modérées ou limitées. Plus le score est élevé, plus le modèle d'étude est rigoureux.

## Analyse

La mise à l'essai des critères de sélection du Portail pour la détermination des pratiques exemplaires et prometteuses a mis en évidence plusieurs difficultés importantes et mené à des discussions méthodologiques profondes entre les membres du groupe de travail. Voici une liste des difficultés rencontrées ainsi que des mesures et des décisions prises pour les surmonter.

## ENCADRÉ 1
Définition d'une pratique prometteuse pour le Portail

Une pratique prometteuse est une intervention, un programme, une stratégie ou une politique qui a le potentiel (ou « promet ») de devenir une pratique exemplaire. Les pratiques prometteuses peuvent en être aux premières étapes de leur mise en œuvre ou de leur évaluation.

Les pratiques prometteuses se caractérisent par :

* **une incidence moyenne à élevée** : des changements positifs vers l'atteinte des objectifs souhaités doivent être constatés, mais cette norme est légèrement plus basse que pour les pratiques exemplaires compte tenu du potentiel d'adaptation et de croissance;

* **un fort potentiel d'adaptabilité** : possibilité élevée de produire des résultats positifs semblables dans d'autres contextes ou situations, particulièrement lorsque l'intervention repose sur des bases théoriques ou un modèle logique rigoureux;

* **des données probantes de qualité correcte** : la qualité des données probantes n'est pas forcément aussi élevée que pour les pratiques exemplaires du fait que les pratiques prometteuses en sont souvent aux premières étapes d'évaluation.
<table><caption>TABLEAU 1
Critères permettant de faire la distinction entre les pratiques exemplaires et les pratiques prometteuses</caption><thead><tr><th></th><th></th><th>Pratique exemplaire</th><th>Pratique prometteuse</th></tr></thead><tbody><tr><td rowspan="3">Critères généraux</td><td>Date</td><td colspan="2">Le principal article de référence doit avoir été publié au cours des 10 dernières années.</td></tr><tr><td>Cœur de l'intervention</td><td colspan="2">L'intervention doit viser la santé à l'échelle d'une population; elle peut inclure des interventions à un seul niveau ou à de multiples niveaux (échelle individuelle, communautaire, organisationnelle, de la société). Les interventions cliniques sont exclues, comme celles axées exclusivement sur les recommandations de traitement individuel pour des diagnostics médicaux précis ou l'administration de médicaments.</td></tr><tr><td>Source</td><td>Article évalué par les pairs.</td><td>Littérature grise ou article évalué par les pairs.</td></tr><tr><td rowspan="4">Incidence</td><td>Importance de l'incidence</td><td colspan="2">L'incidence de l'intervention doit être modérée à élevée.</td></tr><tr><td>Résultats positifs</td><td colspan="2">L'intervention doit produire des résultats positifs pour au moins la moitié de ses objectifs principaux.<br>L'intervention doit produire des résultats positifs à long terme, des résultats intermédiaires ou des résultats positifs à court terme appropriés pour les objectifs connexes.</td></tr><tr><td>Fondement sur des données probantes</td><td colspan="2">L'intervention doit reposer sur des lignes directrices, des modèles, des normes, des théories, des recherches, des publications ou des études antérieures qui se fondent sur des données probantes.</td></tr><tr><td>Historique de la mise en œuvre</td><td colspan="2">L'intervention doit avoir été mise en œuvre plus de deux fois (la première mise en œuvre peut avoir été un projet pilote).</td></tr><tr><td rowspan="2">Adaptabilité</td><td>Expertise nécessaire</td><td colspan="2">L'intervention ne demande pas de compétences spécialisées ou demande des compétences spécialisées facilement accessibles dans le contexte ou encore une formation spécialisée est offerte dans le cadre de l'intervention.</td></tr><tr><td>Classement de l'outil d'évaluation</td><td colspan="2">L'étude utilisée pour évaluer l'intervention doit obtenir, au minimum, une note modérée selon l'Outil d'évaluation de la qualité des données probantes du Portail.<br>L'étude utilisée pour évaluer l'intervention doit être considérée comme rigoureuse selon l'Outil d'évaluation de la qualité des données probantes du Portail.</td></tr></tbody></table>

### Établissement de lignes de démarcation entre les pratiques exemplaires, prometteuses et exclues

Lors de la définition des critères relatifs aux pratiques prometteuses, il a été particulièrement ardu de créer un système de

notation approfondi pour chacun des critères préexistants applicables aux pratiques exemplaires, puis de tracer de nouvelles lignes de démarcation pour séparer les pratiques exemplaires, prometteuses et exclues. Dans certains cas, nous avons déterminé des critères de base s'appliquant

à la fois aux pratiques exemplaires et aux pratiques prometteuses (là où les colonnes sont fusionnées dans le tableau 1), un seul élément séparant alors les pratiques exemplaires et prometteuses des pratiques exclues. Par exemple, pour qu'une pratique soit exemplaire ou prometteuse, il est essentiel que l'intervention repose sur des lignes directrices, des modèles, des normes, des théories, des recherches, des publications ou des études antérieures qui se fondent sur des données probantes. Si l'intervention ne repose pas sur des données probantes, elle est automatiquement exclue de l'évaluation et ne pourra pas être considérée comme une pratique exemplaire ou prometteuse. Un autre exemple de critère de base est que l'intervention doit produire des résultats positifs pour au moins la moitié de ses objectifs principaux. Ce critère est fondamental pour la poursuite de l'évaluation en vue d'une inclusion comme pratique prometteuse ou exemplaire dans le Portail.

Certaines caractéristiques doivent bien sûr permettre la distinction entre pratiques exemplaires et pratiques prometteuses : nous avons ainsi cherché à préciser les différents types de résultats positifs (à court terme, intermédiaires et à long terme) que peuvent engendrer les interventions de promotion de la santé et de prévention des maladies chroniques. Même si cette démarche s'est révélée complexe, nous sommes parvenus à définir cinq types de résultats positifs (décrits ci-dessous) qui aident à distinguer pratiques exemplaires et pratiques prometteuses.

Nous avons défini les résultats positifs à long terme liés aux objectifs principaux comme étant les résultats qui persistent pendant un an ou plus après l'intervention. Ces types de résultats sont associés aux pratiques exemplaires. Un exemple de pratique exemplaire de ce type est un programme de lutte contre le tabagisme dont l'objectif à long terme est de réduire les taux de tabagisme chez les jeunes à risque : une évaluation (menée au terme du programme) a fait état de résultats positifs, et une évaluation de suivi (menée 1,5 an après la fin du programme) a fait état de résultats positifs durables.

Les résultats intermédiaires liés aux objectifs principaux se rapportent aux interventions dont les résultats positifs persistent pendant six mois à un an après l'intervention. Ces types de résultats sont
également associés aux pratiques exemplaires. Un exemple de pratique exemplaire de cette catégorie est un programme de promotion d'une saine alimentation qui vise à encourager de saines habitudes alimentaires chez les élèves du secondaire en proposant des choix santé à la cafétéria de l'école : une évaluation des résultats (menée sept mois après la fin du programme) a montré que les habitudes alimentaires des élèves s'étaient améliorées de façon durable, mais aucune étude de suivi n'a été réalisée.

Nous avons défini les résultats positifs à court terme pertinents pour les objectifs correspondants comme les résultats mesurés dans les six mois d'une intervention et appropriés compte tenu de la nature à court terme des objectifs principaux. Ces types de résultats sont aussi associés aux pratiques exemplaires. Un exemple de pratique exemplaire incluant ce type de résultats serait un programme visant à réduire l'incidence de la dépression post-partum chez les nouvelles mères et pour lequel une évaluation des résultats a montré que l'incidence de la dépression post-partum a été plus faible chez les participantes que dans le groupe témoin. Dans ce contexte, une évaluation de suivi n'est pas appropriée car un état de santé comme la dépression post-partum ne se manifeste qu'au cours d'une période définie.

En résumé, les résultats positifs à long terme liés aux objectifs principaux, les résultats positifs intermédiaires liés aux objectifs principaux et les résultats positifs à court terme pertinents pour les objectifs correspondants sont les différents types de résultats qui peuvent faire d'une intervention une pratique exemplaire.

Nous avons défini les résultats positifs à court terme non pertinents pour les objectifs correspondants comme les résultats mesurés dans les six mois suivant la période d'intervention dans un contexte où les objectifs principaux de l'invention sont à long terme. Ces types de résultats sont associés aux pratiques prometteuses. Un exemple de pratique prometteuse de ce type est un programme de lutte contre le tabagisme dont l'objectif à long terme est de réduire les taux de tabagisme chez les jeunes à risque dont l'évaluation a fait état de résultats positifs un mois après la fin du programme. L'incidence à long terme du programme n'a pas été évaluée par une collecte de données subséquentes, malgré

les objectifs à long terme de l'intervention, ce qui fait que l'intervention peut être répétoriée uniquement en tant que pratique prometteuse.

Nous avons défini les résultats positifs au cours de la période de mise en œuvre de l'intervention comme les résultats positifs observés pendant l'intervention alors qu'aucune étude de suivi n'est encore disponible pour confirmer d'éventuelles répercussions durables après l'intervention. Ces types de résultats sont également associés aux pratiques prometteuses. Un exemple de pratique prometteuse avec de tels résultats est un programme de promotion de la santé mentale qui vise à créer un environnement social plus favorable pour les adultes atteints de dépression. Comme une évaluation portant sur la perception des amitiés formées pendant le programme a montré des résultats positifs, cette pratique présente un certain potentiel et peut être considérée comme prometteuse en regard de ce critère.

En résumé, les interventions qui engendrent des résultats positifs à court terme non pertinents pour les objectifs correspondants et des résultats positifs au cours de la période de mise en œuvre de l'intervention peuvent se qualifier uniquement en tant que pratiques prometteuses et non en tant que pratiques exemplaires.

## Intégration des changements de contexte au critère d'adaptabilité de manière à entraîner une compréhension uniforme de la part des examinateurs

En réalité, aucune intervention ne peut être reproduite (c'est-à-dire être mise en œuvre plusieurs fois de façon parfaitement identique) parce que le contexte influence toujours la manière dont un programme est mis en œuvre⁹. Par conséquent, la question de la caractérisation des interventions reproduites et des interventions adaptées est complexe et épineuse¹⁰, et elle s'est posée lors de l'élaboration des critères entourant l'adaptabilité.

Le critère « historique de la mise en œuvre » vise à évaluer l'adaptabilité d'une intervention en fonction de ses mises en œuvre antérieures. Pour ce critère, la différence entre une pratique exemplaire et une pratique prometteuse est qu'une pratique exemplaire a été mise en œuvre plus d'une fois, alors qu'une pratique prometteuse ne l'a été qu'une fois. Cependant,

pour qu'une intervention soit considérée comme une pratique exemplaire, il faut que chacune de ses mises en œuvre ait été essentiellement la même. Nous avons inclus cette condition supplémentaire car même si une intervention est toujours adaptée dans une certaine mesure au contexte de mise en œuvre, l'envergure des changements ou des adaptations ne doit pas modifier les objectifs fondamentaux ou les activités fondamentales du programme. Si les mises en œuvre précédentes de l'intervention ne sont pas essentiellement les mêmes, le programme est considéré comme étant mis en œuvre pour la première fois. Il ne peut alors pas constituer une pratique exemplaire (mais pourrait constituer une pratique prometteuse). Quoiqu'il soit très difficile à appliquer à un large éventail d'interventions, ce critère facilite l'évaluation : il permet que les examinateurs ne se fient pas exclusivement à leur jugement personnel et il favorise une évaluation uniforme des interventions entre examinateurs.

## Traitement de plusieurs mises en œuvre et rapports d'évaluation pour une même intervention

Quand une intervention a été mise en œuvre ou évaluée plus d'une fois, il n'est pas rare que plusieurs articles aient été publiés à son sujet (dans une revue évaluée par les pairs ou dans la littérature grise). Lorsqu'on évalue une intervention pour déterminer si elle constitue une pratique exemplaire, prometteuse ou exclue, évaluer plusieurs articles à la lumière des critères établis est extrêmement difficile et constitue un processus trop coûteux dans un contexte de sélection ou d'évaluation. Si plusieurs articles sont évalués simultanément à l'aide d'un seul ensemble de critères, il y a de fortes chances que les examinateurs faussent les résultats en choisissant uniquement les résultats et les caractéristiques positifs (ou négatifs) dans chacune des études, et qu'ils ne rapportent que le modèle d'étude le plus (ou le moins) rigoureux sur le plan scientifique. Ce problème majeur s'est présenté à répétition pendant les phases de mise à l'essai. Il a donc été décidé que les examinateurs ne tiendraient compte pour leur examen de l'intervention que d'un document sur l'étude d'évaluation principale par intervention.

Le groupe de travail a établi que les éléments les plus importants qui doivent se
retrouver dans le document sur l'étude d'évaluation principale sont les objectifs de l'intervention ainsi que le modèle, les méthodes et les résultats de l'évaluation. Ainsi, si plusieurs articles portent sur une même évaluation, les examinateurs doivent sélectionner un document sur l'étude d'évaluation principale en priorisant (dans cet ordre) les critères suivants : 1) l'article a été évalué par les pairs, 2) l'étude expose les conclusions d'une évaluation des résultats et non d'une évaluation des processus, 3) l'article se distingue des autres articles disponibles par une méthodologie plus robuste et 4) l'article est plus récent.

## Définition de l'importance de l'incidence

Tout au long de la phase de mise à l'essai, nous avons beaucoup débattu du critère de l'importance de l'incidence (que l'on appelait auparavant l'ampleur de l'incidence), notamment en ce qui concerne certains concepts connexes comme l'ampleur, l'importance, l'étendue et la portée de l'incidence. L'élaboration d'une procédure d'évaluation du niveau de l'incidence pour tous les types d'intervention s'est révélée laborieuse, particulièrement dans la mesure où la taille de la population cible varie énormément d'une intervention à l'autre (p. ex. entre une politique et un programme communautaire). Ce type de problème est inévitable dans la mesure où il relève des conventions relatives aux modèles d'études, aux méthodes et à la présentation des résultats des différentes sous-disciplines, des revues scientifiques et des pairs.

Finalement, nous avons décidé de définir concrètement ce critère comme la proportion de l'incidence, car les proportions peuvent mesurer efficacement l'ampleur de l'incidence indépendamment du type ou de la taille de la population cible ou de l'étude. Dans les cas où la proportion était inconnue, nous nous sommes fiés à la signification statistique des résultats principaux pour mesurer l'étendue et l'ampleur de l'incidence. Une intervention classée comme pratique exemplaire doit générer une incidence modérée à élevée selon ce critère, à savoir amener des résultats positifs pour une proportion modérée à élevée (au moins 50 %) de l'échantillon de la population cible. Dans les cas où la proportion est inconnue, tous les résultats principaux doivent avoir une importance modérée à élevée (valeur *p* < 0,05). Une pratique prometteuse présente quant à elle une

faible incidence pour ce critère, c'est-à-dire que l'intervention amène des résultats positifs pour une faible proportion (< 50 %) de l'échantillon de la population cible. Dans les cas où la proportion est inconnue, au moins la moitié (50 %) des résultats principaux doivent être significatifs au seuil minimal accepté (valeur *p* = 0,05).

## Détermination d'une date d'échéance pour les pratiques exemplaires ou prometteuses

Nous avons également envisagé, pendant les phases de mise à l'essai, de fixer une période limite ou d'échéance qui régirait l'admissibilité d'une intervention au titre de pratique exemplaire ou de pratique prometteuse. Par exemple, si une intervention réalisée 20 ans plus tôt a constitué à ce moment-là une pratique exemplaire, le serait-elle encore aujourd'hui? Cette période devrait-elle être différente pour les pratiques prometteuses dans la mesure où elles pourraient devenir des pratiques exemplaires? Les pratiques prometteuses doivent-elles atteindre le statut de pratiques exemplaires au cours d'un laps de temps particulier? Le modèle de l'étude d'évaluation influence-t-il la date d'échéance d'une pratique exemplaire ou prometteuse?

Afin d'approfondir ces questions, nous avons examiné la documentation méthodologique sur les types de modèles d'étude d'évaluation<sup>11-14,16</sup>, en particulier l'article sur la hiérarchie des preuves du Portail<sup>16</sup>, et nous avons consulté le groupe de travail. Comme la plupart des modèles d'étude incluent structurellement le contexte de l'intervention dans la démarche d'analyse (ce qui, comme l'indique l'article sur la hiérarchie des preuves, est un aspect crucial de tout programme d'évaluation), il nous est clairement apparu qu'après un certain temps le contexte avait trop changé pour qu'une intervention puisse continuer à être considérée comme une pratique exemplaire ou prometteuse.

Après avoir appliqué les critères de sélection lors des essais pilotes et discuté avec le groupe de travail, nous avons établi que toutes les pratiques exemplaires, y compris celles ayant été évaluées à l'aide d'essais comparatifs randomisés (ECR), viendraient à échéance sur le Portail au bout de 10 ans (en fonction de la date de réalisation de l'étude d'évaluation la plus récente). Dans le cas des pratiques prometteuses, la logique est différente. Comme les pratiques

prometteuses pourraient devenir des pratiques exemplaires, indépendamment du modèle de l'étude d'évaluation, elles devraient venir à échéance sur le Portail plus rapidement. Nous avons donc décidé qu'une intervention ne serait plus considérée comme une pratique prometteuse si après cinq ans (en fonction de la date de réalisation des études d'évaluation les plus récentes) elle n'avait pas encore atteint le statut de pratique exemplaire.

## Forces et limites

L'une des grandes forces de cette étude est qu'elle nous a permis d'examiner nos critères de sélection en matière de pratiques prometteuses dans le cadre de trois essais pilotes. Nous avons également pu débattre avec le groupe de travail des questions méthodologiques complexes qui se sont présentées. Cette démarche structurée nous a permis d'élaborer des critères approuvés qui sont uniformes, efficaces et assez souples pour être utilisés par divers examinateurs. Après un débat substantiel, nous avons également décidé de considérer les politiques et les mesures législatives comme des interventions. Nous avons appliqué les critères relatifs aux pratiques prometteuses à ces types d'interventions, ce qui nous a permis d'inclure deux politiques provinciales en milieu scolaire (l'une de Nouvelle-Écosse et l'autre de l'Île-du-Prince-Édouard) parmi les pratiques prometteuses du Portail. Cette décision nous a permis de combler une lacune importante : inclure des politiques et des mesures législatives prometteuses dans le Portail.

Une limite vient du fait qu'il y a (et qu'il y aura probablement toujours) des tensions lorsqu'on cherche à déterminer des critères de nature essentiellement théorique mais applicables à une vaste gamme d'interventions de santé dans la population. Il est difficile de systématiser un processus d'examen pour des interventions aux objectifs très diversifiés, qui s'adressent à des populations différentes et de tailles variables, qui ont recours à des modèles d'études d'évaluation différents et qui engendrent un large éventail de résultats globaux. S'il est nécessaire, dans tout processus d'examen normalisé, de faire appel au jugement de manière globale (en fonction des catégories) plutôt que d'étudier les interventions au cas par cas, cette contrainte limite souvent la profondeur de l'analyse de la plupart des zones grises spécifiques et complexes. Pendant la
conception de ces critères de sélection, nous avons réalisé que si nous tentions d'intégrer l'étude de ces zones grises d'une manière systématique, nous introduirions une subjectivité et un biais excessifs dans notre processus d'évaluation et que cela entraînerait une trop grande variabilité entre examinateurs. Les décisions prises au cours de l'élaboration et de l'amélioration des critères relatifs aux pratiques prometteuses et exemplaires reflètent donc un équilibre entre la capacité à tenir compte des particularités de chaque intervention et la capacité à évaluer les interventions avec fiabilité et uniformité entre examinateurs.

## Conclusion

La systématisation d'une évaluation de sélection visant à différencier pratiques exemplaires, pratiques prometteuses et pratiques exclues s'est révélée laborieuse, et cette démarche a soulevé plusieurs questions complexes auxquelles il n'existait pas véritablement de réponses évidentes. Grâce aux débats survenus au cours de notre étude, nous estimons avoir déterminé les principales caractéristiques des pratiques exemplaires et des pratiques prometteuses qui pourront servir à l'évaluation des interventions.

Ce travail fournit des éléments d'information importants dont pourront tenir compte les praticiens et les évaluateurs lorsqu'ils vont concevoir un nouveau type d'intervention ou d'étude d'évaluation ou lorsqu'ils vont adapter une intervention à un autre contexte. Globalement, nous voulons amener une plus grande transparence pour les praticiens en ce qui concerne les mesures qui fonctionnent bien et qui offrent un potentiel (auprès d'une population et dans des conditions précises) dans le domaine de la promotion de santé et de la prévention des maladies chroniques. Nous croyons que ces critères peuvent être adaptés en vue d'une utilisation à grande échelle par les décideurs et les praticiens en santé publique.

## Remerciements

Nous tenons à remercier chacun des membres du groupe de travail sur les pratiques prometteuses pour leur importante contribution à ces travaux :

Nina Jetha (présidente) : gestionnaire, Initiative canadienne des pratiques exemplaires, Agence de la santé publique du Canada

Andrea Simpson : analyste DEC, Opérations régionales (Atlantique), Agence de la santé publique du Canada

Dawne Rennie : gestionnaire, Division des partenariats et des stratégies, Agence de la santé publique du Canada

Jennifer Yessis, Ph. D. : scientifique, Centre Propel, Université de Waterloo

Kathryn Joly : Reg Warren Consulting Inc.

Katy Wong, M. Sc. : gestionnaire principale, Centre Propel, Université de Waterloo

Kerry Robinson : directrice par intérim, Division des interventions et des pratiques exemplaires, Agence de la santé publique du Canada

Laurie Gibbons : analyste principale des politiques, Division des stratégies relatives aux maladies chroniques, Agence de la santé publique du Canada

Lynne Foley : analyste, Opérations régionales (MB/SK), Agence de la santé publique du Canada

Margaret de Groh : gestionnaire, Direction des déterminants sociaux et de l'intégration scientifique, Agence de la santé publique du Canada

Mary-Pat Lambert : épidémiologiste/analyste des politiques, Division de la promotion et de l'innovation en matière de santé de la population, Agence de la santé publique du Canada

Mélissa Nader, Ph. D. : évaluatrice-analyste, Opérations régionales (Québec), Agence de la santé publique du Canada

Nadia Fazal, B. Sc., M.P.H. : aspirante au doctorat, Université de Toronto; Reg Warren Consulting Inc.

Reg Warren : Reg Warren Consulting Inc.

Suzanne F. Jackson, Ph. D. : professeure adjointe émérite, École de santé publique Dalla Lana, Université de Toronto.

## Conflits d'intérêts

Les auteurs déclarent n'avoir aucun conflit d'intérêts.

## Contributions des auteures et avis

NF, SJ et NJ ont contribué à la conception de l'étude et à l'idée du projet. NF a dirigé l'interprétation des résultats et la rédaction du manuscrit. SJ a encadré NF pendant l'interprétation des résultats et la rédaction

du manuscrit. Toutes les auteures (NF, SJ, KW, JY, NJ) ont pris part à l'analyse des données, à l'interprétation des résultats, à la révision critique du manuscrit et à l'approbation de la version finale.

Le contenu de cet article et les opinions qui y sont exprimées n'engagent que les auteurs et ne représentent pas forcément les opinions du Gouvernement du Canada.

## Références

1. Halfors D, Godette D. Will the "Principles of Effectiveness improve prevention practice? Early findings from a diffusion study. Health Education and Research. 2002;17(4): 461-70.

2. Keifer L, Frank J, Di Ruggiero E, et al. Favoriser la prise de décision factuelle au Canada. Revue canadienne de santé publique. 2005; 96(3) : I20-I40.

3. Jetha N, Robinson K, Wilkerson T, Dubois N, Turgeon V, DesMeules M. Combler l'écart entre les données pro-bantes et l'action : l'Initiative cana-dienne des pratiques exemplaires pour la promotion de la santé et la préven-tion des maladies chroniques. Revue canadienne de santé publique. 2008; 99(5) : I1-I8.

4. Rush B, Robinson K. Best Practices Portal for Health Promotion and Chronic Disease Prevention: report on the 2007-08 evaluation and related knowledge exchange needs assess-ment. Main Report. 2008.

5. Cameron R, Jolin MA, Walker R, McDermott N, Gough M. Linking sci-ence and practice: toward a system for enabling communities to adopt best practices for chronic disease preven-tion. Health Promotion Practice. 2001; 2(1):35-42.

6. Dubois N, Andrew C, Wilkerson T. Systematic review: best practice pro-grams and related resources. Scotland (Ont.): préparé par DU B FIT Con-sulting pour le National Best Practices Consortium, Centre de prévention et de contrôle des maladies chroniques, Santé Canada; 2004.
7. Dubois N, Wilkerson T Hall C. A framework for enhancing the dissemination of best practices. Scotland (Ont.): Heart Health Resource Centre, Ontario Public Health Association (préparé par DU B FIT Consulting); 2003.

8. Valente TW. Evaluating health promotion programs. New York: Oxford University Press; 2002.

9. Bell SG, Newcomer SF, Bachrach C, Borawski E, Jemmott III JB, Morrison D, et al. Challenges in replicating interventions. Journal of Adolescent Health. 2007;40(6):514-520.

10. Stanton B, Guo J, Cottrell L, Galbraith J, Li X, Gibson C, et al. The complex business of adapting effective interventions to new populations: An urban to rural transfer. Journal of Adolescent Health. 2005;37(2):163. e17-163.e26.

11. Patton MQ. Qualitative research and evaluation methods: integrating theory and practice. 4th ed. Thousand Oaks (CA) : Sage Publications; 2015.

12. Robeson P, Dobbins M, DeCorby K, Tirilis D. Facilitating access to pre-processed research evidence in public health. BMC Public Health. 2010;10:95.

13. Evans D. Hierarchy of evidence: a framework for ranking evidence evaluating healthcare interventions. Journal of Clinical Nursing. 2003;12:77-84.

14. Daly J, Willis K, Small R, Green J, Welch N, Kealy M, et al. A hierarchy of evidence for assessing qualitative health research. Journal of Clinical Epidemiology. 2007;60(1):43-49.

15. Project STAR (2006). En ligne à : http://www.pacenterofexcellence.pitt.edu/documents/study designs for evaluation.pdf

16. Jackson S, Fazal N, Giesbrecht N. La hiérarchie des preuves : Quelle intervention présente les preuves d'efficacité les plus solides? Portail canadien des pratiques exemplaires en matière de promotion de la santé et de prévention des maladies chroniques [Internet]. 2010 [consultation le 8 avril 2016]. En ligne à : https://www.researchgate.net/profile/Suzanne_Jackson/publications?sorting = newest &page = 2