<figure><img src="image_1.png" /></figure>

# Évaluation du projet pilote du système de surveillance accrue des pneumococcies invasives (SSAPI)

Wijayasri S<fnref n="1" />,<fnref n="2" />, Li YA<fnref n="2" />, Squires SG<fnref n="2" />*, Martin I<fnref n="3" />, Demczuk W<fnref n="3" />, Mukhi S<fnref n="3" />

## Résumé

**Contexte** : Bien que les pneumococcies invasives constituent une cause majeure de morbidité au Canada, il demeure difficile, malgré la surveillance de routine, d'interpréter les tendances actuelles de l'évolution de la maladie sur le plan de la répartition des sérotypes et de la résistance aux antimicrobiens. Le projet pilote de Système de surveillance accrue des pneumococcies invasives (SSAPI) vise à permettre de mieux cerner les tendances d'évolution des pneumococcies invasives à l'échelle nationale en établissant un lien entre les données épidémiologiques et les données de laboratoire (lien Épi-Lab).

**Objectifs** : Évaluer le SSAPI en étudiant cinq paramètres (utilité, qualité des données, simplicité, acceptabilité et rapidité de réaction) et dégager des recommandations pour l'instauration future d'un système national de surveillance des pneumococcies invasives.

**Méthodologie** : Une méthode d'évaluation, reposant sur une enquête d'évaluation qualitative envoyée à huit utilisateurs du SSAPI et sur une analyse quantitative de la base de données du SSAPI, a été mise au point pour évaluer les cinq paramètres clés sélectionnés. Les recommandations ont été fondées sur les résultats de l'enquête et de l'analyse.

**Résultats** : Le taux de réponse au sondage a été de 100 %. La majorité des répondants de l'enquête ont trouvé le SSAPI utile (75 %), simple (100 %) et acceptable (86 %). Selon l'analyse de la base de données SSAPI, la majorité des cas de pneumococcies invasives (61 %) ont été pris en charge rapidement. Les réponses à l'enquête et l'analyse de la base de données ont révélé l'existence de problèmes sur le plan de la qualité des données et des mécanismes de gestion des données. La collaboration avec les organismes de santé publique, l'instauration de vérifications régulières et la mise à niveau de la plateforme sont recommandées pour résoudre les problèmes touchant à la qualité et à la gestion des données.

**Conclusion** : Le lien entre les données épidémiologiques et les données de laboratoire établi par le SSAPI permet de détecter et d'analyser les tendances d'évolution des pneumococcies invasives sur le plan de la répartition des sérotypes et de la résistance aux antimicrobiens. Ce système fondé sur le Web, simple, acceptable et rapide, facilite la collecte des données. Il est possible, en améliorant la qualité et la gestion des données, d'élaborer un système de surveillance national faisant le lien des données épidémiologiques et des données de laboratoire.

## Affiliations

**Citation proposée:** Wijayasri S, Li YA, Squires SG, Martin I, Demczuk W, Mukhi S. Évaluation du projet pilote de système de surveillance accrue des pneumococcies invasives (SSAPI). Relevé des maladies transmissibles au Canada 2016;42:92-7. https://doi.org/10.14745/ccdr.v42i04a02f

## Introduction

Les pneumococcies invasives sont des maladies infectieuses causées par la *Streptococcus pneumoniae*, qui présentent un risque de morbidité et de mortalité élevé, en particulier chez les jeunes enfants et les personnes âgées. À l'échelle mondiale, on estime à 1,6 million le nombre de décès dus aux pneumococcies invasives chaque année, dont un million chez les enfants de moins de cinq ans (1). Les pneumococcies invasives sont des maladies à déclaration obligatoire depuis 2000 (2) au

Canada. Elles sont évitables par la vaccination. Au Canada, un vaccin conjugué 13-valent contre le pneumocoque (VCP13) subventionné par l'État est actuellement disponible pour les nourrissons, et le vaccin polysaccharide contre le pneumocoque (Pneu-P-23) est disponible pour les adultes de plus de 65 ans et les personnes considérées comme étant à risque élevé de contracter une pneumococcie (3).

Les pneumococcies invasives sont causées par la bactérie Gram-positif *S. pneumoniae*. Il existe actuellement 92 sérotypes

<footnote n="1">¹University of Saskatchewan,
School of Public Health,
Saskatoon (Saskatchewan)</footnote>

<footnote n="2">²Direction générale de la prévention et du contrôle des maladies infectieuses, Agence de la santé publique du Canada, Ottawa (Ontario)</footnote>

<footnote n="3">³Laboratoire national de microbiologie, Agence de la santé publique du Canada, Winnipeg (Manitoba)</footnote>

<footnote>*Correspondance : susan.squires@phac-aspc.gc.ca</footnote>
<figure><img src="image_2.png" /></figure>

reconnus à l'échelle mondiale, dont 15 sont à l'origine de la plupart des maladies au Canada. Environ 50 sérotypes différents sont identifiés chaque année (4). Les deux vaccins couvrent les 24 sérotypes les plus courants (4). Alors que le Canada enregistre une diminution de l'incidence des pneumococcies invasives qui témoigne de l'efficacité du programme d'immunisation (5), l'augmentation de l'incidence des sérotypes non vaccinaux et des sérotypes résistants aux antimicrobiens est particulièrement préoccupante.

Jusqu'à présent, il n'existait pas de lien entre les données épidémiologiques et les données de laboratoire (lien ÉpiLab) à l'échelle du pays. Le projet pilote de système de surveillance accrue des pneumococcies invasives (SSAPI) vise à combler les lacunes des méthodes de surveillance de routine actuelles, à savoir l'incapacité à dégager les tendances de données intégrées d'épidémiologie et de laboratoire afin d'obtenir des données probantes sur lesquelles appuyer les programmes de vaccination, et l'incapacité à dégager les tendances de l'évolution des sérotypes résistants aux antimicrobiens. Le projet pilote de SSAPI a été lancé au Nouveau-Brunswick en avril 2011 afin d'instaurer une surveillance accrue qui permette de mieux cerner les tendances de l'évolution des pneumococcies invasives, en particulier sur le plan de la répartition des sérotypes et de la résistance aux antimicrobiens. Ce projet novateur a favorisé la

création de relations de travail collaboratif entre les programmes de santé publique provinciaux et fédéraux et a permis la transformation technologique et la modernisation du système de surveillance des pneumococcies invasives.

## Processus et plateforme du SSAPI

Le projet pilote était administré conjointement par le Laboratoire national de microbiologie (LNM) et le Centre de l'immunisation et des maladies respiratoires infectieuses (CIMRI) de l'Agence de la santé publique du Canada, les partenaires au sein du ministère de la Santé du Nouveau-Brunswick, les laboratoires d'hôpitaux régionaux et les organismes de santé publique régionaux. Le processus de collecte des données reposait sur trois sources : les établissements de soins de santé locaux, le LNM et les bureaux de santé publique régionaux et provinciaux.

La figure 1 illustre le déroulement du processus de traitement des données du SSAPI de la collecte des échantillons à la consignation des dossiers sur la plateforme électronique. Le LNM consigne les données de laboratoire concernant les divers sérotypes sur la plateforme du SSAPI. L'épidémiologiste de la province relie ces données aux données épidémiologiques, notamment les antécédents de vaccination et les facteurs de risque, en utilisant un code d'identification unique ou en

<figure><img src="image_3.png" /><figcaption>**Figure 1: Processus de traitement des données du projet pilote du système de surveillance accrue des pneumococcies invasives, de 2011 à 2015**</figcaption></figure>

Abbreviations: AMR, Antimicrobial resistance; CIRID, Centre for Immunization and Respiratory Infectious Diseases; CNPHI, Canadian Network of Public Health Intelligence; Epi, epidemiology; ID, Identifier; Lab, laboratory; Prov, Provincial; S. pneumonia, Streptococcus pneumoniae

<footnote n="1">¹AMR is only tested on S. pneumoniae isolates sent to the National Microbiology Laboratory (NML) from select health regions in New Brunswick. AMR testing is done by the Health Sciences Centre (Winnipeg, Manitoba).</footnote>

<footnote n="2">²If testing is performed.</footnote>
<figure><img src="image_4.png" /></figure>

effectuant un appariement probabiliste. Ces données sont alors à la disposition de tous les partenaires fédéraux et provinciaux du système de surveillance, sur la plateforme.

La technologie de traitement des données fondée sur Web Data, du Réseau canadien de renseignements sur la santé publique (RCRSP) a été utilisée pour mettre au point rapidement la plateforme du système pilote. Bien qu'en général cette technologie ne soit pas utilisée pour les systèmes de surveillance à long terme, elle a été retenue car elle permettait d'établir une base de données rapidement et de façon interactive et de répondre aux exigences de souplesse de la phase pilote (6).

Le but de la présente étude était d'évaluer le projet pilote de SSAPI en étudiant cinq paramètres (utilité, qualité des données [exhaustivité et validité], simplicité, acceptabilité et rapidité de réaction) et de dégager des recommandations visant à améliorer ces paramètres en vue d'éclairer l'élaboration de systèmes de surveillance intégrés nationaux qui relient les données épidémiologiques et de laboratoire.

## Méthodologie

Un cadre d'évaluation a été mis au point en s'appuyant sur les lignes directrices énoncées dans le document de Santé Canada intitulé Cadre et outils pour l'évaluation des systèmes de surveillance de la santé (7) et sur le document Updated Guidelines for Evaluating Public Health Surveillance Systems publié par les Centers for Disease Control and Prevention (CDC) [8]. Ce cadre d'évaluation était conçu pour évaluer cinq paramètres importants : l'utilité et la qualité des données, retenues pour évaluer l'efficacité du SSAPI à recueillir les données épidémiologiques et de laboratoire associées; la simplicité, l'acceptabilité et la rapidité de réaction, retenues pour évaluer la possibilité d'élaborer un système de surveillance national des pneumococcies invasives qui associent les données épidémiologiques et de laboratoire.

Ces paramètres ont été évalués selon deux méthodes : 1) une enquête d'évaluation qualitative anonyme et 2) une analyse détaillée du processus de traitement des données, de la base de données et du fonctionnement du projet pilote. L'enquête a été envoyée à huit utilisateurs réguliers principaux du SSAPI (quatre épidémiologistes et analystes en surveillance en poste au Nouveau-Brunswick (échelle provinciale) et quatre épidémiologistes du CIMRI et techniciens de laboratoire au LNM (échelle fédérale). L'analyse a été effectuée par les auteurs.

Le mode d'évaluation de chaque paramètre est décrit brièvement ci-dessous :

**Utilité** : Un système de surveillance est jugé utile s'il contribue à la prévention et au contrôle des événements indésirables pour la santé (8). Afin d'évaluer les divers indicateurs d'utilité énoncés dans les lignes directrices de CDC, le fonctionnement et les objectifs du système ont été examinés et une analyse quantitative des données a été effectuée. Les répondants de l'enquête ont également répondu à des questions spécifiques leur demandant comment ils utilisaient le système et ses données, ce qu'ils pensaient de l'utilité des données du SSAPI, ce qu'il faudrait faire pour que le système soit mieux adapté à

leurs besoins et s'ils pensaient que le projet pilote était prêt ou pourrait être prêt à être déployé à l'échelle nationale.

**Qualité des données** : La qualité des données a été évaluée en fonction de trois indicateurs : l'application d'une définition de cas national uniforme (voir l'encadré ci-dessous), l'exhaustivité des éléments de données et la validité des cas saisis. L'exhaustivité a été évaluée en calculant le pourcentage de valeurs manquantes (valeurs inconnues et réponses manquantes) de certains éléments de données. La validité a été évaluée en comparant le nombre de cas de pneumococcies invasives du Nouveau-Brunswick saisis dans le Système canadien de surveillance des maladies à déclaration obligatoire (SSMDO) avec les données recueillies par le SSAPI.

## Définition de cas de pneumococcie invasive (9)

Pour qu'un cas soit confirmé, il faut une manifestation clinique de la maladie ainsi qu'une confirmation en laboratoire de l'infection :

* Isolement de la bactérie *Streptococcus pneumoniae* OU

* Mise en évidence de l'ADN de la *S. pneumoniae* sur un site normalement stérile (à l'exclusion de l'oreille moyenne ou de la cavité pleurale)

Abréviation: ADN, acide désoxyribonucléique

**Simplicité** : Facilité d'acheminement des données et de gestion du système (8). Ce paramètre a été évalué au moyen des questions de l'enquête soumise aux intervenants portant sur la simplicité d'utilisation du système, les aspects du système propres à favoriser ou entraver cette simplicité et la capacité du système à assurer de façon fiable et correctement la collecte, la gestion et l'accès aux données.

**Acceptabilité** : La mesure selon laquelle le personnel de surveillance est disposé à mettre en œuvre le système et les utilisateurs du système sont disposés à utiliser les données générées par le système (8). L'acceptabilité a été évaluée au moyen des questions de l'enquête soumise aux intervenants portant sur les aspects du système favorisant ou entravant l'acceptabilité du système.

**Rapidité de réaction** : Ce paramètre correspond à la rapidité de succession des diverses étapes d'un système de surveillance (8). Le nombre de jours écoulés entre la date de l'épisode et la date de déclaration de l'épisode au système a été déterminé et examiné pour chaque cas.

Les auteurs ont émis des recommandations à la lumière des résultats de l'évaluation, y compris des commentaires soumis par les principaux utilisateurs.

## Résultats et recommandations

Le taux de participation à l'enquête d'évaluation du SSAPI a été de 100 %.
<figure><img src="image_5.png" /></figure>

## Utilité

Six des répondants de l'enquête (75 %) ont estimé que les données fournies par le SSAPI étaient utiles. Aucun des éléments de données n'a été jugé inutile. Une analyse quantitative des données du SSAPI a également révélé l'utilité du système. Le système a réussi à saisir tous les cas confirmés de pneumococcies invasives : il a permis de dégager les tendances d'évolution des données épidémiologiques et de laboratoire et d'estimer l'ampleur de la morbidité et de la mortalité associées aux pneumococcies invasives.

### Recommandations visant à améliorer l'utilité :

1. Discuter avec les partenaires de surveillance de l'inclusion des éléments suivants afin d'obtenir des données plus détaillées sur la morbidité et la mortalité :

a. Patients admis en unité de soins intensifs

b. Indicateur d'éclosion

c. Date de décès

2. Revoir la version actuelle du dictionnaire de données et du formulaire de déclaration de cas avec les partenaires de surveillance afin de prendre en compte les changements nécessaires.

## Qualité des données

Sur les 273 cas dont la date des épisodes se situait entre le 4 avril 2011 et le 8 juin 2015, 98 % (n = 267) correspondaient à la définition nationale de cas. Six cas ont été éliminés de l'ensemble de données car ils ne correspondaient pas à cette définition : deux cas dont les isolats provenaient du liquide pleural et quatre cas de pneumonie pour lesquels aucun isolat sanguin positif n'avait été fourni.

L'exhaustivité de plusieurs éléments de données était au-dessous du niveau satisfaisant préétabli de 90 %, notamment le diagnostic clinique (81 %), la durée d'hospitalisation (88 %), les résultats pour le patient (86 %), les problèmes médicaux sous-jacents (73 %), le statut d'Autochtone (45 %) et les antécédents d'immunisation (71 % à 73 %). L'utilisation d'un code d'identification unique pour associer les ensembles de données d'épidémiologie et de laboratoire était jugé inférieure au niveau de satisfaction d'exhaustivité (34 %) et le suivi auprès des partenaires de surveillance provinciaux a révélé qu'il était difficile d'obtenir un code d'identification unique pour coupler les données d'épidémiologie aux données de laboratoire. Toutefois, 63 % des répondants de l'enquête ont estimé que les données étaient suffisamment complètes, des améliorations s'imposant dans le domaine de la collecte des données de résistance aux antimicrobiens et des antécédents d'immunisation.

La comparaison des données du SSMDO avec celles du SSAPI a révélé une concordance de 100 % entre le nombre de cas enregistrés pour chaque groupe d'âge et sexe, témoignant de la validité des données du SSAPI.

### Recommandations visant à améliorer la qualité et l'exhaustivité des données :

1. Envisager avec les bureaux de santé publique régionaux le moyen d'améliorer la collecte des éléments de données importants, en particulier les données de diagnostic clinique et les antécédents d'immunisation.

a. Établir des indicateurs de qualité des données. L'un des indicateurs suggérés, utilisé par les CDC, est la proportion de cas déclarés ayant des renseignements complets, par rapport à un ensemble de données minimum établi (10). Cet indicateur pourrait éclairer la collaboration avec les bureaux régionaux.

2. Inclure l'état du dossier comme paramètre pour distinguer les cas confirmés des cas rejetés.

3. Mettre au point et documenter un processus de suivi consenti afin de maintenir un haut niveau de qualité et d'exhaustivité des données et d'améliorer la rapidité de réaction du système. Ce processus de suivi doit comprendre :

a. Une vérification annuelle des données.

b. Un mécanisme qui permet de répercuter les modifications apportées aux renseignements saisis sur les cas (p. ex. changement de province de résidence, erreurs, doubles, etc.) sur les données épidémiologiques et de laboratoire.

c. La délégation, convenue d'un commun accord, des responsabilités de suivi parmi les partenaires de surveillance du SSAPI.

4. En cas de divergence entre les définitions de cas nationale et provinciale, s'assurer que le SSAPI a la capacité de saisir les cas répondant aux deux définitions et de les filtrer en conséquence. Consulter les organismes de santé publique provinciaux afin de s'assurer que les formulaires de déclaration de cas provinciaux comprennent tous les éléments de données nécessaires à l'évaluation des cas par rapport à la définition de cas nationale.

## Simplicité

Sept des répondants ont répondu aux questions portant sur la simplicité. Tous ont convenu que le système actuel était simple, voire très simple. Les répondants ont toutefois relevé quelques problèmes concernant les difficultés posées par le téléchargement et l'extraction des données (sans doute dues à la complexité des processus de traitement des données) ainsi que le recours à l'appariement probabiliste (appariement de variables comme l'âge, le sexe et la date de l'épisode) plutôt que l'utilisation d'un code d'identification unique pour associer les ensembles de données épidémiologiques et de laboratoire. Il a été déterminé que ces difficultés faisaient entrave à la simplicité du système.

### Recommandations visant à améliorer la simplicité :

1. Transférer le SSAPI de la technologie Web Data à une application personnalisée plus spécialisée hébergée sur la plateforme informatique du RCRSP qui permet :

a. Le couplage automatique des données épidémiologiques et de laboratoire afin de simplifier la liaison des données et d'éliminer le système actuel d'appariement probabiliste.

b. L'extraction des données reposant sur le filtrage des éléments.

c. La réalisation de rapports de données sommaires et d'analyses statistiques.
<figure><img src="image_6.png" /></figure>

d. Un fonctionnement plus rapide (téléchargement et extraction des données).

2. Consulter les bureaux de santé publique régionaux afin de s'assurer que les données de laboratoire du LNM sont consignées sur le formulaire de déclaration des cas et déclarées au ministère de la Santé provincial.

## Acceptabilité

Les huit répondants ont répondu aux questions portant sur l'acceptabilité. Sept des répondants (88 %) ont indiqué que le système était acceptable, voire très acceptable. Les commentaires, toutefois, ont révélé l'existence de problèmes. La modification des renseignements sur les cas, le nettoyage des données et l'attribution et élimination des données en double ont été identifiés comme faisant entrave à l'acceptabilité du système à l'échelle provinciale. La sécurité de l'ensemble de données a été jugée préoccupante en raison de l'absence de restrictions sur certains éléments de données (p. ex. date de naissance, région géographique). En outre, les difficultés associées à la collecte des données des régions ont également été jugées préoccupantes. Plus particulièrement, la collecte de certains éléments de données, ainsi que les restrictions sur les tests de résistance aux antimicrobiens dans de nombreuses régions, ont été jugées comme faisant entrave à l'acceptabilité du système.

### Recommandations visant à améliorer l'acceptabilité :

1. Examiner les mécanismes de partage de données et discuter des restrictions relatives à certaines variables avec les partenaires de surveillance (p. ex. date de naissance, codes géolocalisateurs et postaux).

2. Réexaminer et revoir les dispositions concernant l'exécution des tests de résistance aux antimicrobiens avec les bureaux de santé publique régionaux.

## Rapidité de réaction

Le temps écoulé entre la date de l'épisode et la date de déclaration de l'épisode se situait entre six jours ouvrables (de janvier à juin 2015) et 18 jours (d'avril à décembre 2011), la moyenne étant de dix jours pour toute la période du projet pilote. La majorité des cas (61 %) étaient déclarés au bureau de santé publique local dans un délai de sept jours ouvrables à compter de la date de l'épisode. Les données de laboratoire étaient téléchargées dans le système Web Data du RCRSP chaque semaine, alors que les données épidémiologiques étaient mises à jour tous les trimestres. La rapidité de réaction du SSAPI a été jugée satisfaisante.

### Recommandations visant à améliorer la rapidité de réaction :

Aucune.

## Considérations relatives à la mise en œuvre à l'échelle nationale

Sept des huit répondants de l'enquête ont répondu à des questions portant sur la mise en œuvre du SSAPI à l'échelle nationale, dont six (75 %) ont indiqué que le projet pilote était prêt à être déployé à l'échelle nationale ou pouvait l'être.

Étant donné la simplicité, l'acceptabilité, l'utilité et la rapidité de réaction du système et à la lumière des réponses positives des partenaires de surveillance concernant son déploiement à l'échelle nationale, le SSAPI pourrait être élargi à tout le pays une fois les améliorations recommandées réalisées.

En outre, étant donné les similitudes qui existent entre la surveillance des pneumococcies invasives et la surveillance d'autres maladies bactériennes invasives (p. ex. les éléments de données, les mécanismes de déclaration et la souplesse de la plateforme du projet pilote hébergée par le RCRSP), le SSAPI pourrait être adapté en vue de la création d'un système général de surveillance des maladies bactériennes invasives qui permettrait une surveillance robuste et efficace d'autres maladies bactériennes invasives, comme la méningococcie invasive, l'infection invasive à Haemophilus influenzae, la maladie invasive causée par le streptocoque du groupe A et la maladie invasive causée par le streptocoque du groupe B.

## Conclusion

L'évaluation du projet pilote de SSAPI a démontré que le SSAPI est un système de surveillance fondé sur le couplage des données épidémiologiques et de laboratoire, qui recueille des renseignements complets et représentatifs permettant d'interpréter avec une précision supérieure les tendances de l'évolution des pneumococcies invasives et de la résistance aux antimicrobiens. Le SSAPI est un système simple qui exécute les données avec rapidité. Ultérieurement, le système pourrait aider à prévenir les pneumococcies invasives en fournissant des renseignements explicites sur les sérotypes et l'état de vaccination qui éclaireraient les décisions politiques et la mise en œuvre des programmes d'immunisation et de prévention.

Les partenaires de surveillance des provinces et des territoires ont mis en évidence certains problèmes durant l'évaluation qui pourraient être résolus par la mise en œuvre des recommandations émises pour améliorer l'utilité, la qualité des données, la simplicité et l'acceptabilité du système, et élargir la surveillance à quatre autres maladies à déclaration obligatoire à l'échelle du pays. En s'appuyant sur la souplesse de la plateforme du RCRSP, la collaboration continue avec les partenaires de surveillance du SSAPI et l'évaluation régulière du système, le Canada pourrait élargir, simplifier et moderniser ses mécanismes nationaux de déclaration des maladies bactériennes invasives.

## Remerciements

La rédaction du présent article n'aurait pas été possible sans la contribution de nombreux acteurs à l'échelle fédérale et provinciale. Nous tenons à remercier Louis-Alexandre Jalbert, Suzanne Savoie, Sophie Wertz et Rita Raafat Gad du ministère de la Santé du Nouveau-Brunswick de l'expertise et des suggestions dont ils nous ont fait bénéficier tout au long de cette évaluation.
<figure><img src="image_7.png" /></figure>

## Conflit d'intérêts

Aucun.

## Financement

Ce travail a été appuyé par l'Agence de la santé publique du Canada.

## Références

1. European Centre for Disease Prevention and Control. Annual epidemiological report 2013. Stockholm: ECDC; 2013.

2. Public Health Agency of Canada. Nationally notifiable diseases. (Disponible en français : http://dsol-smed.phac-aspc.gc.ca/dsol-smed/ndis/list-fra.php).

3. Public Health Agency of Canada. Canadian Immunization Guide – Pneumococcal Vaccine. Ottawa ON: PHAC; 2016. (Disponible en français : http://www.phac-aspc.gc.ca/publicat/cig-gci/p04-pneu-fra.php).

4. Public Health Agency of Canada. Invasive Pneumococcal disease for health professionals. Ottawa ON: PHAC; 2016. (Disponible en français : http://www.phac-aspc.gc.ca/im/vpd-mev/pneumococcal-pneumococcie/professionnels-fra.php).

5. Demczuk WHB, Martin I, Griffith A, Lefebvre B, McGeer A, Lovgren M, et al. Serotype distribution of invasive Streptococcus pneumoniae in Canada after the introduction of the 13-valent pneumococcal conjugate vaccine, 2010-2012. Can J Microbiol 2013 Dec; 59(12):778-788.

6. Mukhi SN, Chester TL, Klaver-Kibria JD, Nowicki DL, Whitlock ML, Mahmud SM, et al. Innovative technology for web-based data management during an outbreak. Online J Public Health Inform 2011 Jun; 3(1),1-13.

7. Health Surveillance Coordinating Committee, Health Canada. Framework and tools for evaluating health surveillance systems. Ottawa ON: Health Canada; 2004. (Disponible en français : http://publications.gc.ca/collections/Collection/H39-4-46-2004F.pdf).

8. Centers for Disease Control and Prevention. Updated guidelines for evaluating public health surveillance systems: Recommendations from the guidelines working group. MMWR Recommendations and Reports 2001 July 27;50(RR-13);1-35.

9. Public Health Agency of Canada. Case definitions for communicable diseases under national surveillance. Can Comm Dis Rep 2009;35-Suppl S2:34-35. (Disponible en français : http://www.phac-aspc.gc.ca/publicat/ccdr-rmtc/09vol35/35s2/index-fra.php).

10. Roush SW. Chapter 18: Surveillance indicators. In: Roush SW, Baldy LM, eds. Manual for the surveillance of vaccine-preventable diseases. Atlanta: Centres for Disease Control and Prevention; 2012.