# Evaluation de la qualité des données de routine des consultations prénatales dans les structures sanitaires de la zone de santé de KUNDA dans la province de MANIEMA.

Justin MUHINDO KIRARAHUMU¹, MD, MPH-HE, Jean Marie MUHINDO KAMUKEHERE, MD, MPH²,

¹Chef de Division Partenariat et Contractualisation, ²Encadreur Provincial Polyvalent

## Résumé.

A chaque niveau du système de santé intégré, la prise de bonnes décisions est tributaire de l'utilisation des données de qualité validées par leurs collecteurs et par le niveau hiérarchique.

La zone de santé de KUNDA dans la Province de Maniema est l'une de 519 zones de santé de la République Démocratique du Congo qui n'échappe pas à cette problématique de la qualité douteuse des données sanitaires produites. A l'aide de l'outil Multi-Indicator_RDQA_Mars2021, la vérification de la qualité des données de routine produites aux niveaux des structures des soins a été faite ainsi que le renforcement des capacités sur la gestion des données et le système de rapportage sur le système papier. Les contre-performances observées dans cette zone de santé ne sont pas un fait du hasard. Les facteurs suivants étaient incriminés : l'absence de la stratégie de contre-vérification des informations sanitaires avant leur diffusion et la faible qualité des réunions de monitorage à la base.

L'encadrement rapproché des prestataires chargés de la collecte des données et la systématique pratique du double comptage des données avant leur diffusion comme contre-vérification devant permettre de découvrir les différentes erreurs susceptibles de s'être glissées dans la chaîne de gestion des données, est une voie nécessaire pour apporter un changement positif sur la santé de la mère et du nouveau-né.

## 1. Position du problème

La fiabilité des données constitue actuellement un des principaux problèmes de qualité des données lors de la prise des décisions en Santé Publique en République Démocratique du Congo (RDC). Ainsi, l'objectif de ce travail était d'étudier la qualité des données de routine des consultations prénatales réalisées dans les structures sanitaires de la Zone de Santé de Kunda du 1er janvier au 31 mars 2021 dans la province de Maniema.

## 2. Introduction

Seules des données de qualité permettent une prise de décision adéquate : l'étape préalable à toute utilisation des données produites consiste donc à vérifier : (i) si les données qu'on veut utiliser sont disponibles ; (ii) si elles atteignent un standard de qualité acceptable. L'audit de la qualité des données consiste à vérifier les résultats annoncés. Il effectue un contrôle sur les chiffres notifiés en vérifiant la concordance entre les données contenues dans les supports de transmission et celles enregistrées sur le support de collecte.

La mesure du succès et l'amélioration de la gestion des programmes et projets reposent sur des systèmes solides de suivi et d'évaluation (S&E) qui produisent des données de qualité relatives à l'exécution du programme. La qualité des données rapportées dépend des systèmes sous-jacents de gestion et de
notification des données; des systèmes plus solides doivent produire des données de meilleure qualité. Pour que des données de bonne qualité soient produites par et à travers un système de gestion de données, il est nécessaire de mettre en place des composantes fonctionnelles clé à tous les niveaux du système.

Chaque personne active à l'une ou l'autre étape du Système National d'Informations sanitaires (SNIS en sigle) doit non seulement assurer le plus consciencieusement possible les tâches qui lui sont dévolues en ce qui concerne la récolte et la transmission des données. Elle doit aussi mettre en place des mécanismes actifs de recherche et de correction des erreurs. L'ensemble des mécanismes mis en place à toutes les étapes du système constitue le contrôle de qualité des données.

### 3. Objectifs

* Evaluer l'exactitude et la ponctualité des données notifiées relatives aux indicateurs clés de la consultation prénatale.

* Evaluer la disponibilité des services et la disponibilité des documents sources et des rapports mensuels.

* Déterminer les points d'action en lien avec les déficiences identifiées dans le système de gestion des données dans les structures sanitaires.

### 4. Méthodologie

L'étude est réalisée dans 16 structures sanitaires échantillonnées de manière aléatoire à partir de la liste centrale des 30 structures de la pyramide actualisée de la zone de santé, dont 1 Hôpital Général de Référence, 2 Centres de Santé de Référence et 13 Centres de Santé.

L'évaluation de la qualité des données était axée sur l'analyse quantitative et qualitative des informations concernant trois indicateurs clés de la Consultation prénatale à savoir : un indicateur de recrutement des femmes enceintes qui est la CPN1 et deux indicateurs de qualité qui sont la CPN4 et le TPI-3.

Nous avons procédé au renforcement des capacités des enquêteurs, à l'entretien avec les prestataires des soinsayant consentis dans leurs milieux de travail, à la revue documentaire des documents sources, au traçage et vérification, à la vérifications par recoupement, à la collecte des données sur les formulaires imprimés, à la correction des erreurs et à la saisie des informations dans l'outil informatique « Multi-Indicator_Routine Data QualityAssessment(RDQA)_Mars2021_vierge.xls » pour explorer plus en détail les sections de vérification des données.

La période de vérification choisie allait du 1er janvier au 31 mars 2021.

Pour ce faire, les documents sources suivants ont été exploitées : Base des données du logiciel DHIS2, Rapports mensuels SNIS, Registres de la CPN, Manuel de remplissage ou autres Directives nationales, Graphiques et tableaux de bord affichés dans les structures sanitaires et les autres registres ou fiches selon le cas.

### 5. Résultats

a) La disponibilité des services, des documents sources ainsi que de la ponctualité de la notification dans les établissements de santé :

Les 100% des structures sanitaire enquêtées offrent le service de CPN et ces 100% rapportent les données notifiées par des rapports mensuelles transmis au BCZSpour l'encodage dans le DHIS2.

Les 94% des structures renseignent sur les trois indicateurs audités à l'exception de l'Hôpital Général de Référence(HGR) où l'activité ne s'applique que si référence il y a eu.
<figure><img src="image_1.png" /><figcaption>Figure I: Performance de rapportage - Moyen Global au T1 2021</figcaption></figure>

b) La vérification de la concordance des données entre les documents sources et les rapports mensuels :

Le facteur de vérification (FV) montre un sous-rapportage pour les trois indicateurs étudiés. Le facteur FV est une moyenne pondérée.

<figure><img src="image_2.png" /><figcaption>Figure II: Moyen Global par indicateur clé au T1 2021</figcaption></figure>

Comme toute moyenne, ces valeurs ont masqué une variation des facteurs FV entre différentes structures sanitaires, certaines ont enregistré une valeur de FV beaucoup plus faible (un sur-rapportage plus important que la moyenne ne le suppose) et d'autres un FV beaucoup plus élevé (sous-rapportage plus important que ne l'indique la moyenne).

Considérant les résultats des CS, les 13%, 33% et 20% de structures des soins présentent un sous-rapportage de plus de 10% (FV>1,10) respectivement pour la CPN1, la CPN4 et le TPI-3; alors que les 7% et 13% des structures présentent un sur-rapportage de plus de 10% (FV<0,90) respectivement pour la CPN4 et le TPI-3.
<figure><img src="image_3.png" /><figcaption>Figure III: Taux d'exactitude par Centre de Santé au 1er trimestre 2021 dans la ZS KUNDA</figcaption></figure>

Le CS MOBANGA est la seule structure dont les données issues des documents sources correspondent exactement aux données rapportées (soit FV=1). Il sied de rappeler que le CS KALONGOSOLA a rapporté des cas de CPN4 alors qu'aucun cas n'a été notifié ou retrouvé dans son document source qui le Registre des CPN.

### c) L'évaluation du système de gestion de données :

<figure><img src="image_4.png" /><figcaption>Figure IV: Évaluation de système de gestion de données - Moyen Global</figcaption></figure>

Le radar dont le maximum se situe à 3 montre une nette performance pour les domaines II et V, contre des contre-performances de 2,49 pour le domaine I ; de 2,78 pour le domaine II et de 2,52 pour le domaine IV. Les facteurs inventoriés dans le tableau ci-après expliqueraient les déficiences constatées.
<table><caption>Tableau 1: Inventaire des déficiences inventoriées dans le système de gestion des données.</caption><thead><tr><th colspan="2">Capacités, rôles et responsabilités des structures de S&E</th><th colspan="2">Formulaires de rapport et outils de collecte de données</th><th colspan="2">Processus de gestion de données</th></tr><tr><th>Déficience identifiée</th><th>% des structures concernées</th><th>Déficience identifiée</th><th>% des structures concernées</th><th>Déficience identifiée</th><th>% des structures concernées</th></tr></thead><tbody><tr><td>Insuffisance du personnel formé en SNIS</td><td>69%</td><td>Bas de page non remplis et cumul des pages non fait dans des registres analysés</td><td>38%</td><td>Structures non autorisées à encoder les données SNIS dans le DHIS2</td><td>100%</td></tr><tr><td>Documents sources non retrouvés: Micro-plan et plan de management de la structure</td><td>50%</td><td>Mauvais archivage des documents sources (absence d'armoires et des classeurs)</td><td>38%</td><td>Aucune rétro- information des superviseurs venus du BCZS</td><td>100%</td></tr><tr><td>Absence de la : Fiche de stock de la SP (Fansidar) et Fiche d'inventaire à jour</td><td>50%</td><td>Stock insuffisant des registres et canevas rapports mensuels</td><td>13%</td><td>Instruction méconnue d'inviter les autres structures de l'aire de santé à la réunion de monitorage au CS</td><td>94%</td></tr><tr><td>Cartographie de l'aire de santé mal élaborée : absence des populations cibles de l'intervention CPN et/ou certains villages de l'aire</td><td>38%</td><td>Utilisation de l'ancienne version du Manuel de remplissage des supports SNIS.</td><td>6%</td><td>Absence de compte- rendus avec listes des présences des participants aux réunions tenues</td><td>38%</td></tr><tr><td>Pas de feedback retrouvé dans les cahiers des supervisions</td><td>38%</td><td>Mauvais remplissage du registre de CPN</td><td>6%</td><td>Accès facile aux fiches de CPN par tout le monde</td><td>6%</td></tr><tr><td>Séances des CPN insuffisamment supervisées par l'ECZS</td><td>31%</td><td>Les mentions N/A sont utilisées abusivement</td><td>6%</td><td></td><td></td></tr><tr><td>Recommandations des supervisions antérieures non exécutées par les prestataires</td><td>25%</td><td>Pas de restitution faite par l'Infirmier Titulaire à ses collaborateurs en rapport avec les formations reçues</td><td>6%</td><td></td><td></td></tr><tr><td>Absence des retro- informations écrites aux RECO</td><td>19%</td><td></td><td></td><td></td><td></td></tr></tbody></table>

## 6. Discussion

L'évaluation de l'exactitude de la notification se distingue de l'évaluation de l'exhaustivité de la tenue des registres et de l'archivage. Toutes les structures auditées offrent le service de CPN et rapportent
toutes les données conformément aux exigences par la politique nationale du SNIS. Il y a donc une bonne complétude et une bonne promptitude avecun délai de rapportage mensuel à 80% qui est considérée comme performance selonle SNIS.

Un Facteur de Vérification (FV) supérieur à 1 est un signe d'une sous-notification des événements dans le DHIS2 pendant la période d'analyse, tandis qu'un FV inférieur à 1 indique une sur-notification des événements dans le DHIS2 pendant cette même période. Ainsi, le taux d'exactitude montre un sous-rapportage des données pour la CPN1, la CPN4 et le TPI-3 (110%, 104% et 106%). Ces discordancesconstatées s'expliqueraient par les erreurs de comptage dans le système papier lors de la compilation des données par les prestataires car chaque structure dispose d'un seul prestataire commis à cette charge.Il a été noté l'absence de la stratégie de double vérification des cas notifiés.

Il en vaut de même pour expliquer les déficiences lors de l'évaluation du système de gestion des données.

Au regard des incohérences entre les documents audités (l'exemple du CS KISANDJI qui n'a rapporté que la moitié de données notifiées), il se dégage une quasi-faiblesse de contrôle de qualité des données par les prestataires des soins au niveau des structures sanitaires avant leur diffusion. L'encadrement du SNIS étant faible par les cadres de la DPS, aucune supervision n'a ciblé la fiabilité des données sanitaires. Sur les 16 gestionnaires donnés interrogés, 5 seulement ont le salaire et ou la prime régulier de l'Etat.

Ce qui serait à la base de la démotivation de l'attention à apporter à ce travail de gestion des données.

## 7. Recommandations

<table><caption>Tableau 2: Plan de redressement des structures sanitairespour l'amélioration de la qualité des données</caption><thead><tr><td>Faiblesse identifiée</td><td>Mesures à renforcer le système</td><td>Responsable</td><td>Echéance</td></tr></thead><tbody><tr><td>Discordance entre les données des rapports SNIS et celles des documents sources</td><td>Assurer une stratégie de double vérification des données avant leur transcription dans le rapport mensuel</td><td>Prestataires</td><td>Permanent</td></tr><tr><td>Insuffisance du personnel forméen SNIS dans les structures sanitaires</td><td>Assurer régulièrement des supervisions formatives visant le SNIS</td><td>ECZS</td><td>Permanent</td></tr><tr><td>Absence des retro-informations des supervisions des membres de l'ECZS</td><td>Transmettre régulièrement les feedbacks des supervisions aux personnes chargées de la collecte des données de routine</td><td>ECZS</td><td>Permanent</td></tr><tr><td>Mauvais archivage des registres, des rapports et comptes rendus de réunions</td><td>Augmenter le nombre d'étagères et d'armoires dans les structures sanitaires</td><td>Prestataires</td><td>Immédiat</td></tr><tr><td>Démotivation des fonctionnaires</td><td>Assurer régulièrement la paie des fonctionnaires</td><td>Etat</td><td>Permanent</td></tr><tr><td>Instabilité du personnel dû au redéploiement par la hiérarchie</td><td>Mener des supervisions visant la restitution des formations reçues</td><td>DPS</td><td>Permanent</td></tr></tbody></table>
## 8. Conclusion

La prise de décision adéquate passe par l'utilisation des données de qualité validées à tous les niveaux. Il est donc admis que les données sont produites pour servir d'abord le service du producteur des données avant d'être partagéesà d'autres niveaux.

L'amélioration de la qualité des données suppose cependant des conditions structurelles favorables, telles que les règles de remplissage de tout outil ou formulaire qui doivent être précises et connues, les données qui doivent être contrôlées, une méthodologie de gestion des erreurs qui doit être bien définie ainsi qu'une motivation du prestataire qui doit être assurée.

## Références bibliographiques

1. Fonds Mondial de lutte contre le SIDA, la tuberculose et le paludismeatalii, Outil de vérification de la qualité des données, Manuel de mise en œuvre, Mai 2008.

2. OMSatalii, Examen de la qualité des données (DQR) • Module 3: Vérification des données et évaluation des systèmes, L'IV Com Sarl, Villars-sous-Yens, Suisse, 2019.

3. Ministère de la Santé Publique, Module de formation révisé, Gestion de l'information sanitaire, Kinshasa Octobre 2013.

4. Ministère de la Santé Publique, Module de formation Utilisation des Outils et des Données« SNIS », Kinshasa 2017.

5. Boone, D., Cloutier, S., & Lins, S. (2019). Measuring the Quality of HIV/AIDS Client-Level Data Using Lot Quality Assurance Sampling (LQAS). Chapel Hill, NC, USA: MEASURE Evaluation, University of North Carolina. https://www.measurementevaluation.org/resources/publications/ms-19-176.html

6. MEASURE Evaluation. (2008). Data Quality Audit Tool: Guidelines for Implementation. Chapel Hill, NC, USA: MEASURE Evaluation, University of North Carolina. MS-08-29.

7. https://www.measurementevaluation.org/resources/publications/ms-08-29.html

8. Aperçu des outils et du processus d'assurance et d'amélioration de la qualité des données et du Programme (USAID/PEPFAR).

9. https://rise.articulate.com/share/XpRRm67wrtb8r_Bs9xLfieMZtSBvmFzw ; Mot de passe : USAID

10. Juin 2018. Cadre d'assurance qualité – Manuel de l'utilisateur. Christine Potts, Bethesda, MD: Health Finance &Governance Project, Abt Associates Inc.

11. Data qualityreview (examen de la qualité des données) : une boîte à outils pour l'évaluation de la qualité des données des établissements de santé. Module 2. Examen sur dossier de la qualité des données [Data qualityreview:atoolkit for facility data qualityassessment. Module 2. Desk review of data quality]. Genève : Organisation mondiale de la Santé ; 2019. Licence: CC BY-NC-SA 3.0 IGO.