# Approche coût-qualité pour l'amélioration des processus de production statistique

Pascal Rivière

► To cite this version:

Pascal Rivière. Approche coût-qualité pour l'amélioration des processus de production statistique. Courrier des Statistiques, 2003, 105-106, pp.65-75. hal-05515809

HAL Id: hal-05515809

https://insee.hal.science/hal-05515809v1

Submitted on 17 Feb 2026

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# Approche coût-qualité pour l'amélioration des processus de production statistique

L'élaboration de statistiques, au moyen d'enquêtes ou à partir de sources administratives, est une opération de production, beaucoup plus complexe qu'on ne le pense généralement. Cela représente en effet un temps de travail considérable et soulève en outre d'importantes questions d'interprétation. Il en découle un arbitrage « coût/qualité » dont les conséquences sur les délais de publication ne sont pas négligeables. Comment rationaliser cette production, comment se doter d'une ingénierie du chiffre ? Pour ce faire, il est nécessaire d'avoir une bonne visibilité sur l'ensemble du processus de production, sur ses coûts, et d'adopter une démarche qualité afin de mieux maîtriser les arbitrages à effectuer. On restera ici au niveau des principes généraux. Dans un second article, à paraître dans un prochain numéro de cette revue, on évoquera de façon plus opérationnelle la démarche qualité, et en particulier l'élaboration d'indicateurs de qualité et de coût pour la production.

Un institut national de statistique est, entre autres choses, une sorte de vaste usine à produire des chiffres. Certes, le terme de « production » n'a pas nécessairement bonne presse chez les statisticiens, parce que la chose semble aller de soi, les questions importantes se situant a priori plus en aval, une fois les données produites : estimation, test, problèmes d'inférence statistique en général, études... Pourtant, qu'on le veuille ou non, il est incontestable que nous « produisons ». Dans les faits, à l'Insee, ce sont les directions régionales qui ont la véritable connaissance de ce métier, de cette compétence, alors que les cadres conceptuels en ce domaine sont rares. Il faut dire que ce n'est pas si évident : lorsqu'on pense aux biens matériels, on peut imaginer, même imparfaitement, ce que recouvrent les travaux de fabrication, d'assemblage, de mise au point, de finition... En statistique, c'est la matière informationnelle que l'on travaille, que l'on polit, que l'on transforme. Mais concrètement, en quoi consiste cette production ? Car à première vue, tout cela peut paraître très simple : on

collecte des données individuelles grâce à des enquêtes ou des sources administratives, et il ne resterait plus, pour obtenir des statistiques, qu'à agréger l'ensemble.

Pour mieux comprendre, il faut analyser le processus de production afférent. De façon générale, on peut caractériser un processus de production par un ensemble de tâches organisées dans le temps, avec des produits en entrée, des produits en sortie, des ressources, des contraintes, des coûts. Toute la difficulté est de rationaliser l'ensemble. En effet, la qualité d'un système réside dans son aptitude à satisfaire un certain nombre de besoins. Il s'agira alors en permanence, au sein des différents sous-processus, de déterminer les bons compromis entre coût et qualité.

## En quoi consiste le processus de production statistique ?

Dans le présent papier, on va partir d'une définition que l'on pourra juger restreinte de la production statis-

tique : on se limitera aux processus qui partent de données individuelles<fnref n="1" />, et on laissera de côté l'étape finale de tabulation, difficile à formaliser, et que l'on considère ici comme une charnière entre production et études. Le processus de production statistique ainsi considéré est relativement linéaire, mais sa nature va varier selon les types d'opération : recensement, enquêtes ménages, enquêtes entreprises, indice des prix, traitement de sources administratives.

Où commence et où finit la « production » ? Si cette question n'appelle aucune réponse déterministe, il est toutefois utile et pertinent de poser des bornes pratiques. Ainsi, dans le cas d'une enquête auprès des ménages ou des entreprises, la production démarre-t-elle avec la constitution de l'échantillon et la mise en place opérationnelle de la

<footnote n="1">1. Ce qui exclut la comptabilité nationale, mais aussi l'indice de la production industrielle, où l'on a des données agrégées en entrée de processus. Le travail à effectuer est en effet d'une autre nature.</footnote>
collecte. En effet, le responsable de la production n'en est plus, en principe, au stade où il faut s'interroger sur l'intérêt de l'enquête, la validité des concepts, la finalité des statistiques qui seront obtenues : il faut bien qu'à un moment ou à un autre tous ces aspects soient fixés une fois pour toutes. Il s'agit pour lui d'organiser de façon aussi rationnelle que possible l'enchaînement des étapes, mais pas de remettre en question le « fond » (domaine d'application de l'enquête, questionnaire), qui aura été établi préalablement. De la même manière, la production s'arrête lorsque la phase d'études commence. Certes, la frontière qui sépare et relie la première et la seconde est mouvante et dynamique. Ainsi, il est fréquent que de premières analyses des résultats amènent à découvrir des erreurs dans les données, ce qui nous renvoie à la production. In fine, le résultat de la production est une base de données individuelles incluant, pour chaque unité statistique enquêtée (ici les ménages ou les entreprises), toutes les données recueillies, traitées, validées. C'est cette base de données qui sera utilisée, d'abord pour toute une série de tabulations (intermédiaires ou finales), ensuite par les chargés d'études. Grossièrement, nous avons donc, pour une enquête statistique, une phase de réflexion de fond (sur l'opportunité et les objectifs de l'opération, la manière de formuler les questions...), une phase de production puis une phase d'études et de publications. Même s'il arrive que les mêmes acteurs soient en charge de ces trois dimensions, il n'en demeure pas moins que nous nous trouvons face à des mondes différents.

Revenons donc à la production. Au niveau de la production statistique en général, on peut distinguer plusieurs étapes. En premier lieu la constitution de la **liste des unités statistiques** sur lesquelles on entend recueillir des informations. Puis la mise au point du **support d'interrogation**, et la **préparation de la collecte** (comment s'organiser pour récupérer les données ?). Après la

**collecte**, et la saisie si les données ont été recueillies sur papier, arrivent quelques **traitements automatiques élémentaires** : standardisation des données (mise au format mais aussi transformation), codage automatique de libellés. Suivront des contrôles de cohérence, également automatisés, prolongés par des vérifications manuelles nécessitant beaucoup de moyens. Une fois cette phase d'**apurement** et de vérification achevée, on pourra passer aux **traitements automatiques finaux** : prise en compte des non-réponses, divers contrôles-redressements, tabulations élémentaires.

Dans ce qui suit nous allons essayer d'approfondir ce processus selon les différents types d'opérations menées par l'Insee. En simplifiant quelque peu, on peut considérer que le processus de production assure la fabrication d'une matrice : en ligne, les unités statistiques (par exemple, individus, ménages, entreprises, établissements, produits de consommation), en colonne, l'information collectée, organisée sous forme de « variables » (par exemple, âge, revenu, chiffre d'affaires, effectif salarié, prix). On peut y ajouter une troisième dimension, le temps.

## La liste des unités statistiques observées

On sait que cela se passe en deux temps : construire la base de sondage, tirer l'échantillon<fnref n="2" />. Pour le méthodologue, toute la difficulté réside dans la mise au point du plan de sondage, lequel doit permettre d'aboutir à un échantillon doté de bonnes propriétés statistiques. La base de sondage (ou population de référence, lorsqu'il n'y pas de sondage) soulève le problème du référentiel à utiliser, de sa gestion... et de sa qualité. Pour cette raison, c'est là que se concentrent les coûts importants (mais on est là dans le domaine de la production de référentiels, et non dans celui de la production statistique stricto sensu), le tirage d'échantillon renvoyant en grande partie à des questions méthodologiques, de nature plus formelle et

dont la mise en œuvre est par conséquent moins coûteuse, et que nous n'évoquerons pas ici.

Dans le cas des enquêtes auprès des entreprises (ou des sources administratives sur les entreprises), le répertoire Sirene constitue le référentiel. Ce répertoire renvoie lui-même, on l'a vu, à toute une problématique de production, liée à sa tenue à jour, en premier lieu en référence aux « événements » (créations et cessations, par exemple) enregistrés par les centres de formalités d'entreprises, qui constituent des flux réguliers. C'est à partir des informations figurant dans Sirene (activité principale exercée, effectif salarié, région...) qu'est défini le champ d'une enquête entreprise. Le traitement d'un fichier administratif sur les entreprises passe également par la définition d'un tel champ, auquel on se limitera.

Pour la plupart des enquêtes ménages, la base de sondage est « l'échantillon-maître », construit en référence au recensement (des logements)<fnref n="3" /> et sur la base d'une succession de niveaux géographiques : tirage d'unités primaires (unités urbaines et cantons ruraux), tirage de communes, tirage de districts dans les communes de plus de 2 000 habitants, puis tirage de logements. On ajoute les logements neufs, on retire les logements déjà interrogés. Tout cela soulève d'autres questions de gestion de référentiels, à la fois aux niveaux supracommunal et infracommunal : le référentiel des logements (répertoire d'immeubles localisés, base de sondage des logements neufs), mais aussi le référentiel géographique. Ils sont tous deux essentiels pour le recensement, qui, en se fondant sur ces découpages géographiques imbriqués, a justement vocation à être lui-même producteur de bases de sondage.

<footnote n="2">2. Un seul temps, bien sûr, en cas de source administrative (encore que...) ou d'enquête exhaustive.</footnote>

<footnote n="3">3. Les échantillons des enquêtes ménages, rappelons-le, sont en fait des échantillons de logements. C'est en train de changer avec la notion d'unité de vie.</footnote>
Dans le cas de l'indice des prix à la consommation, on aboutit en même temps à la liste des unités statistiques observées et au support d'interrogation : en effet on part d'un échantillon de « variétés » (c'est-à-dire des catégories de produits, en quelque sorte) ; sur cette base on construit un ensemble de triplets [variété, forme de vente<fnref n="4" />, agglomération], par exemple [yaourt nature, hypermarché, Clermont-Ferrand], ce qui rend plus concret l'organisation effective des relevés ; de cette liste, les directions régionales vont déduire, de façon encore plus opérationnelle, des listes de doublets [produit<fnref n="5" />, point de vente]. Ainsi l'on obtient à la fois les lieux de collecte et les relevés de prix à effectuer.

Dans cette diversité des cas de figure, on discerne systématiquement le vaste travail de mise au point que la construction d'une base de sondage nécessite, et qui est indispensable à la qualité de l'ensemble : la solidité de cette population de référence est un prérequis coûteux, sans lequel il est beaucoup plus difficile de prétendre obtenir des statistiques précises. C'est le fait que l'Insee gère des référentiels (entreprises, répertoire de personnes physiques, logements, référentiels géographiques), ainsi que la rigueur dans la mise au point des bases de sondage, qui garantissent ce niveau de qualité.

## Le support d'interrogation

À nouveau on observe une grande variété de cas de figure. Ainsi, on a vu que le support d'interrogation pour l'indice des prix (le relevé de prix) était issu d'un processus très corrélaté à la constitution des unités à interroger (les points de vente). En cas de recours à des sources administratives, on le verra, on se propose simplement de récupérer des informations qui ont déjà été recueillies, au moyen de formulaires ad hoc (fiscaux, sociaux...), par les administrations en question.

Restent les enquêtes. Quelle que soit la nature du support, il existe un travail de conception sur le contenu des informations à obtenir, la manière de

poser les questions, de les organiser, de les ordonner, etc.

Pour les enquêtes ménages, réalisées en face à face, le questionnaire se trouve sur l'ordinateur portable utilisé par l'enquêteur (collecte assise par informatique : CAPI). La réalisation de ce questionnaire électronique<fnref n="6" /> est l'issue de nombreuses itérations entre les concepteurs d'enquête et les informaticiens. Ce n'est finalement rien d'autre qu'un logiciel qui permet à l'enquêteur de saisir les réponses, de passer d'une question à l'autre en tenant compte des divers filtres, et d'assurer que les résultats seront stockés au format adéquat dans la base de données. Pour chaque enquête, il existe ainsi une application « questionnaire électronique » qu'il faut déployer sur le poste des enquêteurs. Depuis peu, la collecte des prix à la consommation est elle aussi informatisée<fnref n="7" />.

Pour les enquêtes auprès des entreprises, la règle générale est le questionnaire papier, dont la réalisation requiert un travail de mise en forme confié à des professionnels du domaine, éventuellement en sous-traitance. Les enquêtes par Internet, qui apparaissent progressivement, aboutissent de la même façon à un outil informatique de collecte, à cette différence près qu'il n'y a ni à envoyer d'enquêteur sur le terrain, ni à déployer l'outil sur plusieurs postes : chaque enquêté remplit lui-même le questionnaire en allant sur le site Web de l'enquête.

Les questionnaires du recensement, eux aussi sur support papier, sont administrés selon la méthode du dépôt-retrait : les agents recenseurs les remettent aux ménages enquêtés et viennent les rechercher quelques jours plus tard.

Sur le plan conceptuel, il existe naturellement des interactions entre la forme et le fond. Le déroulement d'un questionnaire électronique, en effet, peut s'assortir de la mise en œuvre de toute une batterie de contrôles de cohérence, garantissant une meilleure intégrité de l'information collectée.

## La préparation de la collecte

Si la collecte doit être assurée par des enquêteurs (recensement, enquêtes ménages, relevés de prix), un aspect important de la préparation est l'organisation de leurs « tournées ». En effet, on veut essayer peu ou prou d'optimiser les déplacements des enquêteurs. Surtout, on veut leur communiquer des indications aussi précises et complètes que possible s'agissant de la localisation des logements ou points de vente qu'il leur appartiendra de « visiter ». Le coût de tout cela est bien sûr proportionnel au nombre total de logements ou de points de vente concernés. Dans le cas du recensement, étant donné le volume de l'opération, sont mis à contribution des « superviseurs » notamment chargés de former les enquêteurs et de contrôler l'exhaustivité de la collecte, eux-mêmes encadrés par une équipe de gestion spécifique<fnref n="8" />.

Lorsque le questionnaire est sur support papier, et même si le dire paraît trivial, il faut l'imprimer. S'il est envoyé par la poste (c'est la règle quasi générale pour les enquêtes auprès des entreprises), on doit aussi le mettre sous pli, organiser les envois... toutes tâches légères dans le cas de quelques unités, mais qui relèvent de la production industrielle quand il y en a des dizaines ou centaines de milliers. Pour des échantillons de grande taille et encore plus pour un recensement, cette opération de production lourde doit donc être planifiée très longtemps à

<footnote n="4">4. Par exemple, supermarché, hypermarché...</footnote>

<footnote n="5">5. Il y a donc différents niveaux : les postes de la nomenclature des produits (par exemple, yaourt, fromage frais), les variétés (yaourt nature hors yaourt sucré ou au bifidus, petit suisse nature 40 % de matière grasse...) et les produits (pack de 12 yaourts nature de telle marque...). Un produit doit correspondre à la définition de la variété dont il est censé être tiré, de la même manière que le point de vente doit être associé à la forme de vente correspondante.</footnote>

<footnote n="6">6. On utilise pour cela le logiciel Blaise, développé par le bureau central de statistique des Pays-Bas, et largement diffusé dans l'ensemble des instituts nationaux de statistique.</footnote>

<footnote n="7">7. Cf. l'article de Dominique Guédès, pages 19 à 21.</footnote>

<footnote n="8">8. Cf. les articles d'Alain Godinot, pages 5 à 12, et de Pierre Muller, pages 39 à 43.</footnote>
l'avance, car le moindre grain de sable (difficultés liées à un marché de sous-traitance, par exemple) peut avoir un impact fort sur la date de lancement de la collecte, parfois de l'ordre de plusieurs mois.

Le recours à des sources administratives, même s'il pourrait ne pas y paraître, nécessite également une préparation importante : il exige en effet que soit conclue une convention entre l'organisme propriétaire des données et l'Insee, dans laquelle on se met d'accord sur les dates de livraison, le format des fichiers, leur documentation (métadonnées)... C'est le cas par exemple pour les déclarations annuelles de données sociales<fnref n="9" />, l'Insee faisant partie d'un « réseau de partenaires TDS »<fnref n="10" /> pour les échanges avec la Caisse nationale d'assurance vieillesse. Autre exemple parmi d'autres, la convention entre l'Insee et la Direction générale des impôts pour les déclarations fiscales.

## La collecte

La collecte proprement dite, c'est l'envoi d'enquêteurs sur le terrain et tout le travail qu'y effectuent ces derniers, ou l'envoi physique des questionnaires pour une enquête réalisée par voie postale. C'est aussi le suivi des retours : réception des questionnaires papier renseignés (avec flaschage<fnref n="11" /> dans le cas du recensement), téléchargement des informations recueillies sur des ordinateurs portables. Pour une enquête par Internet, c'est simplement la mise à disposition du site construit à cet effet. Enfin, en cas de recours à une source administrative, la collecte se résout au contrôle et à la prise en compte du fichier transmis à l'Insee par l'administration en question.

L'encadrement des enquêteurs et le suivi du retour des questionnaires papier (et donc aussi celui des non-réponses, ou des NPAI, « non présents à l'adresse indiquée ») représentent une charge de travail non négligeable pour les directions régionales. Lorsque la transmission se fait par voie électronique (on pense ici

principalement aux données d'origine administrative), la charge porte plus particulièrement sur les équipes de production des centres informatiques, qui doivent surveiller le bon fonctionnement, les temps de réponse, l'intégrité des données, assurer une garantie de service, en ayant pris en compte au préalable les très délicats problèmes de sécurité. Vu la sensibilité du sujet, des chartes de qualité ont déjà été mises en place en la matière à l'Insee.

## Traitements élémentaires : saisie, intégration dans la base de données, codage

Au fur et à mesure que les données arrivent, il s'agit de les « traiter » afin qu'elles soient lisibles, utilisables. Bien entendu, elles doivent être sur support électronique. Si elles ont été collectées sur papier, la première chose à faire est donc de les saisir. On peut sous-traiter cette opération ou l'effectuer en interne, recourir ou non à des dispositifs de lecture optique, qui permettent de gagner beaucoup de temps, toujours est-il que rien ne peut se faire tant que les données ne sont pas sous cette nouvelle forme. Le coût afférent est clairement en proportion du volume d'information collectée. Il peut être très élevé, et s'anticipe alors très longtemps à l'avance, notamment pour un recensement (pour lequel l'addition se chiffre en millions d'euros, dans le cadre d'un marché très précis et mettant en exergue des critères de qualité de saisie, conclu entre l'Insee et le façonnier).

Nous supposons donc maintenant que les données sont sur support électronique. Mais ce sont des données brutes, sorties de collecte : il faut les intégrer en base de données. L'opération comporte bien sûr une dimension technique, une telle intégration n'allant pas nécessairement de soi, par exemple pour des raisons de volume. Mais le véritable problème vient du fait que les données collectées ne correspondent pas exactement aux données que l'on diffusera. Car c'est à ce stade que sont créées de nouvelles variables

(tranches d'âge ou d'effectif salarié, par exemple, ou type de ménage à partir du nombre de personnes du ménage et de l'activité du chef de ménage, ou encore calcul de soldes comptables tels que la valeur ajoutée ou l'excédent brut d'exploitation à partir des données élémentaires qui avaient été collectées). Les notes spécifiant de telles recodifications sont ainsi fréquentes dans les enquêtes auprès des ménages, qui comportent de nombreuses variables. Cette étape est trop souvent passée sous silence, comme si elle était exclusivement technique, alors qu'elle apporte aussi un gain de sens.

La codification des informations en toutes lettres (profession, activité économique, commune...) peut faire appel à des outils spécifiques et plus sophistiqués de codage automatique<fnref n="12" />, sachant lire un libellé et le traduire en un code. La différence majeure avec les créations de nouvelles variables que l'on vient d'évoquer est que l'opération n'est pas purement déterministe : une proportion significative de libellés vont « faire de la résistance ». Tous ceux qui n'auront pas été codés automatiquement devront faire l'objet d'une intervention humaine. Le niveau de performance du chiffrement automatique pouvant être maîtrisé en jouant sur les paramètres de l'algorithme de codage, cette opération joue un rôle important dans les arbitrages coût/qualité.

<footnote n="9">9. Les DADS sont en substance les déclarations de salaires versés auxquelles sont astreints les employeurs vis-à-vis de l'administration. Plus précisément, les employeurs sont tenus de déclarer annuellement au fisc et à la Sécurité sociale le montant des rémunérations de nature salariale versées à chacun de leurs employés.</footnote>

<footnote n="10">10. Transfert de données sociales.</footnote>

<footnote n="11">11. Lecture de codes-barres, comme on le fait pour les produits achetés dans un supermarché.</footnote>

<footnote n="12">12. À l'Insee, essentiellement le logiciel SICORE, système de codage des réponses aux enquêtes. Un cas particulier de codage, où l'on emploie d'autres outils, est celui ou l'on cherche à identifier une personne dans le référentiel afférent (répertoire Sirene pour les personnes morales, à partir de leur raison sociale et de leur adresse, RNIPP pour les personnes physiques, à partir de leur état civil).</footnote>
Reste le cas des fichiers d'origine administrative, qui peuvent présenter des défauts, en termes de champ couvert comme en matière d'identification des unités (entreprises, établissements, individus) qui y sont prises en compte. Le dépistage et la correction de ces défauts passe par des appariements avec le répertoire Sirene des entreprises et des établissements ou le répertoire national d'identification des personnes physiques (le RNIPP), voire, pour certains fichiers, avec ces deux répartitoires (cas des déclarations annuelles de données sociales). Certaines erreurs ne pourront toutefois être corrigées par voie automatique, réclamant expertise et traitements manuels.

## La vérification et l'apurement

À la fin de l'étape précédente, nous disposons des données souhaitées, mais leur qualité n'est pas assurée. Il nous faut donc en vérifier, autant que faire se peut, la validité. C'est la dimension sémantique de la vérification. Pour cela, on essaie de s'assurer de la cohésion intrinsèque des données recueillies, ou de leur cohérence avec des informations extérieures. Ainsi, si l'on veut vérifier le chiffre d'affaires d'une entreprise, on le comparera avec le chiffre d'affaires de l'année précédente, avec le chiffre d'affaires trouvé dans une autre source, ou bien on le rapportera à une variable du même questionnaire (par exemple l'effectif). Plus généralement, toujours concernant les enquêtes auprès des entreprises, on pourra souvent se référer à une source administrative s'agissant de s'assurer de la cohérence de telle ou telle donnée.

La mise en place de tels contrôles de cohérence, qui s'effectueront par voie automatique, est une opération longue et difficile, notamment pour les données d'entreprises (l'exemple ci-dessus permet de se faire une idée de la difficulté de la tâche). À l'issue de la mise en œuvre, les unités statistiques ainsi contrôlées auront été divisées en deux » camps » : d'un

côté les « douteuses », pour lesquelles une intervention humaine supplémentaire est jugée nécessaire ; de l'autre les « acceptables ». Mais attention, « acceptable » ne signifie pas nécessairement « exact », encore moins « vrai » : simplement, on « accepte » tel quel le jeu de données, sans intervention supplémentaire.

À partir de là, la question essentielle est celle de l'optimisation du critère de répartition entre « acceptables » et « douteuses ». Si l'on accepte trop de données sans les vérifier à la main, on court peut-être des risques sur la qualité. D'un autre côté, si le contrôle automatique est trop pointilleux, il y aura beaucoup de vérifications manuelles, d'où augmentation des coûts et des délais de publication. Dans la pratique, cette problématique, qui rejoint celle évoquée ci-dessus concernant le codage des libellés, est commune à l'ensemble des opérations statistiques. Les choix effectués, dont l'impact pourra parfois être considérable en termes de coût<fnref n="13" />, seront fonction du degré d'erreur ou d'incertitude jugé admissible, mais aussi et surtout de l'influence potentielle de ces erreurs ou incertitudes sur les statistiques finales. Il se joue là un arbitrage très fort, faisant intervenir coût et qualité.

Une fois la séparation effectuée, les données douteuses des unités douteuses vont être vérifiées par les gestionnaires, au moyen d'un outil spécifique. Chacune de ces vérifications se sanctionnera, soit par une confirmation de la donnée en question, soit par sa modification... s'il est possible de déterminer une meilleure valeur. Dans la pratique, le poste de travail du gestionnaire-vérificateur, qui incorpore souvent la gestion de la collecte, inclura aussi la reprise des libellés non codés (quand il y a eu codage automatique en amont), et la récupération d'un certain nombre de données manquantes (qui ne sont au fond que des données non acceptables d'un type particulier)<fnref n="14" />. Toutes les opérations statistiques de l'Insee sont

outillées de la sorte, y compris les enquêtes ménages, même si celles-ci bénéficient en amont de premiers contrôles incorporés au « passage » du questionnaire.

## Traitements finaux

À l'issue de l'étape précédente, qu'avons-nous ? Le maximum a été fait en termes d'intervention humaine, en prolongement des opérations automatisées de codage et de contrôle. Et comme on n'a plus ni le temps, ni les moyens, d'aller au-delà, tout le reste devra être fait par voie automatique.

Il s'agira d'abord de « boucher les trous » : non-réponses partielles encore non redressées<fnref n="15" /> et, surtout, non-réponses totales. On va également coder les libellés qui avaient résisté à nos précédentes tentatives de chiffrement, mais cette fois de façon brutale, par exemple par tirage aléatoire. De la même manière, il faudra prendre des décisions douloureuses concernant les unités statistiques encore « douteuses » mais qui n'auront pu être revues à la main : soit les laisser telles quelles (ce qui revient à les confirmer), soit remplacer les informations douteuses relatives à ces unités par des données imputées.

L'affaire pourrait paraître pliée une fois ces dernières opérations de nettoyage achevées. Nous disposons enfin d'une base de données bien complète, et le temps est venu de se lancer pour de bon dans les études statistiques. Pas tout à fait... En effet, il va d'abord falloir effectuer un certain nombre de tabulations tests,

<footnote n="13">13. Pour des enquêtes simples, on peut diviser les coûts de vérification par 2, comme l'a fait en 2001 l'institut statistique britannique. Voir Underwood C. (2001), Implementing selective editing in a monthly business survey, *Proceedings of the 6th GSS Methodological Conference*, London, 25 June.</footnote>

<footnote n="14">14. Notons à ce sujet qu'à l'étape de contrôle automatique sont parfois associées des opérations de redressement (certaines variables douteuses sont redressées automatiquement) et/ou d'imputation des non-réponses partielles. C'est le cas par exemple pour les enquêtes annuelles d'entreprise.</footnote>

<footnote n="15">15. Bien entendu, on peut toujours traiter la non-réponse par repondération et non par l'imputation.</footnote>
et comparer les résultats globaux
ainsi obtenus avec des statistiques
déjà existantes et dûment validées.
Ce sera du contrôle de cohérence à
un niveau non pas individuel, mais
agrégé : c'est ce que l'on appelle les
macrocontrôles. Et, surprise, on
découvraira la plupart du temps plu-
sieurs incohérences, qui mettront en
exergue toute une série d'erreurs
résiduelles sur les données indivi-
duelles, non encore repérées. À ce
stade, on revient donc en arrière
dans le processus, car quelques vér-
fications manuelles sont indispens-
sables pour assurer la qualité des
statistiques. Il existe donc un bou-
clage final macrocontrôles / vérifica-
tions individuelles / macrocontrôles,
qui viendra sonner pour de bon
l'achèvement de la production. Cela
dit, soulignons que la chronologie
proposée ici, qui s'achève par les
« traitements finaux », ne doit pas
être si tranchée que cela. Ainsi, il
paraît très important, en pratique, de
lancer les macrocontrôles le plus tôt
possible, de manière à rapidement
percevoir où vont se situer les pro-
blèmes ; dans les faits, ils sont sou-
vent réalisés au dernier moment, ce
qui est beaucoup moins efficace.
Ces macrocontrôles, le niveau de
finesse auquel ils sont effectués, les
statistiques sur lesquelles ils portent,
sont des éléments-clés dans le pilo-
tage de l'ensemble de la production.
C'est dans le cadre de cette étape que
se peaufine la qualité du résultat du
processus de production statistique.

*
* *

Dans cette première partie, nous
avons essayé de cerner la notion de
processus de production statistique
dans toutes ses composantes, toutes
ses étapes. En effet, une telle « mise
à plat » était un préalable indispens-
sable à la mise en évidence de
marges de manœuvre sous
contrainte de coûts.

Mais, bien sûr, encore faut-il s'accor-
der sur ce qu'est la qualité statis-
tique, et sur la manière dont on peut
l'évaluer.

L'erreur, caractéristique
inhérente à toute
production statistique

Tout le travail consiste à transformer
une matière première information-
nelle, une « pierre brute », en un
matériau utilisable pour fabriquer des
statistiques et mener des études.
Pourquoi cette transformation,
somme toute ? Essentiellement
parce que notre pierre brute présente
tous les défauts possibles et imagi-
nables : erreurs, incohérences, don-
nées manquantes, non-réponses
totales, unités hors-champ, etc.
Nous sommes confrontés à une
matière rugueuse, grossière, pleine
de trous et d'aspérités, et qui ne se
plie pas si facilement aux formatages
auxquels nous voulons la soumettre :
c'est sa nature même, elle nous est
imposée, nous ne devons pas nous
en plaindre. Par la suite, les étapes
de la transformation elle-même peu-
vent créer de nouvelles erreurs, de
saisie, de codage, d'apurement,
s'ajoutant à ces incertitudes probabi-
listes « maîtrisées » qu'emportent
l'échantillonnage, l'imputation ou la
repondération.

Ainsi, en statistique, le défaut fait à
tout moment partie intégrante de la
matière que nous usinons et de
toutes les phases de sa transforma-
tion. Cela étant, ne perdons pas de
vue que les statisticiens ne publient
pas des collections de données indi-
viduelles, mais des résultats agrégés,
pour lesquels on peut tout à fait
admettre un degré d'incertitude.
Nous ne sommes pas dans le cadre
de productions industrielles où l'on
cherche à éliminer des produits
défectueux (ici des unités statis-
tiques) : le produit statistique, qui
n'est qu'un agrégat de données indi-
viduelles imparfaites, se caractérise
par un certain degré d'incertitude.

D'ailleurs, en statistique, le « zéro
défaut » n'existe pas, n'a pas de
sens. Envisager le contraire revien-
drait à supposer que tout défaut est
corrigeable, et donc qu'il est pos-
sible, pour chaque donnée, de récu-
pérer la « vraie » valeur. Or, dans la
pratique, le gestionnaire qui doit trai-

ter des incohérences ne dispose
d'aucun moyen d'accéder à cette
supposée « vraie » valeur<fnref n="16" />. En effet,
toutes les sources auxquelles il peut
se référer (autres bases de données,
presse spécialisée...) contiennent
potentiellement des anomalies. En
outre, les définitions vont souvent
varier d'une source à l'autre, rendant
les choses encore plus compliquées.
On rétorquera qu'il est toujours pos-
sible, du moins dans le cadre d'une
enquête, de rappeler directement le
répondant, qui est le premier
concerné. Mais si par exemple on
veut s'assurer que l'effectif salarié
communiqué par telle entreprise est
bien un effectif en équivalent temps
plein, on pourra parfaitement s'en-
tendre répondre que non, que cette
information n'était pas disponible et
qu'a été donné à la place un effectif
brut de fin d'année. Dans le cas d'es-
pèce, la donnée recueillie était en soi
tout ce qu'il y a de plus exact ; sim-
plement, elle ne correspondait pas à
l'information demandée.

L'erreur est ainsi consubstantielle
aux masses de données importantes
que nous manipulons, on ne peut la
gommer. Toute la science de la pro-
duction statistique doit donc être de
maîtriser l'erreur, de la confiner dans
des limites raisonnables, mais pas de
l'éliminer. Dès lors, la proportion de
données erronées n'est pas un indi-
cateur de qualité fondamental pour
l'ingénierie statistique, alors qu'il l'est
pour la production de référentiels,
par exemple. Tout cela nous amène à
nous interroger sur le concept de
qualité.

Composantes de la qualité
en production statistique

Rappelons tout d'abord la définition
de l'International Standards
Organization (ISO) : la norme
ISO 8402 de 1986 définit la qualité en
général comme étant « l'ensemble
des propriétés et caractéristiques

<footnote n="16">16. On trouvera des développements très éclairants à ce sujet dans le cas des bases de données administratives : Boydens I., Informatique, normes et temps, Éditions Bruylant, 1999.</footnote>
d'un produit ou d'un service qui lui confèrent l'aptitude à satisfaire des besoins exprimés et implicites ». Ainsi, il est souligné qu'en matière de qualité, il faut en permanence revenir aux besoins, et donc, dans le cas d'un processus de production, à ses différents livrables.

Eurostat a par ailleurs défini des critères, relatifs à la qualité des statistiques. Ils sont au nombre de six : pertinence, précision, délais, accessibilité/clarté, cohérence, comparabilité<fnref n="17" />. Mais rappelons que nous nous plaçons ici dans un point de vue particulier<fnref n="18" />, celui de la production statistique, selon la définition que nous en avons proposée au départ.

En l'occurrence, la pertinence se situe en amont de la production ; au moment où commence cette dernière, il est normalement trop tard pour s'interroger sur l'utilité de l'opération en question, sur l'intérêt des informations que l'on entend recueillir. Les problèmes de comparabilité (qui s'expriment en termes de champ couvert et de nomenclatures de référence) s'inscrivent eux aussi en amont de la production. À l'inverse, l'accessibilité et la clarté sont à considérer en aval, une fois la production achevée, lorsqu'il s'agit de confectionner des tableaux, des graphiques, de réaliser des études, d'organiser la diffusion.

Au total, il ne nous reste donc plus que trois critères : précision, cohérence, délais. Et il est clair qu'à processus donné, deux catégories s'opposent. En effet, en principe, plus on passe de temps sur les données, plus on améliore leur précision et leur cohérence<fnref n="19" /> : on perd certes en fraîcheur, mais on gagne en fiabilité. Bien entendu, l'inverse est vrai : si l'on veut aller vite, si donc on passe peu de temps à apurer les données, on risque de laisser passer à travers les mailles du filet de grosses erreurs, et précision et cohérence se trouvèrent altérées.

De façon générale, si l'on continue à désigner par « fiabilité » l'ensemble précision + cohérence, la production

est confrontée à un arbitrage entre délais et fiabilité, autrement dit entre coût et fiabilité. Si en effet le coût n'est pas une composante de la qualité (on ne dira pas qu'une voiture est de meilleure qualité parce qu'elle est plus ou moins chère, mais en revanche on parlera de son rapport qualité/prix), délais et coûts sont évidemment très liés : à conditions de collecte comparables et à volume égal d'information recueillie et traitée, plus une enquête sera coûteuse, c'est-à-dire plus on passera de temps à vérifier et apurer les données, plus les délais de publication seront longs. Ainsi, la particularité de la production statistique est que le coût intervient directement dans la qualité, via le critère « délais ». La problématique de la réduction des coûts, ou de leur maîtrise, n'est donc pas uniquement une question de gestion, de bonne répartition des moyens. Elle est aussi à considérer du point de vue de la qualité même de ce que nous produisons.

Ce n'est pas tout. La qualité étant une aptitude à satisfaire des besoins, il faut rappeler qu'un processus de production statistique a vocation à produire des... statistiques, certes, mais que peuvent s'ajouter des objectifs connexes. Ainsi l'enquête Budget de famille est-elle indispendable pour préparer les échantillons de variétés qui serviront de base au calcul de l'indice des prix. L'enquête Loyers et charges apporte des éléments d'information qui interviennent eux aussi dans le calcul de l'indice. Les enquêtes annuelles d'entreprise sont mises à profit pour la mise à jour de l'APEN (activité principale exercée au niveau de l'entreprise tout entière) dans le répertoire Sirene. Il existe ainsi de multiples exemples qui mettent en évidence les nombreuses interconnexions entre les processus de production, dont une démarche qualité ne peut s'affranchir.

## Les coûts

La production statistique est une opération coûteuse, à la fois en termes de charge de travail et

de moyens financiers mobilisés. L'évaluation des coûts permet de voir dans quelles phases se concentrent les travaux les plus consommateurs de moyens, et conduit au passage à s'interroger sur l'intérêt, le sens même de ces travaux. Elle doit s'effectuer en parallèle de l'évaluation de la qualité si l'on veut effectuer des arbitrages.

Quels sont ces coûts ? Sans pré tendre à l'exhaustivité, tant le sujet est vaste, on peut en dresser une première liste en référence au déroulement du processus de production statistique tel que nous l'avons décrit en première partie de cet article, et en distinguant entre deux types de coûts : d'une part, ceux qui sont à proportion de la taille de l'échantillon, et, d'autre part, ceux qui sont indépendants de la taille de l'échantillon. En référence à la littérature sur la gestion de la production<fnref n="20" />, les coûts du premier type seront appelés « coûts variables », et les coûts du second type seront appelés les « coûts fixes ».

Ces derniers sont majoritairement des coûts de conception. Ils comporent des dimensions méthodologique (pour la mise au point du support d'interrogation, la constitution de la liste d'unités statistiques, la recodification de données<fnref n="21" />, la codification de libellés, le contrôle, l'apurement,

<footnote n="17">17. Un 7ᵉ critère, celui de complétude, se réfère au caractère plus ou moins exhaustif de la statistique, en particulier s'agissant de la couverture des différents secteurs d'activité économique.</footnote>

<footnote n="18">18. Cf. Rivière P., Qualité et statistique, *Courrier des statistiques*, n° 90, 1999.</footnote>

<footnote n="19">19. Cela dit, il n'est pas totalement évident que toutes les interventions humaines (vérification notamment) vont conduire à améliorer les données. La survérification peut être nécessaire. Voir à ce sujet Granquist L., Kovar J.G. (1997), *Editing of Survey Data: How much is enough ?* in *Survey Management and Process Quality*, New York, Wiley, pp. 415-435.</footnote>

<footnote n="20">20. Blondel F., Gestion de la production, Dunod 2002.</footnote>

<footnote n="21">21. Il s'agit là typiquement d'un coût élevé et souvent méconnu. Décrire la façon de construire toute une liste de variables souhaitées à partir des variables collectées constitue, pour certaines enquêtes, des semaines voire des mois de travail pour les statisticiens, et des dizaines de pages de notes explicatives.</footnote>
le traitement de données man-
quantes, les macrocontrôles, l'esti-
mation, le calcul de variance), infor-
matique (conduite de projet, consti-
tution de l'architecture technique,
développement des outils néces-
saires au bon fonctionnement de
l'ensemble), organisationnelle (mise
en place de l'organisation du travail
dans les directions régionales
notamment, et de l'organisation de la
production informatique). Ces coûts
de conception initiaux incluent le
recours à des sociétés de conseil (en
matière d'organisation, ergonomie,
communication, assistance à maî-
trise d'œuvre, etc.) et l'acquisition de
différents matériels, logiciels, ou
infrastructures. En filigrane, derrière
toutes ces dépenses, ne pas oublier
tout le travail, inévitablement pesant,
afférent au passage d'un marché
(rédaction de cahiers des charges,
notamment) et au suivi de son exé-
cution.

Tout au long du processus d'autres
coûts fixes apparaissent : coûts
d'administration, de pilotage, de suivi
des travaux des gestionnaires<fnref n="22" />.

En fin de processus, la balle revient
dans le camp des concepteurs, et il
s'agit bien de coûts fixes, fixés en
l'occurrence par la quantité de statis-
tiques que l'on entend publier
(laquelle ne dépend pas du nombre
d'unités statistiques prises en
compte, mais du volume de l'infor-
mation recueillie pour chacune). À ce
stade, idéalement, il ne s'agira plus
de concevoir des méthodes, mais de
les appliquer. On pense ici aux
macrocontrôles, au calage, à la tabu-
lation, au calcul de précision, qui pré-
cèdent toutes les phases de com-
mentaires, de publications et
d'études.

Parmi les coûts variables, citons en
premier lieu ceux de la collecte :
rémunération des enquêteurs, mais

aussi, pour les enquêtes par voie
postale, ensachage, routage, affran-
chissement. Ce dernier aspect peut
paraître trivial, mais, budgétairement,
le simple coût d'affranchissement
peut être un réel problème, au point
que parfois il faut réduire la taille de
l'échantillon (c'est déjà arrivé pour
certaines enquêtes). L'organisation et
le suivi de la collecte entrent dans la
catégorie des coûts variables pour
un recensement, réparti sur l'en-
semble du territoire en s'appuyant
sur les superviseurs.

Les coûts de saisie entrent dans la même catégorie, mais il est à noter qu'ils disparaissent en tant que tels dès que la collecte s'effectue par voie électronique<fnref n="23" /> : par enquêteur au moyen d'un micro-ordinateur portable ou d'une ardoise électronique (l'enquêteur saisit, on intègre donc la saisie dans les coûts de collecte), ou via Internet (l'enquêté saisit). De même, les données d'origine administrative sont souvent fournies sur support électronique. Mais ce n'est pas systématique. Par exemple, une partie des bulletins statistiques de l'état civil arrivent à l'Insee sur support papier, toutes les communes n'étant pas informatisées.

Le coût de codage manuel est fonc-
tion du nombre de libellés qui n'ont
pas été codés automatiquement.
C'est un coût variable, lié au nombre
d'unités statistiques prises en
compte, au nombre de libellés
recueillis pour chacune, et au taux
d'échec du codage automatique.
Cette « reprise de non-codés » (inti-
tulés de profession, de diplôme...,
identification de personnes phy-
siques ou morales) représente une
charge importante, la détermination
du bon code relevant souvent d'un
travail d'expertise.

De la même façon, tout le travail de
vérification-apurement constitue un
coût variable, fonction cette fois de la
taille de l'échantillon et de la propor-
tion d'unités « non acceptables »,
celles qui ne peuvent être admises
telles quelles dans la base de don-
nées finale et appellent une interven-
tion humaine. Notons que dans le
cas des enquêtes, la gestion de la

collecte (suivi des envois et des
retours d'information, des tournées
d'enquêteurs, relances) fait souvent
partie intégrante du travail du ges-
tionnaire, au même titre que les véri-
fications de cohérence, au point
qu'en termes de coût il n'est pas
immédiat de démêler les deux activi-
tés. De la même façon, et cela vaut
cette fois pour le traitement des don-
nées d'origine administrative, il arrive
souvent que ces contrôles-apure-
ments manuels aillent de pair avec
les tâches de reprise de non-codés,
évoquées plus haut.

La maîtrise du rapport coût-qualité

Nous avons tenté de préciser
quelque peu les notions de qualité et
de coût. Il nous faut à présent nous
pencher sur la façon d'arbitrer au
mieux entre les deux paramètres.
Ayons bien en tête dans cette
réflexion que la qualité sera ici, en
production statistique, un instru-
ment de pilotage et non un résultat
en soi. Cela n'empêche pas de four-
nir en parallèle des indicateurs de
qualité sur nos statistiques, tels que
ceux que demande Eurostat. In fine,
l'arbitrage repose par ailleurs, idéale-
ment, sur l'enjeu stratégique des sta-
tistiques produites. Autrement dit,
dans l'esprit, il devrait relever en
bonne partie de la responsabilité du
Conseil national de l'information
statistique (si bien sûr l'enjeu se situe
simplement au niveau national). Mais
nous nous aventurons là sur un
autre terrain, et le sujet mériterait
une étude à part entière. Oublions
donc cette incise, pour nous recen-
trer sur le processus de production
statistique.

Le simple fait d'évoquer les choses
sous l'angle de l'arbitrage coût/qua-
lité peut surprendre, renvoyant à une
logique de taylorisation du travail, de
réduction des coûts, avec toutes les
conséquences sociales que cela
engendre. Mais le problème ici posé
n'est pas celui d'une classique opti-
misation coût-qualité au sens où
l'entendent les industriels, ceci en
raison des spécificités du produit
statistique.

<footnote n="22">22. On pourra éventuellement objecter à ce dernier sujet que l’ampleur de la tâche (notamment pour les chefs d’équipe) n’est pas sans lien avec les volumes de données à traiter.</footnote>

<footnote n="23">23. Mais cela engendre des coûts fixes non négligeables en matière de conception de questionnaires électroniques.</footnote>
Tout d'abord, comme on l'a indiqué plus haut, coût important signifie délai important, alors que la fraîcheur des statistiques est un élément essentiel de leur qualité. Il n'est d'ailleurs pas rare que des instituts nationaux de statistique soient brocardés au motif de leurs publications tardives. Ainsi, en soi, indépendamment de toute considération de gestion, la réduction de délais (donc de coûts) est un objectif important afin d'aller vers une meilleure qualité, au sens large, des statistiques.

Le deuxième aspect qui milite en faveur d'une spécificité du produit statistique, c'est la difficulté à visualiser le gain en qualité qu'apporte un travail supplémentaire, notamment s'agissant de l'étape de vérification de données. La différence de qualité est-elle si sensible que cela ? Au bout d'un moment, une fois traitées les anomalies les plus énormes, il n'est pas du tout évident que le gain soit élevé<fnref n="24" />. Ce manque de visibilité est naturellement angoissant pour le concepteur, mais aussi pour les gestionnaires : une réflexion sur la qualité et les coûts doit pouvoir contribuer à donner sens au travail de ces derniers, à mesurer leur apport. À partir de là, il s'agira plus de « maîtrise des coûts » que de « réduction des coûts ».

Comment procéder ? Il nous faut d'abord rendre lisible le processus. On peut en parler de façon générale, comme nous l'avons fait dans la première partie. Mais, dans l'idéal, l'exercice doit être individualisé, opération par opération, en s'attardant sur les étapes a priori les plus coûteuses, là où les éventuelles marges de manœuvre que l'on pourra se donner seront réellement « productives ». Et pour chacune de ces étapes, le principe sera d'élaborer des indicateurs de qualité (dans une optique de précision et de cohérence, comme on l'a dit plus haut), que l'on pourra ainsi mettre en regard des coûts.

La plupart du temps, les coûts élevés seront les coûts variables, ou tout du moins c'est là que se situeront les marges de manœuvre. Ainsi, passer

du temps sur les travaux à coût fixe, pousser la réflexion et l'analyse en matière conceptuelle et méthodologique, est une façon saine d'avancer, notamment pour les processus de production globalement très coûteux. Par exemple, dans une optique de rationalisation de la production, il est efficace d'investir sur la méthodologie en matière de calcul de précision, de contrôle et macrocontrôle, ou de redressements finaux.

En matière de coûts variables, nous avons évoqué les coûts de collecte, de saisie, de reprise des non-codés et de vérification-apurement. Il paraît difficile d'influer véritablement sur les coûts de collecte des enquêtes ménages sans nuire à la qualité de ce qui est produit (l'entretien en face à face constitue un gage de fiabilité des informations recueillies). Pour les enquêtes auprès des entreprises, le recours à Internet (ou à tout autre mode informatisé de collecte) est un moyen de réduire les coûts de saisie, qu'on ne saurait négliger, d'autant qu'il n'est pas nécessairement porteur d'une dégradation de qualité. Toujours est-il que la règle générale, pour ces enquêtes, demeure le questionnaire papier et donc la saisie des informations recueillies. Il en va de même pour le recensement.

Restent deux étapes : la reprise de non-codés et la vérification-apurement. C'est là que se situent les véritables possibilités d'arbitrage. Pour chacune de ces deux étapes, nous avons en amont un programme traitant automatiquement les données (codage automatique, contrôle de cohérence automatique) et déterminant quelles sont celles qui devront être revues manuellement.

Dans le cas du codage (de libellés de professions, d'activités, etc.), il est possible, par paramétrage du logiciel mis en œuvre, de jouer tout à la fois sur l'efficacité de l'opération (pourcentage de libellés codés automatiquement) et sur la fiabilité du résultat obtenu (pourcentage de « bien codés » parmi les codés). Naturellement, le taux de fiabilité sera d'autant plus élevé que le taux d'efficacité sera bas. Mais si le taux

d'efficacité est bas, la charge de reprise manuelle sera elle-même très élevée. Il s'agit bien ici d'un arbitrage qualité/coût, avec des indicateurs bien identifiés. Le travail de paramétrage, qui pourra être effectué « en laboratoire », s'appuiera naturellement sur les résultats relevés lors de précédentes opérations de codage automatique (ainsi que, à titre de référence, sur les performances connues du codage manuel).

## Les tâches de vérification au cœur des arbitrages

Intéressons-nous à présent à l'étape de vérification-apurement, que les Anglo-Saxons appellent *data editing*. Elle est cruciale en termes de coût : selon certains auteurs, elle représente de l'ordre de 40 % du coût total d'une enquête<fnref n="25" />.

Nous avons vu qu'elle se scindait peu ou prou en deux phases, une phase automatique et une phase manuelle. Le programme va déterminer quelles sont les unités « acceptables », c'est-à-dire celles qui peuvent être acceptées telles quelles. Les « non-acceptables » devront être reprises une par une, étant précisé, et la précision n'est pas anodine, qu'une grande partie d'entre elles se révéleront tout à fait correctes après examen<fnref n="26" />. Ainsi, nous pouvons a priori nous baser sur deux indicateurs : la proportion d'unités acceptables, puis, au sein des non-acceptables, la proportion de celles qui sont en fait correctes (tout ceci étant bien sûr à décliner selon les sous-populations et les variables).

<footnote n="24">24. Voir notamment Hedlin D. (2003), Score functions to reduce business survey editing at the UK Office for National Statistics, *Journal of Official Statistics*, Vol. 19, No. 2. L'auteur montre, dans le cas d'une enquête mensuelle sur le chiffre d'affaires dans les services, qu'une majorité des vérifications sont d'impact négligeable. Il compare des techniques d'optimisation des vérifications, et les met en pratique.</footnote>

<footnote n="25">25. Cf. l'article déjà cité de Granquist et Kovar, p. 418.</footnote>

<footnote n="26">26. Observation classique dans le domaine du *data editing*. Cf. par exemple l'article de D. Hedlin, ou, à nouveau, celui de Granquist et Kovar.</footnote>
Cela étant, si l'on y regarde de plus près, il n'est pas tout à fait exact que toutes les unités non-acceptables seront reprises manuellement, tout simplement parce qu'on n'en aura pas le temps. Et lorsque le temps vient à manquer, on fait appel à un traitement automatique : par exemple, on va considérer le reliquat d'unités douteuses comme si elles étaient manquantes, et on va donc leur appliquer les traitements finaux correspondants (imputation, ou bien repondération de l'ensemble).

Au final, nous devons donc distinguer trois catégories d'unités : d'abord les acceptables, ensuite les non-acceptables revues manuellement (c'est là que se trouve le coût de vérification), enfin les non-acceptables traitées automatiquement en fin de processus (coût négligeable).

À partir de là, rationaliser la vérification revient entre autres à agir sur les proportions afférentes à ces trois catégories, ceci en référence à des indicateurs cibles, mesurant le degré d'incertitude à ne pas dépasser concernant les variables cibles et les domaines de diffusion cibles. On propose ici une stratégie en cinq points<fnref n="27" />.

En premier lieu, il faut se donner les moyens d'optimiser le critère de répartition entre acceptables et non-acceptables, ce qui implique d'abord de le rendre lisible : en général, l'agiguillage entre acceptation automatisque et reprise manuelle se trouve en effet enfoui dans une succession, complexe de tâches. De ce fait, le responsable même de l'opération n'a pas accès à un « curseur », c'est-à-dire à un instrument qui lui permettrait d'influer sur ce découpage tout en visualisant les conséquences sur les résultats statistiques.

En deuxième lieu, il va falloir maximiser l'efficacité de la phase de reprise manuelle, en commençant par les unités les plus importantes, celles dont l'impact potentiel sur les statistiques (sur leur précision, leur cohérence) est a priori le plus fort<fnref n="28" />. Il faut donc fixer des priorités. Pour cela on calcule, pour chaque unité non

acceptable, ce que l'on appelle un « score », qui mesure en quelque sorte l'importance qu'il y a à la vérifier<fnref n="29" />. Dès lors les vérifications s'effectueront en commençant par les unités ayant le score le plus important, et en continuant ainsi par score décroissant. Naturellement, la définition du score dépend intimement des objectifs de l'opération statistique en question, en termes de finesse de diffusion : ainsi, dans le cas d'enquêtes entreprises, certaines catégories fines de population (par exemple, les fournisseurs d'accès à Internet) pourront être considérées comme négligeables ou au contraire essentielles selon le type d'enquête considéré.

Dans un troisième temps, il va falloir déterminer à quel moment s'arrêter : quelle serait la qualité des statistiques cibles si l'on cessait maintenant toute vérification manuelle ? Nous avons donc cette fois besoin de scores globaux, et non plus de scores unité par unité. De tels indicateurs sont étroitement liés au niveau de diffusion envisagé. Plus il est fin et plus le nombre d'unités à vérifier sera élevé. Ainsi, à nouveau, les objectifs de diffusion, d'utilisation, constituent-ils un point de départ incontournable. Les macrocontrôles évoqués en fin de première partie joueront ici un rôle essentiel, d'où l'importance de les lancer le plus tôt possible. Ils constituent en effet une aide précieuse si l'on ne dispose pas réellement d'un score global défini formellement : si tous les ratios d'agrégats, toutes les évolutions d'agrégats, restent dans des limites raisonnables, on dispose d'une indication positive qui va faciliter la décision d'arrêter, en la fondant sur des éléments tangibles.

Maîtriser qualité et coût, c'est aussi améliorer la qualité du travail de reprise manuelle, en développant la capacité d'expertise des gestionnaires (par exemple via des formations appropriées, aux nomenclatures d'activités, de professions, etc.) et en les dotant d'outils informatiques qui faciliteront leur travail en leur ouvrant accès à des sources d'information extérieures. En effet,

vérifier est une chose, apurer en est une autre, et pour que le gestionnaire puisse effectivement proposer une modification par rapport à ce qui semble être une anomalie, il est essentiel qu'il ait d'autres éléments d'information, lui permettant de prendre une décision. Dans de nombreux cas il s'avère difficile de le faire : on ne peut pas toujours tout résoudre.

Enfin, cinquième composante d'une stratégie d'amélioration et de maîtrise de la qualité, il faudra, dans le cas – fréquent – d'une opération récurrente (enquêtes périodiques, par exemple), gérer l'amélioration continue du processus, d'une période sur l'autre, c'est-à-dire se doter d'instruments permettant de « rectifier le tir ». Par exemple, si le taux de non-réponse à une question s'est révélé trop élevé, on va la modifier, ou la supprimer. Si un contrôle automatique conduit à rejeter en anomalie un trop grand nombre de données à l'exactitude pourtant avérée, on ajustera les paramètres afférents. Le RRP, recensement rénové de la population, est à cet égard un exemple essentiel, en raison de l'importance quantitative des moyens mis en œuvre : la progression continue autorisera de véritables gains en termes de délais et une meilleure maîtrise des moyens.

## Éléments de conclusion

Dans une première partie, on a tenté d'élucider le processus de production statistique en général : toute démarche qualité implique de procéder de la sorte, afin d'identifier les leviers sur lesquels agir. Cette analyse peut mettre en évidence l'importance de tâches méconnues, comme

<footnote n="27">27. Rivière P. (2003), "General principles for data editing in business surveys and how to optimise it", *Document méthodologique de l'UMS n° 0203*.</footnote>

<footnote n="28">28. Et non celles qui contiennent le plus d'errateurs potentielles.</footnote>

<footnote n="29">29. Lawrence D., McKenzie R (2000), The General Application of Significance Editing, *Journal of Official Statistics*, Vol. 16, No. 3, September. L'idée de base est de fonder la vérification non pas sur la probabilité d'erreur mais d'abord sur l'impact.</footnote>
la recodification après collecte des variables des enquêtes ménages. La représentation simplifiée du processus nous a servi ensuite de support pour déterminer où sont les marges de manœuvre et comment les mettre à profit.

Un premier constat, fort, est que l'errur est consubstantielle au proces-sus, qu'il ne s'agit donc pas de l'éra-diquer, mais de la maîtriser statistiquement. La qualité que l'on vise ne s'apprécie pas en référence à une proportion de défauts, mais au degré de précision et de cohérence des statistiques à produire. Ainsi toute démarche qualité est-elle fondamentalement liée aux besoins, aux objectifs : sans une définition claire des objectifs<fnref n="30" />, il n'est pas possible de

définir des indicateurs de qualité rationnels, réellement utiles au pilotage de la production. Qualité et coût s'expriment également aux différentes étapes du processus, qui toutes appellent des indicateurs d'évaluation spécifiques : c'est particulièrement important pour les étapes les plus coûteuses, comme le codage de libellés ou, surtout, la vérification-apurement, laquelle se révèle, en pratique, la plus difficile à cerner et la plus importante à maîtriser. Pour avancer en ce sens, il faut d'abord disposer de principes lisibles (critères de sélection d'unités doubleuses, de priorisation, d'arrêt) et d'outils associés, mener une réflexion sur les informations à disposition du gestionnaire pour que l'apurement puisse se faire. Mais sur

le long terme, dans une optique d'amélioration continue de la qualité, il est essentiel de se doter d'indicateurs de qualité opérants, permettant d'améliorer un processus de production d'une année sur l'autre en jouant sur telle ou telle étape. D'où l'importance de la mise au point d'indicateurs de qualité, qui fera l'objet d'un prochain papier...

Pascal RIVIÈRE

Insee, direction générale
Chef du département
Applications et projets

<footnote n="30">30. Nous avons vu qu'il existait des objectifs autres que strictement statistiques, consistant par exemple à alimenter un référentiel, ou une autre enquête.</footnote>