## Le calcul de variables dérivées

On nomme ainsi les variables (ici, statistiques) calculées à partir d'autres variables (ici, administratives), sur la base d'une formule de calcul<fnref n="100" />.

Exemples : des variables qui reconstituent le salaire à partir de la DSN. On peut avoir une règle du type : on prend la rémunération brute déplafonnée, si on ne l'a pas on prend l'assiette brute déplafonnée, et si on ne l'a pas non plus on prend l'assiette CSG.

Autre exemple : (Van Delden et al 2016) construisent un chiffre d'affaires à partir de plusieurs variables de la déclaration de TVA néerlandaise, et font valider leur formule de calcul par des experts du domaine.

A travers cet exemple on voit que la formule de calcul n'est pas toujours du genre $z = x + y$, mais qu'elle doit aussi tenir compte de l'absence ou de la présence d'informations, en construisant une variable qui fait fi de ces manques. On cherche donc à établir le meilleur proxy de la variable statistique à partir des variables administratives disponibles. Dans tous les cas il est fondamental de conserver la formule de calcul précis (qui est en réalité une métadonnée).

Attention, les variables ainsi dérivées peuvent demeurer différentes de la variable statistique cible.

Dans l'exemple hollandais cité plus haut : calculé sur des secteurs d'activité construits à un niveau assez fin (324 groupes), le chiffre d'affaires total issu des déclarations de TVA hollandaises présente en réalité des différences avec le chiffre d'affaires cible fondé sur des enquêtes, et ce sont des différences conceptuelles parfois subtiles.

La constitution des unités statistiques a également un impact sur le calcul des variables liées aux objets. Lors de l'utilisation de déclarations administratives, il est possible de choisir comme unité statistique le déclarant et d'agréger plusieurs enregistrements initiaux en une seule unité, en utilisant des fonctions d'agrégation (selon les variables, une somme, un maximum, l'élément le plus récent).

Exemple relatif aux statistiques structurelles d'entreprise : le passage des objets « liasses fiscales » aux unités statistiques que sont les unités légales entraîne des agrégations de liasses. Les modalités de calcul diffèrent selon la nature des variables : on peut sommer des variables de flux (chiffre d'affaires) mais on conservera la valeur la plus récente pour les variables de stock de fin. Par ailleurs, il faut tenir compte du fait que les données fiscales portent sur l'exercice comptable, qui peut différer de l'année civile : les formules de calcul peuvent se révéler complexes.

## Le renommage

Le changement de nom d'une variable est une opération réversible, qui n'a pas de conséquence sur les données, mais sur les métadonnées associées aux données produites. Comme elle est simple, peu coûteuse, on peut avoir tendance à la sous-estimer, voire à l'oublier. Or elle est importante pour assurer une bonne maîtrise / pérennité des concepts, et que ceux-ci soient partagés.

Le renommage est une opération dont il faut garder trace afin de documenter les données pour les utilisateurs finaux. Elle influe sur une dimension importante de la qualité : la lisibilité.

<footnote n="100">100 Voir par exemple l'index des variables du recensement 2021 en Irlande du Nord, dans lequel cette distinction est bien explicitée : https://niopa.qub.ac.uk/bitstream/NIOPA/15777/1/census-2021-variables-index.pdf</footnote>
Par exemple, les données fiscales ont des noms tout à fait illisibles pour les non-spécialistes, comme on peut le voir dans les exemples de (Cotton, Haag 2023). Ainsi, les nom, prénom, sexe, et date de naissance sont notés respectivement LNCON, LNCOPF, LCCOT et DNCO.

Le faire de façon rigoureuse, claire, permettra de gagner du temps dans la suite des opérations, car on saura de quoi on parle. Le renommage s'applique aux variables, ou aux valeurs d'un domaine.

* Des domaines administratifs aux catégories (domaines) statistiques

Pour illustrer cette situation de transformation de domaine, on peut considérer une variable initiale dont le domaine est {a, b, c, d, e, f}, qu'on veut ramener à un domaine plus simple : par exemple, les valeurs 1, 2, 3, où 1 correspond à {a, b, f}, 2 à {c}, et 3 à {d, e}.

D'une certaine manière, cette situation est proche de celles des variables dérivées : derrière le changement de domaine, il y a le calcul d'une variable dérivée qui prend ses valeurs dans une liste. On parle ainsi de codage, ou de recodage si l'output est une liste de codes. L'input peut avoir pour domaine une liste, comme dans l'exemple initial, mais ce peut être une donnée quantitative (ex : passage d'un âge à une tranche d'âge). Il faut aussi souligner que le calcul de la valeur dans le domaine cible peut s'appuyer sur plusieurs inputs, avec des règles de calcul complexes.

Ces règles doivent aussi tenir compte des valeurs manquantes et de leur dénomination, en amont comme en aval. En amont, on dispose, suite à la phase 1, de connaissances sur la façon de désigner « manquant » dans les données administratives (par exemple, 999, 9999, -1, ...). En aval, côté statistique, on se donnera une convention de notation (par exemple « NA »), et des règles de décision. Mais attention, dans la phase de transformation, on ne traite pas les données manquantes, on n'effectue pas d'imputation (ce sera le rôle de la phase 3) : on établit et applique simplement des conventions de notation et des règles d'affectation de cette modalité à partir de l'input administratif.

Les transformations de domaine doivent aussi tenir compte des évolutions dans le temps des pratiques de gestion : on en a vu plus haut l'illustration avec les nouvelles règles d'inscription à France Travail.

### 5.c. Un processus qui est aussi technique, et doit être réplicable

La transformation comporte également des enjeux techniques qui peuvent être liés au volume des données, à leur fréquence de transmission, à leur format... La complexité du système d'information d'origine, et notamment les liens inter-objets, se reflète dans les données statistiques disponibles pour le statisticien.

Dans les choix techniques de mise en œuvre, il est nécessaire de tenir compte des usages :

* il faut arbitrer entre fréquence de chargement des données et stabilité de la base,

Exemple : la livraison quotidienne de données du Pasrau ne peut être répercutée directement dans les données mises à disposition des statisticiens. Afin de garantir une certaine stabilité des traitements, les mises à jour des bases visibles pour les statisticiens sont mensuelles ;
* la structure des données, l'architecture des bases doit répondre aux usages et permettre facilement de filtrer les informations ou les relier entre elles.

Pour des sources régulières, on a besoin de mettre en place un processus de production automatisé, une succession de transformations qu'on appelle souvent *pipeline*<fnref n="101" />. Comme on l'a vu plus haut au sujet de la phase 1, le pipeline doit offrir des qualités de souplesse, pour mettre en œuvre facilement des évolutions. Il doit aussi garantir, jusqu'à un certain point, la réplicabilité (National Academies 2019¹⁰²), avec des conséquences sur la conservation des données avant transformation, la traçabilité du cycle de vie de la donnée (*data lineage*), et, souvent, la capacité à traiter de gros volumes. Idéalement on devrait viser la réplicabilité forte sur des processus de production avec un enjeu fort pour le système d'information.

Mais il faut surtout retenir ici que la transformation, en tant que succession automatisée d'opérations, va produire une nouvelle source, qui relève cette fois de l'univers statistique : elle contiendra des données individuelles relatives aux unités statistiques d'intérêt, avec le champ, les variables et les catégories d'intérêt choisies. Simplement, comme en fin de phase 1, la source obtenue comportera des imperfections, et une étape de qualification va s'imposer.

### 5.d. Qualifier les données transformées

Comme pour la qualification de fin de phase 1, on va qualifier les données reçues (issues de la transformation) pour détecter les anomalies éventuelles, puis réaliser une boucle de rétroaction afin de les prendre en compte. Si le principe est le même, il n'en demeure pas moins que qualification et rétroaction seront de nature très différente de ce qu'on a vu en phase 1.

* **Principes**

Tout comme en fin de phase 1, il va s'agir de détecter d'éventuels problèmes, et de repérer ceux qui paraissent suspects. Mais cela s'effectuera dans un univers statistique, un univers connu au sujet duquel on dispose d'informations.

La qualification de fin de phase 2 est une qualification intermédiaire, hybride, puisqu'elle qualifie le passage d'un univers à l'autre ; si on est dans l'univers statistique, on n'a pas encore complètement quitté l'univers administratif. Elle est hybride au sens où elle qualifie les données individuelles *et* les agrégats. Ainsi, son fonctionnement est particulier, engendrant deux types de conséquences différentes : une boucle de rétroaction lorsqu'on détecte des anomalies statistiques, et la facilitation de la phase 3 via le repérage systématique d'anomalies individuelles.

#### Détection d'anomalies statistiques

La véritable qualification statistique se fera en phase 3, lorsqu'on aura « toutes » les données, imputées ou non. Ici, en phase 2, on se bornera à quelques **vérifications statistiques à gros traits**. En effet, les données et unités manquantes n'ont pas été traitées, et on ne peut construire de statistiques valables à ce stade. On se limitera donc à contrôler des ordres de grandeur, en vérifiant :

<footnote n="101">101 Voir à ce sujet (Cotton, Haag 2023), déjà cité.</footnote>

<footnote n="102">102 A noter que dans les comités constitués pour la rédaction de ce livre, on trouve bien un « Committee on national statistics ».</footnote>
* la cohérence avec des totaux déjà connus, par exemple le nombre de ménages dans Fideli (Lamarche et Lollivier 2021);

* des évolutions de totaux, ce qui permettra de repérer des évolutions de champ (cf. exemple de France Travail);

* la complétude du champ, notamment quand champs administratif et statistique sont comparables : estimation de défaut de couverture;

* éventuellement, la plausibilité de quelques distributions, en utilisant pour cela d'autres distributions connues (recensements, enquêtes).

Pour ces comparaisons, on se situe désormais totalement en dehors de l'univers administratif (on pourra utiliser toute autre source jugée fiable et comparable, au moins sur certaines variables). *Elles se feront cette fois sur les variables et unités statistiques.*

Ainsi on comptera le nombre de ménages dans Fidéli plutôt que le nombre de foyers fiscaux dans la source FIP, on s'intéressera au salaire net en ETP plutôt qu'à des lignes de déclaration DSN.

Ces travaux sont menés de façon systématique à des fins d'évaluation, mais peuvent aussi être réalisés ponctuellement pour de nouvelles utilisations d'une source administrative.

C'est le cas des données de la DSN, utilisées depuis plusieurs années pour produire des statistiques annuelles sur les salaires, et notamment la base tous salariés. Elles ont fait l'objet d'une qualification pour un nouvel usage, et ont permis en 2024 de réduire d'un tiers les questionnaires de l'enquête Ecmoss. Cette évaluation spécifique pour ce nouvel usage a été menée en dehors du processus de production de la base tous salariés.

## Repérage d'anomalies individuelles

Il s'agira ici de réaliser un « scan » du fichier pour repérer automatiquement les valeurs manquantes (non-réponses partielles) et les valeurs aberrantes, avec des démarches de type *data profiling* déjà évoquées (Olson 2003). Le repérage des valeurs manquantes se fera simplement sur la base de la connaissance de la notation « manquant ». Trouver les données aberrantes est plus complexe, et présuppose d'avoir défini des règles : par exemple, si le ratio chiffre d'affaires / effectif est supérieur à tel seuil, dans tel secteur d'activité, on considère que c'est aberrant.

Cette étape permettra de produire un fichier complet dans lequel on aura les données (micro-données) + des métadonnées micro indiquant pour chaque valeur si elle est aberrante ou manquante.

## La qualification de phase 2 ne se substitue pas à celle de phase 1

Il convient de souligner ici que certains problèmes dans la source ne sont pas détectables en phase 1 (mais seulement par le biais de comparaisons statistiques) alors que d'autres pourraient l'être, mais ont échappé à la vigilance du statisticien, par lacune de la qualification de phase 1, ou par manque de temps : dans de nombreux processus, la réception et l'intégration de données se déroulent dans un temps très court.

Lors de la primo acquisition d'une source administrative, les données sont encore peu connues, et le processus de transformation est encore à bâtir. Il est naturel dans ce contexte de réaliser une
qualification de fin de phase 1, i.e. une qualification des données administratives dans leur univers, concepts, objets etc...

En revanche, en cas d'acquisition répétée, on pourrait avoir tendance à se contenter d'une qualification de phase 2, éliminant ainsi celle de la phase 1, et ce d'autant plus que le processus d'intégration est volumineux, élaboré, ancien, etc.

Ce fonctionnement a priori rationnel peut toutefois être pénalisant à plusieurs titres :

* il complexifie l'identification de l'origine des problèmes : problème dans les données, problème de transmission, problème de transformation ? Au minimum, à défaut d'une étape isolée de qualification de fin de phase 1, il est important de tracer les volumes de données (livrées, intégrées, transformer) ou de disposer de statistiques descriptives sommaires sur les données avant transformation ;

* il rend plus coûteux les échanges avec l'administration d'origine ;

* il peut « retarder » la détection de changements dans les données administratives, ou de problèmes de qualité nouveaux, et ce d'autant que la qualification a lieu tard, parfois même après les traitements statistiques de la phase 3. Ce retard est rédhibitoire pour les productions conjoncturelles fortement contraintes par les délais.

## 5.e. Une boucle de rétroaction à deux niveaux

Si l'on détecte des problèmes dans les données grâce à la qualification, il ne peut exister que deux coupables : la source, issue de la phase 1, ou la transformation. Les deux sujets sont très difficiles à démêler. Si vraiment il y a un problème avec la source, on doit dans l'idéal pouvoir le repérer en fin de phase d'acquisition, et réaliser la boucle de rétroaction avec l'administration à ce niveau-là, pré-transformation, ce qui est loin d'être simple<fnref n="103" />.

* Une rétroaction privilégiée : sur la transformation elle-même

On va donc dans un premier temps décrire une rétroaction sur la transformation (en supposant implicitement que la source est bonne) : dès lors, s'il y a des anomalies, elles doivent résulter de bugs dans cette opération, qu'il faut trouver. Il faut que la transformation soit réplicable : si elle contient des étapes manuelles, ou des traitements automatiques non documentés, il devient très difficile de la modifier.

Les anomalies peuvent avoir plusieurs origines :

* erreur de programmation ;

* erreur d'interprétation des données administratives (définition de variable ou de valeur dans un domaine) ;

* formules de calcul incorrectes : ces formules, pour le calcul des filtres ou des variables dérivées, doivent être très précises, et prendre en compte tous les cas ;

* subtilités dans la constitution des unités statistiques ;

* et surtout : changements d'outils de gestion administratifs, de législation, de processus administratif, entraînant des changements dans les concepts, les domaines, ...

<footnote n="103">103 Cela signifie en effet qu'il faut avoir conservé l'état des données « fin de phase 1 », ce qui peut être très lourd. Cela veut dire aussi qu'il faut relancer une qualification de fin de phase 1 ... et détecter des problèmes.</footnote>
Exemple : dans sa démarche de qualification des données DRM, la Drees a constitué un sous-échantillon lui permettant de diagnostiquer de la manière la plus complète possible les problèmes de qualité des données. Le but est également de définir les critères pour les détecter ainsi que les corrections à apporter, et de préciser les critères de constitution des unités statistiques d'intérêt. Cet échantillon sert également pour la validation des traitements. En effet, une fois le processus de transformation des données écrit, il est appliqué à l'échantillon de test, ce qui permet de valider que le résultat est conforme à l'attendu.

Ces erreurs sont souvent liées à des modifications fines, parfois peu visibles, dans les procédures administratives. On tombe là sur un écueil très important de l'usage des données administratives en statistique, qui met en lumière le besoin d'une compréhension de l'univers administratif dans lequel gravitent ces données.

Au total, on se rend compte que la mise au point du data pipeline est une opération très exigeante, une mécanique de haute précision qui tolère peu les erreurs, même minimes, et requiert de solides compétences de data engineer (Schweinfest, Jansen 2021).

* Une rétroaction vers la phase 1 plus délicate à mener

Si la détection de problèmes avec la source n'est pas idéale en phase 2, elle peut cependant se produire pour différentes raisons, et notamment parce que la comparaison avec d'autres sources statistiques permet d'évaluer de façon plus précise les problèmes de sous-couverture, mais également de valeurs lorsqu'il est possible de comparer des données individuelles.

Il est alors utile d'échanger avec le fournisseur, mais avec une difficulté supplémentaire : les données ayant été transformées, le constat sera souvent exprimé dans le langage des statisticiens, avec des concepts qui ne sont pas ceux de la source administrative. C'est là un sujet majeur d'incompréhension entre les mondes administratif et statistique. Un effort est alors indispensable pour parvenir à reformuler les anomalies détectées, dans un langage et des concepts compréhensibles par le fournisseur.

Attention cependant, les modifications diverses pouvant intervenir sur une source administrative peuvent rendre certaines parties du processus caduques.

Exemple : les conséquences de la mise en œuvre du prélèvement à la source de l'impôt sur les personnes. Ici, l'entité à l'origine de l'information sur le revenu n'est plus l'individu, mais son employeur. Ce changement du processus administratif a entraîné des évolutions de la couverture de la source, et notamment une meilleure couverture de revenus perçus, qui étaient précédemment non déclarés. Les données statistiques produites par le processus Fideli comportaient cette année-là un million d'individus supplémentaires (!). En effet, le processus de transformation de « contribuables » en « individus résidant en France » n'avait pas été modifié de prime abord.

Le diagnostic de cet écart a été difficile. Le changement du processus administratif conduisait du point de vue statistique à une correction de la sous-couverture (certains revenus précédemment non déclarés par des personnes résidentes en France), mais également à une augmentation de la sur-couverture (revenus de personnes non résidentes en France, comme les saisonniers par exemple).
5.f. Résultat de la phase de transformation

Moins inconfortable que la phase 1, la phase 2 de transformation est plus proche des compétences standard des statisticiens publics, notamment en informatique. Le but de l'opération aura été de mettre au point une succession d'opérations permettant de ramener les données à un cadre connu.

Le résultat de cette phase se décline ainsi :

• les données « brutes »<fnref n="104" /> statistiques »,

• les métadonnées associées,

• le code de la transformation,

• le résultat de la qualification.

Tout cela peut paraître très exigeant et rappelle donc quelques commentaires sur chaque point.

Pourquoi conserver les **données** « statistiques brutes » ? Si l'on se rend compte d'un problème dans les traitements statistiques ultérieurs, il sera toujours possible de modifier ces traitements et de les rejouer sur les données statistiques brutes. Leur conservation est donc décisive pour la réplicabilité des traitements. Par ailleurs, contrairement aux fichiers envoyés par le fournisseur, l'archivage de ces données statistiques brutes est du ressort du service statistique : elles ont le même statut que des données brutes d'enquête.

Les métadonnées (définition, caractérisation des domaines, ...) auront été progressivement construites dans la mise au point de la transformation. On rappelle juste ici qu'il faut les avoir enregistrées proprement, pour une bonne maîtrise des résultats, mais aussi en vue d'usages ultérieurs, ou dans une perspective de mutualisation.

Autant que possible, la **transformation** devra avoir été codée de façon à ce qu'elle soit réplicable (≈ reproductible)<fnref n="105" />, ce qui renvoie à la qualité des développements et à la documentation du code (cf 5.b). C'est d'autant plus sensible que plusieurs choix opérés lors des transformations ne seront pas réversibles. Une transformation sous forme de *pipeline*, entièrement automatisée, est la solution la plus pratique : c'est encore plus évident sur les données privées (Joubert 2025). Mais dans la pratique il arrive que certains passages de la transformation requièrent une intervention humaine et qu'on ait ainsi plusieurs codes, correspondant à des étapes automatisées successives.

Enfin, les résultats de la **qualification** ne requièrent pas un formalisme excessif, et sont surtout importants pour les enseignements qu'on en tire. Ils permettent de mettre en évidence la réalité des données en fin de phase 2 : incomplétude (sous-couverture), données douteuses, données dont la valeur est « manquant » (avec des règles claires sur la manière de le noter). Ces informations seront décisives pour orienter la phase suivante de traitement statistique, car on saura où l'attention devra être portée.

<footnote n="104">104 On a insisté dans le chapitre 3 sur le problème posé par le terme « données brutes » (Gitelman 2013), en expliquant que ce qui est brut pour un utilisateur peut être très élaboré pour un autre. La signification de l'adjectif est donc contingente. D'où l'importance, ici de parler de données brutes statistiques, au sens d'input de traitements statistiques, comme on peut parler de données « brutes d'enquête ». Mais même avec cette précision, il faut reconnaître que cela reste fragile sémantiquement.</footnote>

<footnote n="105">105 Les 2 concepts sont distincts. La reproductibilité (= rejouabilité) est la capacité à obtenir les mêmes résultats qu'une étude originale en utilisant mêmes données et même code. C'est très exigeant, adapté à la recherche scientifique. La réplicabilité est la capacité à obtenir des résultats similaires à ceux d'une étude originale en utilisant des données indépendantes et/ou une nouvelle mise en œuvre des méthodes. Dans l'esprit, c'est plus adapté aux usages statistiques : on n'est pas dans une démarche de preuve. Voir à ce sujet (National Academies 2019), cité plus haut.</footnote>
<figure><img src="image_10.png" /><figcaption>Figure 5 - Phase 2 - Transformation de données administratives</figcaption></figure>
# 6. La phase de traitement statistique

Cette troisième phase 3 ne diffère pas fondamentalement des traitements effectués sur les enquêtes, i.e. la 5e étape du GSBPM, appelée justement traitement. Donc cette phase sera beaucoup plus courte à décrire. Comme on l'a vu, les deux premières phases conduisent à un point de jonction avec les enquêtes à partir duquel le processus est commun.

## 6.a. Contexte

Dans cette phase de traitement, on part donc d'un fichier avec données « brutes statistiques » qui est susceptible de comporter des défauts : sous-couverture, valeurs manquantes, valeurs aberrantes ou douteuses, incohérences avec d'autres productions. On va donc appliquer des traitements pour éliminer ou atténuer ces défauts (imputation par exemple), puis produire des statistiques, avec d'éventuelles boucles de rétroaction, comme pour les données d'enquête. C'est tout un travail de mise au point du fichier de données, y compris un « nettoyage » (Chu et al 2016) qui est à réaliser, et sera essentiel pour de futurs usages.

Vis-à-vis des précédentes phases, un élément nouveau apparaît : on ne se situe plus du tout dans un contexte administratif, et en passant à l'univers statistique on bénéficie d'une infrastructure de connaissances (Borgman 2015) associée, qui n'est pas nécessairement complète.

Dans le contexte de la statistique publique, cette infrastructure se matérialise entre autres par :

* un référentiel de métadonnées partagé (Bonnans 2019) avec par exemple des définitions de concepts ou des domaines mutualisés ;

* des nomenclatures partagées ;

* des référentiels d'individus, de ménages, de logements avec Resil (Lefebvre 2024 ; Espinasse, Roux 2022), ou d'établissements (Hachid, Leclair 2022 ; Bensoussan et al 2023)

* des méthodes reconnues, documentées, diffusées ; des outils mutualisés ;

* d'autres statistiques de référence déjà publiées, auxquelles on pourra se comparer ;

* des séminaires, colloques, comités, réunissant des experts de la statistique publique ;

* etc.

L'existence de cette infrastructure facilite les choses, fournit un environnement de travail aux statisticiens, mais ne résout pas tout. Un point-clé de la phase 3, c'est l'existence ou non d'un référentiel de la population considérée. L'impact sera très important sur toute cette phase.

Si un tel référentiel existe, on pourra en permanence s'y raccorder, comme on le fait pour les enquêtes, où on peut s'appuyer sur des bases de sondage. Cela apporte des garanties de qualité et rend possible des comparaisons, notamment pour mesurer la sous-couverture, ce qui n'était pas faisable (ou alors seulement à gros traits) en phases 1 et 2.

Ainsi, le système Resil (Lefebvre 2024), qui est justement constitué de données administratives, fonde tout son dispositif sur une « colonne vertébrale » de référentiels : les répertoires d'individus, de logements et de ménages, qui apportent beaucoup de garanties de sécurité. On peut arrimer à ces référentiels des sources importantes élaborées par la statistique publique comme Fideli (Lamarche, Lollivier 2021) pour les individus, ou Filosofi<fnref n="106" /> pour les ménages, qui offriront des points de comparaison

<footnote n="106">106 https://www.insee.fr/fr/metadonnees/source/serie/s1172</footnote>
Dans le cas des statistiques d'entreprise, c'est le répertoire Sirus (Hachid, Leclair 2022) qui sera cette colonne vertébrale, auxquelles se raccorderont des sources comme la DSN, ce qui permettra entre autres de former une « Base tous salariés ».

Mais on n'a pas toujours le référentiel en question, et ce n'est pas sans conséquences sur la suite.

## 6.b. Les traitements proprement dits

Les opérations standard à effectuer sont bien connues et documentées par des papiers de méthodologie statistique depuis fort longtemps. Font ainsi partie de cette phase le traitement des non-réponses, partielles ou totales (Caron 2002), le calage sur marges (Deville, Särndal 1992), les démarches visant à gérer la sur-couverture ou la sous-couverture (Wallgren, Wallgren 2007), et le data editing (De Waal et al 2011).

Outre l'environnement, la phase 3 a une autre caractéristique distinctive : lors de cette phase, on a la possibilité de modifier les données pour des raisons statistiques :

* en s'appuyant sur les modèles qu'on juge pertinents (pour l'imputation notamment),

* mais aussi éventuellement à travers des modifications manuelles effectuées par des gestionnaires.

Ce n'était en effet pas possible en phase 1 (on ne touche pas aux données administratives), ni en phase 2 (les données étaient des résultats de transformation, avant analyse statistique justement).

Dans les traitements, si les méthodes statistiques habituelles s'appliquent, elles vont nécessiter des adaptations dans leur mise en œuvre, qu'il s'agit ici de préciser. On va se limiter au champ, aux données manquantes et à la tabulation, alors que le data editing sera vu dans la partie suivante.

### • Champ

Il faut distinguer champ statistique et champ administratif. Lors de la phase 2, à travers les étapes de filtrage, on a éliminé une bonne partie de la sur-couverture du champ statistique, mais la sous-couverture vis-à-vis du champ administratif n'est pas observable, car on n'a pas d'éléments de comparaison. Traiter la sous-couverture est donc du ressort de la phase 3.

De manière générale, il est possible de traiter les problèmes de champ<fnref n="107" /> (champ statistique différent du champ administratif) et de sous-couverture du champ statistique grâce à des imputations, des compléments apportés par une autre source, voire des pondérations, bien que le recours à la repondération et au calage lors de l'exploitation de données administratives soit encore peu répandu dans la statistique publique.

La façon de procéder va dépendre de l'existence ou non d'un référentiel de population.

<footnote n="107">107 Ce ne sont pas les mêmes problèmes de champ que dans la phase précédente. En effet, en phase 2, on traitait surtout les questions de sur-couverture, qui conduisent à éliminer potentiellement des informations (ou au moins à calculer une indicatrice d'appartenance au champ). Ici on va plutôt traiter la sous-couverture ou les problèmes d'exhaustivité, en mobilisant d'autres informations.</footnote>
* **Cas où on dispose d'un référentiel de la population-cible**

Dans ce contexte on n'a pas à se poser la question de la distinction entre champ statistique et administratif. On va pouvoir observer la sous-couverture du champ statistique, en regardant la différence entre population « de référence » de ce champ et la population qu'on trouve dans les fichiers issus de la phase 2. Et on pourra compléter le champ soit avec de l'imputation de non-réponses totales, soit en utilisant d'autres sources s'il en existe.

* **Cas où on ne dispose pas d'un référentiel de la population-cible**

N'ayant pas de l'équivalent d'une base de sondage permettant de connaître la population d'intérêt, on a besoin d'informations sur le champ provenant d'autres sources de données pour évaluer l'appartenance au champ des unités présentes et des unités attendues et absentes. Tout dépend ici de la nature des informations supplémentaires dont on dispose.

Il peut arriver qu'on ait connaissance de marges permettant de faire du calage : on peut alors imaginer de traiter les unités manquantes par repondération, mais c'est une approche à utiliser avec précaution.

Une autre possibilité est de disposer de sources partielles sur le champ d'intérêt, qui peuvent servir d'échantillon de contrôle. Celui-ci peut être conçu pour évaluer la couverture (tout comme les enquêtes post censitaires pour évaluer la couverture des recensements), ou provenir d'une source de données déjà existante. L'utilisation d'échantillons de contrôle diffère du calage évoqué plus haut, et aboutit aux méthodes de capture recapture (Ardilly et Koumarianos 2025).

De façon générale, les exploitations multisources permettent l'utilisation de méthodes pour évaluer la couverture (méthode d'estimation par système multiple ou capture-recapture (Chiperfield et al 2024)) ou pour caractériser l'appartenance au champ des unités, notamment avec la méthode des signes de vie (Óvári, Kočiš 2022, Tiit 2017).

Enfin, on peut n'avoir aucune information sur le champ : on pourra alors croiser des informations pour traiter la sur-couverture.

Par exemple, on pourra utiliser des informations sur les personnes décédées dans le RNIPP pour nettoyer le fichier des permis de conduire, mais il s'agit d'un usage administratif.

Autre exemple, plus compliqué qui a trait aux deux difficultés (sur couverture et sous-couverture) : la détermination d'une population résidente à partir de données administratives repose sur l'exhaustivité de ces sources, propriété souvent recherchée, mais rarement atteinte. Afin de construire des données fiables, les statisticiens vont chercher des signes de présence, positifs, ou négatifs. Certains pays souhaitent mobiliser des informations telles que l'inscription d'enfants dans le système scolaire, le non-renouvellement d'un permis de conduire, ou encore la consommation de soins médicaux. C'est la conjonction de plusieurs informations administratives qui définit ainsi la probabilité d'appartenance au champ d'intérêt.

Une difficulté courante est de caractériser les unités absentes des données administratives : il n'y a pas d'équivalence entre la présence de données relatives à une unité, et son existence réelle. La disparition réelle d'une unité (ex : cessation d'activité d'une entreprise) peut être enregistrée
tardivement dans les SI administratifs, mais l'absence d'éléments comptables peut constituer un signal plus précoce de sa disparition. A l'inverse, la présence d'une unité dans un fichier administratif de type répertoire peut être ancienne, et ne signifie pas que l'unité soit toujours active.

## Données manquantes

La partie précédente sur la sous-couverture renvoyait de fait à des questions de traitement de données manquantes, en l'occurrence d'unités manquantes (on peut les rapprocher des non-réponses totales, bien que l'absence de base de sondage rende les deux difficultés - non réponses versus unités manquantes - très différentes). Dans ce qui suit on évoque surtout les données manquantes au sein d'unités existantes, donc l'équivalent des non-réponses partielles, mais plusieurs réflexions s'appliquent à l'absence d'unités.

Pour les traiter efficacement, il faut d'abord savoir de quelle manière se répartissent les données manquantes, et c'est là un des résultats de la qualification de fin de phase 2.

A ce sujet, (Little et Rubin 2002) décrivent trois types de répartition des données manquantes (univariée, monotone, sans structure). Ils formalisent les différents mécanismes qui conduisent à des données manquantes, qu'ils distinguent en trois catégories : les données manquantes complètement aléatoirement (MCAR), les données manquantes aléatoirement (MAR), et les données manquantes non aléatoirement (NMAR)<fnref n="108" />. Leur typologie n'est pas liée aux modalités d'obtention des données et peut donc s'appliquer aussi bien aux enquêtes qu'aux données administratives (qui seront plus concernées par MAR et NMAR). Dans le cas des enquêtes, ces mécanismes font appel à la *propension à répondre* ... qui n'a pas de sens dans le cas des données administratives, puisqu'il n'y a pas de réponse à une question<fnref n="109" />.

Pour les données administratives, la question du biais lié à l'absence de données, ou d'unités statistiques, va se poser : cette fois, comprendre l'origine des absences (d'unités ou de données) nécessite de revenir à la logique des processus de gestion administratifs. Pour cela, il sera utile de produire quelques statistiques exploratoires sur la répartition des données manquantes dans la population, selon les différentes variables.

On traitera alors les données manquantes par des méthodes d'imputation adaptées à la configuration rencontrée : (Imbert, Vialaneix 2018) offrent un large tour d'horizon des configurations en matière de données manquantes et de méthodes appropriées, qui peut tout à fait s'appliquer aux données administratives. Bien entendu si on dispose d'une autre source statistique permettant d'avoir un proxy pour ces données, c'est encore mieux.

## Données douteuses

La phase 2 a permis, sur la base d'une batterie de contrôles automatiques de cohérence / vraisemblance, de repérer des données douteuses : en l'occurrence, non pas des statistiques sujettes à caution, mais bien des micro-données. La phase 3 elle-même, via le *data editing*, produit aussi ce type d'information.

<footnote n="108">108 MAR = Missing At Random, MCAR = Missing Completely At Random, NMAR = Not Missing At Random. L'existence d'une corrélation entre absence des informations et variables d'intérêt (NMAR) peut conduire à des estimations biaisées, quel que soit l'origine des données (enquête ou données administratives).</footnote>

<footnote n="109">109 Sauf peut-être dans le cas des déclarations administratives, et encore.</footnote>
Mais les données ainsi jugées anormales peuvent se révéler tout à fait exactes.

Par exemple, il arrive qu'une entreprise ait un chiffre d'affaires très élevé avec un effectif salarié nul ou quasi. C'est le cas notamment lorsqu'elle s'appuie essentiellement sur un effectif prêté.

Comment les traiter ? Pour chaque donnée douteuse, on ainsi le choix entre plusieurs possibilités :

* laisser la donnée telle quelle,

* remplacer la donnée par une donnée imputée,

* remplacer la donnée par son équivalent dans une autre source, si cela existe.

Le choix de laisser la donnée en l'état peut être fait sur la base d'un critère automatique, avec une sorte de degré de gravité de l'incohérence au-delà duquel on considère qu'on ne peut la garder. Ou alors, si le nombre de cas n'est pas trop élevé, on peut confier à des gestionnaires le soin d'effectuer les vérifications à la main, pour décider de l'imputation ou non de la donnée. La grande différence avec les enquêtes, c'est qu'on ne pourra pas aller vérifier à la source.

Pour l'imputation elle-même, la situation est similaire à celle des données manquantes, et ne diffère pas de ce qui se fait sur une enquête. On pourra avec profit utiliser des méthodes de redressement qui permettent d'assurer le respect des différents contrôles : ce sont les méthodes issues de l'article fondateur de (Fellegi, Holt 1976)<fnref n="110" />.

* **Tabulation**

Il s'agit du dernier « traitement » : on n'est plus en train de mettre au point un fichier de données individuelles, mais on calcule les différents agrégats statistiques à partir de là. La tabulation ne présente pas de spécificités par rapport aux enquêtes. Simplement, on n'a pas de poids de sondage, et si l'on ne dispose pas d'une population de référence le risque d'erreur est très important. La boucle de rétroaction jouera donc un rôle majeur.

## 6.c. Qualification et rétroaction : l'importance de l'output editing

Le point essentiel de la qualification en phase 3, c'est la vérification de vraisemblance des agrégats statistiques. Techniquement, c'est assez proche de ce qu'on a vu en phase 2 : cohérence avec des totaux déjà connus, cohérence des évolutions de totaux, vérification de complétude du champ, vérification de la plausibilité de quelques distributions. Mais alors qu'en phase 2, il s'agissait essentiellement de faire quelques vérifications statistiques élémentaires pour voir s'il n'y avait pas d'erreur de champ, notamment, en phase 3 l'objet va être de vérifier les statistiques (agrégats, distributions) sur les variables d'intérêt, dans une optique de validation.

Il s'agit donc ici des vérifications finales de statistiques (et non de micro-données) : dans la démarche de data editing, déjà évoquée pour les enquêtes, il s'agit de la partie output editing (Arbués et al 2013). Cela va consister en premier lieu à explorer les différentes statistiques existantes sur des sujets proches, à regarder les évolutions, pour voir si les ordres de grandeur sont

<footnote n="110">110 Méthode qui, presque 50 ans après, reste une référence majeure lorsqu'il s'agit de réaliser des redressements de sorte que les règles de contrôle soient vérifiées. La méthode minimise le nombre de redressements pour cela.</footnote>
bons. Si des incohérences subsistent, on devra comprendre pourquoi : dans ce cas, la boucle de rétroaction devra remonter aux phases précédentes, à la phase 2 voire à la phase 1, souvent pour constater des incompréhensions sur le champ administratif. Et ce qui rend les choses très difficiles par rapport aux enquêtes, c'est que ces statistiques ne sont déjà plus dans le langage de l'entité administrative : les statisticiens devront donc « se débrouiller » tout seuls avec les éléments dont ils disposent.

Si l'on analyse les étapes de qualification, en phases 1 2 et 3 respectivement, il apparaît que l'output editing reste la vérification ultime, la plus importante : on peut imaginer d'alléger le travail de vérification dans des étapes précédentes, mais celle-là est incontournable. C'est en effet « le » filet de sécurité dont dispose la statistique publique avant de diffuser quoi que ce soit.

On constate aussi que la qualification de fin de phase 2 a beaucoup de points communs avec celle de la phase 3. L'avantage de qualifier en fin de phase 2, c'est que cela permet de valider la transformation. Mais il faut reconnaître que sur les trois qualifications, s'il y en a une qu'on peut à la rigueur omettre, c'est celle de la phase 2.

## 6.d. Résultat de la phase de traitement statistique

A l'issue de la phase de traitement statistique, on a donc :

* Un fichier de données « plein », i.e. qui ne contient plus de données manquantes et qui est cohérent par rapport au champ statistique

* des tableaux statistiques

* des résultats de qualifications

C'est en général sur ce troisième aspect que les choses pêchent un peu : on ne garde pas nécessairement trace des vérifications faites, or ce peut être une information utile si la source doit être qualifiée plusieurs fois, ou s'il y a plusieurs types d'utilisateurs.
<figure><img src="image_11.png" /><figcaption>Figure 6 - Phase 3 - Traitement des données statistiques</figcaption></figure>
C. Synthèse
# 7. Synthèse et mise en perspective

En janvier 2024, Peter Christen et Rainer Schnell ont publié un court article pointant les multiples incompréhensions autour de l'acquisition, du traitement et de l'appariement des données. Les auteurs vont jusqu'à présenter des listes d'idées reçues sur chacune de ces opérations. On sent affleurer, au fil des pages, une forme d'agacement vis-à-vis de la persistance des erreurs commises par les data scientists, dues à une vision très simpliste de ce que sont réellement les données. Et si leur travail porte sur la data science en général, il s'applique pleinement aux statistiques.

L'utilisation de plus en plus systématique de nouvelles sources de données est désormais un horizon naturel pour la statistique officielle : datafication du monde (Rey 2016) et multiplicité des sources de données, capacités accrues d'accès et de stockage, de puissance de calcul et d'analyse, tout plaide pour une statistique de plus en plus data-driven (Salemink et al 2020). Mais comme le soulignent ces auteurs, les défis sont nombreux.

Dans le présent document, nous nous plaçons délibérément dans un contexte restreint : l'utilisation des données administratives « seulement », pour reprendre la terminologie de (Rancourt 2018), et en se focalisant sur la méthodologie de production des statistiques, incluant l'évaluation de leur qualité (Laitila et al 2011 ; Eurostat 2016a), mais omettant les usages indirects<fnref n="111" />, ou dans un contexte multisources. Et l'on se retrouve confrontés, comme Christen et Schnell, à l'imperfection fondamentale inhérente à ces données, observée avec la focale de l'utilisateur statisticien. Il faut donc imaginer des dispositifs d'acquisition de données administratives à des fins statistiques (FAO 2018), capables de supporter cette imperfection endémique, ainsi que la distance entre les producteurs de données administratives et les utilisateurs (Borgman et al 2025)... qui sont eux-mêmes producteurs de données statistiques.

## 7.a. Résumé de la démarche proposée

Pour réaliser de tels dispositifs, le présent document propose un cadre général qui se présente sous forme d'une grille d'analyse, et d'une démarche en trois phases, chaque phase ayant des enjeux qui lui sont propres.

On y développe une vision conceptuelle que l'on pourrait imager de la manière suivante.

**La phase 1 peut être vue comme une projection** : on part d'un espace « administratif » ayant de très nombreuses dimensions (le système d'information), l'une de ces dimensions étant le temps. Et le but de cette phase est de projeter les données sur un sous-espace « administratif » plus petit (la source administrative), en figeant la dimension temps. L'objet de l'opération serait ainsi de prendre en compte l'immensité des possibles en se ramenant à ce qui est nécessaire, tout en homogénéisant et en fixant les temporalités.

Mais on ne peut se limiter à cette image : l'idée est aussi et surtout de tenir compte de la méconnaissance de tout l'écosystème sous-jacent aux données administratives. En réalité, le sujet principal de la première phase, c'est de gérer la data friction, au sens de (Edwards et al 2011). Cela passe par une capacité à s'adapter à une culture « étrangère », par une immersion dans cet univers,

<footnote n="111">111 De Waal et alii (Eurostat 2016 b) listent 6 usages, regroupés en usages directs : tabulation directe, ou utilisation en substitution ou complément d'une autre source de données ; et usages indirects (création et maintenance de référentiels, data editing et imputation, estimation indirecte, validation de données). Toutefois, quelque soit l'usage envisagé, le statisticien est confronté à différents problèmes d'intégration.</footnote>
par une compréhension fine des tenants et aboutissants des processus administratifs, préalable à la mise en place progressive d'une convention avec l'organisme fournisseur de données. Et l'on découvre peu à peu que rien ne va de soi, qu'il faut se défaire d'une vision naïve et simpliste, que l'on pourrait résumer à : « transmettez-nous les données, on saura se débrouiller. »

La phase 1 fait donc la part belle à un large temps de préparation, avant de passer à la réception-acquisition proprement dite. On lui associe une grille d'analyse pour faciliter le travail. Car les données ne sont pas « en l'air », elles s'écrivent selon une certaine grammaire : leur champ, leurs objets, leurs variables, leurs domaines, leur temporalité.

En poursuivant une analogie mathématique, la **phase 2 est en quelque sorte un morphisme** : on part du sous-espace administratif E, à temporalité définie, et dont on a réduit les dimensions. Et on le transporte dans un autre espace, en faisant transiter la structure associée aux données (objet, champ, variable, domaine, temporalité). Cela revient, dans l'esprit, à construire une fonction f telle que $F = f(E)$, une fonction capable aussi de transporter la grille d'analyse.

Ce que nous dit cette 2ᵉ phase, en filigrane, c'est qu'en réalité on ne pourra pas travailler directement avec les données administratives telles quelles, car leur grammaire et leur sémantique sont trop éloignées des besoins d'analyse de la statistique publique. Il faut donc absolument, une fois acquises et qualifiées, les sortir du monde administratif (détachement), puis les conditionner, les transformer afin de les arrimer solidement au monde statistique. Avec là aussi une grille d'analyse propre à cet usage spécifique. La transformation, i.e. notre fonction f, est ici un objet en soi, à documenter, maintenir, versionner.

Il s'agit d'une phase intermédiaire, hybride, entre mondes administratif et statistique, une phase pivot pour passer à la suite.

**La phase 3, c'est l'activité statistique proprement dite, phase dans laquelle la profession statistique retrouve tous ses repères.** Elle se situe intégralement dans un environnement statistique, en adopte les codes, les méthodes, le langage.

C'est la première phase pour laquelle on s'autorise à modifier des données, aussi bien manuellement que via des modèles, pour qu'elles respectent un certain nombre de propriétés (par exemple la complétude, ou l'absence de valeurs manquantes). On y retrouve un ensemble de traitements statistiques tout à fait classiques sur les microdonnées, jusqu'à la tabulation, i.e. la production des statistiques proprement dites, qui marque la fin du processus.

La 3ᵉ phase ne se soucie donc plus de *data friction* ... ou presque : car elle est l'occasion de constater des incohérences, qui obligent à revenir en arrière.

Ceci nous conduit à souligner un autre aspect de la démarche proposée : la présence de « **boucles de rétroaction** » dans chaque phase. Rien de théorique et d'abstrait ici : dans la phase d'acquisition, par exemple, cela veut simplement dire que si le service statistique n'est pas satisfait des données transmises, il doit être capable de l'objectiver à travers une qualification automatisée, pour légitimer la demande d'une nouvelle livraison de données ou métadonnées, ou tout simplement d'explications supplémentaires. Dans la phase 2 de transformation, la rétroaction portera sur le *pipeline* de transformation, alors que dans la phase 3, il s'agira du processus classique de *data editing*, avec ses itérations finales, et d'éventuels retours en arrière.
Les 3 phases ont inévitablement des **liens entre elles**, notamment à travers les boucles de rétroaction, mais chacune donne lieu à des « états » différents des données, dans l'univers administratif pour la phase 1, dans l'univers statistique pour les phases 2 et 3.

Et chaque phase fait avancer les choses, contribue à résoudre des problèmes, avec ses propres apports, ce que l'on peut résumer ainsi :

<table><caption>**Figure 7 - Passage de la grille d'analyse administrative à la grille d'analyse statistique**</caption><thead><tr><th>Ce qui existe dans le monde administratif</th><th>Ce dont on a besoin dans le monde statistique</th><th>Phase 1</th><th>Phase 2</th><th>Phase 3</th></tr></thead><tbody><tr><td>Système d'information vivant</td><td>Jeu de données figé</td><td>✓</td><td></td><td></td></tr><tr><td>Système d'information très riche</td><td>Observations et informations utiles pour répondre au besoin statistique</td><td>✓</td><td></td><td></td></tr><tr><td>Pas de période de collecte</td><td rowspan="2">Période de référence associée à une donnée</td><td rowspan="2">✓</td><td></td><td></td></tr><tr><td>Pas de période de référence</td><td></td><td></td><td></td></tr><tr><td>Listes de codes administratifs</td><td>Nomenclatures</td><td></td><td>✓</td><td></td></tr><tr><td>Objets administratifs</td><td>Unité(s) statistique(s)</td><td></td><td>✓</td><td></td></tr><tr><td>Concepts administratifs</td><td>Variables d'intérêt</td><td></td><td>✓</td><td></td></tr><tr><td rowspan="2">Champ réel administratif</td><td>Appartenance au champ statistique</td><td></td><td>✓</td><td></td></tr><tr><td>Représentativité du champ statistique</td><td></td><td></td><td>✓</td></tr></tbody></table>

Les 3 phases permettent aussi de compléter le schéma du « Y », présenté à la fin du chapitre 2 et qui était délibérément vierge dans sa branche liée aux données administratives. On trouvera ce schéma page suivante.
## Le schéma du « Y » complété

<figure><img src="image_12.png" /></figure>

Ce schéma reprend celui de la page 24, en mettant cette fois ci en évidence les sous-phases liées à l'utilisation de données issues de sources administratives.

La phase Traiter contient différentes étapes évoquées dans les parties 5 et 6 : certaines présentent des spécificités lorsque les données sont issues de sources administratives (par exemple la qualification de fin de phase 2), alors que d'autres sont similaires (calcul des agrégats...). Les sous-phases sont détaillées dans le GSBPM (Unece, 2019).
### 7.b. Mise en œuvre

Oui, mais tout cela n'est-il pas un peu trop théorique, idéaliste ? En pratique, est-il toujours possible d'effectuer ces décompositions proprement ?

Ce qui peut se révéler impossible, dans certains cas, c'est le principe de boucle de rétroaction avec l'administration : il se peut que celle-ci ne veuille pas d'échanges supplémentaires, ou ne soit pas en mesure de prendre en compte les demandes statistiques. L'administration poursuit en effet un but opérationnel, et la production de statistiques est un usage secondaire par un tiers des données existantes.

La démarche en trois phases, avec véritable séparation entre elles, peut aussi s'avérer très difficile à atteindre opérationnellement : difficultés de stockage de très gros volume, temps de travail requis, ... Cela conduit souvent en pratique à fusionner des étapes. Les phases 1 2 et 3 donnent un cadre, et en pratique **l'idée est surtout de savoir, lorsqu'on s'écarte du cadre, pourquoi on le fait et quelles en sont les conséquences.** Essayons notamment d'analyser l'impact d'une non séparation entre phase d'acquisition et phase de transformation, ou entre phase de transformation et phase de traitement.

Il faut distinguer pour cela deux situations : la primo acquisition, et le cas où la source administrative est utilisée à plusieurs reprises. C'est dans la première situation que le découpage effectif des phases est plus important.

#### Primo acquisition

En phase 1 le temps de préparation sous diverses formes est incontournable : l'acculturation à un certain univers administratif, la documentation, les métadonnées, une première forme de contractualisation. La séparation entre qualification de phase 1 (et boucle de rétroaction) et phase 2 est essentielle : si on ne le fait pas là, on le paye après, car avec des données transformées il sera beaucoup plus difficile d'interagir avec l'entité administrative, et donc de demander au fournisseur des fichiers de meilleure qualité<fnref n="112" />. D'autre part, si la qualification se fait en fin de phase 2, c'est plus difficile de démêler les problèmes de la source et les problèmes liés à la transformation. Globalement cette qualification est très importante, avec une attention particulière portée aux unités (objets) et variables manquantes, et aux variables aberrantes : ainsi, pour la nouvelle source GMBI, la comparaison avec les données issues du cadastre s'est révélée indispensable.

Si on isole la phase 2, on peut imaginer de la fusionner avec la phase 3 mais en faisant cela on mélange dans un seul et même *pipeline* les traitements "non statistiques" (la transformation)<fnref n="113" /> et les traitements statistiques. On ne fait donc pas de vérification élémentaire qui permettrait éventuellement de reboucler, et on ne fait pas d'« arrêt sur image » pour bien comprendre ce dont on dispose avant d'effectuer les traitements statistiques.

#### Cas d'acquisition régulière de données

En phase 1, à partir de la deuxième acquisition, on pourrait considérer que le temps de préparation est fait... sauf que le contexte peut avoir changé : nouvelles variables, nouveaux domaines,

<footnote n="112">112 A la rigueur, c'est moins problématique lorsque la « distance » entre mondes administratif et statistique est faible.</footnote>

<footnote n="113">113 Non statistiques : au sens où ces traitements n'appartiennent pas aux méthodes statistiques traditionnelles, et où l'idée de transformation pourrait s'appliquer à d'autres domaines.</footnote>
de champ. Or de telles évolutions sont majeures. On peut certes dire que l'acculturation
est faite suite à la première acquisition, mais il reste la mise au point et les éventuels avenants de de
convention, plus les changements dans les données et métadonnées, que l'on peut décrire selon la
grille (champ / variable / domaine). En primo acquisition, la réception-qualification aura idéalement
été outillée, documentée. Le travail de mise à jour ne doit pas être négligé, mais il est vrai que la
charge est probablement moindre.

On peut donc imaginer d'intégrer la phase 2 à la phase 1 en ayant une réception de données qualifiées puis transformées, ou transformées puis qualifiées. Mais attention, il faut absolument qu'on conserve la possibilité d'une rétroaction avec l'administration, ce qui est plus complexe une fois les données transformées. Par ailleurs, on peut considérer qu'en qualification, ce sera un peu moins difficile de démêler des problèmes dus à la source et ceux qui sont dus à la transformation. L'évaluation des volumes reçus reste importante, avant transformation.

Si l'on fusionne phase 1 et phase 2 on aboutira ainsi à une large phase de réception – qualification – transformation, puis dans un deuxième temps une phase de traitement statistique.

Une autre possibilité est d'intégrer la phase 2 à la phase 3, ce qui conduit à reporter toute la
qualification de nature statistique à l'output editing. Attention, la qualification va être essentielle en
matière d'évolution, l'évolution du champ d'une période à l'autre étant un sujet majeur sur lequel se
concentrent la majorité des risques.

Si on fusionne phase 2 et 3, on aura donc d'une part une phase de réception qualification, d'autre part une phase de transformation – traitement, aussi automatisée que possible. La clé reste de pouvoir repérer les grosses erreurs, les énormités, et d'effectuer ensuite le bouclage. De manière générale, si on décide de minimiser les opérations de qualification, on risque de tout renvoyer à l'étape finale et indispensable d'output editing, qui est le « filet » restant, sans avoir suffisamment de leviers pour intervenir.

Cas d'acquisitions mutualisées

Si l'on essaie maintenant d'aller un peu au-delà du contexte initial (une source administrative<fnref n="114" /> et des statistiques fondées sur celle-ci), le premier sujet qui vient à l'esprit est celui de la **mutualisation** : pour une source donnée, si on a défini un cadre propre, rigoureux pour un usage, il serait dommage de ne pas le réutiliser, au moins en partie, pour d'autres usages, au minimum via le partage de la documentation, des métadonnées, de la compréhension du sujet. En fonction des usages, les mutualisations peuvent intervenir à différents niveaux (en fin de phase 1, de phase 2 ou de phase 3), ou conduire à l'élaboration d'une phase 2 la plus ouverte possible. Celle-ci doit être également bien documentée afin de transmettre à d'autres utilisateurs potentiels une bonne connaissance des transformations effectuées.

<footnote n="114">114 Ou un ensemble cohérent de plusieurs sources administratives (cf. les données du cadastre, par exemple).</footnote>
### 7.c. Prolongements

Bien connaître une source, c'est aussi se donner la possibilité de faire du multi-sources, or on a limité le propos, par souci de simplicité, à du mono-source. Or il est fréquent d'utiliser plusieurs sources, qu'elles soient des sources de données administratives ou des enquêtes, au sein d'un même processus. Les statistiques multi-sources soulèvent différents enjeux non exposés ici. Ainsi, pour (De Waal et al, 2020), les problèmes d'intégration de données se ramènent souvent à trois difficultés principales : harmonisation des unités et des concepts, sélection des valeurs pertinentes, et appariements. Il faudrait parler aussi des méthodes d'estimation utilisant simultanément différentes sources (estimations composites).

La question de la précision (erreur quadratique moyenne, variance) n'a pas du tout été abordée, or c'est un sujet qu'on ne peut laisser de côté. Il existe relativement peu de travaux autour de l'estimation de *total survey error*, hors d'un contexte d'enquête, mais on peut en trouver quelques-uns (Groves, Lyberg 2010). Cela suppose un travail de modélisation des différents types d'erreur en n'ayant désormais plus, au centre, l'erreur d'échantillonnage.

Au-delà des pures questions de méthodes de calcul et d'outils, l'utilisation de données administratives ne peut faire l'impasse sur les questions de confidentialité, d'éthique, d'acceptabilité : ces données ne sont pas uniquement un *input* qu'un processus industrialisé doit traiter. Elles ont aussi une sensibilité particulière parce qu'elles concernent des individus, qui ne souhaitent pas nécessairement qu'elles soient ré-utilisées, et à qui on n'a pas nécessairement demandé leur avis, contrairement à ce qui se passe, mécaniquement, pour une enquête.

Enfin, un prolongement possible de ces travaux serait de les appliquer aux données privées. Plusieurs exemples ont été donnés tout au long du document, et à vrai dire les différences entre production de statistiques à partir de données administratives ou de données privées ne sont pas considérables. Mais il en existe : (Lesur 2025) pointe notamment les problèmes d'exhaustivité, de représentativité, les possibilités de comptage multiple (entre opérateurs, par exemple), la complexité accrue du cadre juridique et le fait que les données ne soient pas gratuites<fnref n="115" />. Dans la mesure où il est en général difficile ou impossible d'accéder au système d'information, on met souvent en place des *pipelines* qui effectuent des transformations et même une première agrégation : les statisticiens n'accèdent alors qu'au résultat de ce *pipeline* (Joubert 2025). Dans ce cas on mêle phase 1 et phase 2, et la boucle de rétroaction avec le fournisseur ne va pas de soi.

<footnote n="115">115 Depuis 2016, la loi n° 2016-1321 du 7 octobre 2016 pour une République numérique pose le principe de transmission obligatoire et gratuite de données publiques entre administrations.</footnote>
Bibliographie

AMOSSE, Thomas, 2020. La nomenclature socioprofessionnelle 2020 - Continuité et innovation, pour des usages renforcés. *Courrier des statistiques* N° N4, juin 2020.

ANXIONNAZ, Isabelle et MAUREL, Françoise, 2021. Le Conseil national de l'information statistique : la qualité des statistiques publiques passe aussi par la concertation. *Courrier des statistiques* N° N6, juillet 2021.

ANDRE Mathias, ARNOLD, Céline, et MESLIN Olivier, 2021. 24 % des ménages détiennent 68 % des logements possédés par des particuliers. France Portrait Social 2021, Insee.

ANDRE Mathias et MESLIN Olivier, 2022. Patrimoine immobilier des ménages : Enseignements d'une exploitation de sources administratives exhaustives. In : *Courrier des statistiques* N° N7, janvier 2022.

ARBUÉS, Ignacio, REVILLA, Pedro, et SALGADO, David, 2013. An Optimization Approach to Selective Editing. *Journal of official statistics* Vol. 29, No. 4, 2013, pp. 489–510.

ARDILLY, Pascal, 2006. Les techniques de sondage. Nouvelle éd. actualisée et augmentée. Paris : Éd. Technip. ISBN 978-2-7108-0847-3.

ARDILLY, Pascal, KOUMARIANOS, Heidi, 2025. Les estimations par capture-recapture ou par système multiple : quelques éléments théoriques. Insee, Document de travail N° M2025-01, Janvier 2025.

d'AURIZIO Leandro et PAPADIA Giuseppina, 2019. Using Administrative Data to Evaluate Sampling Bias in a Business Panel Survey. *Journal of Official Statistics*, Vol. 35, No. 1, 2019, pp. 67–92.

BABB, Penny, 2017. The assurance of administrative data: A proportionate approach. Statistical Journal of the IAOS 33 (2017) 435–440. DOI 10.3233/SJI-160321

BACH, Laurent, BOZIO, Antoine, DUTRONC-POSTEL, Paul, FIZE, Étienne, GUILLOUZOUIC, Arthur et MALGOUYRES, Clément, 2023. Évaluation de la réforme de la taxe d'habitation. Rapport IPP n°48 – Décembre 2023

BAKKER B., van ROOIJEN J., et van TOOR L., 2014. The System of social statistical datasets of Statistics Netherlands : An integral approach to the production of register-based social statistics, *Statistical Journal of the IAOS* 30 (2014) 411–424

BATES, J., 2017. The politics of data friction. *Journal of Documentation*. ISSN 0022-0418

BATINI, Carlo et SCANNAPIECO, Monica, 2016. Data and Information Quality – Dimensions, Principles and Techniques. Springer. ISBN 978-3-319-24104-3.
BECK, François, CASTELL, Laura, LEGLEYE, Stéphane et SCHREIBER, Amandine, 2022. Le multimode dans les enquêtes auprès des ménages : une collecte modernisée, un processus complexifié, *Courrier des statistiques* N° N7, janvier 2022.

BENICHOU, Yves-Laurent, ESPINASSE, Lionel, et GILLES, Séverine, 2023. Le code statistique non signifiant (CSNS) : un service pour faciliter les appariements de fichiers, *Courrier des statistiques* N° N9, juin 2023.

BENSOUSSAN, Johanna, BIZINGRE, Joël, et COURVALIN, Nathalie, 2023. FINESS, le répertoire des établissements de santé, *Courrier des statistiques* N° N10, décembre 2023.

BERTHE, Juliette, 2025. Le défi des données pour l'inspection générale des affaires sociales, *Courrier des statistiques* N° N13, juin 2025

BERTHELOT, Gregory, 2020. Premier bilan du prélèvement à la source après un semestre de mise en œuvre : une entrée en réforme réussie, *Revue française de finances publiques* 2020/1 N°149.

BERZOFSKY Marcus E., LIAO Dan, BARNETT-RYAN Cynthia, SMITH Erica L., 2025. A total data quality paradigm for official statistics based on administrative data. *Statistical Journal of the IAOS*. 2025; doi:10.1177/18747655251337671

BIEMER, Paul P., de LEEUW, Edith, ECKMAN, Stephanie, EDWARDS, Brad, KREUTER, Frauke, LYBERG, Lars E., TUCKER, N. Clyde, WEST, Brady T. (Eds), 2017. Total survey error in practice. Wiley, 2017.

BOLLIET, Quentin, FLOYRAC, Aymeric, MAILLARD, Sophie, et ROSENZWEIG, Agathe, 2025. L'inspection générale des finances et la science des données - Quelles méthodes pour quels usages ?, *Courrier des statistiques* N° N13, juin 2025

BONNANS, Dominique, 2019. RMÉS, le référentiel de métadonnées statistiques de l'Insee, *Courrier des statistiques* N° N2, 27 juin 2019.

BONNET Odran, et LOISEL Tristan, 2024. L'économie racontée par les données bancaires, *Courrier des statistiques* N° N12, décembre 2024

BONTEMS Thierry, et GOULIN, Sabine, 2010. De la Qualité de l'Information Administrative et Scientifique. 8. *Ecole Inter-organismes "Qualité en Recherche et en Enseignement Supérieur"*, Montpellier, Sep 2010.

BORGMAN, Christine L., 2015. Big data, little data, no data : scholarship in the networked world. *The MIT Press*, 2015.

BORGMAN, C. L., DARCH, P. T., SANDS, A. E., et GOLSHAN, M. S., 2016. The Durability and Fragility of Knowledge Infrastructures: Lessons Learned from Astronomy. In *Proceedings of the 79th ASIS&T Annual Meeting* (Vol. 53). Copenhagen: ASIS&T. https://www.asist.org/files/meetings/am16/proceedings/submissions/papers/31paper.pdf

BORGMAN, Christine L., GROTH Paul T., 2025. From data creator to data reuser : distance matters. *Harvard Data science Review*.
BOWKER, Geoffrey C. et STAR, Susan Leigh, 2000. Sorting things out. Classification and its consequences. 25 août 2000. *The MIT Press*. ISBN 978-0262522953

BOYDENS, Isabelle, 1999. Informatique, normes et temps – Évaluer et améliorer la qualité de l'information : les enseignements d'une approche herméneutique appliquée à la base de données «LATG» de l'O.N.S.S. Éditions E. Bruylant. ISBN 2-8027-1268-3.

BOYDENS, Isabelle, 2018. Data Quality & « back tracking » : depuis les premières expérimentations à la parution d'un Arrêté Royal, *Smals Research*, 2018 https://www.smalsresearch.be/data-quality-back-tracking-depuis-les-premieres-experimentations-a-la-parution-dun-arrete-royal/

BOYDENS, Isabelle, 2021. Data Quality Tools : retours d'expérience et nouveautés. *Smals Research*, 2021 https://www.smalsresearch.be/data-quality-tools-retours-dexperience-et-nouveautes/

BOYDENS Isabelle, HAMITI Gani G., et VAN EECKHOUT Rudy, 2021, Un service au cœur de la qualité des données : Présentation d'un prototype d'ATMS, *Courrier des statistiques* N° N6, juillet 2021.

BRACKSTONE, G.J. 1987. Issues in the Use of Administrative Records for Statistical Purposes. *Survey Methodology*, vol. 13, pp. 29 – 43

BRION Philippe, Esane, le dispositif rénové de production des statistiques structurelles d'entreprises. *Courrier des statistiques* n° 130, mai 2011

BRUMBERG H.L., DOZOR D.,et GOLOMBEK S.G., 2012. History of the birth certificate: from inception to the future of electronic data. *Journal of Perinatology* (2012) 32,407-411

De BROE Sofie, STRUIJS Peter, DAAS Piet, Van DELDEN Arnout, BURGER Joep, Van Den BRAKEL Jan, Ten BOSCH Olav, ZEELENBERG Kees, et YPMA Winfried, 2020. Updating the Paradigm of Official Statistics : New Quality Criteria for Integrating New Data and Methods in Official Statistics, *Working paper* 02-20, *Center for Big Data statistics*, CBS

BYCROFT C., et MATESON-DUNNING N., 2020. Use of administrative records for non-response in the New Zealand 2018 Census. *Journal of the IAOS*, 36 (2020) 107–116

CAMUS, Benjamin, 2022. Le défi de l'élaboration d'une nomenclature statistique des infractions. *Courrier des statistiques* N° N7, janvier 2022.

CARON, Nathalie, 2002. la correction de la non-réponse par repondération et par imputation. Document de travail M0502, Insee, Série des documents de travail « Méthodologie statistique ».

CARON, Daniel J., NICOLINI, Vincent, et BERNARDI, Sara, 2020. Réflexion sur les stratégies de données gouvernementales : rapport de recherche. Ecole Nationale d'Administration Publique, Chaire de recherche en exploitation des ressources informationnelles, Bibliothèque et Archives nationales du Québec, mars 2020.

CERRONI, Fulvia, BELLA, Grazia Di et GALIE, Lorena, 2014. Evaluating administrative data quality as input of the statistical production process. *Rivista di statistica ufficiale*. 2014. N° 1, pp. 30.
CHALEIX, Mylène, et VANDERSCHELDEN, Mélanie, 2023. Lignes directrices sur la coopération entre acteurs pour l'exploitation statistique de données administratives, *Document interne Insee*, septembre 2023

CHALEIX, Mylène, et MIKOL, Fanny, 2024. Accès du service statistique public aux données privées : les étapes-clé, les acteurs, les points de vigilance, *Document interne Insee*, septembre 2024

CHAMBAZ, Christine, 2018. De l'activité de la justice au suivi du justiciable - Faire parler les données de gestion. *Courrier des statistiques* N° N1, décembre 2018.

CHIPERFIELD, James, CHU, Randall, ZHANG Li-Chun, et BAFFOUR Bernard, 2024. Robust Statistical Estimation for Capture-Recapture Using Administrative Data. *Journal of Official Statistics* 2024, Vol. 40(2) 215-237

CHRISTEN, Peter et SCHNELL, Rainer, 2024. When Data Science Goes Wrong: How Misconceptions About Data Capture and Processing Causes Wrong Conclusions. *Harvard Data Science Review*, 31 janvier 2024. Vol. 6, n° 1. DOI 10.1162/99608f92.34f8e75b.

CHU, Xu, ILYAS, Ihab, KRISHNAN, Sanjay, WANG Jiannan, 2016. Data cleaning : overview and emerging challenges. *SIGMOD '16: Proceedings of the 2016 International Conference on Management of Data*, pp. 2201 – 2206, https://doi.org/10.1145/2882903.29125

COTTON Franck, et HAAG Olivier, 2023. L'intégration des données administratives dans un processus statistique : industrialiser une phase essentielle. *Courrier des statistiques* N° N9, juin 2023.

COUDIN, Elise, et ROBERT, Aude, 2024. Les statistiques sur les causes de décès - Classer et coder... dans la classification internationale des maladies. *Courrier des statistiques* N° N12, décembre 2024.

COURMONT Antoine, 2021. Quand la donnée arrive en ville. Open data et gouvernance urbaine. *Presses univ. de Grenoble, « Libres cours Politique »*, ISBN : 9782706147357.
URL : https://www.cairn.info/quand-la-donnee-arrive-en-ville--9782706147357.htm

DAAS, Piet, 2009. Checklist for the Quality evaluation of administrative data sources. *Discussion paper Statistics netherlands*. 2009. pp. 36.

De WAAL T., PANNEKOEK, et J., SCHOLTUS S., 2011, Handbook of statistical data editing and imputation, *Wiley*.

De WAAL, Ton, Van DELDEN, Arnout et SCHOLTUS, Sander, 2020. Multi-source Statistics: Basic Situations and Methods. *International Statistical Review* (2020), 88, 1, 203-228

DENIS, Jérôme, 2018. Le travail invisible des données – Éléments pour une sociologie des infrastructures scripturales. Août 2018. *Presses des Mines, Collection Sciences Sociales*.

DENIS, Jérôme, et GOETA, Samuel, 2017. « La fabrique des données brutes ». Ouvrir, partager, réutiliser, édité par Clément Mabi et al., *Éditions de la Maison des sciences de l'homme*, 2017, https://doi.org/10.4000/books.editionsmsh.9050.
DESFORGES, Corinne, 2021. Réforme de l'état et gestion publique. Revue française d'administration publique n° 180, 2021, p. 1105-1158.

DESROSIERES Alain, 1993. La politique des grands nombres : histoire de la raison statistique. *La découverte*.

DESROSIERES Alain, 2004. Enquêtes versus registres administratifs : réflexions sur la dualité des sources statistiques, *Courrier des statistiques* N° 111, septembre 2004.

DEVILLE, Jean-Claude, 1997. Une bonne petite enquête vaut-elle mieux qu'un mauvais recensement ?, Paris : Insee, 1997, *Document de travail INSEE. Unité méthodologie statistique*, 9701, 8 p

DEVILLE, Jean-Claude, et SÄRNDAL, Carl-Erik, 1992. Calibration estimators in survey sampling. *Journal of the American statistical Association* 87 (418), 376-382

DI RUOCCO, Nunzio, SCHEIWILER, Jean-Michel et SOTNYKOVA, Anastasiya, 2012. La qualité des données : concepts de base et techniques d'amélioration. In : BERTI-ÉQUILLE, Laure, 2012. La qualité et la gouvernance des données au service de la performance des entreprises. *Hermes Science Publications*. pp. 25-54. ISBN 978-2-7462-2510-7.

DUBRULLE, Bertrand, ROSEC, Olivier, SUREAU, Christian, 2023. Une norme d'échange pour alimenter des référentiels et en assurer la qualité. *Courrier des statistiques* N° N9, juin 2023.

DUPONT Françoise, DUSSART Josy, GUILLAUMAT-TAILLIET François. La concertation : une étape essentielle pour le projet Résil. *Courrier des statistiques* N° N11, juin 2024.

EDWARDS, Paul N., 2010. A vast machine: computer models, climate data, and the politics of global warming. First paperback edition. Cambridge, Massachusetts London, England : The MIT Press. Infrastructures series. ISBN 978-0-262-51863-5.

EDWARDS, P., MAYERNICK, M., BATCHELLER, A., BOWKER, G., et BORGMAN, C., 2011. Science friction: Data, metadata, and collaboration. *Social Studies of Science*, 41(5), 667-690.

ELBAUM Mireille, 2018. Les enjeux des nouvelles sources de données, *Chroniques*, n° 16, *CNIS*, septembre 2018.

ELMASRI, Ramez, et NAVATHE, Shamkant, 2016. Fundamentals of Database Systems, *Global Edition, Pearson*.

ERIKSON, Johan, 2020. Le modèle de processus statistique en Suède Mise en œuvre, expériences et enseignements. *Courrier des statistiques* N° N4, juin 2020.

ESAYAS, Samson Yoseph, 2015. The role of anonymisation and pseudonymisation under the EU data privacy rules, *European Journal of Law and Technology* Vol 6, No 2 (2015).

ESPINASSE, Lionel, ROUX, Valérie, 2022. Le Répertoire national d'identification des personnes physiques (RNIPP) au cœur de la vie administrative française. *Courrier des statistiques* N° N8, Insee, novembre 2022.
EUROSTAT, 2016a. Methodology for data validation 1.0. Essnet Validat Foundation, juin 2016.

EUROSTAT, 2016b. Estimation methods for the integration of administrative sources. Deliverable D1. Décembre 2016 (version 3).

EUROSTAT, 2017a. Code des bonnes pratiques de la statistique européenne. 2017.

EUROSTAT, 2017b. Good practices in accessing, using and contributing to the management of administrative data. Eurostat. WP1

EUROSTAT, 2017c. Estimation methods for the integration of administrative sources. Deliverable D2. Janvier 2017 (version 3).

EUROSTAT, 2021. European Statistical System Handbook for quality and metadata reports. *Eurostat manuals and guidelines*, 2021, re-edition.

FAO, 2018. Guidelines on improving and using administrative data in agricultural statistics. Food and Agriculture Organization of the United Nations, Février 2018.

FELLEGI, I.P., HOLT, D., 1976. A Systematic Approach to Automatic Edit and Imputation. Journal of the American Statistical Association, Vol. 71, No. 353 (Mar., 1976), pp. 17-35

FERMOR-DUNMAN, Verena et PARSONS, Laura, 2022. Data Acquisition processes improving quality of microdata at the Office for National Statistics. Q2022, Vilnius.

FOLEY Brian, SHUTTLEWORTH, Ian, and MARTIN, David, 2018. Administrative Data Quality: Investigating Record-Level Address Accuracy in the Northern Ireland Health Register. *Journal of Official Statistics*, Vol. 34, No. 1, 2018, pp. 55-81, http://dx.doi.org/10.1515/JOS-2018-0004

FRIEDL, Jeffrey E.F., 2006. Mastering regular expressions - Third Edition, O'Reilly.

FROESCHL, Karl A. et GROSSMANN, Wilfried, 2000. The Role of Metadata in Using Administrative Sources. *Research in Official Statistics*, 2000.

GARTNER, Richard, 2016. Metadata – Shaping knowledge from Antiquity to the Semantic Web. Springer.

GIRARD-CHANUDET, Camille, 2023. Le travail de l'Intelligence Artificielle : concevoir et entraîner un outil de pseudonymisation automatique à la Cour de Cassation - RESET (Recherches en sciences sociales sur Internet), Technologies numériques et apprentissage.

GITELMAN, Lisa (éd.), 2013. « Raw data » is an oxymoron. Cambridge, Mass. : MIT Press. *Infrastructures series*. ISBN 978-0-262-31232-5.

GOETA, Samuel, 2024. Les données de la démocratie. C&F éditions, Collection Société numérique, février 2024.

GRANQUIST, Leopold, 1997. The new view on editing. *International Statistical Review* (1997), 65, 3, 381-387.
GROVES, Robert, et LYBERG, Lars, 2010. Total survey error – Past, present and future. *Public Opinion Quarterly*, Vol. 74, No. 5, 2010, pp. 849–879.

GUIBERT, Bernard, LAGANIER, Jean et VOLLE, Michel, 1971. Essai sur les nomenclatures industrielles. *Économie et statistique*. Février 1971. Insee. N° 20, pp. 23-36.

HACHID, Ali, et LECLAIR, Marie, 2022. Sirus, le répertoire d'entreprises au service du statisticien. *Courrier des statistiques* N° N8, novembre 2022.

HAND, David J., 2018. Statistical challenges of administrative and transaction data. *Journal of the Royal Statistical Society: Series A (Statistics in Society)* [en ligne]. juin 2018. Vol. 181, n° 3, pp. 555-605. DOI 10.1111/rssa.12315.

HEDLIN, Dan, 2003. Score functions to reduce business survey editing at the UK office for national statistics, *Journal of Official Statistics*, 2003.

HELFENSTEIN, Xavier, 2022. La base permanente des équipements (BPE) - Une source statistique singulière et constamment en mouvement, *Courrier des statistiques* N° N8, Insee, novembre 2022.

HORVITZ, D.G., et THOMPSON, D.J., 1952. A Generalization of Sampling Without Replacement From a Finite Universe, *Journal of the American Statistical Association*, Vol. 47, No. 260 (Dec., 1952), pp. 663 – 685.

HUMBERT-BOTTIN, Élisabeth, 2018. La déclaration sociale nominative. Nouvelle référence pour les échanges de données sociales des entreprises vers les administrations. *Courrier des statistiques* N° N1, décembre 2018.

IMBERT, Alyssa, et VIALANEIX, Nathalie, 2018. Décrire, prendre en compte, imputer et évaluer les valeurs manquantes dans les études statistiques : une revue des approches existantes. *Journal de la Société Française de Statistique*, Vol. 159 No. 2 (2018)

JOUBERT, Marie-Pierre, 2025. Les données de téléphonie mobile - Une source de connaissance sur la population et ses déplacements. *Courrier des statistiques* N° N13, juin 2025

JURAN, Joseph M., 1951. Quality control handbook. *Mc Graw Hill*

KALIKA Michel, ROWE Frantz, FALLERY Bernard, REIX Robert, et RICHET Jean-Loup, 2023. Systèmes d'information et management - Le manuel de référence sur les SI, 8ᵉ édition, *Vuibert*.

KITCHIN, Rob, 2014. The Data Revolution – Big Data, Open Data, Data Infrastructures and Their Consequences. SAGE Publications. ISBN 978-1-4462-8747-7.

KOUMARIANOS, Heidi, LEFEBVRE, Olivier, et MALHERBE, Lucas, 2024. Les appariements : finalités, pratiques et enjeux de qualité. *Courrier des statistiques* N° N11, juillet 2024.

LAITILA, Thomas, WALLGREN, Anders, et WALLGREN, Britt, 2011. Quality Assessment of Administrative Data. *Methodology reports from Statistics Sweden* 2011:2.
LAMARCHE, Pierre, et LOLLIVIER, Stéfan, 2021. Fidéli, l’intégration des sources fiscales dans les données sociales. *Courrier des statistiques* N° N6, juillet 2021.

LAWRENCE, David, et MCKENZIE, Richard, 2000. The general application of significance editing. *Journal of Official Statistics*, Vol. 16, No 3, 2000, pp. 243-253.

LECLAIR, Marie, 2019. Utiliser les données de caisse pour le calcul de l'indice des prix à la consommation, *Courrier des statistiques* N° N3, décembre 2019.

LEFEBVRE, Olivier, 2024. Le Répertoire Statistique des Individus et des Logements (Résil). *Courrier des statistiques* N° N11, juillet 2024.

LEFEBVRE, Olivier, SOULIER Manuel, et TORTOSA Thomas, 2024. L'accueil des données administratives : un processus structurant. *Courrier des statistiques* N° N11, juillet 2024.

LEHUEDE, Sebastian, 2024. When friction becomes the norm: Antagonism, discourse and planetary data turbulence. *New Media & Society* 26 (7), 3951-3966.

LESSLER, J.T., KASLBEEK W., 1992. Nonsampling error in surveys. New York: *Wiley*.

LESUR, Romain, 2025. Sources de données privées : panorama et perspectives. *Courrier des statistiques* N° N13, juin 2025

LITTLE, Roderick J.E., 1982. Models for Nonresponse in Sample Surveys. *Journal of the American Statistical Association*, Vol. 77, No. 378 (Jun., 1982), pp.237-250

LITTLE, Roderick J.E., et RUBIN, Donald B., 2002. Statistical Analysis with Missing Data. Wiley.

LOMBARDO, Giacomo, 2023. Data Friction in Data Sharing: a Physics Inspired Model, *Thèse en ingénierie informatique, institut polytechnique de Milan*.

LOSHIN, David, 2011. The practitioner's guide to data quality improvement. Burlington, MA : *Morgan Kaufmann*. ISBN 978-0-12-373717-5.

LOTHIAN, Jack, HOLMBERG, Anders, et SEYB, Allyson, 2019. An Evolutionary Schema for Using "it-is-what-it-is" Data in Official Statistics, *Journal of Official Statistics*, Vol. 35, No. 1, 2019, pp. 137–165.

LYBERG, Lars J., WEISBERG, Herbert E., 2016. Total survey error : a paradigm for survey methodology. In *The SAGE handbook of survey methodology*, SAGE Publications.

MALHERBE, Lucas, 2023. Appariements de données individuelles : concepts, méthodes, conseils. Insee, document de travail M2023/03, juin 2023.

MATTHEWS, Gregory J., HAREL, Ofer, 2011. Data confidentiality: A review of methods for statistical disclosure limitation and methods for assessing privacy. *Statistics Surveys* Vol. 5 (2011) 1–29. ISSN: 1935-7516.
MEIERHOFER Jürg, STADELMANN, Thilo, et CIELIBAK, Mark, 2019. Data products. In *Braschler, Stadelmann, Stockinger (Eds.): "Applied Data Science - Lessons Learned for the Data-Driven Business"*, Springer

MEYER, Bruce D., MOK, Wallace K. C., et SULLIVAN, James X., 2015. Household Surveys in Crisis, *Journal of Economic Perspectives*, Volume 29, Number 4, pp. 199–226

MOREAU, Sylvain, 2024. La statistique annuelle d'entreprises : sa nature, son histoire, ses enjeux, *Courrier des statistiques* N° 12, Décembre 2024.

NATIONAL ACADEMIES of Science - Engineering – Medicine, 2019. Reproducibility and replicability in science. *The National Academies Press* ; Illustrated edition (October 2019)

NEYMAN, J., 1934. « On the two different aspects of the representative method: The method of stratified sampling and the method of purposive selection », *Journal of the Royal Statistical Society*, 97, p. 558 à 625.

NORDBOTTEN, Svein, 2010. The Use of Administrative Data in Official Statistics – Past, Present, and Future – With Special Reference to the Nordic Countries, *Official Statistics in Honour of Daniel Thorburn*, pp. 205–223

OECD, 2008. OECD Glossary of Statistical Terms. *OECD Publishing*.

OLSON, Jack E., 2003. Data Quality – The Accuracy Dimension. [en ligne]. Janvier 2003. Morgan Kaufmann. ISBN 1-55860-891-5.

ÓVÁRI, Kristián, KOČIŠ, Martin, 2022. Population Census 2021 in the Slovak Republic: The “Signs of Life” method. Q2022, Vilnius.

PERIGNON, Christophe, GADOUCHE, Kamel, HURLIN, Christophe, SILBERMAN, Roxane et DEBONNEL, Éric, 2019. Certify reproducibility with confidential data. *Science*. Juillet 2019.

PUCHE, Véronique, 2022. Nouveau regard sur « La branche Famille et la protection des libertés individuelles » . *Regards* 2022/1 N°60, pp. 76 à 82.

RANCOURT, Eric, 2018. Les données administratives d'abord comme paradigme statistique pour les statistiques officielles canadiennes : signification, défis et possibilités. *Actes du Symposium de 2018 de Statistique Canada*.

REDMAN, Thomas C., 1997. Data Quality for the Information Age. Janvier 1997. *Artech House Computer Science Library*. pp. 227-232. ISBN 978-0-89006-883-0.

REDOR, Patrick, 2023. Confidentialité des données statistiques : un enjeu majeur pour le service statistique public, *Courrier des statistiques* N° 9, juin 2023

REID Giles, ZABALA Felipa, HOLMBERG Anders, 2017. Extending TSE to Administrative Data: A Quality Framework and Case Studies from Stats NZ. *Journal of Official Statistics*, Vol. 33, No. 2, 2017, pp. 477–511
RENNE Catherine, 2018, Bien comprendre la déclaration sociale nominative pour mieux mesurer, *Courrier des statistiques* N° N1, décembre 2018.

REY, Olivier, 2016. Quand le monde s'est fait nombre. *Stock*. Octobre 2016

RICCIATO, Fabio, 2024. Steps Toward a Shared Infrastructure for Multi-Party Secure Private Computing in Official Statistics, *Journal of Official Statistics* 2024, Vol. 40(1) 3–15

RIVIÈRE Pascal, 2018. Utiliser des déclarations administratives à des fins statistiques, *Courrier des statistiques* N° N1, décembre 2018.

RIVIÈRE, Pascal, 2020. Qu'est-ce qu'une donnée ? Impact des données externes sur la statistique publique. *Courrier des statistiques* N° N5, 31 décembre 2020.

ROUPPERT Benoît, 2005. Modélisation du processus de traitement d'une source administrative à des fins statistiques. *Document de travail SGI, Insee*, 2005

SALEMINK, Irene, DUFOUR, Stéphane et VAN DER STEEN, Marcel 2020. A vision on future advanced data collection, *Statistical Journal of the IAOS* 36 (2020) 685–699

SALGADO, David, et OANCEA, Bogdan, 2020. On new data sources for the production of official statistics. *ArXiv preprint*, 15 mars 2020.

SCHWEINFEST, Stefan, et JANSEN, Ronald, 2021. Data Science and Official Statistics: Toward a New Data Culture. *Harvard Data Science Review* • Issue 3.4, Fall 2021

SHAH Syed Iftikhar Hussain, PERISTERAS Vassilios et MAGNISALIS Ioannis, 2021. DaLiF: a data lifecycle framework for data-driven governments. Journal of Big Data (2021) 8:89, https://doi.org/10.1186/s40537-021-00481-3

STATISTICS NEW ZEALAND, 2016. Guide to reporting on administrative data quality. Retrieved from www.stats.govt.nz

SUNDGREN Bo, 1993. Statistical Metainformation Systems – Pragmatics, Semantics, Syntactics. Journal of the IAOS, Vol. 10, Issue 2. https://doi.org/10.3233/SJU-1993-10205

TAVERNIER, Jean-Luc, 2020. Fonctionnement de l'Insee dans la période de confinement, *Courrier des statistiques* N° N5, décembre 2020

TIIT Ene-Margit, 2017. Residency testing. estimating the true population size of Estonia. *Statistics in transition new series*, June 2017, Vol. 18, No. 2, pp. 211–226

UNECE, 2011. Using Administrative and Secondary Sources for Official Statistics. A Handbook of Principles and Practices. United Nations Economic Commission for Europe, https://digitallibrary.un.org/record/719971?v=pdf#files

UNECE, 2019. GSBPM. In : site statswiki de l'UNECE. Disponible à l'adresse : https://statswiki.unece.org/display/GSBPM.
UNITED NATIONS, 2025. Module for Quality Assurance when using Administrative and Other Data Sources to produce Official Statistics. Statistical Commission, Expert Group on National Quality Assurance Frameworks, mars 2025

VAN DELDEN, Arnout, PANNEKOEK, Jeroen, BANNING, Reinder et DE BOER, Arjen, 2016. Analysing correspondence between administrative and survey data. Statistical Journal of the IAOS 32 (2016) 569–584 569. DOI 10.3233/SJI-160972

VAN DROMME Dries, BOYDENS, Isabelle, BONTEMPS, Yves, 2007. Data quality : tools. *Rapport Smals Research 2007/TRIM3/02*. Septembre 2007.

VICARD, Augustin, 2023. Quantifier la pratique sportive : une approche sociologique et sanitaire. *Courrier des statistiques* N° N10, décembre 2023.

VOLLE, Michel, 1980. Le métier de statisticien. [en ligne]. *Éditions Hachette Littérature*. ISBN 978-2-010045295.

WALLGREN, Anders et WALLGREN, Britt, 2007. Register-based Statistics : Administrative Data for Statistical Purposes. New York : *Wiley*.

WALLGREN, Anders et WALLGREN, Britt, 2016. Frames and Populations in a Registerbased National Statistical System. *Journal of Mathematics and Statistical Science*, Volume 2016, pp. 208-216.

WIENER, Norbert, 1948. Cybernetics or control and communication in the human and machine, *MIT*, 1948

ZHANG, Li-Chun, 2012. Topics of statistical theory for register-based statistics and data integration. In : *Statistica Neerlandica* (2012) Vol. 66, nr. 1, pp. 41–63

ZHANG, Li-Chun, 2021. On provision of UK neighbourhood population statistics beyond 2021. *University of Southampton. ArXiv*, 4 nov 2021
# Annexe 1 : Typologies possibles pour les données administratives

Le terme « sources administratives » englobe un ensemble de données d'origine, de nature qui peuvent être très différentes. On trouve peu de tentatives de typologie dans la littérature (Unece 2011; G. J. Brackstone 1987). On va présenter trois typologies existantes, et en proposer ici une quatrième.

## Typologie proposée par l'Unece en 2011

L'Unece propose une approche thématique, en partie liée à l'organisation administrative. Dans le handbook de 2011 sont listées les thématiques suivantes :

### Données fiscales

- Impôt sur le revenu des personnes physiques

- Taxe sur la valeur ajoutée (TVA)

- Impôt sur les entreprises et les bénéfices

- Impôts fonciers

- Droits d'importation / d'exportation

### Données relatives à la sécurité sociale

- Cotisations

- Prestations

- Pensions

### Dossiers de santé / d'éducation

### Systèmes d'enregistrement des personnes / entreprises / biens / véhicules

### Cartes d'identité / passeports / permis de conduire

### Registres électoraux

### Registre des exploitations agricoles

### Registres des conseils locaux

### Permis de construire

### Systèmes de licences, par exemple pour la télévision, la vente de produits soumis à des restrictions

### Comptes publiés des entreprises

### Données comptables internes détenues par les entreprises

### Entreprises privées détenant des données :

- Agences de crédit

- Analystes d'entreprise

- Sociétés de services publics

- Annuaires téléphoniques

- Détaillants avec cartes de magasin, etc.
## Typologie proposée par l'Unece en 2018

En 2018, l'Unece présente dans une conférence un niveau plus agrégé de distinction des sources, en fonction d'un objectif général du processus administratif :

- Données communiquées aux autorités administratives par des personnes physiques ou morales pour se conformer à la loi ou pour accéder à des services publics

- Données enregistrant les décisions prises par les autorités administratives

- Données générées par les autorités administratives pour soutenir la planification, la mise en œuvre, le suivi et l'évaluation des programmes administratifs

## Typologie proposée par Statistique Canada en 1987

En remontant un peu plus loin dans le passé, Brackstone a également tenté l'exercice à Statistique Canada. Il s'appuie sur les objectifs des sources, ceux-ci ayant un impact sur la couverture et la qualité des données :

1. Registres tenus pour réguler les flux de biens et de personnes à travers les frontières : Il s'agit des registres des importations, des exportations, de l'immigration et de l'émigration.

2. Documents résultant de l'obligation légale d'enregistrer des événements particuliers.
Les exemples incluent les naissances, les décès, les mariages, les divorces, les incorporations ou fusions d'entreprises, les licences, etc.

3. Documents nécessaires à l'administration des prestations ou des obligations.
Il s'agit par exemple des impôts, de l'assurance chômage, des pensions, de l'assurance maladie et des allocations familiales.

4. Documents nécessaires à l'administration des institutions publiques.
Exemples : les documents relatifs aux écoles, aux universités, aux établissements de santé, aux tribunaux et aux prisons.

5. Documents découlant de la réglementation gouvernementale de l'industrie. Il s'agit par exemple des documents relatifs aux transports, à la banque, à la radiodiffusion et aux télécommunications.
Il s'agit également des documents résultant de la gestion de l'offre ou du prix de certains produits, en particulier dans le domaine de l'agriculture.

6. Documents relatifs à la fourniture de services d'utilité publique.
Il s'agit des services d'électricité, de téléphone et d'eau.

## Proposition de typologie

Dans les typologies qui précèdent, on voit apparaître différents critères de regroupement : il peut s'agir de prendre en compte la thématique, ou bien de distinguer les données en fonction de la finalité du processus administratif ou de l'entité à l'origine de la donnée.

Certaines données sont liées à un évènement réel : elles peuvent constituer un enregistrement de cet évènement (naissance, décès) ou au contraire, c'est la démarche administrative qui entérine l'évènement
(création d'entreprise, transaction immobilière, mariage). Enfin, certaines données sont des décisions de gestion administratives, sans lien formel avec un évènement de la vie réelle.

Deux critères semblent plus discriminants pour décrire les forces et faiblesses des différents types de sources, comparativement au cadre plus familier des enquêtes : l'entité à l'origine de la donnée (l'administration ou non) et le lien avec un évènement de la vie réelle. On fait l'hypothèse sous-jacente que la manière dont naissent les données influe de manière substantielle sur leurs caractéristiques.

On propose ci-dessous de distinguer six types de données administratives, en cherchant à mettre en évidence certaines caractéristiques fortement liées au processus dans lequel elles naissent :

1. Les déclarations régulières ;

2. Les déclarations ponctuelles ;

3. Les demandes d'accès à certains droits, services ;

4. Les données de gestion de l'activité administrative ;

5. Les répertoires ;

6. Les données issues de capteurs ou traceurs.

Il est important de préciser à ce stade qu'un jeu de données fourni par une administration peut être un ensemble composite de ces différents types de données.

## 1) Les déclarations régulières

Elles sont à l'initiative de l'administration, qui définit et a une connaissance de la population assujettie. Elles se déroulent de façon répétée, et pendant une période définie. Les données sont généralement recueillies via un formulaire établi par l'administration. Les déclarations font souvent l'objet d'une réglementation, et peuvent revêtir un caractère obligatoire. L'administration définit les concepts et les listes de valeurs. Les données issues des processus concernés sont donc bien définies et maîtrisées par l'administration, en terme de champ, de concepts, de dates de référence.

C'est le cas des déclarations fiscales et sociales notamment.

Dans le cas de déclarations, l'administration peut parfois pré-remplir un certain nombre d'informations, sur la base d'éléments connus par ailleurs (les revenus salariaux pré-remplis dans la déclaration d'impôts par exemple), ou par le biais de déclarations antérieures (le portail GMBI ne demandera qu'une mise à jour des informations existantes pour sa deuxième année de collecte en 2024). Les processus de collecte organisés souffrent alors de satisficing, pouvant conduire à renseigner des informations approximatives, ou à ne pas mettre à jour des informations.

## 2) Les déclarations ponctuelles, liées à un évènement

Elles sont à l'initiative d'un usager (déclarant) mais peuvent porter sur un autre objet (naissance, décès d'un proche, création d'une entreprise, déclaration d'un accident, changement d'adresse). L'évènement, en général un évènement du monde physique, peut précéder la déclaration (naissance, décès), ou bien c'est l'enregistrement de l'évènement qui fait exister « quelque chose » (transaction immobilière, mariage, pacs, création d'entreprise). L'administration reste à l'initiative du formulaire, et donc de la structure des données collectées.

Elles se produisent dans une temporalité non contrôlée par l'administration, la survenue de l'évènement n'étant pas prévisible et son enregistrement pouvant être éloigné temporellement de l'évènement lui-même. La population d'intérêt n'est a priori pas connue, et il peut exister de la non déclaration. On peut expliciter la population « autorisée à déclarer » (habilitation à déclarer, par exemple on sait que les naissances seront déclarées par un individu), mais il peut y avoir une différence entre l'entité déclarante et l'objet concerné par la déclaration. On peut relever également que certains évènements sont uniques (théoriquement), lorsqu'ils concernent la création, l'existence d'un nouvel objet, ou bien sa suppression, sa disparition, alors que d'autres, concernant un changement d'état, pourront se produire plusieurs fois pour un même objet.
### 3) Les demandes de l'usager auprès de l'administration

Ces demandes pourront lui accorder des droits, prestations... Il peut s'agir d'une demande de retraite, de prestations sociales (allocations, subvention ou aide). La population est définie comme celle des demandeurs. Les ayant droit qui ne demandent pas ne font pas partie du champ du processus administratif, bien qu'ils puissent être des unités d'intérêt pour la statistique. Il n'y a donc pas de non déclaration, comme dans le cas précédent, mais du non recours.

Pour ces trois premiers types, la donnée administrative est la conséquence d'une interaction entre l'administration et un usager, et il y a un processus de recueil d'informations qui se rapproche d'un processus d'observation.

### 4) Les données de gestion de l'activité administrative

D'autres données sont le reflet du fonctionnement interne de l'administration. Il peut s'agir par exemple de retracer les activités de l'administration judiciaire (Chambaz, 2018). Les objets d'intérêt pour l'administration ne sont pas nécessairement ceux qui intéressent le statisticien. Les objets administratifs peuvent être difficiles à cerner et à suivre dans le temps. L'objet administratif est défini a priori, mais il peut être complexe (cf partie sur les objets dans le chapitre 2).

Lorsqu'on a affaire à des données de gestion, c'est l'administration gestionnaire qui décide des mises à jour des informations : leur évolution ne procède pas forcément d'une interaction avec l'usager (mise à jour de carrière pour les retraites, fermeture et réouverture d'offres d'emploi). La donnée n'est pas nécessairement une observation, dans ce cas il s'agit d'une décision de gestion.

Pour un même objet administratif, il est possible de disposer d'un mélange de données d'observation et de données de gestion. Selon l'organisation de l'administration, les pratiques de gestion peuvent différer d'une entité à l'autre.

On pourrait inclure dans cette catégorie des données très particulières : les paramètres du fonctionnement d'une administration (tarification, point d'indice, ...), qui sont en réalité des données de « haut niveau » permettant d'en calculer beaucoup d'autres.

### 5) Les répertoires

Ils ont une position un peu spécifique par rapport aux types de sources cités précédemment, car à certains égards, ils ne forment pas une catégorie distincte des précédentes. Leur objectif est de mettre à disposition des données de référence, pour des utilisateurs variés. Elles peuvent provenir à l'origine de déclarations, organisées par l'administration pour constituer un ensemble à partir d'informations de temporalité différente. Les répertoires, en tant que *liste d'instances d'une même entité* (Rivière, 2022) cherchent à décrire le plus exhaustivement possible l'existence des objets d'intérêt pour l'administration, en enregistrant autant que faire se peut les changements d'état ou d'attribut de ces objets.

Tout comme les jeux de données peuvent mélanger données issues de déclarations et données de gestion, certains jeux de données peuvent mélanger les informations d'un répertoire constitué par l'administration, et des données déclaratives récentes (exemple données fiscales, PAC).

### 6) Les données produites par des systèmes de mesure automatiques

Ce dernier type de source est moins fréquemment utilisé. Il peut s'agir de capteurs physiques (puces GPS de navires, mesures de trafic routier, conditions météorologiques) ou des traceurs numériques (données de cartes bancaires, utilisation de la carte vitale).
On constate à travers cette tentative de typologie que les notions d'objets, d'entité à l'origine de la donnée, et de temporalité sont importantes dans la construction des données, et par conséquent dans leur exploitation.

Quel que soit le type de donnée administrative, l'exploitation statistique se heurte à des difficultés : les concepts et nomenclatures administratifs divergent des unités d'intérêt statistique, les mécanismes de non réponse ou les problèmes de couverture du champ théorique ne sont pas connus, et de manière générale, la connaissance des processus de collecte et de traitement des données est souvent limitée.
En outre, les données sont liées à l'existence des processus qu'elles soutiennent et ceux-ci peuvent évoluer fortement voire disparaître, comme la TH récemment.

Cependant, l'origine des données conduit également à des différences : l'existence d'un protocole de collecte formalisé contribue à une proximité plus importante des données administratives et données d'enquête.

<table><caption>Tableau : Attributs des différents types de données administratives</caption><thead><tr><th rowspan="2"></th><th rowspan="2">Initiative</th><th colspan="3">Processus de collecte</th><th rowspan="2">Connaissance a priori de la population d'intérêt</th></tr><tr><th>Support de collecte défini</th><th>Période de collecte délimitée</th><th>Période de référence</th></tr></thead><tbody><tr><td>Déclaration régulière</td><td>Administration</td><td>Oui</td><td>Oui</td><td>Oui</td><td>Oui</td></tr><tr><td>Déclaration ponctuelle</td><td>Usager</td><td>Oui</td><td>Non</td><td>Oui</td><td>Non</td></tr><tr><td>Demande d'un usager</td><td>Usager</td><td>Oui</td><td>Non</td><td>Oui</td><td>Non</td></tr><tr><td>Fonctionnement interne</td><td>Administration</td><td>Non</td><td>Non</td><td>Non</td><td>Non</td></tr><tr><td>Systèmes de mesure automatisés</td><td>Administration</td><td>Oui</td><td>Non</td><td>Oui</td><td>Oui</td></tr></tbody></table>
# Annexe 2 : Dimensions pour caractériser la qualité des données administratives selon Istat

<table><thead><tr><th>Source</th></tr></thead><tbody><tr><td>Fournisseur</td></tr><tr><td>Pertinence de la source</td></tr><tr><td>Sécurité et protection des données</td></tr><tr><td>Transmission des données</td></tr><tr><td>Processus de transmission des données, Relations avec le fournisseur</td></tr></tbody></table>

<table><thead><tr><th>Métadonnées</th></tr></thead><tbody><tr><td>Clarté des concepts et définitions</td></tr><tr><td>Comparabilité des concepts et définitions</td></tr><tr><td>Clés primaires</td></tr><tr><td>Traitement des données effectué par le fournisseur</td></tr></tbody></table>

<table><thead><tr><th colspan="4">Données</th></tr><tr><th></th><th>Jeu de données</th><th>Unités</th><th>Variables</th></tr></thead><tbody><tr><th>Contrôles techniques</th><td>Accessibilité</td><td></td><td>Conformité aux définitions</td></tr><tr><th>Intégration</th><td></td><td>Comparabilité des unités (ou capacité à les transformer)</td><td>Présence de variables d'appariement comparables</td></tr><tr><th>Précision</th><td></td><td>Unités présentant des incohérences, des anomalies</td><td>Valeurs incohérentes, valeurs en anomalie</td></tr><tr><th>Complétude</th><td></td><td>Sur couverture, sous couverture, doublons</td><td>Valeurs manquantes, valeurs imputées</td></tr><tr><th>Dimension temporelle</th><td>Délai par rapport à la période de référence</td><td>Evolution des unités dans le temps (sorties et entrées de champ)</td><td>Stabilité des définitions</td></tr></tbody></table>
# Annexe 3 : Liste des sources de données administratives citées en exemple

La liste des sources administratives présentée ci-dessous se limite aux principales sources évoquées dans le document, en ayant en tête la difficulté que pose la notion même de source, vue au chapitre 3c notamment. On va les décliner par thème.

## Données fiscales :

**TH** : taxe d'habitation. Jusqu'en 2022, tous les logements étaient soumis à la taxe d'habitation, les déclarants étant les occupants. A partir de 2023, seules les résidences secondaires et vacances y sont soumises.

**GMBI** : Gérer mes biens immobiliers est une source fiscale sur les locaux d'habitation. Les propriétaires sont soumis à déclaration de leurs locaux, ainsi que des occupants éventuels.

**POTE** : déclaration d'impôts sur le revenu des personnes.

**Liasses** : déclarations fiscales des entreprises. Elles portent sur les comptes de résultat, mais également le bilan, les immobilisations et amortissements.

**Cadastre (ou Majic)** : Majic signifie mise à jour des informations cadastrales. Cette source répertorie les parcelles non bâties, bâties. Elle apporte de l'information également sur le bâti, les locaux, et leurs propriétaires.

## Données sociales :

**DSN (déclaration sociale nominative)** :

> « La Déclaration sociale nominative (DSN) – est un fichier mensuel produit à partir de la paie destinées à communiquer les informations nécessaires à la gestion de la protection sociale des salariés aux organismes et administrations concernées. »

**Pasrau (passage des revenus autres)** :

> « Le dispositif PASRAU (Prélèvement à la source pour les Revenus Autres) résulte de travaux de simplification et de rationalisation des déclarations sociales. Il est le prolongement logique de la DSN, qui a constitué ces dernières années une simplification majeure des procédures déclaratives concernant les salaires et les revenus versés par un employeur. Ce dispositif, fondé sur la norme NEORAU, complète donc la DSN (fondée sur la norme NEODeS) pour les « revenus de remplacement ». »

**DRM (Dispositif de revenus mensuels)** :

> « Le DRM est constitué de trois traitements de données : une base de données alimentée mensuellement par les données issues de la « déclaration sociale nominative » (DSN), une base de données alimentée mensuellement par des données issues du flux du « prélèvement à la source mis en œuvre par les collecteurs n'entrant pas dans le champ de la déclaration
sociale nominative ou versant des revenus de remplacement » (PASRAU) et un service de restitution. Ce dispositif centralise la quasi-totalité des données relatives aux revenus de la population connus de l'administration fiscale. »

CNAF : caisse nationale des allocations familiales

CNAV : caisse nationale de l'assurance vieillesse

RGCU : répertoire général des carrières unique

Autres données mentionnées :

Cartes grises : il s'agit d'un fichier repértoriant les véhicules et leurs propriétaires.

PAC : politique agricole commune : ces données comportent les demandes d'aide des exploitations agricoles. Elles sont fournies par l'Agence de services et de paiement (ASP).
Série des Documents de Travail
« Méthodologie Statistique »

9601 : Une méthode synthétique, robuste et efficace pour réaliser des estimations locales de population.

G. DECAUDIN, J.-C. LABAT

9602 : Estimation de la précision d'un solde dans les enquêtes de conjoncture auprès des entreprises.

N. CARON, P. RAVALET, O. SAUTORY

9603 : La procédure FREQ de SAS - Tests d'indépendance et mesures d'association dans un tableau de contingence.

J. CONFAIS, Y. GRELET, M. LE GUEN

9604 : Les principales techniques de correction de la non-réponse et les modèles associés.

N. CARON

9605 : L'estimation du taux d'évolution des dépenses d'équipement dans l'enquête de conjoncture : analyse et voies d'amélioration.

P. RAVALET

9606 : L'économétrie et l'étude des comportements. Présentation et mise en œuvre de modèles de régression qualitatifs. Les modèles univariés à résidus logistiques ou normaux (LOGIT, PROBIT).

S. LOLLIVIER, M. MARPSAT, D. VERGER

9607 : Enquêtes régionales sur les déplacements des ménages : l'expérience de Rhône-Alpes.

N. CARON, D. LE BLANC

9701 : Une bonne petite enquête vaut-elle mieux qu'un mauvais recensement ?

J.-C. DEVILLE

9702 : Modèles univariés et modèles de durée sur données individuelles.

S. LOLLIVIER

9703 : Comparaison de deux estimateurs par le ratio stratifiés et application

aux enquêtes auprès des entreprises.

N. CARON, J.-C. DEVILLE

9704 : La faisabilité d'une enquête auprès des ménages.

1. au mois d'août.

2. à un rythme hebdomadaire

C. LAGARENNE, C. THIESSET

9705 : Méthodologie de l'enquête sur les déplacements dans l'agglomération toulousaine.

P. GIRARD.

9801 : Les logiciels de désaisonnalisation TRAMO & SEATS : philosophie, principes et mise en œuvre sous SAS.

K. ATTAL-TOUBERT, D. LADIRAY

9802 : Estimation de variance pour des statistiques complexes : technique des résidus et de linéarisation.

J.-C. DEVILLE

9803 : Pour essayer d'en finir avec l'individu Kish.

J.-C. DEVILLE

9804 : Une nouvelle (encore une !) méthode de tirage à probabilités inégales.

J.-C. DEVILLE

9805 : Variance et estimation de variance en cas d'erreurs de mesure non corrélées ou de l'intrusion d'un individu Kish.

J.-C. DEVILLE

9806 : Estimation de précision de données issues d'enquêtes : document méthodologique sur le logiciel POULPE.

N. CARON, J.-C. DEVILLE, O. SAUTORY

9807 : Estimation de données régionales à l'aide de techniques d'analyse multidimensionnelle.

K. ATTAL-TOUBERT, O. SAUTORY

9808 : Matrices de mobilité et calcul de la précision associée.

N. CARON, C. CHAMBAZ

9809 : Échantillonnage et stratification : une étude empirique des gains de précision.

J. LE GUENNEC

9810 : Le Kish : les problèmes de réalisation du tirage et de son extrapolation.

C. BERTHIER, N. CARON, B. NEROS

9901 : Perte de précision liée au tirage d'un ou plusieurs individus Kish.

N. CARON

9902 : Estimation de variance en présence de données imputées : un exemple à partir de l'enquête Panel Européen.

N. CARON

0001 : L'économétrie et l'étude des comportements. Présentation et mise en œuvre de modèles de régression qualitatifs. Les modèles univariés à résidus logistiques ou normaux (LOGIT, PROBIT) (version actualisée).

S. LOLLIVIER, M. MARPSAT, D. VERGER

0002 : Modèles structurels et variables explicatives endogènes.
J.-M. ROBIN

0003 : L'enquête 1997-1998 sur le devenir des personnes sorties du RMI - Une présentation de son déroulement.

D. ENEAU, D. GUILLEMOT

0004 : Plus d'amis, plus proches ? Essai de comparaison de deux enquêtes peu comparables.
O. GODECHOT

0005 : Estimation dans les enquêtes répétées : application à l'Enquête Emploi en Continu.

N. CARON, P. RAVALET

0006 : Non-parametric approach to the cost-of-living index.

F. MAGNIEN, J. POUGNARD

0101 : Diverses macros SAS : Analyse exploratoire des données, Analyse des séries temporelles.

D. LADIRAY

0102 : Économétrie linéaire des panels : une introduction.

T. MAGNAC

0201 : Application des méthodes de calages à l'enquête EAE-Commerce.

N. CARON

C 0201 : Comportement face au risque et à l'avenir et accumulation patrimoniale - Bilan d'une expérimentation.

L. ARRONDEL, A. MASSON, D. VERGER

C 0202 : Enquête Méthodologique Information et Vie Quotidienne - Tome 1 : bilan du test 1, novembre 2002.

J.-A. VALLET, G. BONNET, J.-C. EMIN, J. LEVASSEUR, T. ROCHER, P. VRIGNAUD, X. D'HAULTFOEUILLE, F. MURAT, D. VERGER, P. ZAMORA

0203 : General principles for data editing in business surveys and how to optimise it.

P. RIVIERE

0301 : Les modèles logit polytomiques non ordonnés : théories et applications.

C. AFSA ESSAFI

0401 : Enquête sur le patrimoine des ménages - Synthèse des entretiens monographiques.

V. COHEN, C. DEMMER

0402 : La macro SAS CUBE d'échantillonnage équilibré

S. ROUSSEAU, F. TARDIEU

0501 : Correction de la non-réponse et calage de l'enquêtes Santé 2002

N. CARON, S. ROUSSEAU
**0502** : Correction de la non-réponse par répondération et par imputation
**N. CARON**

**0503** : Introduction à la pratique des indices statistiques - notes de cours
**J-P BERTHIER**

**0601** : La difficile mesure des pratiques dans le domaine du sport et de la culture - bilan d'une opération méthodologique
**C. LANDRE, D. VERGER**

**0801** : Rapport du groupe de réflexion sur la qualité des enquêtes auprès des ménages
**D. VERGER**

**M2013/01** : La régression quantile en pratique
**P. GIVORD, X. D'HAULTFOEUILLE**

**M2014/01** : La microsimulation dynamique : principes généraux et exemples en langage R
**D. BLANCHET**

**M2015/01** : la collecte multimode et le paradigme de l'erreur d'enquête totale
**T. RAZAFINDROVONA**

**M2015/02** : Les méthodes de Pseudo-Panel
**M. GUILLERM**

**M2015/03** : Les méthodes d'estimation de la précision pour les enquêtes ménages de l'Insee tirées dans Octopus
**E. GROS, K. MOUSSALAM**

**M2016/01** : Le modèle Logit Théorie et application.
**C. AFSA**

**M2016/02** : Les méthodes d'estimation de la précision de l'Enquête Emploi en Continu
**E. GROS, K.MOUSSALAM**

**M2016/03** : Exploitation de l'enquête expérimentale
Vols, violence et sécurité.
**T. RAZAFINDROVONA**

**M2016/04** : Savoir compter, savoir coder. Bonnes pratiques du statisticien en programmation.
**E. L'HOUR, R. LE SAOUT, B. ROUPPERT**

**M2016/05** : Les modèles multiniveaux
**P. GIVORD, M. GUILLERM**

**M2016/06** : Econométrie spatiale : une introduction pratique
**P. GIVORD, R. LE SAOUT**

**M2016/07** : La gestion de la confidentialité pour les données individuelles
**M. BERGEAT**

**M2016/08** : Exploitation de l'enquête expérimentale
Logement internet-papier
**T. RAZAFINDROVONA**

**M2017/01** : Exploitation de l'enquête expérimentale
Qualité de vie au travail
**T. RAZAFINDROVONA**

**M2018/01** : Estimation avec le score de propension
**R. S. QUANTIN**

**M2018/02** : Modèles semi-paramétriques de survie en temps continu sous
**R. S. QUANTIN**

**M2019/01** : Les méthodes de décomposition appliquées à l'analyse des inégalités
**B. BOUTCHENIK, E. COUDIN, S. MAILLARD**

**M2020/01** : L'économétrie en grande dimension
**J. L'HOUR**

**M2021/01** : R Tools for JDemetra+ - Seasonal adjustment made easier
**A. SMYK, A. TCHANG**

**M2021/02** : Le traitement du biais de sélection endogène dans les enquêtes auprès des ménages par modèle de Heckman
**L. CASTELL, P. SILLARD**

**M2021/03** : Conception de questionnaires auto-administrés
**H. KOUMARIANOS, A. SCHREIBER**

**M2022/01** : Introduction à la géomatique pour le statisticien : quelques concepts et outils innovants de gestion, traitement et diffusion de l'information spatiale
**F. SEMECURBE, E. COUDIN**

**M2022/02** : Le zonage en unites urbaines 2020
**V. COSTEMALLE, S. OUJIA, C. GUILLO, A. CHAUVET**

**M2023/01** : Les réseaux de neurones appliqués à la statistique publique : méthodes et cas d'usages
**D. BABET, Q. DELTOUR, T. FARIA, S. HIMPENS**

**M2023/02** : Redressements de la première vague de l'enquête epicov : un exemple de correction des effets de sélection dans les enquêtes multimodes
**L.CASTELL, C. FAVRE-MARTINOZ, N. PALIOD, P. SILLARD**

**M2023/03** : Appariements de données individuelles : concepts, méthodes, conseils
**L.MALHERBE**

**M2023/04** : Victimations déclarées et effets de mode : enseignements de l'expérimentation panel multimode de l'enquête cadre de vie et sécurité
**L. CASTELL, M. CLERC, D. CROZE, S. LEGLEYE, A. NOUGARET**

**M2024/01** : Estimation en temps réel de la tendance-cycle : apport de l'utilisation des filtres asymétriques dans la détection des points de retournement
**A.QUARTIER-LA-TENTE**

**M2024/02** : La disponibilité des coordonnées de contact dans fidéli-nautile - quels enseignements pour les protocoles de collecte ?
**G. CHARRANCE (INED)**

**M2024/03** : Discuter l'existence d'un effet de sélection dans un cadre multimode grâce à une analyse de sensibilité - Application aux enquêtes annuelles de recensement
**L. COURT, S. QUANTIN**

**M2024/04** : Vers une désaisonnalisation des séries temporelles infra-mensuelles avec JDemetra+
**A. SMYK, K. WEBEL**

**M2025/01** : Les estimations par capture-recapture ou par système multiple : quelques éléments théoriques
**P. ARDILLY, H. KOUMARIANOS**

**M2025/02** : Tests cognitifs pour les enquêtes auto-administrées : quelques éléments de méthode
**D. GUILLEMOT, J. DIRAND, C. FLUXA**

**M2025/03** : statistiques fondées sur des données administratives - esquisse d'un cadre général
**H. KOUMARIANOS, P. RIVIÈRE**