Jeu de données : Fichier des personnes décédées
Titre : Erreurs rencontrées dans les fichiers de l'INSEE
Date : 2019-12-26 01:51

Après avoir pas mal travaillé sur les fichiers de l'INSEE, voici les erreurs que j'y ai rencontrées pour le moment :
-> code postal au lieu du code INSEE pour les décès (code INSEE inexistant mais code existant en code postal, principalement Paris et l'Outre-Mer)
-> date du décès à la place de la date de naissance (vérifié avec acte de naissance)
-> lieu du décès à la place du lieu de naissance (vérifié avec acte de naissance)
-> faute de frappe sur le nom (U au lieu de I, acte de décès manuscrit - M au lieu de H...)
-> faute de frappe sur la date (91xx au lieu de 19xx par exemple)
-> décès en double (plus de 300 000 lignes dupliquées)

j'y ajouterai des caractères casse-pieds (null, xf6) qui apportent des décalages lors du décodage (ex COMETTO*SILVESTRO dans le fichier 1996, GARCIA*ANDRE RAYMOND en 2006) mais cela vient de ma plateforme de traitement aussi je pense 
des deces rangés dans des fichiers qui ne sont pas les bons (la plupart du temps, dans des fichiers postérieurs, par ex le fichier de 1998 commence par des deces de 1996) 
je me suis également posé une question, le numero de l'acte de deces est censé etre stocké sur 9 caracteres. Mais il semble qu'encore apres ces caractères il y en ait d'autres parfois... font ils partie de cette référence d'acte ou pas?
concernant les deces en double cela ne viendrait il pas des fichiers de 2019 ou les fichiers trimestre récapitulent les 3 mois passsés? je me suis posé la question mais je n'ai pas trouvé de documentation...
et n'oublions pas les dates inexistantes (29 février 1900), les jours de décès à 00
Pour les caractères après le numéro de l'acte, la documentation sur le site de l'INSEE (https://insee.fr/fr/statistiques/fichier/4190491/Dessin_fichier_deces.pdf) indique :
177 - 198 : Zone à blanc ou renseignée selon autorisation

Pour les décès en doubles, cela ne concerne pas uniquement les décès de 2019 (les fichiers trimestriels sont juste la concaténation des 3 fichiers mensuels). J'ai aussi trouvé le même décès avec et sans numéro d'acte, ou avec le sexe 1 et 2.

Les décès sont enregistrés quand l'INSEE en a connaissance ce qui explique la présence de décès d'années antérieures dans les fichiers

Il y a effectivement quelques caractères qui ne sont pas passés lors de l'import en base de données, j'ai dû les supprimer pour pouvoir continuer.

J'ai regardé les cas de jour à 0 pour les décès à Paris (registres en ligne jusqu'en 1986), et donc suivant les cas soit le jour figure dans l'acte, soit c'est quelqu'un qui a été retrouvé mort et le jour du décès est inconnu. Cependant la plupart  des cas sont des les fichiers de 2011 à 2016, le numéro d'acte indiqué ne correspond pas à l'acte de l'année du décès.

J'ai aussi des lieux de décès non renseignés.
merci pour le lien Yves, exactement ce qu'il me fallait! ça ne va pas me permettre de tout traiter, mais je devrais mieux appréhender certaines choses :)
Dans la version agrégée en CSV, l'année 2017 s'arrête à 40 000 lignes, il doit manquer des enregistrements. (Je découvre ce site, j'ai peut-être manqué des épisodes...)
Attention un contributeur a eu la gentillesse de faire les extractions avec une mise en forme du fichier INSEE, mais de vos fichiers, il manque beaucoup d'informations. sur 400 extractions concernant mon patronyme, il en manque autant, ces informations sont bien dans les fichiers d'origine.. ce qui m'oblige à pointer le tout et à réintégrer les manquants avec un traitement dommage
J'ai commencé à tenter quelques importations vers Access, et effectivement, il manque des morceaux dans le fichier Excel, par exemple, en 2012, il doit manquer 200 000 lignes, je confirme pour que les déçus partent plutôt du fichier texte. En plus, convertissant les années 70, me suis rendu compte que le nombre de champs évolue dans les premières années. Converties brutes, les années 70 donnent déjà un fichier de 1.2 GO...
J'ignore s'il y a lieu de qualifier d'erreur ou d'ommission, mais ayant parcouru tout le fichier pour l'année 1977, je n'ai pas retrouvé le nom d'une personne décédée à Lille en 1977, alors qu'il est certain qu'elle y est décédée en février 1977.  Comment expliquer ?
Tout est expliqué ici: https://www.insee.fr/fr/statistiques/fichier/4190491/Dessin_fichier_deces.pdf
Franck, je viens de lire ton message.  Merci pour les infos fournies !    Mon problème c'est surtout que je retrouve pas dans les fichiers des personnes dont il est certain qu'elles sont décédées en France. P.ex. je ne retrouve pas François-Xavier Blondeel, qui est décédé à Lille en février 1977, alors que sa veuve, décédée en septembre 1988 y est reprise.  Dans tous les cas "problématiques', il s'agit d'une personne née en Belgique, mais décédée en France, ce qui me fait penser que les carences ont un lien avec le lieu de naissance du défunt non repris dans les fichiers.   Je constate dans la discussion ci-dessous que plusieurs personnes éprouvent le même problème. 
Le fait que la personne soit étrangère n'est pas un cas d'école. La première femme de l'acteur Michel Piccoli s'y trouve, mais sous sa graphie de naissance Leonora Virginia Hirt. Par contre si la ville n'a pas transmis l'information à l'INSEE?
Je crois qu'il n'y a pas d'autre explication raisonnable: les communes sont restées en demeure d'assurer la transmission des informations. Dans 3 cas qui m'occupent le lieu du décès est une commune de quelques centaines d'habitants où la mairie n'est ouverte au public qu'un jour par semaine et qui ne dispose pas d'un propre site ....
On peut continuer en privé svp, mon adresse est francktomi at gmail.com. On peut peut être trouver un mail
DELETED

Annotation : Erreur dans les données fournies  (Fiabilité )