Jeu de données : Fichier des personnes décédées
Titre : Fichier des personnes décédées Décès
Date : 2019-12-11 07:21

Bonjour,
Sur le site data.gouv;fr, il me semble que les fichiers sont incomplets. Par exemple ceux du début des années 70, ne contiennent qu'entre 127 000 et 336 000 décès. Alors que pour ces années là le nombre de décès est supérieur à 500 000 selon l'Insee.
A l'inverse, pour d'autres années, par exemple 1999, on trouve près de 700 000 enregistrements, alors que le nombre de décès (toujours source Insee, est inférieur à 600 000).
Par ailleurs, certains enregistrements ne semblent pas correspondre au dessin de fichier fourni, notamment pour quelques individus nés à l'étranger.
bonsoir, j'ai trouvé effectivement moi aussi des erreurs : fichiers 2006 et 1995, il y a une ligne contenant des caractères NUL, décalant le décodage des fichiers. et d'autres contiennent aussi des caractères bizarres. Winklarik , SAunders, pas mal d'espagnols... et mon décodage n'est pas encore fini...
Certaines données sont en effet mal formatées ou avec un formatage non conforme ou avec des données manquantes :

Des requêtes permettant de retrouver certaines de ces personnes sur le tableau de bord :

Date de naissance incorrect
https://opendata.bebert.ovh/app/kibana#/discover?_g=(refreshInterval:(pause:!t,value:0),time:(from:now-2020y%2Fy,to:now))&_a=(columns:!(Nom,Prenom,Ages,DateDeces,DateNaissance,message),index:ca3f4f10-1c66-11ea-be03-0be16fd0a484,interval:auto,query:(language:kuery,query:'Ages+%3C+0'),sort:!(!('@datedeces',desc)))

Date de décès incorrect
https://opendata.bebert.ovh/app/kibana#/discover?_g=(refreshInterval:(pause:!t,value:0),time:(from:now-2020y%2Fy,to:now))&_a=(columns:!(Nom,Prenom,Ages,DateDeces,DateNaissance,message),index:ca3f4f10-1c66-11ea-be03-0be16fd0a484,interval:auto,query:(language:kuery,query:'Ages%20%3E%20120'),sort:!(!('@datedeces',desc)))

Nom/Prénom manquant
https://opendata.bebert.ovh/app/kibana#/discover?_g=(refreshInterval:(pause:!t,value:0),time:(from:now-2020y%2Fy,to:now))&_a=(columns:!(Nom,Prenom,Ages,DateDeces,DateNaissance,message),index:ca3f4f10-1c66-11ea-be03-0be16fd0a484,interval:auto,query:(language:kuery,query:'not%20Prenom.keyword%20:*%20or%20not%20Nom.keyword%20:*'),sort:!(!('@datedeces',desc)))
a destination de tous ceux que ces requetes interessent:  les liens cliquables ne prennent pas tout le lien, je viens de m'en apercevoir. du coup il faut prendre tout le lien, copier coller dans l'url de son navigateur
pour les dates de naissance incorrectes : je pense qu'il y a souci de décodage pour certaines lignes, les caractères NUL ne sont pas pris en compte et amenent un décalage dans les données : ex SAUNDERS et VINKLARIK
pour les dates de deces incorrectes, cela remonte des dates de naissances vides :)
pour les nom/prenoms manquants, la requete ne se lance pas...

Merci Julien !
Je tombe par hasard sur ce défaut dans le fichier 1999 : on trouve 13 fois la même personne :
	Line 342831: COURTIN*MICHEL GEORGES PIERRE HENRI/                                            11928060502387ITANCOURT                                                   1999061684087000000241N             00000000
	Line 342840: COURTIN*MICHEL GEORGES PIERRE HENRI/                                            11928060502387ITANCOURT                                                   1999061684087000000241N             00000000
	Line 342904: COURTIN*MICHEL GEORGES PIERRE HENRI/                                            11928060502387ITANCOURT                                                   1999061684087241      N             00000000
	Line 374637: COURTIN*MICHEL GEORGES PIERRE HENRI/                                            11928060502387ITANCOURT                                                   1999061684087241      N             00000000
	Line 374676: COURTIN*MICHEL GEORGES PIERRE HENRI/                                            11928060502387ITANCOURT                                                   1999061684087241      N             00000000
	Line 385778: COURTIN*MICHEL GEORGES PIERRE HENRI/                                            11928060502387ITANCOURT                                                   1999061684087241      N             00000000
	Line 385815: COURTIN*MICHEL GEORGES PIERRE HENRI/                                            11928060502387ITANCOURT                                                   1999061684087241      N             00000000
	Line 391318: COURTIN*MICHEL GEORGES PIERRE HENRI/                                            11928060502387ITANCOURT                                                   1999061684087241      N             00000000
	Line 419226: COURTIN*MICHEL GEORGES PIERRE HENRI/                                            11928060502387ITANCOURT                                                   1999061684087241      N             00000000
	Line 419267: COURTIN*MICHEL GEORGES PIERRE HENRI/                                            11928060502387ITANCOURT                                                   1999061684087241      N             00000000
	Line 419305: COURTIN*MICHEL GEORGES PIERRE HENRI/                                            11928060502387ITANCOURT                                                   1999061684087241      N             00000000
	Line 419342: COURTIN*MICHEL GEORGES PIERRE HENRI/                                            11928060502387ITANCOURT                                                   1999061684087241      N             00000000
	Line 419383: COURTIN*MICHEL GEORGES PIERRE HENRI/                                            11928060502387ITANCOURT                                                   1999061684087241      N             00000000

sur ce cas on a présence de doublons parfaits.... pas très propres ces fichiers hein.... mais ils sont tellement utiles que ce n'est pas grave... en espérant que cela ne cache pas d'autres soucis!
Bonjour,

J’ai établi quelques statistiques sur ces fichiers. J’ai considéré qu’une date comme 19800000 (mois et jours inconnus) ou 19800500 (jour inconnu) était correcte, mais qu’une date comme 19800001 était incorrecte. J’ai signalé à part les dates comme 00000000 qui peuvent être interprétées comme « inconnue ». Pour les doublons, ils sont détectés par les ajouts des années dans l’ordre chronologique. Voici ce que ça donne :

Doublons :
1971 (1), 1973 (2), 1975 (2), 1976 (3), 1985 (2), 1986 (3), 1987 (1), 1988 (1), 1989 (17), 1990 (47407), 1991 ( 2135), 1992 (2288), 1993 (742), 1994 (6996), 1995 (1609), 1996 (11124), 1997 (42869), 1998 (5081), 1999 (62185), 2000 (6311), 2001 (3093), 2002 (1749), 2003 (1567), 2004 (1468), 2005 (1319), 2006 (1277), 2007 (1131), 2008 (1248), 2009 (1319), 2010 (2014), 2011 (89), 2012 (550), 2013 (217), 2014 (185), 2015 (207), 2016, (141), 2017 (93), 2018 (120)

Dates incorrectes :
1972 (1), 1973 (2), 1974 (1), 1975 (1), 1977 (1), 1979 (3), 1980 (3), 1983 (1), 1986 (1), 1988 (1), 1990 (5), 1991 (4), 1992 (4), 1993 (3), 1994 (1), 1995 (1), 1996 (2 + 2 inconnues), 1997 (3 + 5 inconnues),  1998 (14 inconnues), 1999 (1 + 2 inconnues), 2000 (1), 2002 (2), 2009 (5), 2010 (6 + 519 inconnues), 2013 (1 inconnue), 2014 (1 inconnue), 2015 (1 inconnue), 2017 (1 inconnue).

Codes de lieu incorrects (le plus souvent vides) :
2010 (1318), 2011 (5703), 2012 (911), 2013 (1267), 2014 (1479), 2015 (286), 2016 (3), 2017 (4), 2018 (5)

Caractères invalides :
1995 : dans le lieu de naissance ligne 16240
2000 : dans le lieu de naissance ligne 556171
2005 : dans le lieu de naissance ligne 733
2006 : dans le lieu de naissance ligne 142745

Longueur d’enregistrement incorrecte :
2017 : lignes 40058, 185749, 609228
2018 : lignes 219888, 281506, 290928, 333158 et 413327

Malgré tout, le nombre d’erreurs reste toujours acceptable par rapport au nombre d’enregistrements. Prenons 2018 qui est une bonne année. Le fichier contient 620118 lignes. Il y a 120 doublons, ce qui est très peu. Il n’y a aucune erreur de date visible, trois codes de lieu sont non renseignés et deux sont partiellement renseignés. Cinq lignes font plus de 198 caractères, la longueur attendue, mais cela peut facilement être pris en compte.

Pour une mauvaise année comme 2010, le fichier contient 551015 enregistrements dont 2014 doublons, soit 0,36%. Il y a 6 dates incorrectes et 519 dates non renseignées (00000000). Même si ce dernier nombre est nettement plus élevé que celui de toutes les autres années cumulées, il ne représente que 0,04% des dates de cette année ! Enfin, il y a 1318 codes de lieux non renseignés, là encore une valeur élevée si on compare aux années précédentes et aux années les plus récentes, mais qui reste relativement faible.

Le problème n’est donc pas trop la validité des données, même si des dates incorrectes comme le 29 février 1900 ou le 31 juin 1901 sont le signe d’un réel problème, mais leur fiabilité. Par exemple, le lieu de décès de mon père est indiqué comme étant Toulouse au lieu de Tonnerre. Ce genre d’erreur, qui ne peut pas être détecté sans recoupement avec une autre source d’information, est certainement le plus redoutable. Je suis tombé dessus lors de la première recherche que j’ai faite. Pas de chance peut-être et il est vrai que mes recherches suivantes ne m’ont pas permis de trouver d’erreur flagrante. Mais, personnellement, je prends ces données pour ce qu’elles sont : une source très utile, mais certainement pas une référence.

Or, malheureusement, ces données sont bel et bien utilisées comme référence par les sites de généalogie. C’est d’ailleurs via Généanet que j’ai trouvé l’erreur sur le lieu de décès.  On sait que la fiabilité des données présentées sur ces sites, par ailleurs très utiles, laisse souvent à désirer. Voilà donc qui ne va pas améliorer la situation.

Merci Sébastien et Luc! C'est évident que ces fichiers sont très utiles malgré les erreurs de formatage ou autres qui peuvent exister. La mise en garde est claire : 
"L’Insee ne peut garantir que les fichiers des personnes décédées sont exempts d’omissions ou d’erreurs ; il ne saurait encourir aucune responsabilité quant à l’utilisation faite des informations contenues dans ces fichiers.
En particulier, les informations contenues dans ces fichiers ne peuvent en aucun cas être utilisées dans un but de certification du statut vital des personnes."
Mais on aurait pu s'attendre de la part d'un service officiel à des fichiers un peu plus fiables.....
Geneanet n'a fait qu'une mise en forme de ces fichiers sans intervenir sur les données donc on retrouve dans Geneanet les mêmes erreurs. En cherchant la personne dont je disais dans un autre message qu'elle apparaissait 13 fois dans le fichier 1999, on la trouve bien 13 fois dans Geneanet.
Dommage pour les erreurs mais ces fichiers sont cependant très utiles. Malgré quelques incompréhensions, j'ai trouvé beaucoup de réponses.

Annotation : Erreur dans les données fournies  (Fiabilité )