Jeu de données : Données hospitalières relatives à l'épidémie de COVID-19
Titre : Profondeur temporelle des fichiers
Date : 2020-05-27 08:54

Bonjour, 
Les fichiers sont mis à jour tous les jours ou presque. 
Je serais intéressé pour reconstruire des changements / erreurs, mais pour cela il faudrait que l'on puisse accéder à l'ensemble des fichiers horodatés sur cette source afin de constater les erreurs en regardant la date à date (le fichier le 26 / 05, le fichier le 25/05, le fichier le 24/05, etc.). Pensez vous cela possible? 

Bonjour, 

M. X avait commencé à regarder cela aussi. Je ne le vois plus (trop) actif depuis quelques jours. 
C'est aussi lui qui m'avait rappelé ce site: https://web.archive.org/web/*/https://www.data.gouv.fr/fr/datasets/donnees-hospitalieres-relatives-a -lepidemie-de-covid-19 /
Cela ne remonte que jusqu'au 28 Mars alors que les toutes premières données fournies par SPF / ETALAB datent du 18 Mars. Il vous manquera donc 10 jours. 
Sinon pour les dates entre le 15 et ce jour, vous pouvez aussi prendre les fichiers donnees-hospitalieres-covid19- <horodatage> -complet.csv que je fournis. Comme le 14 Mai SPF / ETALAB n'a pas mis le fichier à disposition, je l'ai reconstruit (suite aux indications de M. X.). J'ai aussi fourni le fichier complet (au départ je l'ai appelé 'corrigé' mais cela ne signifie pas grand-chose: corrigé de quoi?) Le 15 et des membres de la communauté m'ont demandé de le fournir chaque jour . Ce que je m'emploie à faire (parfois avec un peu de retard). Car les données du 14 Mai semblent bel et bien définitivement perdues ...
Si vous les voulez, j'ai aussi fait un csv dans lequel il n'y a que les données du 14 Mai: donnees-manquantes-14-mai.csv 
Bonjour, 
Merci pour votre réponse rapide, j'étais en train de travailler sur les données sur github, notamment sur la version consolidée, et je viens de moi rapeller qu'il y avait aussi les données "santé publique france" à différentes dates (vu qu'ils sont utilisés pour fournir une vision consolidées), dont celle du 14 mai je pense. 

https://github.com/opencovid19-fr/data/commits/master/data-sources/sante-publique-france


 Cependant j'ai l'impression qu'il n'y a que des ajouts date par date à ce fichier , donc les corrections sont déjà intégrées je suppose?
Tout dépend de quels fichiers on parle. M. X, qui a analysé la question, indique dans les messages antérieurs sur ce même fil que les fichiers 'données hospitalières' ne sont jamais remis à jour a posteriori. SPF / ETALAB ne fait qu'y ajouter la nouvelle journée. Ce qui fait d'ailleurs que la journée du 14 Mai est 'perdue'. 
Pour d'autres fichiers, comme les fichiers sursaud, j'avais indiqué que ces fichiers étaient remis à jour: je me suis fait avoir, avec un autre membre nous n'avions pas les mêmes chiffres et c'est parce que lui reprenait l 'intégralité du fichier mis à disposition alors que moi je ne faisais qu'ajouter la nouvelle journée. Et 5 jours avant la date de cette constatation, les chiffres avaient été modifiés.
Quand je dis 'M. X ': je suis d'accord avec lui: les fichiers ne sont (probablement, pour moi n'ayant pas approfondi comme l'a fait M. Olivier B la question) pas remis à jour: une fois qu'un chiffre a été fourni, il n'est plus revu.
Sauf à faire des corrections comme indiqué dans les notes ci-dessus: si jamais quelqu'un est diagnostiqué covid-19 à son entrée à l'hôpital parce qu'il ou elle en a les symptômes mais que tests faits, ce n'est pas le cas, il ou elle est retiré du fichier plus tard par un -1. Donc certaines journées, si on analyse par département (échelle la plus petite dans ces fichiers) on arrive à avoir des entrées en hospitalisations négatives, ou des "résurrections" ...: 2 morts pour cause de covid-19 un jour, et 3 jours plus tard on se rend compte que pour une des 2 c'était négatif au test, donc -1 dans le fichier. Sur les départements à fortes entrées (Ile De France / Grand ESt / Hauts de France) cela passe inaperçu (-1 sur 15 entrées, ça fait 14) mais sur des départements relativement épargnés par le covid-19, si aucune entrée ne se fait une journée, le -1 est apparent. Et parait aberrant.
Pour le github: oui il y en a plein. 
Les données les plus fiables sont celles du site GEODES (SPF) mais cela demande un peu de boulot (explications ci-dessous données par M. Olivier B). Il y a même celles du 14 mai ... pour dire. 
Effectivement je comprend mieux 
Si j'essaye de résumer: 

A - sur le github etalab, ils ne font que des ajouts avec les données SPF / Etalab. On a donc un nouveau jour de données ajoutés tous les jours au fichier. 
B - sur le site de dl des données SPF, il y avait le fichier complet, donc potentiellement les corrections faites sur les données de dates précédentes. Apparemment il serait possible de récupérer certains de ces fichiers via le webarchive (il manquera 10 jours au départ cela dit). 

Il y a donc deux types de rattrapages:
- par modification des données directement dans le fichier central, le cas B, a voir avec les fichiers que vous et M. Olivier B avait récupéré. 
- par rattrapage aj + 1, qu'il est possible de voir dans le cas A, a un échelon fin de la région / département, il semblerait qu'on pourrait quand même constater les rattrapages sous une autre forme, avec des retours en arrières dans les chiffres (ex bidon: le 22/03 on a 14, et puis le 24/03 on a d'un coup 12 décés) 

J'ai déjà un script python qui fait le travail de reconstruction historique des changements sur les données SPF / Etalab côté décés et décés EHPAD cumulées à l'échellon FRA, il y a eu quelques rattrapages. Je vais essayer de descendre à une échelle plus fine de la région.

une remarque quant aux données françaises. Quelqu'un qui a été hospitalisé à Mulhouse et qui a été transféré en Allemagne reste français (par sa nationalité) 
Il est comptabilisé à sont entrée à l'hôpital de Mulhouse, hosp et / ou réa puis sorti quand son transfert a lieu. Des fichiers délivrés au dessus. Par contre SPF en tient toujours compte. Ainsi que le gouvernement. D'où un décalage entre ce qu'on arrive à calculer et ce qui est présenté. On pense que c'est cela car nous n'avons jamais eu de retour officiel malgré de multiples relances.

Annotation : Harmonisation des données  (Exploitabilité)