Jeu de données : Données hospitalières relatives à l'épidémie de COVID-19
Titre : Données du 13 Noivembre 2020 erronées
Date : 2020-11-13 19:56

Bonjour

ETALAB : vous avez inversé les rad et les dc :

dep	sexe	jour	hosp	rea	rad	dc
1	0	12/11/2020	442	35	880	199
1	0	13/11/2020	435	30	209	906

Sur GEODES :

Même date, même département :

dc hosp réa rad
209 435 30 906

En ce moment c'est tous les jours ...
décidément...
et le glitch d'hier de quelques heures : des explications officielles svp ?

J'avais remarqué l'erreur sur les décès et effectivement cela semble être une inversion avec les RAD. Bien vu Denis ! 

C'est à n'y rien comprendre..
Merci Etalab, que de temps perdu à vérifier tous les soirs votre travail.
Fichier donnees-hospitalieres-classe-age-covid19-2020-11-13-19h00 :
- manque data de la classe d'âge 19 pour le dep 02 du 12-11-20 (ligne 47139)
- manque data de la classe d'âge 19 pour le dep 02 du 13-11-20 (ligne 47345)
- lignes 47323 à 47331 : data erronées à supprimer.
rad et dc inversés également dans le fichier donnees-hospitalieres-classe-age-covid19-2020-11-13-19h00.
Il n'y a pas seulement un problème d'inversion des colonnes rad et dc pour la journée de 12.

Comme je l'ai mentionné hier, de nombreuses régions ont “perdu” des patients entre le 11 et le 12, et pas qu’un peu : pour certaines tranches d’âge le total hosp+rad+dc a diminué, parfois de plusieurs centaines (par exemple -391 pour les 0-9 ans en Ile de France). 
Après avoir rétabli l'ordre des colonnes, j'ai vérifié qu'il y a de nombreuses lignes (concernant toutes les régions), dans lesquelles ce sont soit la valeur de rad, soit la valeur de dc, soit les deux, qui diminuent.

En revanche les données du 13 semblent cohérentes avec celles du 12 (les patients perdus n'ont pas été retrouvés...)

Bonjour à tous,

Merci de ne pas mélanger les sujets : si on veut remonter à ETALAB leur manque de sérieux, il ne faut pas que nous en fassions autant sinon on n'est pas crédible.

Les fichiers classes d'age sont par régions et pas par départements. Que le département 02 n'y soit pas, c'est normal : c'est la région 2. La région 2 correspond au département 972 (97-2). La Martinique. Il est de notoriété publique depuis des mois (depuis le tout début en fait donc le 18 Mars) que La Martinique ne remonte pas les données comme les autres. Tous les jours je dois faire une mise à jour du fichier sursaud (https://www.data.gouv.fr/fr/datasets/donnees-des-urgences-hospitalieres-et-de-sos-medecins-relatives-a-lepidemie-de-covid-19/) pour mettre des 0 là où La Martinique n'a pas remonté les info. Parfois cela reste comme cela plusieurs jours. Je ne sais pas si c'est La Martinique qui ne remonte pas les info à temps ou s'il y a un blocage entre La Martinique et la Métropole, je n'accuse personne et cela ne m'intéresse pas de savoir, ce que je saiss c'est que les données ne sont pas là.
Donc si des données ne sont pas disponibles sur GEODES, comme déjà dit maintes et maintes fois, ETALAB ne peut pas les "pondre".
Il y a donc une grosse différence entre des données correctement disponibles sur GEODES et pas sur ETALAB (sujet initial de ce post) et des données non disponibles sur GEODES. Dans 1 cas, c'est ETALAB qui est (très probablement) responsable, dans le second, ce n'est pas ETALAB. Il ne sert donc à rien d'écrire ici. Là aussi comme dit à moultes reprises : il faut écrire à Santé Publique France (SPF : https://www.santepubliquefrance.fr/maladies-et-traumatismes/maladies-et-infections-respiratoires/infection-a-coronavirus/articles/infection-au-nouveau-coronavirus-sars-cov-2-covid-19-france-et-monde)
Quant aux lignes 47323 à 47331 : les explications sont plus bas.
En aucun cas elle ne sont erronées et elles doivent disparaitre. Sinon pourquoi les gérer comme cela et ne pas s'occuper de celles du 24 Mars? Il faut être cohérent.
Bonjour, 

Pour information,  l'anomalie d'inversion des colonnes à partir du 13/11 entre dc et rad semble encore active sur le fichier par région x classe d'age :
https://www.data.gouv.fr/fr/datasets/r/08c18e08-6780-452d-9b8c-ae244ad529b3"

Merci à toute l'équipe Etalab, SPF et data.gouv.fr pour ce partage d'information. 

Même si des anomalies génèrent parfois des commentaires négatifs, je tiens à vous apporter tout mon soutien car nous avons la chance d'être un des pays les plus avancés sur le sujet de la transparence Covid. Les Américains doivent se reposer sur une organisation non gouvernementale pour faire ce travail (John Hopkins), qui consolide des données avec une qualité moindre, le Anglais doivent se contenter de ... rien et les Allemands de communications fédérales qui sont consolidées par un organisme privé par en Open Data... 
Ne l'oublions pas et merci pour votre travail dans ce domaine où l'information publique influe sur nos comportements et peut sauver des vies !
Bonjour,

Suivant également les USAs depuis le début avril , il n'y a pas que JHU qui remonte les info. Chaque ville, chaque état les remonte. Il est d'ailleurs rigolo (si la situation n'était pas aussi critique ce serait drole) de comparer les chiffres de NYC et de JHU ... 5000 décès de différence sur 24000. Cela est dû à ce que j'expliquais il y a quelques mois déjà : les 4 cas possibles de covid : oui - non - suspectés - probables. Pour la qualité : on a les chiffres villes par ville. Même pas métropole par métropole, qu'on a eu pendant 1 semaine après l'annonce de mi-octobre du couvre-feu, ville par ville. Que faut-il de plus? Et chaque jour ils reprennent leurs données car ils les consolident jour après jour (y compris les week-ends et jours fériés). La précision va tellement loin qu'ils ont différencié à un moment donné les civils des militaires : aux USAs l'armée est une ville dans la ville, voire un état dans l'état. On a eu la Navy, l'US Air Force, la garde nationale etc. chaque corps a fait ses remontées. Mais cela a été vite retiré car cela donnait des informations sur l'état de santé des troupes. Depuis cela a été inclus dans les villes/états. Qualité moindre? Autre  méthode plutôt.
SPF/ ETALAB ont indiqué dès le début qu'ils ne reprendraient pas les chiffre diffusés les jours précédents. Cela évite les commentaires du genre 'chiffres trafiqués après coup' et autres. Ils ont indiqué à chaque fois comment les chiffres étaient pris et sur quoi se basaient les décisions prises. En cela c'est très bien : à nous de nous adapter en fonction.
Par contre il n'y a pas de contrôle des données avant diffusion au public. Là c'est un problème : quand GEODES donne de bons chiffres, ETALAB devrait faire de même.
 un début de réponse sur 'votre' fil de discussion
je dirais plutôt que nous avons les pires données en Europe
en Espagne, Italie, Allemagne, R-U on peut accéder à des informations cruciales comme 
ventilation "cas" selon qu'ils soient asymptomatiques ou non
ventilation par type de test (pcr vs ag)
ventilation rea vs si vs sc
taux d'occupation des lits sur les années passées
et j'en passe
bref pas de quoi fanfaronner comme un coq
Bonjour,

Effectivement il ne s’agit pas du département mais de la région comme je l’ai indiqué par erreur dans mon commentaire.
Je ne cherche pas entrer dans une polémique entre ETALAB et SPF et de savoir qui a fauté. Ma motivation est simplement d’attirer l’attention sur le fait que des lignes manquantes dans un fichier perturbent l’exploitation des données. Même si les infos ne sont pas remontées, il est important que la ligne y figure avec des zéros ou un code indiquant que les données ne sont pas disponibles.

Bien cordialement.

Encore faut-il s'adresser à la bonne équipe : si votre pompiste a mélangé les carburants vous n'allez pas vous en prendre à votre concessionnaire. Ici c'est pareil : ETALAB n'y peut rien. C'est à SPF qu'il faut remonter ces informations.
Les jeux de données ont été relivrés à 12h34 (générés et donc datés de 12h31)
Attention : l'ordre des colonnes n'est plus le même : avant on avait
hosp réa rad dc
maintenant c'est 
hosp réa dc rad
Merci Denis pour cette info. 

En espérant qu'ils ne rechangent pas encore ce soir à 19h. 
ah mais je sais ce qu'il s'est passé : hier on était vendredi 13 ... :) :) :)
Par contre toujours aucune nouvelle des classes d'age qui ont disparu ...  sont-elles perdues à jamais?
j'aurai tendance à penser que non. Je ne sais plus si c'est la semaine passée ou la précédente, ETALAB a remis son SI à jour. On n'a pas pu accéder à ce site de toute la matinée. Ils ont dû refaire d'autres choses ces derniers temps (mardi et/ou jeudi) et on se retrouve dans cette situation.
Mais si on regarde l'ordre des champs sur GEODES, on a bien hosp puis rea puis dc puis rad. Ce qui est le nouvel ordre. C'est plus cohérent.
Les fichiers "donnees-hospitalieres-classe-age-covid19-2020-11-14-12h31.csv" est bien disponible, à première vue elles ont l'air cohérentes, non ? 
@Denis Arnaud : effectivement, suite à vos remarques cela parait plus logique. J'appréhende quand même 19h. Croisons les doigts !
M. X indiquait, à juste titre, des disparitions depuis 2 jours de certaines valeurs pour certaines classes d'age et régions. Notamment faisait-il remarquer la région Ile de France qui a perdu 391 personnes rad dans la classe d'age 9. Ils sont en dc mais c'est à cause de l'inversion dc / rad qui a eu lieu hier. J'ose espérer qu'ils sont bien aujourd'hui (après12h40) dans la catégorie rad et pas en dc (sinon on en aurait entendu parler s'il y avait 391 dc d'enfants de moins de 10 ans)
Vous aviez vu juste Denis, merci pour vos apports sur ce forum. 
A priori aucun bug ce soir (.. ?)
Bonjour,

Comme la ville de New-York a refait son site cette semaine : petit complément : la ville de New-York, et la plupart des métropoles américaines, relève ses données quartier par quartier. Cela en fait 180 rien que pour la ville de New-York. Qui a déjà entendu parler d'un relevé en France arrondissement par arrondissement pour Paris Lyon et Marseille? Le 14 octobre c'était la 1e fois qu'on entendait parler de villes. Et encore métropole n'est pas ville.
Autre point : le site de la ville de New-York qui référence les cas covid est en 108 langues. DATA GOUV ... 1
Il ne sert à rien d'essayer de comparer les pays entre eux : chacun a ses mérites et ses défauts. C'est si on veut comparer les chiffres entre eux qu'il faut un peu de "cohérence" : hosp seuls, hosp + ehpad? suspicions/probable inclus? réa seules? rea+si? rea+si+sc? tests pcr seuls? tests pcr + ag? test pcr+ag+sero? ... des année d'études pour les chercheurs et universitaires ...
Ce qui ne retire en rien le mérite qu'à ETALAB de mettre à disposition ces données.
pourtant il y a pléthore de jeunes docteurs en statistiques qui pourraient être embauchés (chut sur le salaire... c'est la passion qui compte !) pour construire quelque chose de cohérent, transparent et efficace...
Bonjour à toutes et à tous,

Suite aux erreurs de ces derniers jours, j'avais contacté Santé Publique France. Je viens de recevoir une réponse de leur part. La voici :

******************
Bonjour Monsieur, 

Entre le 11 et le 12 Novembre, les programmes permettant d’analyser les données d’hospitalisations, d’admission en réanimation et de décès ont été mis à jour. Cela a conduit à quelques incohérences sur la classe d’âge 0-9ans, qui ont maintenant été corrigées.
******************

Annotation : Erreur dans les données fournies  (Fiabilité )