Jeu de données : Données hospitalières relatives à l'épidémie de COVID-19
Titre : Ligne manquante dans les données hospitalières par classes d'agês du 12 novembre
Date : 2020-11-13 10:44

Bonjour,

dans le fichier donnees-hospitalieres-classe-age-covid19-2020-11-12-19h00.csv, il manque une ligne (celle des 10-19) concernant les données relatives à la Martinique (Région 02) pour le 12 novembre. Cela peut provoquer un décalage dans certaines visualisations. 
Bonjour,

Il n'y a malheureusement pas que cette anomalie dans le fichier du 12/11.
A en croire les données de nombreuses régions ont "perdu" des patients entre le 11 et le 12, et pas qu'un peu : pour certaines tranches d'âge le total hosp+rad+dc a diminué, parfois de plusieurs centaines (par exemple -391 pour les 0-9 ans en Ile de France).
Sans compter les lignes "NA"  qui ont été ajoutées à la fin.

Bonjour,

N/A ou NA expliqués en dessous ...
Pour la différence : si on prend la classe d'age 0 :

Par sexe tout d'abord (ordre hosp réa rad dc):

10/11/2020	6523	1115	43293	9693
11/11/2020	6565	1119	43634	9760
12/11/2020	6651	1138	43886	9829
13/11/2020	6643	1136	44313	9918


C'est celle que je prends et comme je n'avais pas vu de particularité sur ce point, votre écart me surprenait.

Par classe d'age :

10/11/2020	6523	1115	43293	9693
11/11/2020	6565	1119	43634	9760
12/11/2020	6651	1138	43886	9829
13/11/2020	6643	1136	44313	9918

Pas de différence entre les 2. Les données sont parfaitement cohérentes : le chiffre hosp+rad+dc augmente bien, dc augmente bien ainsi que rad qui sont des cumuls.
Hosp et réa peuvent diminuer.
Je vous ferai remarquer qu'il y a déjà eu un certain nombre de discussions au sujet de hosp+rad+dc ou hosp + delta rad + delta dc etc et que hosp+rad+dc peut parfaitement diminuer. Ce n'est pas normal je vous l'accorde mais pourtant ... et nous n'avons jamais eu de retour là-dessus de la part d'ETALAB ou de SPF

Les chiffres que je vous montre indiquent donc que tout va bien.
Le problème vient de la ventilation par age. Depuis le début il est clairement indiqué qu'il ne faut pas se baser là-dessus.
C'est même indiqué dans l'en-tête de ce jeux de données, je cite : "Pour certains patients, la classe d'âge n'a pas été identifiée dans la base de données. Ce qui peut induire un décalage entre la somme de toutes les classes d'âge d'un indicateur et le nombre total de cet indicateur"
Il est donc très peu probable que vous obteniez une vraie réponse là-dessus.
Maintenant pourquoi est-ce que cela a disparu? La tension dans les services hospitaliers revient à la charge, d'ici à ce que les médecins n'aient plus ou ne prennent plus le temps de remplir ce genre d'information ... soigner un patient en détresse respiratoire ou remplir un dossier .. le choix est vite fait
Perso je ne m'intéresse pas à ce genre d’information (sexe ou classe d'age, pas que ce ne soit pas intéressant mais il y a tellement de sujets à traiter que j'ai dû faire un choix) mais si vous-même l'avez fait, peut-être serait-il intéressant de remonter ceux qui ont vu ce problème apparaitre ces derniers jours et voir si ce ne sont pas des régions/départements en tension réa. Auquel cas on aurait une piste.
Là où mon raisonnement à sa limite c'est que cela concerne, selon le chiffre que vous avez donné, la classe d'age 9. Qui est normalement très peu impactée. Ou les données ont été perdues et ils repartent de (presque) 0
Mais les données classe d'age 0 sont elles bonnes. à moins d'avoir plusieurs classes d'age dans la même région, vous pouvez les reconstruire (différence classes d'age 0 moins les classes d'age renseignées vous donnera la classe d'age manquante)
Bonjour,

J'ai remarqué aussi que les données étaient cohérentes pour la "classe d'âge" 0. 
C'est donc peut-être un problème de ventilation par classe d'âge. Mais il apparaît à des degrés divers dans plusieurs régions, pas juste celle que j'ai citée comme exemple, et d'autres classes d'âge que les 0-9 ans. Il serait étonnant que le même problème arrive en même temps (le même jour !) dans toutes ces régions.

En fait j'utilise la somme hosp+rad+dc (et la différence de ces sommes entre deux jours consécutifs) pour calculer le nombre quotidien d'admissions à l'hôpital par classe d'âge. 
En utilisant les % hospitalisés/infectés par classe d'âge estimés par les épidémiologistes, cela permet en particulier d'avoir une meilleure indication du nombre réel de cas que les taux d'incidence publiés par SPF à partir des données de SIDEP; en effet ceux-ci sont très dépendants des alea de la politique de test (nombre de tests pratiqués vs. population de chaque région ou département; profil des personnes testées, etc.). 
Ma méthode donne un résultat entaché d'une marge d'erreur de +/-30 ou 40% compte-tenu de la marge d'erreur sur les pourcentages hospitalisés/infectés. Mais c'est déjà mieux que le taux d'incidence SIDEP qui sous-estime encore au moins d'un facteur 2 le nombre réel de cas (et ce facteur a fortement évolué entre juin et octobre...). Et d'autre part le biais (inconnu) est toujours le même; il a un impact sur la valeur absolue du nombre de cas estimé, mais pas sur son taux de variation (qu'on peut résumer par le fameux R(t)), qui est le paramètre le plus important pour suivre la dynamique de l'épidémie.

J'ai bien sûr noté qu'il y a de temps en temps des anomalies, certaines flagrantes (quand hosp+rad+dc diminue), d'autres moins, et que le résultat pour la classe 0 est toujours légèrement supérieur à la somme des autres classes. Mais statistiquement elles sont habituellement de peu d'importance quand il s'agit de suivre la dynamique de l'épidémie.

NB : j'ai vérifié sur GEODES, les anomalies des données par classe d'âge du 12/11 y sont déjà présentes. Ce n'est donc effectivement pas un problème dû à Etalab.
 pourquoi ne pas plutôt vous baser sur les fichiers sursaud?
 
D'une part parce que les nombres d'hospitalisations pour Covid (tous âges) qui y figurent ne correspondent pas à ceux des fichiers "donnees-hospitalieres". 
Je m'attendais d'ailleurs à ce qu'il soit inférieur, des patients pouvant être hospitalisés sans passer par les urgences. En fait je viens de vérifier en faisant le cumul sur toutes les régions et dates, il est nettement supérieur dans sursaud... Peut-être parce que des patients y sont comptabilisés comme Covid sur une simple suspicion de Covid, alors qu'il ne le sont dans donnees-hospitalieres que lorsque c'est confirmé par test PCR.

D'autre part parce que le découpage par tranches d'âge de sursaud n'est pas le même, et pas celui pour lequel on dispose d'estimations des pourcentages hospitalisés / infectés (dans l'annexe de cette publication : https://science.sciencemag.org/content/369/6500/208). Et les tranches d'âge sursaud sont trop grandes pour bien rendre compte de la dynamique de l'épidémie. En particulier, dans la tranche 15-44 ans j'ai pu constater que l'évolution est assez différente entre les moins de 20, les 20-29 et les plus âgés. Il peut très bien y avoir (et il y a eu) une flambée de l'épidémie qui commence par les 15-25 ans mais qui serait masquée dans les données de sursaud par le fait qu'ils sont beaucoup moins fréquemment hospitalisés que les plus de 30 ou 40 ans (chez qui l'accélération de l'épidémie ne se produit que plus tard).
ah oui c'est vrai : le fameux codage des tranches d'ages ... j'en ai parlé hier ou avant-hier avec quelqu'un d'autre mais là j'ai zappé ...
Pour 'données hosp' les chiffres ne sont pas uniquement ceux testés covid-19 ... enfin ... c'est plus compliqué qu'il n'y parait : si aujourd'hui quelqu'un rentre pour suspicion de covid-19 alors il est intégré dans les chiffres et dans 'données hosp'
Si 3 jours plus tard (délai standard du test PCR) la personne est négative, elle est retirée du fichier 'données hosp'
Ce qui a donné au printemps quelques cas loufoques de 'résurrections'
Ce qui a obligé SPF et ETALAB à mettre le commentaire suivant 'en en-tête des fichiers)
"Certains patients, présents dans la base de données hospitalières à un moment donné, sont retirés de la base de données par les établissements de santé lorsque le résultat biologique du patient est négatif par rapport au COVID-19"
Je ne sais pas si c'est bien ce que vous entendiez par 'alors qu’il ne le sont dans donnees-hospitalieres que lorsque c’est confirmé par test PCR'.
Tant qu'on n'avait pas cette info, au printemps on s'arrachait les cheveux. Et on l'a attendue longtemps
Oui, c'est ça. Mais les fluctuations quotidiennes et le fait qu'il y ait quelques corrections après résultat des tests ne sont pas trop gênantes : de toute façon on est obligé de faire une moyenne glissante sur au moins 7 jours pour s'affranchir des sous-déclarations des week-ends (compensées les jours suivants). Sauf cas particulier (par exemple le gag du 18/09), ça masque ces petits défauts...
Bonjour,
 je viens de regarder dans le détail 'votre' problème de disparitions dans certaines classes d'age.
Le souci vient de GEODES qui n'a déjà pas les bons chiffres : 568 pour la classe d'age 9 en Ile de France au 11 novembre et 195 pour le 12.
Comme je n'ai pas d'accès à ce qu'il y a avant GEODES, je viens d'écrire à SPF pour leur demander des explications.
Hormis le fait que nous n'avons aucune certitude d'avoir une réponse, nous sommes dimanche 15 : il ne faut donc pas s'attendre à avoir une réponse aujourd'hui. Et même s'il y a une astreinte, la question n'a pas de caractère urgent.
à suivre ...
Pour l'instant en tout cas il n'y a aucune info là-dessus ni sur ETALAB ni sur DATA GOUV, ni côté SPF ou encore GEODES ou du côté des Ministères concernés. En tout cas à mon niveau je n'ai rien vu 
Bonjour ,

et merci pour vos efforts. 

Effectivement j'avais remarqué que le problème était déjà présent dans GEODES, je l'ai mentionné dans cette discussion hier.
Entre temps, j'ai quand-même essayé d'importer les données du 14 au soir dans ma feuille de calcul, et j'ai constaté une autre bizarrerie sur les données du 12/11 : en même temps que la forte baisse du total hosp+dc+rad pour les classes 9 et 90, il y a une augmentation anormale du même total pour les classes 19 à 89, sauf (bizarrement aussi) la 79.

Ci-dessous les différences entre ces totaux pour le 12/11 et pour le 11/11, autrement dit les nombres d'admissions à l'hôpital des classes 9 à 90 le 12/11:
-1031	119	236	193	380	690	889	436	1065	-1611
A comparer par exemple avec les mêmes différences entre le 13/11 et le 12/11 (qui sont cohérentes avec les valeurs obtenues avant le 12/11, à part peut-être la faible valeur pour la classe 9 alors qu'elle se situait autour de 20 la semaine précédente):
1	18	45	82	132	258	428	578	740	365

Comme si une partie des "patients disparus" des classes 9 et 90 avaient été ventilés dans les autres classes, volontairement (correction) ou non (bug):
Au total des classes 19 à 89 il y aurait 4000 admissions, soit environ 2000 de plus que dans une journée normale, alors que le total des classes 9 et 90 est de -2640, ce qui correspond en fait à 3000 "patients disparus" puisqu'il devrait y avoir environ 360 admissions dans la classe 90. 
Mais justement, en faisant le total de toutes les classes (sauf 0), on obtient environ 1000 de moins que le nombre d'admissions calculé pour la classe 0 (qui semble correct car il est assez proche de celui calculé à partir de la colonne incid_hosp du fichier donnees-hospitalieres-nouveaux-covid19. Il n'y aurait donc que 1000 patients vraiment disparus, et 2000 autres ventilés dans les classes 19 à 89...
PS : je précise que les valeurs ci-dessus concernent le cumul des régions de France métropolitaine (à partir de reg=11).
j'avais également fait ce constat (classes 9 79 et 90) mais je m'étends déjà pas mal en explications et n'avais pas voulu alourdir encore plus.
je pense aussi à une erreur de ventilation des ages : on coche la 1e case disponible sans savoir à quoi elle correspond exactement et on se retrouve avec 500 enfants de moins de 10 ans alors qu'en fait ...
mais je n'ai pas remonté ça dans ma question à SPF pour ne pas orienter à l'avance ... à eux de nous remonter l'info correcte (ou pas s'ils ne veulent pas nous répondre)
également parce que cela n'explique pas tout :
si on prend la journée du 11, on trouve 43634 rad si on regarde la classe d'age 0. 43285 si on fait la somme des classes d'age. écart de 349

si on prend la journée du 12 : 43886 classe d'age 0. 43165 si on fait la somme des classes d'age. écart : 721
écart des écarts : 372. Ce qui n'est pas ce qui est "perdu" : 634
Mais là on manque clairement de données pour investiguer plus avant : en classe d'age 9 on passe de 568 à 195 ce qui fait un écart de 373. Mais est-ce qu'il n'y pas eu de rad le 12? Auquel cas l'écart serait de 374 avec rattrapage de 1 pour un vrai rad ce jour. 375 si 2 sont rentrés etc ...
Bonjour,

Il y a apparemment une tentative de correction dans le fichier par classes d'âge du 16/11. Une partie des patients disparus le 12 sont réapparus... Il ne reste qu'environ 125 disparus dans la classe 9. 

En revanche ça ne s'est pas arrangé pour la classe 90, et il y a toujours une augmentation anormale de la somme hosp+dc+rad pour les autres classes. Mais le total des nouvelles hospitalisations calculé à partir des hosp+dc+rad des classes 9 à 90 se rapproche de celui calculé à partir du hosp+dc+rad de la classe 0. 2272 vs. 2298, ce qui fait une différence de 126. Coïncidence...?

A part ça, en plus de la nouvelle inversion des colonnes rad et dc, le problème des lignes (reg=2,cl_age=19) manquantes a été corrigé.

Et, cerise sur le gâteau, il y a une correction (?) qui ressemble à un gag, six mois après : la journée du 30 avril est apparue dans le fichier alors que depuis que je l'utilise elle était absente. Les valeurs qui y figurent semblent cohérentes (les totaux des admissions par classe d'âge calculés pour le 30/04 et le 01/05 à partir de hosp+rad+dc correspondent à ceux calculés pour le 01/05 quand les données du 30/04 étaient absentes).
Bonjour à toutes et à tous,

Suite aux erreurs de ces derniers jours, j'avais contacté Santé Publique France. Je viens de recevoir une réponse de leur part. La voici :

******************
Bonjour Monsieur, 

Entre le 11 et le 12 Novembre, les programmes permettant d’analyser les données d’hospitalisations, d’admission en réanimation et de décès ont été mis à jour. Cela a conduit à quelques incohérences sur la classe d’âge 0-9ans, qui ont maintenant été corrigées.
******************
Merci pour le retour
Bonjour 

et merci pour ce retour.

Mais sur le fichier d'hier soir les autres problèmes mentionnés dans mon message du 17/11 sont encore là...
Je n'avais pas osé vous demander ce midi de confirmer ce que disait SPF. A savoir que c'était maintenant corrigé.
Je pose des questions. Je réponds à des questions mais je ne peux pas donner d'ordre ou même de consigne aux membres de la communauté ... Mais j'espérai bien que vous alliez y regarder.
Merci de nous avoir fait le retour.
Vous auriez pu demander... 
Si j'ai pris la peine de créer un compte pour signaler le problème c'est bien que je suis prêt à essayer de contribuer à sa résolution (autrement j'aurais pu me contenter de le contourner; mais là c'était quand-même un peu gros).
Il n'y a pas de raison que vous soyez le seul à faire des efforts ;-)

Annotation : Erreur dans les données fournies  (Fiabilité )