Jeu de données : Base Carbone complète de l'ADEME en français - v17.0
Titre : Demande de retrait de ces jeux de donnée
Date : 2020-02-05 08:29

En ouvrant un jeu de données "Base carbone" sur le site data.gouv.fr, votre collectif Lou Dupont tente de répondre, de fait, à une obligation de publication en open data de données de facteurs d’émissions GES  actuellement accessibles, sous licence, sur le site https://www.bilans-ges.ademe.fr/

La Base Carbone® est une base de données publiques de facteurs d'émissions nécessaires à la réalisation d'exercices de comptabilité carbone. Elle est propriété de l’ADEME et administrée par cette dernière qui en assure la mise à disposition de données de qualité même si sa gouvernance est multi acteur et que son enrichissement est ouvert.  
À l'automne 2019, l'ADEME a proposé au Comité de gouvernance [https://www.bilans-ges.ademe.fr/fr/accueil/contenu/index/page/cogo/siGras/0] de la Base Carbone®, qui l'a accepté, de lever la diffusion des données sous licence  afin de pouvoir publier les données plus aisément, notamment à partir de son portail open data. Les travaux sont en cours pour mise en œuvre.

L'existence en ligne de données "scrapées" telles que celles que vous diffusez se base sur un principe d'ouverture mais d'une part contrevient au principe de licences [https://www.bilans-ges.ademe.fr/fr/inscription/droits-licences] encore formellement actives à ce jour, d'autre part est qualitativement peu acceptable au regard de la qualité du codage de caractères proposé dans les jeux de données, notamment dans le jeu proposé en .CSV et enfin, présente une absence de documentation associée pour la bonne compréhension de la base de données.

De même, la mise à disposition d’une base de données « Bilans GES » est en cours entre l’ADEME et le MTES, au regard des exigences de l’obligation réglementaire L229-25 de la réglementation sur la mise à disposition des données. Outre le besoin de mieux qualifier les éléments mis à disposition pour permettre leur juste interprétation et exhaustivité, le jeu de données présente des lacunes et des informations non mise à disposition via le moteur de recherche (et donc a fortiori non publiques). 
Nous vous demandons de dé-publier dès à présent ces jeux de données sans attendre la publication d'un jeu de données fiable et actualisé par l'ADEME, sous peine d’initier une procédure de signalement auprès d’Etalab conformément aux Conditions d’utilisation en ligne [https://www.data.gouv.fr/fr/terms/].

Laurent MORICE, Administrateur des données, ADEME - laurent.morice@ademe.fr

Quel problème de "codage" de caractère ? Le fichier CSV est encodé en UTF8 qui est le standard aujourd'hui. Je n'ai eu aucun problème pour les ouvrir et manipuler.

Pour la documentation, le site d'origine, très complet sur ce point, répond très bien à ce besoin, non ? De plus, les CGU de data.gouv.fr précisent "Etalab encourage les Contributeurs à fiabiliser et documenter les données qu’ils publient", la documentation n'est donc pas requise pour publier des données.

No comment pour le reste, n'étant pas directement concerné bien que choqué par cette demande de retrait non justifiée.
Cher Monsieur,

Nous vous remercions de l'intérêt que vous portez à notre projet et de votre message, qui a été l'occasion pour nous d'améliorer la description de l'ensemble des jeux de données dont nous facilitons l'usage, en y expliquant mieux le cadre légal (notamment au sujet des licences) et en ajoutant des liens vers les documentations originales.

Concernant votre souci d'encodage sur notre CSV, avez-vous bien pensé à préciser "UTF-8" lors de l'ouverture du fichier ? Selon le langage de programmation que vous utilisez, la façon exacte de le spécifier peut varier (voir [1] pour Python, [2] pour R par exemple, ou [3] pour obtenir de l'aide plus généralement). 

Attention en revanche, l'extrait officiel de la v14.0 comporte effectivement lui quelques problèmes d'encodage dans le CSV et dans le XLSX (les "é" dans la colonne "Réglementations"). Il y a aussi par ailleurs quelques caractères invalides dans la base complète officielle v17.0, visibles sur votre site, typiquement :
- l'apostrophe dans le champ "source" de l'élément "Paëlla" (et plus généralement, dans d'autres éléments provenant de Quantis),
- l'apostrophe dans le champ "nom attribut français" de l'élément "Poule de réforme" (pour celles provenant des Côtes d'Armor),
- le "e dans l'o" dans le champ "nom attribut français" de l'élément "Génisse race à viande" (engraisseurs de boeufs).
Ces coquilles se retrouvent aussi indirectement dans les exports que nous proposons, mais nous n'avons hélas pas de moyen simple et efficace de corriger la base officielle. Souhaitez-vous que nous vous fournissions une liste plus exhaustive pour que vous puissiez les corriger toutes à la source directement ?

Après l'entrée en vigueur de l'obligation de publication en open data le 7 octobre 2018, via la Loi pour une République Numérique, et la proclamation par le parlement européen de l'état d'urgence climatique le 28 novembre 2019, nous nous réjouissons que l'ADEME et le MTES prennent pleinement la mesure de l'intérêt de publier sans attendre des données aussi essentielles dans la lutte contre le changement climatique que sont les facteurs d'émissions et les bilans d'émissions.

Nous notons malheureusement que la décision d'ouverture du 24 septembre 2019 que vous citez mentionne l'hypothèse que la Base Carbone deviendrait téléchargeable sur "création d’un compte visiteur et acceptation des CGU". De notre expérience collective, devoir créer un compte, puis lire et accepter des CGU ne facilite pas la diffusion de fichiers qui pourraient être téléchargeables par un simple clic, comme ils le sont ici par exemple. Nous espérons donc vivement qu'il ne sera pas nécessaire de créer un compte et d'accepter des CGU pour accéder aux bases officielles.

Cordialement,
Le collectif Lou Dupont

[1] https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html
[2] https://stat.ethz.ch/R-manual/R-devel/library/utils/html/read.table.html
[3] https://stackoverflow.com/questions
.

Annotation : Descriptions imprécises  (Compréhension)