Base de connaissances sur les produits phytopharmaceutiques à partir de sources ouvertes (C3PO)
Organisation : Système d'Information sur l'Eau

### Contexte
De nombreuses substances entrant dans la composition des produits phytopharmaceutiques (PPP) ont un impact démontré sur la santé et l’environnement. Les études s’intéressant à ces impacts peuvent mobiliser plusieurs sources de données de référence gérées par différentes structures et ne reposant pas systématiquement sur des référentiels communs. Différents acteurs travaillant sur le croisement et le rapprochement des données relatives aux PPP ont pu relever la difficulté d'exploiter et de rapprocher ces différentes sources.

Afin de répondre à ce besoin et de faciliter la diffusion des informations publiques relatives aux produits phytopharmaceutiques et aux substances constituant ces derniers, la **Base de Connaissances sur les Produits PhytoPharmaceutiques à partir de sources Ouvertes (C3PO)** a été initiée par l'Office Français de la Biodiversité, porteur de ce projet dans le cadre du [challenge Green Data For Health](https://challenge.gd4h.ecologie.gouv.fr/). Ce travail a été en grande partie réalisé grâce à l'aide des bénévoles qui ont participé au projet C3PO dans le cadre de ce challenge.

Les informations contenues dans C3PO proviennent de diverses sources de données ouvertes de référence. La source de données « pivot » de C3PO est la Banque nationale de ventes par les distributeurs agréés ([BNV-D](https://ventes-produits-phytopharmaceutiques.eaufrance.fr/)). Cette dernière répertorie depuis 2008 les données d'[achats](https://www.data.gouv.fr/fr/datasets/achats-de-pesticides-par-code-postal/) et de [ventes](https://www.data.gouv.fr/fr/datasets/ventes-de-pesticides-par-departement/) des produits phytopharmaceutiques sur le territoire français.

La base de données C3PO s'adresse à tous les acteurs travaillant sur des thématiques liées aux pressions exercées par les substances et produits phytopharmaceutiques (notamment institutions publiques et gouvernementales, organismes de recherche, bureaux d'étude ou encore associations).

### Sources de données mobilisées

La base C3PO diffuse des informations relatives aux substances et produits répertoriés dans la dernière version disponible des données ouvertes de la  **BNV-D**. Des informations issues des dernières versions en vigueur des sources de données suivantes sont ensuite ajoutées à cette liste des substances et produits de la BNV-D :

- **[Référentiels Sandre](https://www.sandre.eaufrance.fr/api-referentiel) - _OIEau_** : le référentiel "Paramètres" est utilisé pour récupérer le code paramètre associé à la substance. Le référentiel "Groupes de paramètres" est ensuite mobilisé pour récupérer les informations relatives à la famille chimique et aux fonctions (herbicides, insecticides, fongicides, etc.) associées au code paramètre.
- **[Agritox](https://www.data.gouv.fr/fr/datasets/base-de-donnees-agritox/) - _Anses_** : données essentielles (identité, propriétés physico-chimiques, toxicité aiguë, valeurs toxicologiques de référence, écotoxicité, classement) des substances actives approuvées au titre du Règlement (CE) N°1107/2009.
- **Tableau d'entrées harmonisées disponible à l'annexe VI du CLP - [Adaptation to Technical Progress (ATP)](https://echa.europa.eu/fr/information-on-chemicals/annex-vi-to-clp) - _ECHA_** : contenant toutes les mises à jour de la classification et de l’étiquetage harmonisés (CLH) des substances dangereuses au titre du règlement CLP (CE) N°1272/2008.
- **[EU Pesticides Database (EU PDB)](https://ec.europa.eu/food/plant/pesticides/eu-pesticides-database/start/screen/active-substances) - _Commission Européenne_** : contenant des informations sur les substances actives (y compris les substances à faible risque ou candidats à substitution) et les substances de base, approuvées ou non dans l’Union Européenne.
- **[E-phy](https://www.data.gouv.fr/fr/datasets/donnees-ouvertes-du-catalogue-e-phy-des-produits-phytopharmaceutiques-matieres-fertilisantes-et-supports-de-culture-adjuvants-produits-mixtes-et-melanges/) - _Anses_** : accès à l'ensemble des données des produits (produits phytopharmaceutiques, matières fertilisantes et supports de culture, adjuvants, produits mixtes et mélanges) couverts par une autorisation de mise sur le marché (AMM) ou un permis de commerce parallèle (PCP). On y trouve notamment comme informations : numéro d’AMM ou de permis, nom commercial, type de produit, substances et données afférentes (phrases de risque, teneur en substance active…), ainsi que les usages du produit.
- **[Registre Parcellaire Graphique](https://geoservices.ign.fr/documentation/donnees/vecteur/rpg) - [Table référentielle des cultures et des groupes de cultures](https://geoservices.ign.fr/sites/default/files/2023-02/REF_CULTURES_GROUPES_CULTURES_2021.csv) - _IGN_** : table propre à la diffusion du RPG, la notion de groupe de culture dans cette table ne correspond pas à la notion de groupe de cultures du règlement PAC ni à celle des référentiels ISIS. Dans cette table, chaque code culture est expliqué par un libellé et lié à un code de groupe de culture et son libellé. 

Les informations issues de ces sources de données sont intégrées dans la base de données C3PO soit de manière "brute" (sans retraitement de leur contenu avant intégration en base) soit après traitements (informations brutes extraites des sources de données puis traitées en vue de l'intégration en base).

### Contenu

La base de données C3PO est constituée de deux schémas :
- **substance**, contenant des tables avec informations relatives aux substances actives contenues dans les produits phytopharmaceutiques.
- **amm**, contenant des tables avec informations relatives aux produits phytopharmaceutiques disposant (ou ayant disposé) d'une autorisation de mise sur le marché.

L’ensemble permet notamment de faire le lien entre informations relatives aux produits et informations relatives aux substances contenues dans ces produits.

Les tables constituant chacun de ces schémas sont diffusées sur cette page sous forme de fichiers .csv, leur contenu est détaillé ci-dessous.

#### Schéma substance

Le schéma substance comporte 12 tables.
- **id_bnvd_sub.csv** : liste des substances présentes dans la BNV-D, identifiées par un libellé propre à BNV-D et éventuellement par un N° CAS (substances issues de la version en vigueur des données ouvertes d’achats et de ventes de la BNV-D).
- **infos_bnvd_sub.csv** : informations relatives aux substances présentes dans la BNV-D (années de ventes, fonctions attribuées par le groupe de travail sur la qualité des données de la BNV-D, évolution de la classification et des taux associés de redevance pour pollutions diffuses).
- **id_sandre_x_id_bnvd_sub.csv** : table de correspondance entre substances de la BNV-D (liste issue de la table id_bnvd_sub.csv) et substances du référentiel « Paramètres » du Sandre. La correspondance est établie par recherche des N°CAS des substances de la table id_bnvd_sub.csv dans le référentiel Sandre - Paramètres.
- **infos_sandre_sub.csv** : informations relatives aux substances présentes dans la BNV-D, issues des référentiels « Paramètres » (code et nom du paramètre) et « Groupes de paramètres » (familles chimiques et fonctions) du Sandre.
- **id_eupdb_x_id_bnvd_sub.csv** : table de correspondance entre substances de la BNV-D (liste issue de la table id_bnvd_sub.csv) et substances de la EU PDB. La correspondance est établie sur les libellés de substances de manière non-automatisée.
- **infos_eupdb_sub.csv** : informations relatives aux substances présentes dans la BNV-D, issues de la EU PDB (statut d'autorisation de la substance au niveau européen, dates de début et d'expiration d'approbation, indications sur le classement en tant que substance de base, candidate pour substitution ou à faible risque, états-membres dans lesquels la substance est autorisée).
- **id_agritox_x_id_bnvd_sub.csv** : table de correspondance entre substances de la BNV-D (liste issue de la table id_bnvd_sub.csv) et substances de la base de données Agritox. La correspondance est établie par recherche des libellés et N°CAS des substances de la table id_bnvd_sub.csv dans les champs "NOM SA" et "N° CAS" de Agritox. La correspondance est établie y compris pour les enregistrements de Agritox comportant plusieurs libellés de substances et/ou N°CAS.
- **infos_agritox_sub.csv** : informations relatives aux substances présentes dans la BNV-D, issues de la base de données Agritox (identité, propriétés physico-chimiques, toxicité aiguë, valeurs toxicologiques de référence, écotoxicité, classement).
- **id_atp_x_id_bnvd_sub.csv** : table de correspondance entre substances de la BNV-D (liste issue de la table id_bnvd_sub.csv) et substances du tableau d'entrées harmonisées disponible à l'annexe VI du CLP (règlement européen relatif à la classification, l’étiquetage et l’emballage des produits), dénommé « Adaptation to Technical Progress » (ou « ATP »). La correspondance est établie par recherche des libellés et N°CAS des substances de la table id_bnvd_sub.csv dans les champs "International Chemical Identification" et "CAS No" du tableau ATP. La correspondance est établie y compris pour les enregistrements du tableau ATP comportant plusieurs libellés de substances et/ou N°CAS.
- **infos_atp_sub.csv** : informations relatives aux substances présentes dans la BNV-D, issues du tableau ATP (classements et phrases de risques).
- **id_ephy_x_id_bnvd_sub.csv** : table de correspondance entre substances de la BNV-D (liste issue de la table id_bnvd_sub.csv) et substances de la base de données E-phy. La correspondance est établie par recherche :
  - du libellé de la substance de la table id_bnvd_sub.csv dans les champs "Nom substance active" et "Variant" de la table substance_active_utf8.csv de E-phy
  - du N°CAS de la substance de la table id_bnvd_sub.csv dans les champs "Nom substance active", "NUmero CAS" et "Variant" de la table substance_active_utf8.csv de E-phy
- **infos_ephy_sub.csv** : informations relatives aux substances présentes dans la BNV-D, issues de la base de données E-phy (état d'autorisation de la substance d'après E-phy).

**Remarque :** les tables **infos_agritox_sub.csv** et **infos_atp_sub.csv** incluent notamment une variable classification_simpl correspondant à l'ensemble des classifications dites "simplifiées" associées à la substance dans Agritox / ATP (informations sur lesquelles est basé le travail préparatoire à la mise à jour annuelle de la classification de redevance pour pollutions diffuses qui prend en compte la "pire" classification simplifiée).


#### Schéma amm

Le schéma amm comporte 8 tables.
- **id_bnvd_amm.csv** : liste des produits présents dans la BNV-D (produits issus de la version en vigueur des données ouvertes d’achats et de ventes de la BNV-D), identifiés par leur n° AMM.
- **infos_bnvd_amm.csv** : informations relatives aux produits présents dans la BNV-D (années de ventes, conditionnement du produit, emploi autorisé dans les jardins ou non, substances contenues dans le produit).
- **id_ephy_x_id_bnvd_amm.csv** : table de correspondance entre produits de la BNV-D (liste issue de la table id_bnvd_amm.csv) et produits de la base de données E-phy. La correspondance est établie par recherche du n°AMM indiqué dans la BNV-D dans les champs "numero AMM" de la table produits_utf8.csv et "N° Permis" de la table permis_de_commerce_parallele_utf8.csv de E-phy.
- **infos_ephy_amm_identite.csv** : informations d'identité (noms du produit, titulaire de l'AMM, type commercial, type de produit, état d'autorisation, dates éventuelles de retrait et de première autorisation, produit de référence éventuel auquel se rapporte l'AMM) relatives aux produits présents dans la BNV-D, issues de la base de données E-phy.
- **infos_ephy_amm_composition.csv** : informations de composition (substances et concentration de celles-ci dans l'AMM) relatives aux produits présents dans la BNV-D, issues de la base de données E-phy.
- **infos_ephy_amm_usages.csv** : informations sur les usages relatives aux produits présents dans la BNV-D, issues de la base de données E-phy. Ce fichier indique notamment la gamme d'usage (amateur ou professionnel), les éventuelles mentions autorisées pour le produit (produit utilisable en agriculture biologique, produit de biocontrôle, produit à faible risque, emploi autorisé dans les jardins) et restrictions d'usages, la ou les fonction(s) du produit, la ou les formulation(s) du produit, ainsi que les usages qu'ils soient encore autorisés ou non (suivant l'intitulé du catalogue des usages). Il comporte aussi, pour chaque usage, les dates de décision et de retrait éventuelles, ainsi que les doses homologuées, le nombre maximum d'applications, l'intervalle minimum entre deux applications, les stades de traitements minimaux et maximaux, les éventuels délais avant récolte (durée minimale, exprimée en jours, à respecter entre le traitement et la récolte) et largeurs des zones de non-traitement (aquatique, arthropodes non cibles et plantes non cibles). Cette table comporte également dans deux champs dédiés : la liste des cultures (issue de l'intitulé de l'usage) d'après la nomenclature E-phy sur lesquelles le produit est autorisé et la liste des groupes de cultures (nomenclature RPG en 28 classes en vigueur pour le millésime 2021) équivalents.

**Remarque** : la correspondance entre les cultures E-phy (issues de l’usage) et groupes de cultures du RPG (champ "cultures_autorisees_rpg" de la table infos_ephy_amm_usages.csv) a été réalisée par l’OFB de manière non-automatisée, il ne s'agit pas d'une correspondance officielle réalisée par les producteurs / diffuseurs des données E-phy (Anses) et RPG (IGN).

- **infos_ephy_amm_mention_danger.csv** : informations de mentions de danger relatives aux produits présents dans la BNV-D, issues de la base de données E-phy.
- **infos_ephy_amm_phrases_risque.csv** : informations de phrases de risques relatives aux produits présents dans la BNV-D, issues de la base de données E-phy.

### Structure des données
Les tables décrites ci-dessus sont empaquetées dans des fichiers .zip.
- **substance_20230802.zip** contient les 12 fichiers .csv du schéma "substance", produits à partir des données sources extraites le 02/08/2023
- **amm_20230802.zip** contient les 8 fichiers .csv du schéma "amm", produits à partir des données sources extraites le 02/08/2023

Les données sont encodées en UTF-8, séparées par un point-virgule, le point est utilisé comme séparateur décimal, les données de type Texte sont encadrées par des double quotes.

### Diffusion des données
L'Office Français de la Biodiversité (OFB) a initié la base de données C3PO et réalisé les traitements nécessaires à sa production à partir des sources de données ouvertes détaillées sur cette page. Les scripts Notebook Jupyter (python) permettant de mettre à jour les fichiers .csv diffusés sur cette page sont accessibles sur  la page suivante : https://gitlab.com/data-challenge-gd4h/c3po/-/tree/main (licence Cecill-B v1).

Mots-clés : agriculture,agronomie,api,base-de-donnees,ecotoxicite,pesticides,produits-phytopharmaceutiques,reglementation,sante-environnementale,substances-actives,toxicite,usages,ventes