Brevet FR3020159A1 — publié le 20151023

SYSTEME DE METROLOGIE DE LA QUALITE DE L'AIR L'invention concerne une plateforme de métrologie orientée système d'information géographique pour la gestion de données d'observation d'un ou plusieurs paramètre(s) descriptif(s) d'un certain phénomène tel que la qualité de l'air. Les multiples activités déployées par l'homme (en particulier transports, industrie, agriculture, chauffage, traitement des déchets) génèrent le rejet de nombreuses substances dans l'atmosphère, substances qui peuvent évoluer par le jeu de réactions chimiques. Ces substances peuvent engendrer une pollution qui se manifeste à l'intérieur et à l'extérieur des bâtiments. La qualité de l'air peut varier selon les configurations géographiques locales et selon les conditions météorologiques qui jouent un rôle majeur sur la concentration/dispersion des polluants. La qualité de l'air est un enjeu de santé publique et une législation européenne et nationale s'est progressivement mise en place, par exemple : la loi sur l'air et l'utilisation rationnelle de l'énergie du 30 décembre 1996 qui pose les obligations de surveillance de la qualité de l'air, de définition d'objectifs de qualité, et d'information au public ; les obligations légales relatives aux indices de qualité de l'air (juillet 2004), aux seuils d'alerte (octobre 2010), à la prise en compte des particules inférieures à 10 microns (2012). Des moyens d'observation, de prévision ou de description sont mis en 25 oeuvre dans différentes zones géographiques afin de permettre une caractérisation objective de la qualité de l'air. Toutefois, face à une réglementation qui ne cesse d'évoluer (par exemple suivi de polluants tel que le Chrome VI, produits phytosanitaires, nouveaux indicateurs, nouveaux plans d'actions, augmentation de la fréquence des 30 rapportages), les solutions existantes montrent plus d'une limite, telles B021 B001 FR - TQD qu'une obsolescence technologique, une documentation partielle, ou beaucoup d'opérations manuelles pour pallier des manques. Un objet de l'invention est de proposer une plateforme de service capable de répondre à ces nouveaux enjeux. Un autre objet de l'invention est de proposer une plateforme de métrologie qui d'une part valorise l'historique des données collectées par les organismes agréés, et d'autre part permet de rapporter une information de qualité au niveau européen et grand public. Autrement dit, un objet de l'invention est de proposer une plateforme qui permet de reprendre l'historique, tout en étant capable de collecter en continu de nouvelles mesures dans une base de données non structurée permettant de répondre, dans un système d'information géographique, aux demandes de consolidation actuelles et futures. Un autre objet de l'invention est de proposer une plateforme de métrologie qui apporte de l'élasticité pour les performances liées aux réseaux de capteurs destinés aux mesures des paramètres à observer. Un autre objet de l'invention est de proposer une plateforme de métrologie qui anticipe les évolutions pressenties de la réglementation et s'appuie sur une plateforme de services capable de répondre aux nouveaux enjeux. Un autre objet de l'invention est de développer et d'héberger une solution « Big Data » permettant le stockage, l'analyse, la consolidation et la diffusion automatiques des données issues de capteurs de pollutions déployés dans différentes zones géographiques. Un autre objet de l'invention est de proposer un système structuré en 25 s'appuyant sur un référentiel de données hébergeant les données de référence du domaine de la qualité de l'air, ce référentiel permettant de centraliser ces données et de limiter la redondance de données. Un autre objet de l'invention est de proposer une plateforme de métrologie permettant de maîtriser la qualité des données, notamment de mettre en 30 oeuvre des contrôles sur la qualité des données collectées, et permettant de B021 B001 FR - TQD fournir la qualité de chaque donnée comme une caractéristique associée à cette donnée. Un autre objet de la l'invention est de proposer un système de métrologie interopérable pour toutes les données et les services ayant vocation à être partagés, en tenant compte de la plupart des standards technologiques et des textes réglementaires européens relatifs aux données observées. Un autre objet de l'invention est de proposer un système de métrologie présentant une architecture et une conception technique permettant un niveau de disponibilité et de performance en adéquation avec les attentes des producteurs et utilisateurs en termes de qualité de service. Un autre objet de l'invention est de proposer un système de métrologie évolutif de sorte à permettre l'ajout d'un module, d'ensembles de données nouvelles, ou d'une fonction avec un minimum d'impact sur l'architecture mise en oeuvre. A ces fins, l'invention se rapporte, selon un premier aspect, à un système de métrologie pour la gestion de données d'observation, ce système étant configuré pour collecter au moins une donnée d'observation, et pour associer à cette donné d'observation un code de qualité reflétant le caractère exploitable de cette donnée d'observation par rapport à un critère prédéfini de qualité, ce système comprenant : un module d'acquisition de données; un module de gestion centralisée de données ; un module de présentation et de diffusion de données; et des briques fonctionnelles transverses: o de traitement et de production de données ; o de contrôle de la qualité de la donnée de bout en bout ; o d'intermédiation afin d'urbaniser l'architecture et de permettre l'exposition de services. Avantageusement, le critère de qualité est choisi parmi la liste des critères suivants : la non-redondance de la donnée d'observation, la cohérence de la donné d'observation conformément à au moins une règle prédéfinie, l'intégrité de la donnée d'observation. B021 B001 FR - TQD Avantageusement, le système est configuré pour déclencher une alerte suite à une comparaison du code de qualité à un seuil d'alerte prédéfini. L'invention se rapporte, selon un deuxième aspect, à un système de métrologie du type ci-dessus, pour la gestion des données d'observation et l'information géographique de la qualité de l'air, le module d'acquisition de données comprenant des moyens de réception de données et une unité d'archivage de données et un outil d'extraction et de transformation de données. Le système présente, selon diverses réalisations, les caractères suivants, le cas échéant combinés : - le module de présentation et de diffusion de données comprend des moyens de consultation via une interface homme machine ; - le module de présentation et de diffusion de données comprend la génération de rapports au format XML ; - le module de présentation et de diffusion de données comprend des moyens d'export automatique de données ; - l'outil d'extraction et de transformation de données est un générateur de code, un code spécifique étant généré pour chaque traitement d'intégration de données ; - l'outil d'extraction et de transformation de données utilise une interface graphique basée sur Eclipse RCP ; - le module de présentation et de diffusion de données comprend un orchestrateur et un moteur d'indexation pour les recherches. D'autres objets et avantages de l'invention apparaîtront à la lumière de la description de modes de réalisation, faite ci-après en référence aux dessins annexés dans lesquels : - la figure 1 illustre une plateforme de métrologie ; - la figure 2 illustre un module d'un système de métrologie selon un mode de réalisation. Sur la figure 1 est affichée une plateforme de métrologie comprenant des sources de données 1, un système de métrologie 2 orienté Système d'Information Géographique (SIG), et des services 3 rendus par le système de métrologie 2. B021 B001 FR - TQD Les sources de données 1 comprennent les réseaux de collecte de données répartis sur différents sites géographiques. Ces données incluent des données brutes provenant des capteurs (mesures automatiques en continu ou mesures ponctuelles), des prélèvements manuels analysés en laboratoire, et/ou des mesures validées issues d'un processus de validation des données brutes. Les services 3 rendus par le système de métrologie 2 comprennent des données élaborées par le système de métrologie 2 sous différentes formes (par exemple tableaux, rapports, graphes), sur des cartes géographiques afin de faciliter l'exploitation de ces données aux acteurs métiers, par exemple une analyse spatiale de la qualité de l'air. Pour cela, le système de métrologie 2 offre la possibilité d'interfacer avec des systèmes tiers et des portails, et intègre une Interface Homme-Machine (IHM) de sorte que les acteurs et les utilisateurs métiers, et les systèmes partenaires peuvent accéder aux informations de la qualité de l'air (par exemple données collectées, élaborées, ou référentielles). Le système de métrologie 2 peut également s'interfacer avec un portail web grand public (par exemple www.icsqa.org) pour que le grand public s'informe également sur la qualité de l'air. Les systèmes partenaires, dans le domaine de la qualité de l'air, comprennent par exemple les outils de modélisation régionale nécessitant, pour l'exécution de leur propres processus, les données élaborées par le système de métrologie 2. Le système de métrologie 2 a pour fonction de mettre en contexte les mesures fournies ou récupérées depuis les sources de données 1 : définir les données de contexte qualifiant la mesure telles que le point de prélèvement, le site, les coordonnées géographiques, ou le polluant en observation. Cette définition est stockée dans une base de données dite des référentiels ; stocker des mesures : collecter puis stocker les données de mesure brutes et les données validées par les laboratoires Agrées de Surveillance de la qualité de l'Air fournissant les mesures faites sur le terrain (par exemple, en France il s'agit des Associations Agréées Surveillance Qualité de l'Air (AASQA)). Ces données peuvent être par B021 B001 FR - TQD la suite vérifiées (vérification du contexte de la mesure : point de prélèvement, site, coordonnées géographiques, polluant par exemple) ensuite stockées dans une base de données (par exemple NoSQL BigData) ; calculer des données statistiques : produire des données statistiques par site (concentrations moyennes, journalières, annuelles des polluants) et des indicateurs de l'impact des polluants atmosphériques ; vérifier la conformité des données : s'assurer du respect et être informé des écarts sur les obligations réglementaires fixés, par exemple, par la directive européenne 2008/50/CE annexes 3 et 5 ; diffuser les données : mettre à la disposition des acteurs de la surveillance de la qualité de l'air et du public les données métier du système ; superviser le parc, c'est-à-dire l'ensemble des sites géographiques où les paramètres en observation sont mesurés, en mettant à disposition des opérateurs du système des tableaux de bord les informant des alertes d'intégration de données de mesures et des données référentielles. Les données du système de métrologie 2 comprennent, ici, des données référentielles : ce sont les données les plus stables, qui présentent un cycle de vie long, et auxquelles font référence les données opérationnelles. Parmi ces données référentielles on distingue les données décrivant le métier du domaine de l'air (par exemple les stations de mesure, les méthodes de mesure, les polluants, les appareils de mesure), les nomenclatures de données du domaine de l'air (par exemple la typologie des stations, la typologie des zones de surveillance), et les données administratives externes (par exemple code officiel géographique, référentiel externe) ; des données de mesure ou données primaires : données mesurées par les laboratoires agrégés à l'aide des systèmes de capture ou d'acquisition et transmises au système national. Autrement dit, les données de mesures en entrée du système national sont considérées comme des données primaires ; B021 B001 FR - TQD des données élaborées, appelées aussi données statistiques : données calculées à partir des données de mesure dans le but de fournir des données et indicateurs règlementaires et permettant de qualifier la qualité de l'air. Ces données statistiques comprennent par exemple les concentrations moyennes (horaires, journalières, annuelles), le nombre de dépassements des valeurs limites ou des valeurs cibles, des indicateurs qualifiant l'impact des polluants atmosphériques tels que l'Indice d'Exposition Moyenne (IEM), l'Indices de la qualité de l'air (indice ATMO / IQA). En effet, le système de métrologie 2 est configuré pour recueillir et centraliser la remontée des données (diverses mesures et prélèvements). Il est également configuré pour produire des données statistiques suite à un traitement des données collectées selon des critères organisationnels, règlementaires et géographiques, tout en tenant en compte des données référentielles. Le système de métrologie 2 collecte tout type de mesure soit directement de capteurs, sondes, objets ou de diverses bases de données existantes. Il est en particulier capable de traiter un grand nombre de données « BIG DATA », des données agrégées en fichiers, données structurées ou non structurées. Le système de métrologie 2 traite ces données collectées diverses en les transformant en un modèle de donnée unique, ouvert. Il est à noter que tout au long de ce traitement, le système de métrologie 2 offre un contrôle de la qualité de bout en bout des données collectées (cohérences, intégrité, traitements des données). Il s'ensuit la mise à disposition des acteurs, partenaires et utilisateurs métiers, d'une observation cohérente, fiable et en accord avec les directives règlementaires, notamment pour ce qui concerne les activités de rapportage réglementaires, la gestion du parc de mesure et la gestion des alertes. L'exécution d'un rapportage comprend la production de données conformément à un schéma de données et en un format (par exemple en XM L) prédéfinis, et la transmission de ces données via un outil de rapportage électronique. B021 B001 FR - TQD Il est à noter que chaque donnée de mesure, brute ou validée, présente un code de qualité de la donnée (ou de validité de la donnée) qui reflète (ou précise) le caractère exploitable de la donnée (non-redondance, cohérence, intégrité par exemple). On parle également d'état de la donnée. Egalement, des règles de gestion permettent de qualifier le code qualité de la donnée élaborée, affecté par le producteur de donnée, en fonction des codes qualité des données primaires utilisées pour le calcul. Pour cela, le système de métrologie 2 comprend: un module d'acquisition (ou de collecte) 21 de données; un module de gestion centralisée 22 de données ; un module de présentation et de diffusion 23 de données; et des briques fonctionnelles transverses 24: o de traitement et de production de données (statistiques, activités de la Qualité de l'Air) ; o de contrôle de la qualité de la donnée de bout en bout (cohérence, conformité, doublons, par exemple) ; o d'intermédiation (ESB) afin d'urbaniser l'architecture et de permettre l'exposition de services. Le module de présentation et de diffusion 23 de données inclut une interface Homme-Machine (IHM) permettant l'accès aux acteurs métiers pour gérer les habilitations et la sécurité, par exemple interdire toute modification non autorisée de la donnée ; des APIs pour permettre l'intégration de système tiers tel que le système PREV'AIR (Prévisions et observations de la qualité de l'air en France et en Europe) ou les outils de modélisations (régionales ou tiers) pour la consultation de donnée et la mise à disposition des résultats des études réalisées sur la Qualité de l'Air ; des interfaces avec des portails web grand public (par exemple www.icsqa.org) pour la consultation des informations du grand public ; un système d'information géographique pour permettre l'analyse spatiale de la qualité de l'air. B021 B001 FR - TQD En se référent à la figure 2, le module d'acquisition 21 de données comprend des moyens de réception 212 de données et une unité d'archivage 211 de données afin de stocker les données brutes en prétraitement, et un outil d'extraction et de transformation 213 de données (par exemple de type ETL: Extract, Transform, Load) pour rendre les données brutes utilisables par le système de métrologie 2 (mettre sous forme de collections les données pour correspondre à une base de donnée choisie). L'outil d'extraction et de transformation 213 de données (ETL) se charge d'extraire des données récentes : mesures brutes automatiques, manuelles ou validées par les organismes habilités tel que les Associations Agréées Surveillance Qualité de l'Air - AASQA. Cet outil d'extraction et de transformation 213 de données (ETL) pousse, ensuite, les données extraites et transformées vers les divers modules des couches du module de gestion centralisée 22 de données qui pourront être exploitées par le module de présentation et de diffusion 23 de données. Les moyens de réception 212 de données pour l'outil d'extraction et de transformation 213 de données (ETL) permettent d'établir la connexion avec les sources de données 1 des médiations laboratoires agrégés. Les sources de données 1 peuvent être des fichiers de types variés ou des Web Services mis à disposition par des progiciels (par exemple CRM, ERP, eCommerce), des entrepôts de données, des Data Marts. Les protocoles de transmission entre les sources de données 1 et l'outil d'extraction et de transformation 213 de données sont de type FTP, HTTP, SOAP, SCP, JDBC et autres protocoles orientés Bases de Données. Plusieurs modes d'acquisition de données peuvent être mis en oeuvre, via les moyens de réception 212 de données à l'aide: de chargement (Upload) de fichiers directement depuis un portail de gestion ; d'une connexion directe à un répertoire partagé (FTP, HTTP) ; d'une connexion directe aux sources de données 1 via customisation. Pour chaque acquisition de données, une vérification de la qualité de celle-ci est réalisée pour s'assurer de l'intégrité, la conformité, la cohérence de B021 B001 FR - TQD la donnée. Ces contrôles et vérifications peuvent être automatiques, manuels (nécessitant une vérification d'un acteur métier). Un jeu de données peut également être décrit par un ensemble de métadonnées. Plusieurs formats de métadonnées sont supportés parmi lesquelles DCAT (Data Catalog Vocabulary) et INSPIRE (INfrastructure for SPatial InfoRmation in Europe). Les moyens de réception 212 de données stockent les données brutes dans une unité d'archivage 211 légale afin de d'avoir dans, un premier lieu, les « données en entrée sans traitement ». Ces données sont une copie des données fournies par les laboratoires agrégés fournissant les mesures sur la qualité de l'air. Ensuite, les données sources sont traitées par l'outil d'extraction et de transformation 213 de données (ETL) et donc transformées en collection 214 (par exemple, collection de mesures). L'outil d'extraction et de transformation 213 (ETL) de données contrôle le format, la syntaxe des données et leur enrichissement (géocodage, par exemple, pour la reprise des données). L'ETL 213 fournit, ainsi, un modèle de données unifiées en sortie de ce processus. L'ESB (Enterprise Service Bus) 215 pilote l'ETL 213 pour ces taches. Toutes les données remontées par l'ETL vers la collection 214 passent dans un module « Contrôle qualité » des briques fonctionnelles transverses 24. Ce module de contrôle qualité détermine l'état de validation de la donnée. En premier lieu, une donnée passe dans le processus de validation. Un test est alors effectué pour déterminer si cette donnée est valide ou non. Dans le cas où les données sont invalidées par le processus de validation du module « Contrôle de qualité », les données sont envoyées dans une collection « correction ». Cette collection permet centraliser toutes les données invalidées, peu cohérentes ou sous attente de validation ultérieure. Si le processus de validation du module « Contrôle de qualité » juge que la donnée est valide (validation automatique ou manuelle), cette donnée est identifiée comme telle et repasse dans une collection comprenant les données « validées ». Si le processus de validation du module « Contrôle B021 B001 FR - TQD qualité » détermine que la donnée est invalide/pas cohérente, cette donnée est envoyée vers le processus de correction du « Contrôle qualité » dans la collection « correction ». Les critères de qualité par rapport auquel est effectué le contrôle de qualité de données (c'est-à-dire, selon lequel un code de qualité est associé à une donnée d'observation) peuvent être les suivants : l'unicité (non redondance) : donnée mesurée par le dénombrement des doublons en rapport avec le nombre total de données ; la complétude : donnée mesurée par le nombre de champs remplis en rapport avec le nombre de champ total pour une donnée. Les champs obligatoires imposent un niveau de complétude minimum ; la cohérence : donnée mesurée conformément aux règles de cohérence définies pour l'objet considéré, par exemple vérification de ce que la date de fin est ultérieure à la date de début, vérification de ce que la localisation d'un site est bien située sur la commune d'appartenance du site ; l'exactitude: donnée mesurée conformément aux nomenclatures ou référentiels (codes communes, codes polluants par exemple), par exemple vérification de ce que l'identifiant de commune est bien un identifiant existant ; la conformité : donnée mesurée conformément aux règles de nommage (par exemple, codification des sites de mesure) ou de format de données ; l'intégrité : donnée mesurée conformément aux relations entre objets, par exemple vérification de ce que le site de mesure associé à la série de mesures est bien référencé dans le système de métrologie. En s'appuyant sur une catégorisation des contrôles qualité selon ces critères, un tableau de suivi de la qualité présente, pour chaque type de donnée et pour chaque donnée, le niveau de qualité pour chacun des critères utilisés. Ce tableau permettra ainsi d'identifier les données qui nécessitent un effort à produire pour parvenir à une meilleure qualité des données. B021 B001 FR - TQD La correction peut être effectuée de manière automatique ou manuelle. Une fois celle-ci effectuée, la donnée corrigée repasse dans le processus de validation du « Contrôle qualité ». Ce mécanisme permet de contrôler la validité des données en amont et en aval de la correction. Si la donnée passe le test de validité alors celle-ci est identifiée comme modifiée dans la collection et l'historique des modifications de la donnée est inséré dans la collection. La donnée pourra alors être supprimée de la collection « correction » afin d'optimiser l'espace de la base. Un orchestrateur appelé « Business Process Management » (BPM) pilote l'ETL 213, et gère les taches liées à ces processus. Dans le processus d'élaboration et de validation de données statistiques, le module « Production de la donnée» cherche des données dans la collection « mesures validées». A partir de ces mesures, des algorithmes calculent des statistiques qui sont ensuite stockées dans la collection statistique. Les données statistiques élaborées passent dans le module « Contrôle de qualité » pour la validation des données. Si les données statistiques élaborées sont validées alors celles-ci passent dans la collection dite de « statistiques ». Si les données sont invalidées, alors le processus de correction décrit ci-dessus est appliqué. Avantageusement, les briques fonctionnelles transverses 24 permettant le contrôle de la qualité de la donnée, le traitement et la production des données (activités métiers), et l'intermédiation ESB (Enterprise Service Bus). Le contrôle de la qualité de la donnée de bout en bout est une fonction transverse au système de métrologie 2 qui permet de garantir et d'assurer des fonctions de contrôle de la qualité de la donnée de bout en bout. Le contrôle de qualité de la donnée (fonction transverse décrite ci-dessus), permet de suivre le cycle de vie de la donnée, de mettre en historique la donnée, d'assurer le contrôle, la cohérence de la donnée, à savoir la synchronisation, la conformité, l'intégrité et la complétude des fichiers. Des bilans de contrôles sont mis à disposition des acteurs concernés sur une donnée, notamment dans les activités métiers de la gestion d'un parc de mesures ou d'étalonnage (modification de la donnée ou donnée B021 B001 FR - TQD manquante), ou au niveau des activités de rapportage (vérification des données). Le suivi de cycle de vie de la donnée (brute, validée, validation ultérieure) est réalisé grâce, entre autres, aux logs de l'outil d'extraction et de 5 transformation 213 de données, le process de validation des données (manuelle ou automatique). En sortie, ces données sont « identifiées comme validées» dans une base de données (de préférence MongoDB) du module de gestion centralisée 22 de données et constituent la collection opérationnelle de référence. 10 De la même manière, lorsque une donnée est détectée comme erronée ou manquante, elle va intégrer la collection correction pour être traitée. En sortie, cette donnée sera identifiée comme corrigée. Les changements (modifications de la données : l'usager qui a modifié la donnée, l'ancienne valeur, par exemple), est alors mémorisé dans l'historique afin de tracer 15 l'évolution de cette donnée. Les flux sortants du système de métrologie 2 sont les flux en provenance du module de gestion centralisée 22 de données collection 214 opérationnelles (par exemples, collections mesures / statistiques / référentielles validées et collections « correction ») vers le module de 20 présentation et de diffusion 23 de données à savoir : la restitution de la donnée sur une carte géographique ; la consultation des données opérationnelles via l'IHM ; la génération de rapportage au format XML ; les exports automatiques vers les partenaires tiers (comme le 25 système PREV'AIR ou l'AEE (Agence européenne pour l'environnement)) ; la consultation des données brutes à partir de la base historique. Le processus de contrôle de qualité est, aussi, disponible au niveau de la restitution des données (modification des données, validation, correction). 30 Un utilisateur peut accéder à des fonctions de SIG, de consultation, de gestion, de rapportage, en fonction de ses droits préalablement définis, par le biais de l'IHM. Selon le module de l'IHM choisi, des collections B021 B001 FR - TQD spécifiques (contenues dans l'agrégat de collections) sont mises à contribution par le système de métrologie 2. Si les laboratoires agrégés retransmettent une donnée déjà transmise (processus de revalidation), la donnée retransmise sera stockée également 5 dans une unité d'archivage 211 et ensuite remplacera la donnée initialement reçue. Avantageusement, le système de métrologie 2 supporte nativement de nombreux formats de données structurées (tels que CSV, XLS, ShapeFile, GTFS). Il est également possible d'intégrer des formats spécifiques via une 10 customisation. L'outil d'extraction et de transformation 213 des données est de type «générateur de code». Pour chaque traitement d'intégration de données, un code spécifique est généré, ce dernier pouvant être en Java ou en Perl. Les données traitées et les traitements effectués sont donc intimement liés. Il 15 utilise une interface graphique basée sur Eclipse RCP, qui permet la création des processus de manipulation de données. Il offre une très large palette de connecteurs : - progiciels (ERP, CRM par exemple), bases de données, serveurs centraux, fichiers, ou Web Services pour couvrir la disparité 20 grandissante des sources ; entrepôts de données, magasins de données, applications OLAP (Online Analytical Processing) pour analyse, reporting, dashboard, our scorecarding par exemple ; composants ETL avancés stockés localement, incluant des 25 manipulations de chaînes telles que dimensions à évolution lente, traitement automatique des références, support de charges en vrac. Les connecteurs de l'outil d'extraction et de transformation 213 des données couvrent les principaux SGBD (Oracle, DB2, MS SQL Server, PostgreSQL, MySQL) ainsi que le traitement de tous les types de fichiers 30 plats (CSV, Excel, XML), aussi bien en lecture qu'en écriture. L'outil d'extraction et de transformation 213 des données facilite la construction des requêtes dans les bases de données en détectant le schéma et les relations entre tables. B021 B001 FR - TQD Le module de gestion centralisée 22 des données comprend une base de données. Avantageusement, une base de données de technologie « MongoDB » permet d'éviter des upgrades majeures de la base de données pour des modifications ou ajouts de paramètres. La base de données permet de manipuler des objets structurés au format JSON pour le binaire (BSON documentaire), sans schéma prédéterminé. Concrètement les données prennent la forme de documents enregistrés dans des collections 214, une collection pouvant ainsi contenir un nombre quelconque de données. Cette base de données pourra stocker aussi bien les mesures collectées qu'élaborées mais également les données de types référentiels (Territorial, Instrumentation, Dispositif de surveillance et Polluants). Il en résulte, donc, au moins quatre collections 214: mesures, statistiques, référentielle et corrections avec leurs modèles de données associées. Pour les modèles de données riches, il est possible d'implémenter des fonctions de recherche / navigation avancées dans cette base de données telles que la recherche géographique, les critères plein texte, les critères numériques, la navigation par facettes. Pour les modèles de données plus simple, il sera possible de mettre en oeuvre autant de champs que nécessaires : - champs numériques permettant de stocker les valeurs des indices (par exemple NO2, 03), - champ « timestamp », - champ textuel (commentaire), - champs permettant le lien avec le référentiel Les champs faisant le lien avec les modelés permettent une recherche croisée entre les éléments du référentiel et les éléments de données collectées. Le module de gestion centralisée 22 des données comprend en outre un moteur de workflow. Ce moteur workflow est un orchestrateur appelé « Business Process Management » (BPM) permettant de suivre des processus déclenchés par les événements internes et externes (acteurs métiers, évènements capteurs) et d'orchestrer les actions à mener. Le BPM donne une couche d'administration au niveau des processus, et permet de B021 B001 FR - TQD superviser la bonne tenue des process de tout le système de métrologie. Les workflow peuvent être mis en oeuvre afin : d'intégrer les données « livrées » par la couche acquisition ; de « pousser » des actions de mise à jour vers les systèmes externes pour synchroniser les données ; de récupérer des données complémentaires dans des systèmes externes à la solution ; de déclencher des alarmes ou des notifications vers des applications de front office en fonction de règle métier préalablement configurées ; d'appliquer des règles métier de traitement des données ; Le workflow et les règles métiers sont configurables et disposent de fonctions natives telles que des traitements complexes basés sur l'application de règles métier configurables capables d'assurer des échanges sérialisés, en parallèle avec des systèmes externes, un séquenceur / ordonnanceur, ou une sécurité basée sur les rôles. Par ailleurs, le module de gestion centralisée 22 des données comprend un moteur d'indexation pour les recherches, consultations et filtrages diverses. Ce moteur d'indexation permet d'indexer les données et les documents afin de pouvoir les restituer rapidement en cas de recherche. Ce moteur permet, dans la couche de présentation de données, d'alimenter aussi bien une interface Homme-Machine (IHM) qu'une API pour des outils, ou des portails par exemple. Le moteur d'indexation favorise l'extraction distribuée, la transformation et l'enrichissement de données brutes, structurées ou non structurées, jusqu'à la mise à disposition de services de recherche accessibles depuis une API XML/HTTP. Il fournit le socle autorisant le déploiement de tous types d'applications de recherche : applications de recherche transverse, veille informationnelle, applications métiers ou décisionnelles. La synchronisation entre les différents sources de données 1 (par exemple, celles de AASQA et celles du système national) est assurée par les fonctions de notifications (intégrations des données) de l'outil d'extraction et de transformation 213 (ETL) et de la base de données MongoDB du B021 B001 FR - TQD module de gestion centralisée 22 des données. Les contrôles de complétude (par station, par journée) sont mise en oeuvre par l'outil d'extraction et transformation 213 des données (ETL) et le module de gestion centralisée 22 des données. Enfin des fonctions de reporting de ces contrôles sont disponibles au niveau de l'outil d'extraction et transformation 213 des données (ETL) ou de la gestion de la base de données MongoDB. L'historique des imports de données externes et le résultat de chacun de ces imports, la consultation de l'historique d'une donnée référentielle sont réalisées par les fonctions de la couche gestion de données référentielles. Les workflows de saisie et de validation de données sont assurés par le BPM. Les briques fonctionnelles transverses 24 comprennent un module de traitement et de production de données. Ce module représente les activités opérationnelles des acteurs métiers telles que : la production de statistique (calculs d'indices, de taux, de moyenne), le rapportage (réglementaires), la gestion du parc de mesure, gestion des alertes, le suivi des Programme de Surveillance de la Qualité de l'Air, le suivi des Plans et Programmes, la gestion des aides financières. Le traitement et la production des données est une fonction transverse appelant également plusieurs autres modules du système de métrologie 2 pour l'exécution de ces taches, notamment, - le BPM pour orchestrer et piloter de bout en bout les processus métiers quant à l'exécution de ces activités opérationnelles ; - la gestion centralisée des données pour récupérer les mesures brutes validées afin de procéder au traitement ou à la production des données statistiques ; - le module d'exposition présentation/restitution des données pour exposer la donnée sous le format adéquat. A partir de la collection de référence (c'est-à-dire, les mesures validées), le BPM fait appel à des fonctions de calculs (moyenne, indice, taux par exemples) pour établir ces données statistiques. Ces données, au même titre que les données brutes, sont soumises à une validation/correction (si nécessaire) avant leurs intégrations dans la collection opérationnelle de référence. B021 B001 FR - TQD Dans un mode de réalisation, le rapportage réglementaire est produit dans un modèle de fichier au format XML (e-reporting). Avantageusement, le système de métrologie 2 intègre la gestion d'un parc de mesure à savoir la détection de la non-remontée de données d'un capteur de mesures (défaillance, hors service par exemple). Le cas échéant, le système de métrologie 2 prévient l'acteur métier désigné pour vérification. Le système de métrologie 2 génère également un bilan périodique sur l'état du parc de mesures. Notamment, le système de métrologie 2 intègre des seuils et déclenchement d'alerte, suite à une comparaison du code de qualité d'une donnée d'observation collectée à un seuil d'alerte prédéfini, vers un acteur métier désigné. Il génère, également, un bilan périodique sur le listing des alertes émises. Avantageusement, le système de métrologie 2 intègre une intermédiation ESB (Entreprise Service Bus) afin d'urbaniser l'architecture et de permettre l'exposition de services de la qualité de l'air d'une part et de connecter les modules entre eux : acquisition, gestion centralisée des données, traitement et production des données au travers de mécanismes de Push/Pull. Pour intégrer la présentation et la diffusion des données pour les acteurs métiers à travers une Interface Homme Machine simple (IHM), c'est au niveau du poste de travail que sont intégrés les différents composants nécessaires d'une part à la présentation des données, et d'autre part à la prise de décision et à la réalisation des actions associées à un processus standard ou à un évènement particulier. Les composants à intégrer au niveau du poste de travail sont par exemple destinés aux fonctions suivantes : gestion des habilitations et des droits associés suivant le rôle et la position de chaque acteur métier ; accès en lecture ou écriture aux données ; consolidation des mesures, des statistiques ; mise en oeuvre et exécution des processus métiers (corbeille de tâches/actions) ; B021 B001 FR - TQD intégration applicative avec consolidation d'informations provenant du système partenaires ; requêtage et recherche unifiée d'accès aux informations et aux données. Par ailleurs, les notions de rôles, de fonctions et d'affectations géographiques sont prises en compte afin de modéliser finement les droits d'accès et les privilèges des différents utilisateurs, permettant ainsi de modéliser une organisation. La plateforme de métrologie générique possède nativement un système d'information Géographique avec un stockage d'objets géographiques. Grace à la couche de traitement et de production des données, au BPM (orchestrateur de taches) et l'ESB (transport de l'information) les données sont reportées sur des cartes au fil de l'eau, permettant à l'acteur métier de procéder à l'analyse spatiale de ces informations. Les données référentielles, les données de mesure et les données calculées ont pour la plupart une dimension géo-spatiale. Elles peuvent être soient géolocalisées par un point (par exemple, station, point de prélèvement), soit représentées sous forme géographique sur une carte (par exemple, unité administrative, ZAS). Grâce au système d'information géographique, le système de métrologie 2 gère la composante géométrique de chaque donnée géographique. La composante géométrique de chaque donnée se constitue de : la représentation géométrique de la donnée (point, ligne, polygone, multipolygone) ; le système de projection dans lequel est définie la représentation géométrique. En s'appuyant sur cette composante géométrique des données, le système de métrologie permet des opérations géométriques: superposition cartographique de données, intersection de données, inclusion de données, union de données, voisinage géographique de données, calcul de distance, calcul de surface. B021 B001 FR - TQD Ces opérations permettront également de réaliser des contrôles de cohérence spatiale tels que l'inclusion d'un point dans un polygone (par exemple, vérifier qu'une station est bien sur le territoire de la commune associée), ou l'inclusion d'un polygone dans un autre polygone. En particulier, la représentation géographique est utilisée dans le rapportage des données à la Commission Européenne. A chaque donnée de nature géographique, le système lui associe sa représentation géographique. Les nouvelles modalités de rapportage dictées par la décision de 2011 recommandent de transmettre les coordonnées géographiques des données dans le système de projection ETRS89. Afin de répondre à ces exigences de rapportage, le système de métrologie offre les fonctionnalités suivantes : génération des objets géographiques au format GML 3.2 ; génération des objets géographiques au format shapefile ; des outils de conversion entre les différents systèmes de projection (tels que ETRS89, Lambert 93, ou WGS84). Il s'ensuit que le système de métrologie 2 décrit ci-dessus permet de recueillir et centraliser l'ensemble des données du dispositif de surveillance de la qualité de l'air (données de mesure, données référentielles) dans une base de données unique ; de produire des données statistiques à partir des données collectées, selon des critères organisationnels, réglementaires et géographiques ; le contrôle de la qualité des données sur l'ensemble de la chaîne de traitement de la donnée ; de garantir la cohérence entre les données du niveau national et les données mesurées localement ; de tracer le cycle de vie ainsi que l'historique des versions et modifications associées d'une donnée de mesure ou d'une donnée référentielle ; de mettre à disposition des laboratoires agrégés de surveillance de la Qualité de l'Air l'ensemble des données de la qualité de l'air pouvant B021 B001 FR - TQD être utiles à l'exercice de leur activité sur leur territoire de surveillance ; de mettre à disposition des services de l'Etat les données nécessaires au suivi de la politique de surveillance de la qualité sur les différentes zones géographiques du territoire; de mettre à disposition des systèmes partenaires du Domaine de la Qualité de l'Air (ex : PREVAIR et plateformes de modélisation régionale) les données nécessaires à l'exécution de leur processus dont les résultats participent à informer de la qualité de l'air sur le territoire national ; de sélectionner, contrôler, mettre en forme, exporter et diffuser les données nécessaires, et de réaliser des études techniques relatives au dispositif de surveillance ; de configurer et centraliser les données d'observations qui pourront être mises à disposition du public, des chercheurs et des bureaux d'études via un Portail commun. Avantageusement, le Système de métrologie 2 assure la mise à disposition des acteurs, partenaires et utilisateurs métiers des données en accord avec les exigences réglementaires INSPIRE (INfrastructure for SPatial InfoRmation in Europe) notamment sur la structuration des informations géographiques spatiales. Avantageusement, les différents modes de réalisation décrits ci-dessus s'appuient sur une architecture d'intégration qui fournit une large bibliothèque de fonctionnalités et de composants qui a pour effet: de simplifier l'accès aux applicatifs et aux données ; de centraliser la gestion des droits et des habilitations ; de fournir des indicateurs consolidés (tableaux de bord) ; de fournir une intégration facile et moins coûteuse ; d'implémenter des intégrations avec les divers points d'entrée/sortie du système (fonctions « Interface Media Management »). Avantageusement, le système de métrologie décrit ci-dessus contrôle la qualité des données tout au long du cycle de vie de cette donnée, que ce soit pour la donnée de mesure, la donnée référentielle ou la donnée B021 B001 FR - TQD élaborée. En effet, pour chaque opération effectuée sur une donnée (donnée de mesure, référentielle ou élaborée), le système trace la nature de l'opération (création, modification, contrôle, changement de version), le résultat de l'opération, la date et l'heure de l'opération et l'utilisateur à l'origine de cette opération. En outre, pour chaque donnée consultée dans le système de métrologie, il est possible de présenter la liste des opérations effectuées sur la donnée. Plus généralement, le système de métrologie décrit ci-dessus permet de stocker, analyser, consolider, diffuser tout autre donnée en observation concernant autres phénomènes/ressources que la qualité de l'air. Il s'ensuit que ce système de métrologie est, avantageusement, générique et peut être utilisé pour la gestion de données d'observation d'un ou plusieurs paramètre(s) descriptif(s), par exemple, de la météo. B021 B001 FR - TQD REVENDICATIONS1. Système de métrologie (2) pour la gestion de données d'observation, ce système étant configuré pour collecter au moins une donnée d'observation, et pour associer à cette donné d'observation un code de qualité reflétant le caractère exploitable de cette donnée d'observation par rapport à un critère prédéfini de qualité, ce système comprenant : un module d'acquisition (21) de données; un module de gestion centralisée (22) de données ; un module de présentation et de diffusion (23) de données; et des briques fonctionnelles transverses (24): o de traitement et de production de données ; o de contrôle de la qualité de la donnée de bout en bout ; o d'intermédiation afin d'urbaniser l'architecture et de permettre l'exposition de services. 2. Système de métrologie (2) selon la revendication 1, dans lequel le critère de qualité est choisi parmi la liste des critères suivants : la non-redondance de la donnée d'observation, la cohérence de la donné d'observation conformément à au moins une règle prédéfinie, l'intégrité de la donnée d'observation. 3. Système de métrologie (2) selon la revendication 1 ou 2, configuré pour déclencher une alerte suite à une comparaison du code de qualité à un seuil d'alerte prédéfini. 4. Système de métrologie (2) selon l'une quelconque des revendications 1 à 3, pour la gestion des données d'observation et l'information géographique de la qualité de l'air, le module d'acquisition (21) de données comprenant des moyens de réception (212) de données et une unité d'archivage de (211) de données et un outil d'extraction et de transformation (213) de données. 5. Système de métrologie (2) selon la revendication 4, dans lequel le module de présentation et de diffusion (23) de données comprend des moyens de consultation via une interface homme machine. B021 B001 FR - TQD 6. Système de métrologie (2) selon la revendication 4 ou 5, dans lequel le module de présentation et de diffusion (23) de données comprend la génération de rapports au format XML. 7. Système de métrologie (2) selon l'une quelconque des revendications 4 à 6, dans lequel le module de présentation et de diffusion (23) de données comprend des moyens d'export automatique de données. 8. Système de métrologie (2) selon l'une quelconque des revendications 4 à 7, dans lequel l'outil d'extraction et de transformation (213) de données est un générateur de code, un code spécifique étant généré pour chaque traitement d'intégration de données. 9. Système de métrologie (2) selon la revendication 8, caractérisé en ce que l'outil d'extraction et de transformation (213) de données utilise une interface graphique basée sur Eclipse RCP. 10. Système de métrologie (2) selon l'une quelconque des revendications 4 à 9, dans lequel le module de présentation et de diffusion (23) de données comprend un orchestrateur et un moteur d'indexation pour les recherches. B021 B001 FR - TQD