Jeu de données : Données essentielles de la commande publique - fichiers consolidés
Titre : Incident en cours
Date : 2019-06-18 20:02

Suite à l'ajout manuel de plusieurs centaines de nouveaux marchés dans le jeu de données AWS (https://www.data.gouv.fr/fr/datasets/donnees-essentielles-des-marches-publics-publies-sur-marches-publics-info-aws/), le script de traitement et de consolidation échoue.

Vous pouvez suivre la résolution du problème ici https://github.com/etalab/decp-rama/issues/16 et ici https://circleci.com/gh/etalab/decp-rama.
Je n'ai pas réussi à reproduire le problème en local. J'ai mis les fichiers en ligne manuellement.
Bonjour,
Suite à la publication d'un marché mardi 13/08 sur PLACE, je guette depuis tous les jours sa publication dans les XML mais aucun trace dans les flux (stock comme run).
Y a t il un souci concernant les données en provenance de DUME également ?
Merci pour votre réponse
Bonjour,

Tout d'abord, l'incident décrit ci-dessus avec les données AWS est clos.

Ensuite, j'aurais besoin d'avoir davantage d'information sur le marché en question.

1) Le marché que vous recherché, est-il en phase de publicité ou bien a t-il été attribué ? Ce jeu de données ne rassemble que des données d'attribution.
2) Si c'est bel et bien un marché notifié, pourriez-vous me donner des infos sur ce marché : date de notification, SIRET de l'acheteur, objet approximatif du marché.

Merci !
Il est vrai que 14/08/2019 il était encore "en attente d'être publié" (je n'ai pas pu vérifier son état aujourd'hui)  mais ce qui me surprend c'est qu'il était visible dans DUME dès le lendemain de la publication, donc le 14/08/2019. 

La vraie question est "à quel moment du workflow un contrat publié" se retrouve t il sur data.gouv.fr ?"

Le numéro de SIRET de l'acheteur 18009256100026,date de notification 17/06/2019, ID DE 20192019S1595900
Pour information, nous récupérons quotidiennement l'intégralité des données publiées ici par l'AIFE pour alimenter ce jeu de données consolidé (https://www.data.gouv.fr/fr/datasets/aife-de-13001977100018-7/).

Pour ce qui est des modalités d'alimentation de ce jeu de données, je pense que vous devriez poser la question dans la partie commentaire de ce jeux de données.

Je vous confirme que le marché que vous cherchez n'est pas présent dans les données consolidées (vous pouvez explorer les données sur ce site : https://sireneld.io/commande-publique).
Bonjour, merci pour ces données ! 
Bonjour,
L'outil https://sireneld.io/commande-publique).part en erreur ce matin après le lancement d'une recherche par numéro de SIRET (par ex 18009256100026).
Cet outil permet de lire le fichier JSON, mais est ce que le contenu des données correspond également au fichier XML decp.xml mis à jour quotidiennement? 
Bonjour,

Effectivement, la quantité de données accumulées fait que mon application ne permet plus la consultation des données. Cette application étant développée et maintenue sur mon temps libre, je ne peux pas vous dire quand elle sera de nouveau utilisable. J'y travaille :)

Enfin, les données sont exactement les mêmes que ce soit pour decp.xml ou decp.json. Seul le format change, de façon à satisfaire des usages variés. En revanche, le fichier decp.ocds.json est expérimental et ses données ne sont pas à jour.

Je vous tiendrai au courant ici-même lorsque mon outil sera réparé.

Bien à vous.
DELETED
https://sireneld.io/commande-publique est à nouveau fonctionnel.
Bonjour,
Super ! Je vois enfin nos marchés. Merci beaucoup.
le site SIRENELD affiche des notifications postérieures à mars 2020 (ex : décembre 2020). Est ce normal ?

Bonjour,

Oui, c'est normal, dans le sens où cela correspond aux données. En revanche, une date de notification dans le futur est effectivement une anomalie.

Pour y remédier, il faudrait contacter les acheteurs concernés et leur demander de rectifier l'information dans leurs outils de gestion de marchés.
DELETED
Bonjour,

le fichier xml récupéré semble mal formaté :

org.xml.sax.SAXParseException; lineNumber: 98444; columnNumber: 7; The element type "lieuExecution" must be terminated by the matching end-tag "</lieuExecution>".

pouvez-vous vérifier et corriger ?
Bonjour,

Pouvez-vous me préciser quel fichier vous avez téléchargé ? (le nom du fichier)

Merci.
J'aurais aussi besoin de la commande que vous avez exécutée ou le logiciel utilisé, de façon à essayer de reproduire le problème. 
Nous avons téléchargé le fichier depuis https://www.data.gouv.fr/fr/datasets/r/17046b18-8921-486a-bc31-c9196d5c3e9c 
Et c'est la validation xsd dans notre code qui donne cette erreur
Le fichier XML est normalement bien formé ("formaté"), mais il n'est pas conforme au schéma réglementaire car les données produites par les acheteurs publics ne sont pas toujours valides (champs manquants, valeurs non conformes, etc.). Le résultat attendu d'une validation est donc une (longue) liste de non conformités, et non une erreur de malformation du XML.

J'ai téléchargé et validé le fichier intégralement avec Xalan packagé en jar (https://github.com/jeszy75/xsd11-validator). Je soupçonne que le fichier avec lequel vous travaillez est tronqué.

Pourriez-vous vérifier :

- que le fichier XML pèse bien 188,6 Mo (197747496 octets)
- que l'empreinte sha1 est bien 0cf1a2ad37c82770f27f4b8b9dd2add1ead79ca4
- ...ou tout simplement le retélécharger et réessayer

Annotation : Incapacité à traiter les données (Accessibilité )