Jeu de données : DATAtourisme,la base nationale des données du tourisme en Open Data
Titre : Comment exploiter le fichier ?
Date : 2018-10-05 09:37

Bonjour, je trouve votre initiative géniale, mais la mise à disposition manque cruellement d'information sur l'exploitation de ce fichier. J'ai testé beaucoup de logiciel d'ontologie et de sémantique, mais aucun n'est capable d'ouvrir un fichier de 2Go. Avez-vous une piste pour ouvrir/lire/parcourir le fichier ? Merci d'avance
Nous vous remercions de votre intérêt porté à la démarche DATAtourisme. Le fichier fourni est effectivement trop volumineux pour être lu à partir d’un logiciel bureautique standard. Nous vous préconisons d’utiliser la base de données Blazegraph, dont la version communautaire est un logiciel libre sous GPLv2 (téléchargeable à l’adresse : https://www.blazegraph.com/). Vous pourrez alors suivre le mode opératoire décrit sur notre framagit DATAtourisme, d’une part pour importer les données, et d’autre part, pour pouvoir les exploiter en utilisant la syntaxe GraphQL au moyen de sa documentation. 

Cependant, nous vous signalons qu’il est possible de générer un fichier de taille réduite dans un format plus adapté aux logiciels bureautiques en vous inscrivant directement sur la plateforme source www.datatourisme.gouv.fr et en créant un flux personnalisé. Plus largement, n’hésitez pas à consulter notre guide d’exploitation de la plateforme DATAtourisme pour obtenir une aide complémentaire.

Les liens manquants :
Framagit DATAtourisme (déploiement de blazegraph) : https://framagit.org/datatourisme/docker-stack
API DATAtourisme : https://framagit.org/datatourisme/api 
Documentation API DATAtourisme : https://datatourisme.frama.io/api/#/start/getting_started
Guide d'utilisation de la plateforme : http://www.datatourisme.fr/2018/04/09/documentation-application-diffuseurs-datatourisme/
Bonjour, je trouve qu'il manque dans vos fichiers csv, le lien vers une image qui décrit le site à découvrir. Sans illustration, les données présentent moins d'attraction.
D'accord avec X. La diffusion via UrbaVox demande également les tarifs (l'information peut être vide). Si ces informations complémentaires sont introduites au format csv, nous pourrons adopter ce nouveau format dans UrbaVox, ce qui devrait permettre de rediffuser davantage de POI.
Depuis le 24/11, l'application pour mobiles Android UrbaVox est désormais disponible sur Amazon Appstore et non plus sur Play Store. Les mêmes données sont aussi accessibles via le site urbavox.fr.
Bonjour 
La plateforme DATAtourisme a pour vocation de fournir de la donnée publique sous Licence Ouverte. Or les organismes touristiques institutionnels détiennent peu de photos diffusables en open data : ils exploitent en général des images fournies par des tiers (photographes notamment) et disposent des droits d’utilisation pour leurs propres supports de promotion uniquement. Ces photos ne peuvent donc pas être mises à disposition via la plateforme DATAtourisme. Il en est de même pour les liens pointant vers ces mêmes images.
Vous accéderez cependant à quelques photos illustrant certains POI en téléchargeant le fichier « NT » dans la liste ci-dessus, ou en paramétrant vos flux sur-mesure via la plateforme www.datatourisme.gouv.fr. Il s’agit d’images pour lesquelles les producteurs détiennent les droits de diffusion adéquats.

S’agissant de l’absence de certaines informations dans les fichiers CSV, notamment les tarifs mais aussi les classements, thèmes, et plusieurs autres informations complexes, il convient de se référer au fichier « NT », contenant l’intégralité des propriétés disponibles sous forme de triplets (LOD). Les tarifs y figureront (à condition qu’ils aient été renseignés dans les bases de données locales alimentant DATAtourisme, ce qui n’est pas encore le cas dans tous les territoires). Une représentation à plat dans des colonnes de ces éléments n’est en effet pas possible à moins de perdre beaucoup d’informations, ce qui ne nous semble pas souhaitable.

Nous sommes à votre disposition à l’adresse contact@datatourisme.fr pour tout complément d’informations.

DELETED
DELETED
DELETED
Vous dites : "Une représentation à plat dans des colonnes de ces éléments n’est en effet pas possible à moins de perdre beaucoup d’informations, ce qui ne nous semble pas souhaitable.".
Le mieux est l'ennemi du bien ; qui trop embrasse mal étreint... 
L'initiative datatourisme est formidable, malheureusement, la mise en oeuvre a été trop intellectualisée il faut le reconnaître et il faut -au moment des restitutions- faire preuve de pragmatisme et répondre à quelques questions élémentaires :
- qui sont les utilisateurs des données ? - de quoi ont ils besoin ? - qui sont les utilisateurs cibles finaux ? - comment répondre à ces besoins ?
Certes, un utilisateur type "uber tourisme (sic)" disposant de gros moyens pourrait parfaitement exploiter les ressources de datatourisme. Au final, d'ailleurs, il finirait probablement par exploiter les données selon une approche "à plat", en enrobant cela d'un brouillard pour faire plus sérieux ! Mais je doute que l'ouverture des données s'adresse à un ou deux gros opérateurs potentiels, ou alors l'argent de l'Etat a été bien mal dépensé.
L'ouverture des données doit permettre à un maximum d'utilisateurs d'exploiter les données et c'est aussi l'intérêt des professions du tourisme. 
Est il impossible de fournir des fichiers "à plat" comportant les informations attendues des réutilisateurs ? A l'évidence : non. La preuve : nous le faisons pour les événements, sans doute imparfaitement, mais n'est-ce pas mieux que rien ? Il est clair que les informations à fournir pour un événement (où, quand, tarifs, nature...) n'ont rien à voir avec les informations à fournir pour un parcours touristique, la recherche d'un gite ou la dégustation de produits régionaux... 
La force de ce que vous avez mis en place est de pouvoir répondre à toutes sortes de besoins. Mais il faut maintenant aller plus loin en rendant les données accessibles au plus grand nombre là où lvotre démarche a introduit des régressions : c'est le cas pour les événements que diffusaient des régions. 
Idutaip n'a pas les moyens financiers de mettre à disposition ses données retraitées "à plat" des événements pour tous et nous le regrettons, mais ce que nous faisons, vous pourriez aussi le faire. Alors, pourquoi ne pas ouvrir un chantier avec des réutilisateurs sur ce qu'il convient de mettre en place pour une véritable réutilisation par le plus grand nombre des données de datatourisme ? C'est où vous voulez, quand vous voulez...

DELETED
A titre indicatif, voici les informations du fichier "à plat" d'urbavox reconstitué à partir de datatourisme, mais aussi d'autres bases sources ; ce fichier ne comporte aucune URI datatourisme car un traitement récursif est effectué jusqu'à obtention de l'info finale.

Nota 1 : les informations peuvent ne pas être toutes renseignées mais certaines informations sont considérées indispensables pour être re-publiées via UrbaVox.
Nota 2 : chaque champ décrit ci-dessous est structuré avec des balises xml et peut donc être lui-même structuré en fonction des sources (ex: le champ propriétaire comporte une balise contact qui inclut des balises nom, adresse, téléphone... ; la baise adresse comporte les balises numéro, rue, code postal; code insee...)
NOTA 3 : lors des restitutions dans UrbaVox, de nombreux champs se trouvent en pratique regroupés au sein du texte accompagnant l'événement.

> Identifiant unique d’événement dans la base source (identifiant précédé d’un suffixe caractérisant l'origine datatourisme au sein d’urbavox car diverses sources sont agrégées)

> Organisme organisateur de l'événement: nom, adresse, contact (nom, téléphone, mail, fax)
> Organisme publiant l’information : nom, adresse, contact (nom, téléphone, mail, fax)
> Propriétaire des données : nom, adresse, contact (nom, téléphone, fax)

> Type d’événement (=Quoi ?) ; NOTA : le type d’événement est décliné dans Urbavox en Thème, genre, catégorie, style. Ce détail est obtenu à partir soit des informations provenant de la base, soit par analyse automatique du contenu de l’événement (titre, texte…). Si aucun type n’a pu être déterminé, Urbavox ne rediffuse pas l’événement.

> Lieu d’événement (où ? ): adresse complète (numéro, rue, ville, code postal, code insee, département) + coordonnées GPS (latitude, longitude) + autres informations éventuelles (ex: bâtiment, salle…) ; NOTA : le pays n’est pas géré dans Urbavox qui ne prend en compte que la France) ; les informations non fournies sont reconstituées à partir du code insee. Si la localisation reste incomplète après enrichissement, l’événement est ignoré dans Urbavox.

> Date Début d’événement 
> Date de Fin d’événement - NOTA : les événements terminés depuis plus de 8 jours sont ignorés dans Urbavox
> Date de modification de l’événement
> Date d’extraction de la base source
> Autres informations "quand" : Heure de début et de fin + durée (déduite des infos précédentes si non fournie) + périodicité éventuelle  (ex : premier jeudi du mois)

> Titre de l’événement (obligatoire pour Urbavox)

> Texte associé à l’événement (dans Urbavox, ce texte est réparti en 5 zones : début, milieu, fin + texte libre court et texte libre long). NOTA : les textes libres ne sont pas rediffusés dans Urbavox. Cette structure est issue de la première base événementielle  historiquement -et toujours- traitée

> Tarifs - Urbavox gère un tarif courant, un tarif réduit et un texte libre pour les « autres tarifs » + un Indicateur payant ou gratuit (Urbavox déduit cette information à partir des tarifs communiqués si l’indicateur n’est pas communiqué dans la source)

> Age minimum ; âge maximum

> Liens associés =
- 3 photos possibles dans Urbavox : URL de la photo, texte de légende de la photo, texte des crédits de la photo
- dossier de presse : URL
- présentation audio : URL
- présentation vidéo : URL
- billetterie : URL

> Indicateur « complet »

> Accessibilité : 
- indicateur "accessible aux personnes handicapées"
- texte détaillant les modalités d’accès handicapés

> Nombre d’exposants
> Nombre de participants maxi

> Base source (datatourisme, infolocale….)
> Mentions d’attribution
> Référence aux données d’origine

CAS PARTICULIERS :
événements répétitifs : un événement extrait d'une base source peut comporter plusieurs couples dates début et fin ; urbavox duplique alors l’événement pour chaque couple. Un événement comportant une périodicité mais ne comportant qu’une seule date de début et de fin constitue dans UrbaVox un seul événement


DELETED
Bonjour ,
Pourriez vous m'indiquer par mail à ***, quels types d'événements et quelles localités ou départements vous seraient utiles ? En pratique actuellement, nous n'avons pas de procédure d'export prévue, mais cela peut probablement se faire sans difficultés. Nous risquons de nous heurter à deux problèmes :
-  capacité de notre petit serveur dimensionné au plus juste pour notre application
- une équipe minimaliste (actuellement réduite à moi même)
et c'est pourquoi, il faut à terme que le relai soit pris par datatourisme. Mais on peut toujours voir ce que l'on peut faire d'ici là.
Cordialement,
 

DELETED
En attendant des fichiers plus complets de datatourisme, Idutaip met maintenant à disposition sur data.gouv.fr un jeu de données "urbavox" des événements (fêtes, manifestations...) au format xml ; ce fichier "à plat" comporte les informations utiles pour assurer une rediffusion documentée de ces événements.
Bonjour,

Nous reprenons le fil des échanges après la trêve estivale et avons pris connaissance, MM. X de vos remarques concernant le contenu des exports CSV issus de la base DATAtourisme.
Nous avions bien noté votre demande d’ajout de critères supplémentaires dans le fichier CSV (horaires, noms, image, voire tarifs), et avons étudié dès réception la faisabilité de ces ajouts, voici l’avancement à ce jour :
•	Nous allons pouvoir ajouter les horaires prochainement. Veuillez noter toutefois que ceux-ci ne sont pas systématiquement renseignés par les producteurs locaux (nous allons travailler en parallèle avec eux pour les inciter à compléter leur saisie).
•	Le nom des lieux figure dans le champ « adresse postale », il est déjà présent dans le CSV lorsque saisi par le producteur.
•	Les liens vers les images ne seront pas présents dans le CSV car cette donnée est plus sensible sur le plan juridique (droits d’auteur) et nous préférons conserver leur accès au sein de la plateforme uniquement.
•	Enfin les tarifs sont pour le moment trop peu présents dans les jeux de données pour être intégrés dans le CSV. Nous n’excluons pas leur ajout lors d’une prochaine mise à jour.

S’agissant de vos remarques sur la conduite de projet et sur les choix technologiques qui ont été faits, il nous semble utile en outre de vous apporter quelques éléments de réponse.

L’objectif du dispositif, au-delà de la répondre au besoin de transparence et d’ouverture des données, est de faciliter la création de services numériques innovants. Au vu de la richesse des bases de données touristiques, il nous a semblé pertinent de partir sur les formats du web sémantique afin de permettre une interopérabilité maximale des données. Pari réussi semble-t-il, puisque de nombreux utilisateurs exploitent aujourd’hui les données disponibles et peuvent les croiser avec d’autres données sectorielles sans aucune difficulté technique. Les données sont désormais diffusés sur plusieurs dizaines de médias (start-ups mais aussi presse quotidienne et grands comptes) qui utilisent les service de la plateforme DATAtourisme quotidiennement. Lorsque c’est nécessaire, nos équipes leur apportent une assistance en ligne via le forum communautaire mis en ligne en début d’année (n’hésitez pas à le solliciter).

Cependant, vous avez en partie raison : le format choisi, s’il est très riche, n’en demeure pas moins complexe à appréhender. Ces choix assumés restreignent l’accès aux données à une catégorie experte d’utilisateurs, et nous avons très vite constaté des difficultés à comprendre le format et à exploiter les données, pour de nombreux utilisateurs de la plateforme. C’est pour cette raison que nous avons décidé de publier en parallèle un export quotidien des données sur le portail data.gouv.fr, incluant une version en CSV, et que nous faisons en sorte de l’enrichir dès que nous en avons la possibilité.

Pour le moment, nous ne pouvons pas intégrer autant de champs que nous le souhaiterions dans ces exports pour des raisons techniques : la génération quotidienne de ces fichiers consomme beaucoup de temps et d’espace serveur et nous devons limiter cette action pour ne pas porter préjudice à l’ensemble de la plateforme. Le développement à terme de la plateforme devrait permettre d’améliorer cela, nous y sommes attentifs.

D’autre part, contrairement à l’impression que vous semblez avoir sur la conduite du projet, sachez que DATAtourisme est et restera un projet collectif, qui se construit au quotidien avec l’implication de l’ensemble de l’écosystème de la data touristique, des contributeurs / producteurs aux réutilisateurs. Un groupe d’entreprises réutilisatrices et de bêta-testeurs a été associé à la réflexion initiale et nous ne manquons pas d’interroger régulièrement notre communauté de producteurs et de diffuseurs. Vous proposez de participer à des échanges destinés à améliorer le dispositif. Nous en prenons note et vous remercions de votre proposition. Nous ne manquerons pas de vous solliciter lors de nos prochains travaux.

Comme vous avez pu le constater, les demandes que vous avez pu nous adresser jusqu’ici ont toujours été étudiées attentivement et, à chaque fois que possible, prises en compte. C’est par exemple suite à votre demande que les champs CONTACTS et DESCRIPTIFS ont été ajoutés aux exports, accompagnés du champ CLASSEMENT qui nous semblait aussi pertinent.

Soyez assuré que nous mettons tout en œuvre pour apporter les meilleurs développements au système, dans les meilleurs délais. Si nous sommes parfaitement conscients qu’il est toujours possible de faire plus, il est ici précisé que l’animation du dispositif DATAtourisme ne bénéficie ni de ligne budgétaire dédiée ni de personnels mobilisés à temps plein.
 
Par conséquent, il nous semble utile de vous encourager à poursuivre le dialogue avec nos équipes, en nous transmettant vos suggestions et besoins de manière cordiale et constructive, afin d’avancer ensemble dans une amélioration de l’accès à la donnée touristique en open data.

Bien cordialement


DELETED
DELETED
DELETED
DELETED
Bonjour ,

Nous constatons avec regret que vous n’êtes pas enclin à une discussion constructive ni à un effort d’appropriation du dispositif que nous avons mis en place.
Aussi, nous nous permettons de clôturer cette discussion et vous laissons le soin de développer vos projets en utilisant d’autres sources de données. 
Nous vous souhaitons un bel automne, un bon hiver et un agréable printemps.

Bien cordialement


Annotation : Incapacité à traiter les données (Accessibilité )