DOI: 10.5281/zenodo.4893551
title: Références Automatisation des données archivistiques

description: <strong>INFORMATIONS GENERALES</strong><br> ———————————— Titre: Références Automatisation des fonctions archivistiques Auteurs: Groupe "Automatisation" Description Sommaire: Jeu de données constitué dans le cadre d’un cours de "Data curation" donné dans le Master IS de la Haute école de gestion de Genève (HES) par les Prof. M. Arnaud Gaudinat et M. Christian Mumenthaler. L’objectif du Projet était notamment de récolter par du scraping 2000 entrées de Google Scholar à partir d’un sujet. Date de mise en ligne: 1 juin 2021 Version: 1 <strong>ORGANISATION DU REPERTOIRE</strong><br> ———————————————— - Readme<br> Readme_Automatisation.rtf<br> - Sitemap web scraper<br> automatisation_500.csv<br> automation_500.csv<br> computational_archival_science_500.csv<br> archives_numeriques_500.csv<br> - OpenRefine<br> Projet_Data_Curation_Automatisation.gz<br> - Fichier WGet<br> wget_commande.rtf<br> wget_commande2.sh<br> fichiers pdf récupérés<br> - Jeu de données<br> Projet_Data_Curation_Automatisation.csv <br> <strong>METHODOLOGIE DE COLLECTE</strong><br> ——————————————— SCRAPING Outils: Web Scraper Chrome<br> Etapes:<br> 1. Recherche sur Google Scholar: "automatisation fonctions archivistiques", recherche en français sans guillemets, 1370 résultats<br> 2. Tentative de scraping de 500 résultats: échec. Message "Erreur de serveur"<br> 3. Solution: procéder en 4x500 avec quatre recherches et quatre sitemaps différents:<br> Automatisation fonctions archivistiques -&gt; automatisation_500.csv<br> Automatisation archival science -&gt; automation_500.csv<br> Computational archival science -&gt; computational_archival_science_500.csv<br> Archives numériques -&gt; archives_numeriques_500.csv<br> <br> Fichiers:<br> sitemaps.rtf<br> Description: Fichier contenant les 4 sitemaps utilisés pour le scraping<br> automatisation_500.csv<br> Description: Fichier texte contenant un tableau des résultats du scraping avec 500 résultats de la recherche Automatisation fonctions archivistiques.<br> Contenu:<br> web-scraper-order: Numéro de référence attribué par Web Scraper<br> web-scraper-start-url: Url Google Scholar de la référence<br> title: Titre de l’article<br> biblio: Auteur(s) et source<br> extrait: Extrait de l’article<br> url_pdf: Lien raccourci vers le pdf<br> url_pdf-href: Lien complet vers le pdf<br> automation_500.csv<br> Description: Fichier texte contenant un tableau des résultats du scraping avec 500 résultats de la recherche Automatisation archival science.<br> Contenu: idem fichier précédent<br> computational_archival_science_500.csv<br> Description: Fichier texte contenant un tableau des résultats du scraping avec 500 résultats de la recherche Computational archival science.<br> Contenu: idem fichier précédent<br> archives_numeriques_500.csv<br> Description: Fichier texte contenant un tableau des résultats du scraping avec 500 résultats de la recherche Archives numérique.<br> Contenu: idem fichier précédent NETTOYAGE Outils: Tableau Prep<br> Etapes:<br> 1. Les quatre fichiers .csv ont été fusionné par "union" sur Tableau prep<br> 2. Filtrage des formats (exclusion des HTML, etc.) pour ne conserver que les PDF, réduction à 882 résultats<br> <br> RECONCILIATION ET ENRICHISSEMENT Outils: Open Refine; Tableau; Wikidata; Tika<br> Etapes:<br> 1. Grâce au toolkit Apache Tika les métadonnées des pdf ainsi que les pdf en plein texte ont été extraites et ajoutées dans de nouvelles colonnes.<br> 2. Les informations date et langue ont été extraite des métadonnées 3. Une autre Regex pour isoler l’hébergeur:<br> Expression régulière l’hébergeur : value.match(/^.+ (.+)/).join(" ")<br> 4. Puis une réconciliation à partir de Wikidata a été opérée sur la colonne hébergeur (université), à partir de laquelle le jeu de donnée a pu être enrichi:<br> - country (pays)<br> - headquarters (ville)<br> - field of work (discipline)<br> Fichiers:<br> Projet_Data_Curation_Automatisation.gz<br> Description: fichier Open Refine contenant 882 résultats<br> Contenu:<br> Table Names: Origine du sraping dont est issue la référence<br> web-scraper-order: Référence attribuée par Web Scraper<br> Title: Titre de l’article<br> Biblio: Auteur(s) et source<br> Extrait: Extrait de l’article<br> URL_PDF : Lien raccourci vers le pdf<br> Hébergeurs : Institutions dépositaires<br> country : Pays d’origine du dépôt<br> headquarters location : Ville d’origine du dépôt<br> field of work : Domaine de compétence<br> URL_PDF_href : Lien complet vers le pdf<br> meta_pdf : Métadonnées des pdf extraites avec Tika<br> Date : Dates complètes selon extraction des métadonnées<br> Year : Année extraite<br> Language : Langue de la référence<br> Language_Réc : Langue réconciliée<br> texte_pdf : Texte intégral du pdf RECUPERATION PDF Outils: wget; atom; terminal Mac<br> Etapes:<br> 1. Copier-coller de ce qui a été utilisé dans le scrap, introduction de lignes de commandes:<br> -nv : (no verbose)<br> -a : ajouter les traces du wget dans un fichier de lo<br> -O : écriture d’un fichier<br> -U : simuler une entête de navigateur Web<br> 2. Lancer commande<br> Fichiers<br> wget_commande.rtf<br> Description: Fichiers avec les commandes<br> wget_commande.sh<br> Description: fichier lancé sur atom qui contient les identificateurs et l’url des fichiers pdf dans lesquels on a introduit des lignes de commandes<br> Fichiers pdf récupérés:<br> 1622303994-2142.pdf<br> 1622304784-2181.pdf<br> 1622305615-2222.pdf<br> 1622305656-2224.pdf<br> 1622306507-2266.pdf<br> 1622306709-2276.pdf<br> 1622311300-2502.pdf<br> 1622313108-2591.pdf<br> 1622313128-2592.pdf<br> 1622313310-2601.pdf <strong>JEU DE DONNEES</strong><br> ————————— Projet_Data_Curation_Automatisation.csv<br> Description: Fichier final du jeu de données, après nettoyage, enrichissement et réconciliations<br> Contenu:<br> Table Names: Origine du sraping dont est issue la référence<br> web-scraper-order: Référence attribuée par Web Scraper<br> Title: Titre de l’article<br> Biblio: Auteur(s) et source<br> Extrait: Extrait de l’article<br> URL_PDF : Lien raccourci vers le pdf<br> Hébergeurs : Institutions dépositaires<br> country : Pays d’origine du dépôt<br> headquarters location : Ville d’origine du dépôt<br> field of work : Domaine de compétence<br> URL_PDF_href : Lien complet vers le pdf<br> meta_pdf : Métadonnées des pdf extraites avec Tika<br> Date : Dates complètes selon extraction des métadonnées<br> Year : Année extraite<br> Language : Langue de la référence<br> Language_Réc : Langue réconciliée<br> texte_pdf : Texte intégral du pdf