DOI: 10.34847/nkl.3bc0e3e0
title: Search engine pages results and web pages on urban rivers
title: Pages de résultats d'un moteur de recherche et pages web sur les rivières urbaines

description: This corpus contains 72,722 web pages about urban rivers. The pages were obtained by sending Google queries of the type {river AND city}, for a total of 303 cities worldwide and their associated river(s) (373 city-river pairs in total, see the 'list_city_river' file), sent in April 2024. The cities were selected as part of the GloUrb project based on several criteria, including hydrological, geomorphological and population factors. The selected rivers are located in dense urban centres as defined by the Global Human Settlement layer (JRC 2019) and are 30 metres wide or more. 

The 'corpus' file includes information about the websites (website title, position on the results page, snippet, web address, domain, etc.) and contains their tokenized content (i.e. the dictionary form is associated to each word of the text, removing stop words). The original content is not given for data protection reasons (GDPR). The results were collected using the free software R and the Value SERP API. The queries were first launched in English and without any specific location. Then, the queries were launched in each local language of each city and located in the country. Finally, each web page was scrapped using R.
description: Ce corpus contient 72 722 pages web sur les rivières urbaines. Ces pages ont été obtenues par des requêtes sur le moteur de recherche Google du type {rivière AND ville}, pour un total de 303 villes dans le monde et leurs rivières associées (373 paires ville-rivière au total, voir le fichier "list_city_river"), envoyées en avril 2024. Les villes ont été sélectionnées dans le cadre du projet GloUrb sur la base de plusieurs critères, notamment hydrologiques, géomorphologiques et démographiques. Les rivières sélectionnées sont situées dans des centres urbains denses tels que définis par la couche du Global Human Settlement (JRC 2019) et ont une largeur de 30 mètres ou plus. 

Le fichier "corpus" contient des informations sur les sites web (titre, position sur la page de résultats, extrait, adresse web, domaine, etc.) et contient leur contenu tokenisé (c'est-à-dire que la forme du dictionnaire est associée à chaque mot du texte, en supprimant les mots vides). Le texte original n'est pas fourni pour des raisons de protection des données (RGPD). Les résultats ont été collectés à l'aide du logiciel libre R et de l'API Value SERP. Les requêtes ont d'abord été lancées en anglais et sans localisation spécifique. Ensuite, les requêtes ont été lancées dans la langue locale de chaque ville et localisées dans le pays. Enfin, chaque page web a été scrappée à l'aide de R.
description: List of the studied cities and rivers, selected as part of the Glourb project. There is a total of 374 city-river pairs.

fid: unique identifier
urban_aggl: name of the city
latitude: coordinate 
longitude: coordinate
country_en: name of the country
gl: ISO 3166-1 alpha-2 code of the country
hl1: first language of the country, ISO 639 code
hl2: second language of the country, ISO 639 code
hl3: third language of the country, ISO 639 code
hl4: fourth language of the country, ISO 639 code
hl5: fifth language of the country, ISO 639 code
hl6: sixth language of the country, ISO 639 code 
city_en: name of the city in English
city_hl1 to city_hl6: name of the city in the corresponding language
river_en: name of the river in English
river_hl1 to river_hl6: name of the river in the corresponding language
description: Compilation of results pages (SERP) and tokenized web page content for all city-river queries (n = 72,722 web pages). 

fid: unique identifier of the city-river pair
urban_aggl: name of the city
river: name of the river
position: position of the page in the SERP 
title: title of the web page
link: web address of the web page 
domain: domain of the web page
displayed_link: address displayed on the SERP
snippet: a short text summarising the content of the page in the original version (not translated)
trans_snippet: translated snippet in English
tokenized: tokenized content of the web page 
hl: language in which the query was sent 
query: indicates if the query was sent in English or in a local language