# Usages & productions scientifiques en SHS à partir de données du web

Benjamin Ooghe-Tabanou

► To cite this version:

Benjamin Ooghe-Tabanou. Usages & productions scientifiques en SHS à partir de données du web. École thématique. Accompagner les chercheurs et valoriser les collections dans le cadre de la recherche, Bry sur Marne, France. 2022. hal-03904263

HAL Id: hal-03904263

https://sciencespo.hal.science/hal-03904263

Submitted on 16 Dec 2022

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution - ShareAlike 4.0 International License
# Usages & productions scientifiques en SHS
à partir de données du web

Formation « Accompagner les chercheurs et valoriser les collections dans le cadre de la recherche »

INA - 30 novembre 2022

Benjamin Ooghe-Tabanou (@boogheta@piaille.fr / @boogheta)

Sciences Po médialab (@medialab_ScPo)
<figure><img src="image_2.png" /></figure>

« Google is nice, but we need something better »

The Indian Express, 2011
* Laboratoire de recherche SHS fondé par Bruno Latour en mai 2009, dirigé par Dominique Cardon depuis 2017

* Sciences Sociales, Ingénierie & Design
  → **interdisciplinarité**

* Articuler méthodes **quali & quanti** à travers une approche numérique

* Travailler avec les traces numériques

* Un écosystème d'outils OpenSource
  http://tools.medialab.sciences-po.fr

* Un atelier ouvert mensuel : le METAT
  https://www.sciencespo.fr/recherche/fr/content/metat-latelier-de-methodes

<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>
<figure><img src="image_5.png" /></figure>
# Exploiter le Web comme terrain d'enquêtes

## Le Web : un espace de débats et de controverses

## Collecter, enrichir, nettoyer, visualiser & analyser les traces numériques

<figure><img src="image_6.png" /></figure>

CC-BY-NC - Randall Munroe - XKCD
# Une méthodologie pour réaliser un terrain Web

## Accompagnement technique et méthodologique à l'utilisation du Web comme nouveau terrain d'enquêtes

- Collecter, enrichir, nettoyer, visualiser et analyser des traces numériques

- Analyse de réseaux, archivage du web, analyse de controverses (ANT)

- Développement d'outils génériques

- Extraction ciblée de contenus

- Analyse Exploratoire de Données

<figure><img src="image_7.png" /></figure>
# Une approche quali/quanti exploratoire itérative

Numérique ≠ Magique
→ toujours éviter l'entièrement automatique et garantir le retour aux sources

## Other research projects

1. HYPOTHESIS

2. SKETCHING

3. DATA COLLECTION

4. ANALYSIS

5. PUBLICATION

## Other projects' communities

1. HYPOTHESIS

2. SKETCHING

3. DATA COLLECTION

4. ANALYSIS

5. PUBLICATION

## Adaptation controversies' actors

1. HYPOTHESIS

2. SKETCHING

3. DATA COLLECTION

4. ANALYSIS

5. PUBLICATION

## 1. HYPOTHESIS

alpha users
suggest relevant questions

data experts
suggest feasible answers

<figure><img src="image_8.png" /></figure>

## 2. SKETCHING

data experts
propose operationalisation

design experts
sketch mockups

alpha users
evaluate mockups

<figure><img src="image_9.png" /></figure>

## 3. DATA COLLECTION

alpha users
provide existing data
suggest new data sources

data experts
make old data compatible
extract new data

<figure><img src="image_10.png" /></figure>

<figure><img src="image_11.png" /></figure>

## 4. ANALYSIS

data experts
explore data
propose interpretation

design experts
visualize data
render interpretation

<figure><img src="image_12.png" /></figure>

## 5. PUBLICATION

design experts
publish maps

beta users
react to maps
# Développer un écosystème d'outils OpenSource

http://tools.medialab.sciences-po.fr

* Viser une large **Adoption** :

→ **conception** d'outils dédiés aux besoins des chercheurs

→ **design** d'interfaces centrées sur l'utilisateur

→ **publication** d'outils web utilisables directement en ligne

* Assurer un maximum de **Réutilisabilité** :

→ développement « **opportuniste** » de fonctionnalités

→ diffusion en Logiciel Libre **Open Source**
(téléchargeable, installable, vérifiable & modifiable)

* **Documentation académique** et pratique des outils & méthodes
(publications scientifiques, tutoriels, formations...)
# Organiser des « datasprints »

## Ateliers collaboratifs de travail exploratoire et analytique

- centrés sur un ou quelques jeux de données

- sur plusieurs jours, en petits groupes

- rassemblant une diversité de profils (ingénieurs, designers, académiques, journalistes...)

- confrontant les auteurs ou experts à leurs données

<figure><img src="image_13.png" /></figure>
# Le MetAt, atelier de méthodes numériques

https://www.sciencespo.fr/recherche/fr/content/metat-latelier-de-methodes

* Demandes d'accompagnement :

- discussion et conseil méthodologique

- collecte & nettoyage de données

- visualisation exploratoire

- formation aux outils

- ...

* Un mardi après-midi par mois

* Ouvert à tous, sur inscription préalable

* Initialement « atelier du médialab » :
  → canaliser les sollicitations

* Élargi à la communauté des ingénieurs de recherche de Sciences Po en 2017

* Contribue à l'autoformation continue

<figure><img src="image_14.png" /></figure>

Diego Antolinos-Basso, Audrey Baneyx, Héloïse Théro, Benjamin Ooghe-Tabanou and Paul Girard, "L'atelier de méthodes de Sciences Po : apprendre, aider, rassembler", Humanités numériques, 5 | 2022, Online since 01 June 2022, connection on 09 November 2022.
http://journals.openedition.org/revuehn/2799 DOI: https://doi.org/10.4000/revuehn.2799
# SHS et « Big Data » ?

<figure><img src="image_15.png" /></figure>

Big Data = trop gros pour être manipulé par un ordinateur (> To)
des données personnelles le plus souvent
→ extrêmement rare en Sciences Humaines
# Différents modes de collecte de données web

2 approches bien distinctes aux cibles et résultats différents

**CRAWLING** Vs. **SCRAPING**

fouille systématique
(sources multiples hétérogènes)

contenus textuels & hyperliens

traitement
du langage

analyse de réseau
(effets de communauté)

extraction ciblée
(source unique ou ensemble cohérent)

données structurées

méthodes quantitatives,
statistiques...

Problèmes : des données « sales » et un important coût en maintenance

<figure><img src="image_16.png" /></figure>

<figure><img src="image_17.png" /></figure>

<figure><img src="image_18.png" /></figure>

<figure><img src="image_19.png" /></figure>

CC-BY-NC - Randall Munroe - XKCD
# Hyphe : un crawler orienté recherche

http://hyphe.medialab.sciences-po.fr/demo/

* Les liens hypertextes : nouveaux révélateurs de relations entre acteurs d'une thématique

* Créer un corpus documentaire

- « acteurs web » & contenus textuels respectifs

- liens hypertextes entre ces acteurs

* Études exploratoires ou de controverses dans tous les domaines

<figure><img src="image_20.png" /></figure>

hyphe

<figure><img src="image_21.png" /></figure>

http://medialab.github.io/double-dating-data/

COP 21
Vie privée
Extrême droite
Tissu associatif
Produits laitiers
Cellules souches
Administrations culturelles
...

<figure><img src="image_22.png" /></figure>

http://utopies-concretes.org/

OOGHE-TABANOU, Benjamin, JACOMY, Mathieu, GIRARD, Paul & PLIQUE, Guillaume, "Hyperlink is not dead!", In Proceedings of the 2nd International Conference on Web Studies (WS.2 2018). ACM, New York, NY, USA, 12-18. DOI: https://doi.org/10.1145/3240431.3240434
# Hyphe : une stratégie de crawling contrôlé

* Crawlers classiques : snowballing

→ Surreprésentation des couches hautes
(Google, YouTube, Wikipedia...)

→ Dérive thématique rapide

* Hyphe : crawling semi-automatique

- Fouille systématique des pages des WebEntités choisies uniquement

- Choix humain des autres WebEntités à crawler grâce au degré de citation

<figure><img src="image_23.png" /></figure>

<figure><img src="image_24.png" /></figure>
# Analyse de réseau : clusters, oppositions & affinités

<figure><img src="image_25.png" /></figure>

<figure><img src="image_26.png" /></figure>

<figure><img src="image_27.png" /></figure>
# Cartographier le web autour d'un thème/débat

## Corpus web sur le changement climatique : le changement climatique est-il anthropique ?

Le réseau représente les acteurs tels qu'ils sont reliés sur le web par des hypertiens. Les acteurs les plus cités dans le corpus ont une plus grande taille. La couleur des liens est celle de l'acteur qui en est à l'origine.

## Web corpus on climate change: anthropogenic climate change

The network represents how actors hyperlink on the web. The most cited actors have the biggest representation. Links are colored according to their source.

https://medialab.github.io/double-dating-data/#/

<figure><img src="image_28.png" /><figcaption>POSITIONNEMENTS DES ACTEURS / ACTORS' POSITION</figcaption></figure>

Le changement climatique est-il anthropique ? / Anthropogenic climate change

<figure><img src="image_29.png" /></figure>

YES

<figure><img src="image_30.png" /></figure>

NO

<figure><img src="image_31.png" /></figure>

NOT RELEVANT

<figure><img src="image_32.png" /></figure>

UNKNOWN OR NOT CATEGORIZED
# Cartographier le web par typologie d'acteurs

## Corpus web sur le changement climatique : types d'activités soutenues

## Web corpus on climate change: type of supported policy

https://medialab.github.io/double-dating-data/#/

Le réseau représente les acteurs tels qu'ils sont reliés sur le web par des hypertiens. Les acteurs les plus cités dans le corpus ont une plus grande taille. La couleur des liens est celle de l'acteur qui en est à l'origine.

The network represents how actors hyperlink on the web. The most cited actors have the biggest representation. Links are colored according to their source.

<figure><img src="image_33.png" /></figure>
# Analyse de fond : traiter les contenus texte

EXPLORE WEB ENTITIES

## PRIVACY WEB CORPUS

SciencesPo
MÉDIALAB

<figure><img src="image_34.png" /></figure>

AXA
Research Fund
Through Research, Protection

<figure><img src="image_35.png" /></figure>

Dota
Innovation Lab

ABOUT

<figure><img src="image_36.png" /></figure>

2,313 ENTITIES

7,549 entities represented as a cloud

<figure><img src="image_37.png" /></figure>

<figure><img src="image_38.png" /></figure>

Search

<figure><img src="image_39.png" /></figure>

Apple FBI backdoor

**nakedsecurity.Sophos**

https://nakedsecurity.sophos.com/category/technologies/operating-s..
developers would rather quit than give FBI a backdoor A lead
developer for the Tor Project said

**Helpnetsecurity**

https://www.helpnetsecurity.com/tag/backdoor/
encryption backdoors a bad idea March 4, 2016 backdoor
cybercriminals encryption Apple and the FBI

**nakedsecurity.Sophos**

https://nakedsecurity.sophos.com/2016/03/23/tor-project-says-devel...
developers would rather quit than give FBI a backdoor 23 Mar 2016 1
Apple, iOS, Law & order, Privacy

**nakedsecurity.Sophos**

https://nakedsecurity.sophos.com/2016/03/23/tor-project-says-devel...
developers would rather quit than give FBI a backdoor 23 Mar 2016 1
Apple, iOS, Law & order, Privacy

**Sidstamm**

http://blog sidstamm com/2016_02_01_archive.html
their phones vulnerable is not the right approach. The current public
discourse on the Apple vs. FBI "open

**Laquadrature**

https://mediakit.laquadrature.net/view.php?full=1&id=2374
20160219[AC] LCP Chiffrement Apple FBI Download: MP4, WebM,
How to embed ?

**Laquadrature**

https://mediakit.laquadrature.net/view.php?id=2374
20160219[AC] LCP Chiffrement Apple FBI Download: MP4, WebM,
How to embed ?

**Laquadrature**

https://mediakit.laquadrature.net/view.php?full=1&id=2374
20160219[AC] LCP Chiffrement Apple FBI Download: MP4, WebM,
How to embed ?

<figure><img src="image_40.png" /></figure>

Topics

Surveillance FR

Business & Media

Surveillance US

Cybersecurity

Big data & Analytics

Data Regulation FR

Cookies & Tracking

Telec Operators FR

Card and ID fraud

EXPLORE TOPICS

http://tools.medialab.sciences-po.fr/privacy/
# Exploiter la directionnalité des hyperliens

<figure><img src="image_41.png" /></figure>

<figure><img src="image_42.png" /></figure>

Most hyperlinks stem from the unreliable and aim at the reliable resources

Each bloc's surface is proportional to the count of websites. The color code si the same as the "Décodex".

<figure><img src="image_43.png" /></figure>

The thickness si proportional to the normalized link density*

<figure><img src="image_44.png" /></figure>

Venturini, Tommaso & Jacomy, Mathieu & Bounegru, Liliana & Gray, Jonathan. (2018). Visual Network Exploration for Data Journalists. https://www.researchgate.net/publication/320225750_Visual_Network_Exploration_for_Data_Journalists
<figure><img src="image_45.png" /><figcaption>## Explorer les dynamiques de polarisation</figcaption></figure>
# Exemple de scraping ciblé : Google Bookmarklets

https://medialab.github.io/google-bookmarklets/

Des petits boutons installables simplement dans les favoris du navigateur pour exporter simplement en tableur des résultats d'une recherche Google

<figure><img src="image_46.png" /></figure>

→ url, name, row, description, date
# artoo.js : extraire des données du web (avancé)

https://medialab.github.io/artoo/

* Un bookmarklet à ajouter dans la barre de favoris du navigateur

* Une librairie JavaScript de fonctions utiles pour le scraping depuis la console du navigateur (F12)

<figure><img src="image_47.png" /></figure>

→ exemple : https://en.wikipedia.org/wiki/List_of_countries_by_carbon_dioxide_emissions

```javascript
var data = artoo.scrapeTable(".wikitable", {headers: 'th'});
undefined

data.length;
49

data[0];
Object {Country: "World", CO2 emissions (kt) in 2014[2]: "35,669,000", " % CO2 Emissions by Country": "100%", Emission per capita (t) in 2014[3]: "5.0"}
artoo.save,Csv(data, "CO2-world-emissions.csv");
undefined
```
# Accès contrôlé via les APIs des plateformes

* « Application Programmation Interface »

* Avantages :

- données structurées « propres »

- accès à de gros volume

- relative complétude

- accès à des informations d'usage

* **Problèmes :**

- accès à de gros volumes

- limitation des appels

- « boîtes noires »

- risques de refermeture

- dépendance à la vision des plateformes

<figure><img src="image_48.png" /></figure>

Developer

<figure><img src="image_49.png" /></figure>

<figure><img src="image_50.png" /></figure>

## API reference index

### Accounts and users

Follow, search, and get users

- GET followers/ids

- GET followers/list

- GET friends/ids

- GET friends/list

- GET friendships/incoming

- GET friendships/lookup

- GET friendships/no_retweets/ids

- GET friendships/outgoing

- GET friendships/show

- GET users/lookup

- GET users/search

- GET users/show

- GET users/suggestions

- GET users/suggestions/:slug

- GET users/suggestions/:slug/members

- POST friendships/create

- POST friendships/destroy

- POST friendships/update

https://developer.twitter.com/en/docs/api-reference-index
# De nombreuses métadonnées à exploiter

<figure><img src="image_51.png" /></figure>

<figure><img src="image_52.png" /></figure>

ScPo médialab
@medialab_ScPo

Pour mieux comprendre qui sont les producteurs de connaissances sur la Russie 🇺 en France entre 1980 et 2020, le projet "Russia, made in France" de V. Lepinay et E. Lezean propose trois bases documentaires, en partie accessible en ligne.
A découvrir sur

<figure><img src="image_53.png" /></figure>

Russia, made in France : des connaissances sur la Russie | médialab Sciences ...
Comment parler de la Russie et qui définit l'ordre du jour de la conversation sur la Russie soviétique et post-soviétique ? Initié en 2017, Russia, made in France...
 medialab.sciencespo.fr

11:13 AM · 18 mars 2021 · TweetDeck

12 Retweets 2 Tweets cités 31 J'aime

TWEET_FIELDS = [
"id",
"time",
"created_at",
"from_user_name",
"text",
"filter_level",
"possibly sensitive",
"withheld Copyright",
"withheld scope",
"withheld countries",
"truncated",
"retweet_count",
"favorite_count",
"reply_count",
"lang",
"to_user_name",
"to_user_id",
"in reply to status id",
"source",
"source_name",
"source_url",
"location",
"lat",
"lng",
"from_user_id",
"from_user_realname",
"from_user_verifye",
"from_user_description",
"from_user_url",
"from_user_profile_image_url",
"from_user utco ff set",
"from_user timezone",
"from_user lang",
"from_user tweetcount",
"from_user followercount",
"from_user friendcount",
"from_user_favours count",
"from_user_listed",
"from_user_withheld scope",
"from_user_withheld countries",
"from_user_created_at",
"collected via_thread",
"retweeted_id",
"retweeted_user_name",
"retweeted_user_id",
"quoted_id",
"quoted_user_name",
"quoted_user_id",
"links",
"medias URLs",
"medias files",
"mentioned_user_names",
"mentioned_user_ids",
"hashtags"
]

# digital ID
# UNIX timestamp of creation
# ISO datetime of creation
# author's user text ID (@user)
# message's text content
# internal TCAT field, ignorable
# whether a link present in the message might contain sensitive content according to Twitter
# whether the tweet might be censored by Twitter following copyright requests, ignorable
# whether the content withheld is the "status" or a "user", ignorable
# list of ISO country codes in which the message is withheld, separated by |, ignorable
# whether the tweet is bigger than 140 characters, obsolete
# number of retweets of the message (at collection time)
# number of likes of the message (at collection time)
# number of answers to the message, dropped by Twitter (since Oct 17, now charged), unreliable and ignorable
# language of the message automatically identified by Twitter's algorithms (equals "und" when no language could be detected)
# text ID of the user the message is answering to
# digital ID of the user the message is answering to
# digital ID of the tweet the message is answering to
# medium used by the user to post the message
# name of the medium used to post the message
# link to the medium used to post the message
# location declared in the user's profile (at collection time)
# latitude of messages geolocalized
# longitude of messages geolocalized
# author's user digital ID
# author's detailed textual name (at collection time)
# whether the author's account is certified
# description given in the author's profile (at collection time)
# link to a website given in the author's profile (at collection time)
# link to the image avatar of the author's profile (at collection time)
# time offset due to the user's timezone, dropped by Twitter (since May 18), ignorable
# timezone declared in the user's profile, dropped by Twitter (since May 18), ignorable
# language declared in the user's profile (at collection time)
# number of tweets sent by the user (at collection time)
# number of users following the author (at collection time)
# number of users the author is following (at collection time)
# number of likes the author has expressed (at collection time)
# number of users lists the author has been included in (at collection time)
# whether the user content is withheld, ignorable
# list of ISO country codes in which the user content is withheld, separated by |, ignorable
# ISO datetime of creation of the author's account
# whether the tweet was retrieved only as part of a thread including a tweet matching the desired query
# digital ID of the retweeted message
# text ID of the user who authored the retweeted message
# digital ID of the user who authoring the retweeted message
# digital ID of the retweeted message
# text ID of the user who authored the retweeted message
# digital ID of the user who authoring the retweeted message
# list of links included in the text content, with redirections resolved, separated by |
# list of links to images/videos embedded, separated by |
# list of filenames of images/videos embedded and downloaded, separated by |, ignorable when medias collections isn't enabled
# list of text IDs of users mentioned, separated by |
# list of digital IDs of users mentioned, separated by |
# list of hashtags used, lowercased, separated by |
# Risques de refermeture des APIs

* Twitter API v2.0 « designed for academics needs »
  ...ou pas...

<table><thead><tr><th></th><th>scraping web</th><th>search API v1.1</th><th>search API v2 standard</th><th>search API v2 académique</th></tr></thead><tbody><tr><th>time coverture</th><td>all time</td><td>8 days back</td><td>8 days back</td><td>all time</td></tr><tr><th># tweets limit</th><td>~ 50 M / month</td><td>~ 180 M / month</td><td>0.2 M / month</td><td>10 M / month</td></tr><tr><th>retweets included</th><td>no</td><td>yes</td><td>yes</td><td>yes</td></tr><tr><th>extra metadata</th><td>yes</td><td>no</td><td>yes</td><td>yes</td></tr></tbody></table>

<table><thead><tr><th>task</th><th>API version</th><th>results / query</th><th>app API / 15 min</th><th>user API / 15 min</th><th>queries / heure</th><th>results / heure</th><th>max queries / jour</th><th>queries / jour</th><th>max tweets / mois</th><th>results / jour</th></tr></thead><tbody><tr><td>user followers/friends</td><td>1.1</td><td>5000</td><td>15</td><td>15</td><td>120</td><td>600000</td><td></td><td>2880</td><td></td><td>14400000</td></tr><tr><td>users followers/friends (max si 10000 / user)</td><td>1.1</td><td>0,5</td><td>15</td><td>15</td><td>120</td><td>60</td><td></td><td>2880</td><td></td><td>1440</td></tr><tr><td>users metas</td><td>1.1</td><td>100</td><td>300</td><td>900</td><td>4800</td><td>480000</td><td></td><td>115200</td><td></td><td>11520000</td></tr><tr><td>tweets by ids</td><td>1.1</td><td>100</td><td>300</td><td>900</td><td>4800</td><td>480000</td><td></td><td>115200</td><td></td><td>11520000</td></tr><tr><td>tweets by ids</td><td>2.0</td><td>100</td><td>300</td><td>900</td><td>4800</td><td>480000</td><td></td><td>115200</td><td>500000</td><td>500000</td></tr><tr><td>user tweets</td><td>1.1</td><td>200</td><td>1500</td><td>900</td><td>9600</td><td>1920000</td><td>100000</td><td>100000</td><td></td><td>20000000</td></tr><tr><td>users tweets (max si 3250 tweets / user)</td><td>1.1</td><td>0,05882352941</td><td>1500</td><td>900</td><td>9600</td><td>564</td><td>100000</td><td>100000</td><td></td><td>5882</td></tr><tr><td>tweet retweets</td><td>1.1</td><td>100</td><td>300</td><td>75</td><td>1500</td><td>150000</td><td></td><td>36000</td><td></td><td>3600000</td></tr><tr><td>tweets by search</td><td>1.1</td><td>100</td><td>450</td><td>180</td><td>2520</td><td>252000</td><td></td><td>60480</td><td></td><td>6048000</td></tr><tr><td>tweets by search</td><td>2.0</td><td>100</td><td>450</td><td>180</td><td>2520</td><td>252000</td><td></td><td>60480</td><td>500000</td><td>500000</td></tr><tr><td>tweets by search</td><td>2.0 académique</td><td>500</td><td>300</td><td>0</td><td>1200</td><td>600000</td><td>86400</td><td>28800</td><td>10000000</td><td>10000000</td></tr></tbody></table>
# Creuser le web avec Minet

https://github.com/medialab/minet

<figure><img src="image_54.png" /></figure>

* Pour utilisateurs semi-avancés (no-code, mais ligne de commande)

* Génériciser nos pratiques et expertises de webmining

* Autonomiser chercheurs et doctorants sur la collecte de données

* Extraire des contenus textes, des liens, des images, etc. à partir de listes d'URLs ou mots-clés

* **SCRAPING :**

- Facebook posts, pages & groups

- Twitter search

- Instagram en cours d'ajout (v0.65.0!)

- Telegram en cours d'ajout

- TikTok un jour ?

* **APIs :**

- Crowdtangle (métriques Facebook)

- Twitter friends/followers/search

- YouTube videos & channels

- Reddit à venir

```
# Yomgui at mbp-de-plique-1.home in ~/code/minet on git:master ✗ [15:51:23]
-> ./ftest/fetch.sh
```
# Gazouilloire : extraction systématique de tweets

https://github.com/medialab/gazouilloire

* Collecter en direct en continu (et jusqu'à 7 jours en arrière)

- des tweets par mots-clés, url, utilisateurs, localisation, langue...

- les conversations et médias associés

- des profils d'utilisateurs

```json
{
    "twitter": {
        "user": "Gazou_medialab2",
        "key": "",
        "secret": "",
        "oauth_token": "",
        "oauth_secret": ""
    },
    "mongo": {
        "host": "localhost",
        "port": 27017,
        "db": "tweets-naturpradi"
    },
    "keywords": [
        "écologique Paris",
        "végétation Paris",
        "verger Paris",
        "grenelle environnement Paris",
        "locavore Paris"
    ],
    "time_limited_keyword": {
        "geolocalisation": null,
        "geolocalisation_type": "admin",
        "resolve_redirected-links": true,
        "grab_conversations": true,
        "download_medias": true,
        "medias_directory": "/store/tweets/naturpradi/media/",
        "timezone": "Europe/Paris",
        "debug": true
    }
}
```
# CatWalk : sélection qualitative de tweets

https://medialab.github.io/catwalk/

Passer en revue rapidement « à la *Tinder* » tous les tweets d'un CSV pour décider de les inclure / exclure d'un corpus

<figure><img src="image_55.png" /></figure>

→ V2 en approche !
# Explorer des réseaux de followers

<figure><img src="image_56.png" /></figure>

Liens de proximité Twitter entre les élus du Conseil Régional d'Île-de-France et du Conseil de Paris
<figure><img src="image_57.png" /><figcaption>## Explorer les dynamiques temporelles</figcaption></figure>
<figure><img src="image_58.png" /><figcaption># Explorer des réseaux sémantiques</figcaption></figure>
Explorer l'espace visuel d'un corpus

<figure><img src="image_59.png" /></figure>

RICCI, Donato, COLOMBO, Gabriele, MEUNIER, Axel, et al. Designing Digital Methods to monitor and inform Urban Policy. The case of Paris and its Urban Nature initiative. In: 3rd International Conference on Public Policy (ICPP3)-Panel T10P6 Session 1 Digital Methods for Public Policy. https://re public.polimi.it/bitstream/11311/1038509/1/IPPA_Ricci-Colombo-Meunier-Brilli.pdf
# Explorer des réseaux de co-citation de sites web

<figure><img src="image_60.png" /><figcaption>Graphe obtenu à partir d'un corpus de 60 millions de tweets citant des médias français</figcaption></figure>
# Étudier la propagation de l'info sur l'espace politique

Cartographie de l'espace politique français des utilisateurs de Twitter à partir des followers de parlementaires (méthode de Barbera)

<figure><img src="image_61.png" /></figure>

Jean-Philippe Cointet, Pedro Ramaciotti Morales, Dominique Cardon, Caterina Froio, Benjamin Ooghe, et al. .. De quelle(s) couleur(s) sont les Gilets jaunes ? Plonger des posts Facebook dans un espace idéologique latent. Statistique et Société, Société française de statistique, 2021. https://hal.archives-ouvertes.fr/hal-03700083
# Étudier la propagation de l'info sur l'espace politique

Projection des articles de médias partagés par les utilisateurs de Twitter sur la cartographie de l'espace politique

<figure><img src="image_62.png" /></figure>
# Étudier la propagation de l'info sur l'espace politique

## Application à l'ensemble des médias partagés pour positionner ceux-ci sur la cartographie de l'espace politique

<figure><img src="image_63.png" /></figure>
# Étudier la propagation de l'info sur l'espace politique

Analyse dynamique des médias partagés sur les groupes Facebook de Gilets Jaunes au fil du mouvement

<figure><img src="image_64.png" /></figure>

Du 3 décembre 2018 au 5 janvier 2019 (Acte III - Acte VIII)

<figure><img src="image_65.png" /></figure>

<figure><img src="image_66.png" /></figure>

Depuis le 6 janvier 2019 (Acte VIII...)

<figure><img src="image_67.png" /></figure>
# SeeAlsology : exploration sémantique rapide

http://tools.medialab.sciences-po.fr/seealsology/

## Construire & explorer un réseau sémantique de liens entre concepts identifiés via les sections « Voir aussi » de Wikipedia

<figure><img src="image_68.png" /></figure>

WIKIPÉDIA
L'encyclopédie libre

Accueil

Portails thématiques

Article au hasard

Contact

Contribuer

Débutter sur Wikipedia

Aide

Communauté

Modifications récentes

Faire un don

Outils

Pages lées

Suivi des pages lées

Importer un fichier

Pages spéciales

Lien permanent

Informations sur la page

Élément Wikidata

Citer cette page

Imprimer / exporter

Créer un livre

Télécharger comme

PDF

Version imprimable

Dans d'autres projets

<figure><img src="image_69.png" /></figure>

Wikipedia
Commons

Dans d'autres
langues

العربية

Català

Deutsch

English

Español

Fuskera

## Humanités numériques

Les humanités numériques (ou digital humanities, abrégées "DH", voire humanités digitales²) sont un domaine de recherche, d'enseignement et d'ingénierie au croisement de l'informatique et des arts, lettres, sciences humaines et sciences sociales.

Sommaire [afficher]

Définition [ modifier | modifier le code ]

Les humanités numériques peuvent être définies comme l'application du « savoir-faire des technologies de l'information [et de l'informatique/infosciences] aux questions de sciences humaines et sociales »³.

...

...

...

...

Voir aussi [ modifier | modifier le code ]

Logiciels [ modifier | modifier le code ]

* Gephi est un logiciel libre open source, issu du projet e-Diaspora, permettant la visualisation, l'analyse et l'exploitation en temps réel de données relationnelles ou réseaux.

* IRAMTeQ est un logiciel libre d'analyse de texte, développé par Pierre Ratinaud.

* Voyant Tools permet de visualiser et d'explorer des textes

* Prospero (PROgramme de Sociologie Pragmatique, Expérimentale et Réflexive sur Ordinateur - © Doxa) est un logiciel d'analyse de données textuelles qualifié par ses concepteurs de technologie littéraire pour les sciences humaines. Le logiciel a été conçu par le sociologue Francis Chateauraynaud et l'informaticien Jean-Pierre Charriau.

* Philcarto est un logiciel de cartographie. Le code n'en est pas libre, mais le logiciel est gratuit (freeware). Il fonctionne sur Windows.

* OpenRefine est un logiciel libre et gratuit de lissage de données (anciennement nommée Google refine).

* Le projet DiRT recense de très nombreux logiciels: DiRT&P (archive) (Digital Research Tools - en Anglais).

Articles connexes [ modifier | modifier le code ]

* Bibliothèque numérique

* Foulille de textes

* Littérature numérique

* Logométrie

* Moteur de recherche

<figure><img src="image_70.png" /></figure>

Exemple de recherche en humanités numériques : répertoire d'archives, sous forme d'analyse de réseau de métadonnées.

<figure><img src="image_71.png" /></figure>

Manifeste des Digital Humanities (2010).

<figure><img src="image_72.png" /></figure>
# ScienceScape : scientométrie en quelques clics

http://tools.medialab.sciences-po.fr/sciencescape/

## Explorer et analyser les auteurs, mots-clés et revues d'un corpus de publications issu de Scopus ou WebOfScience

<figure><img src="image_73.png" /></figure>

ScienceScape

Helpers for scientometrics. Convert files, get networks, visualize stuff from Scopus or Web of Science.

### Volume of papers over time

Upload a Scopus CSV file and look at how many papers are published each year (in your file)

<figure><img src="image_74.png" /></figure>

### Settings

Type of network

author Keywords coappearing in the same papers

Filtering

Remove disconnected nodes

Build network

### Network preview

<figure><img src="image_75.png" /></figure>
# Table2Net : construire un réseau à partir d'un CSV

http://tools.medialab.sciences-po.fr/table2net/

## Générer un réseau de liens entre éléments à partir des données d'un fichier tableur

<figure><img src="image_76.png" /></figure>

<figure><img src="image_77.png" /></figure>

→ Visualisation de réseaux avec **Gephi** / **Nansi** / **MiniVan**
# Les « datascales » : zoomer/dézoomer

Construire des interfaces interactives d'exploration d'un jeu de données à différentes granularité

<figure><img src="image_78.png" /></figure>
# RICardo : visualiser les échanges au 19ème siècle

http://ricardo.medialab.sciences-po.fr

<figure><img src="image_79.png" /></figure>

RICardo

Trade

<figure><img src="image_80.png" /></figure>

Data

<figure><img src="image_81.png" /></figure>

Glossary

<figure><img src="image_82.png" /></figure>

About

## The RICardo Project

### Trade between Nations from c. 1800 to 1938

RICardo (Research on International Commerce) is a project dedicated to trade between nations over a period spanning the beginning of the Industrial Revolution to the eve of the Second World War.

It combines a historical trade database covering all of the world's countries and a website which invites to an exploration of the history of international trade through data visualizations.

<table><thead><tr><th>IMPORTATIONS.</th><th>EXPORTATIONS.</th></tr></thead><tbody><tr><td>161,067,000<sup>f</sup></td><td>103,305,000<sup>f</sup></td></tr><tr><td>97,639,000</td><td>123,504,000</td></tr><tr><td>72,467,000</td><td>84,937,000</td></tr><tr><td>38,245,000</td><td>14,635,000</td></tr><tr><td>21,007,000</td><td>5,207,000</td></tr><tr><td>20,867,000</td><td>10,948,000</td></tr><tr><td>14,813,000</td><td>8,050,000</td></tr><tr><td>8,860,000</td><td>6,352,000</td></tr><tr><td>8,591,000</td><td>230,000</td></tr><tr><td>7,182,000</td><td></td></tr><tr><td>5,043,000</td><td></td></tr></tbody></table>

### Reporting

Reporting depicts the distribution of trade by partners of a reporting

<figure><img src="image_83.png" /></figure>

### Partner

Partner depicts an entity's trade as it is reported by the reportings

<figure><img src="image_84.png" /></figure>

### Bilateral

Bilateral focuses on trade between two countries and allows for a comparison between their trade statistics

<figure><img src="image_85.png" /></figure>

### World

World provides different historical series of world trade and its breakdown by countries

<figure><img src="image_86.png" /></figure>

### Metadata

Metadata provides an overview of bilateral and total trade data availability

<figure><img src="image_87.png" /></figure>

### Exchange rates

Exchange rates provides a visualization of the exchange rate database

<figure><img src="image_88.png" /></figure>
# LaFabriqueDeLaLoi : explorer la complexité législative

<figure><img src="image_89.png" /></figure>

LA FABRIQUE DE LA LOI.FR

<figure><img src="image_90.png" /></figure>
# LFDLL : plus de 1000 lois promulguées ou en cours

<figure><img src="image_91.png" /></figure>

Chaque ligne représente la chronologie des débats sur un projet ou une proposition de loi. La couleur indique l'institution en charge du texte à un instant donné (Assemblée en bleu, Sénat en rouge...). Cliquez sur un texte pour en consulter le résumé et en explorer les articles.

Cliquez sur le bouton ? ci-dessus pour voir un tutoriel interactif de cette visualisation.
# LFDLL : retracer l'évolution du texte à chaque étape

<figure><img src="image_92.png" /></figure>
# LFDLL : retrouver les amendements discutés et votés

<figure><img src="image_93.png" /></figure>
# LFDLL : remonter aux débats parlementaires

<figure><img src="image_94.png" /></figure>

<figure><img src="image_95.png" /></figure>

### Catherine Vautrin, président

La parole est à M. Frédéric Lefebvre, pour soutenir l'amendement no 518.

### Laisser un commentaire

<figure><img src="image_96.png" /></figure>

### Frédéric Lefebvre

Notre collègue Patrice Martin-Lalande a évoqué ce sujet tout à l'heure et a regretté que son amendement ne puisse être discuté en raison de l'article 40.

Il a donc signé celui-ci visant à demander un rapport au Gouvernement, au plus tard le 30 juin 2016, sur la nécessité de créer une consultation publique en ligne pour tout projet de loi ou proposition de loi avant son inscription à l'ordre du jour au Parlement – c'est le moyen que nous avons trouvé pour discuter de ce dispositif dans l'hémicycle.

La crise de confiance est considérable, souvent à juste titre lorsque l'on s'avise du décalage entre le débat public et les préoccupations de nos compatriotes.

Il est temps que la logique démocratique que nous défendons devienne une règle générale dans notre démocratie.

### Laisser un commentaire

<figure><img src="image_97.png" /></figure>

### Catherine Vautrin, président

Quel est l'avis de la commission ?

### Laisser un commentaire

<figure><img src="image_98.png" /></figure>

### Luc Belot, rapporteur de la commission des lois constitutionnelle de la République

Je remercie notre collègue Lefebvre pour avoir rappelé le caractère assez innovant de notre démarche avec ce texte – un grand nombre d'entre vous l'a d'ailleurs également fait lors de la discussion générale – laquelle a eu des résultats très favorables.

### Laisser un commentaire
# LFDLL : révéler les techniques d'obstruction

<figure><img src="image_99.png" /></figure>

<figure><img src="image_100.png" /></figure>

<figure><img src="image_101.png" /></figure>

<figure><img src="image_102.png" /></figure>
# LFDLL : l'alignement et la fragmentation des partis

<figure><img src="image_103.png" /></figure>
# LFDLL : la loyauté politique au prisme des votes

<figure><img src="image_104.png" /><figcaption>Similarité des votes des sénateurs par rapport à LREM</figcaption></figure>

<figure><img src="image_105.png" /></figure>
# LFDLL : visualiser la dynamique théâtrale des débats

## Renforcement du dialogue social

Vue d'ensemble du dossier

< Séance précédente (8)

Séance suivante (10) >

### Séance (9) du 8/1/2017, 3:00:00 PM

Synopsis (déroulement temporel)

Acteurs (orateurs et leur comportement)

<figure><img src="image_106.png" /></figure>

<figure><img src="image_107.png" /></figure>

Applaudissements sur les bancs du groupe LC et sur quelques bancs du groupe REM

Lecture du débat

© Dimensionnement séquentiel

● Dimensionnement par nombre de mots

Légende

<figure><img src="image_108.png" /></figure>
À vos questions !

https://medialab.sciencespo.fr

benjamin.ooghe@sciencespo.fr

@boogheta@piaille.fr

@boogheta

@medialab_ScPo