# Collecter et analyser des données du web et des réseaux sociaux pour les SHS

Benjamin Ooghe-Tabanou

► To cite this version:

Benjamin Ooghe-Tabanou. Collecter et analyser des données du web et des réseaux sociaux pour les SHS. Séminaire "Méthodologie de la recherche" du CIMEOS, Université de Bourgogne, Nov 2022, Dijon, France. hal-03904254

HAL Id: hal-03904254

https://sciencespo.hal.science/hal-03904254

Submitted on 16 Dec 2022

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution - ShareAlike 4.0 International License
# Collecter et analyser des données du web et des réseaux sociaux pour les SHS

Séminaire "Méthodologie de la recherche" du CIMEOS

Université de Bourgogne - Dijon - 10 novembre 2022

Benjamin Ooghe-Tabanou (@boogheta)

Sciences Po médialab (@medialab_ScPo)
<figure><img src="image_2.png" /></figure>

« Google is nice, but we need something better »

The Indian Express, 2011
* Laboratoire de recherche SHS fondé par Bruno Latour en mai 2009, dirigé par Dominique Cardon depuis 2017

* Sciences Sociales, Ingénierie & Design → **interdisciplinarité**

* Articuler méthodes **quali & quanti** à travers une approche numérique

* Travailler avec les traces numériques

* Un écosystème d'outils OpenSource
  https://medialab.sciencespo.fr/outils/

* Un atelier ouvert mensuel : le METAT
  https://www.sciencespo.fr/recherche/fr/content/metat-latelier-de-methodes

<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>
<figure><img src="image_5.png" /></figure>
# Exploiter le Web comme terrain d'enquêtes

## Le Web : un espace de débats et de controverses

## Collecter, enrichir, nettoyer, visualiser & analyser les traces numériques

<figure><img src="image_6.png" /></figure>

CC-BY-NC - Randall Munroe - XKCD
# Une méthodologie pour réaliser un terrain Web

## Accompagnement technique et méthodologique à l'utilisation du Web comme nouveau terrain d'enquêtes

- Collecter, enrichir, nettoyer, visualiser et analyser des traces numériques

- Analyse de réseaux, archivage du web, analyse de controverses (ANT)

- Développement d'outils génériques

- Extraction ciblée de contenus

- Analyse Exploratoire de Données

<figure><img src="image_7.png" /></figure>
# Une approche quali-quanti exploratoire itérative

Numérique ≠ Magique
→ toujours éviter l'entièrement automatique et garantir le retour aux sources

## Other research projects

1. HYPOTHESIS

2. SKETCHING

3. DATA COLLECTION

4. ANALYSIS

5. PUBLICATION

## Other projects' communities

1. HYPOTHESIS

2. SKETCHING

3. DATA COLLECTION

4. ANALYSIS

5. PUBLICATION

## Adaptation controversies' actors

1. HYPOTHESIS

2. SKETCHING

3. DATA COLLECTION

4. ANALYSIS

5. PUBLICATION

## 1. HYPOTHESIS

alpha users

suggest relevant questions

data experts

suggest feasible answers

<figure><img src="image_8.png" /></figure>

## 2. SKETCHING

data experts

propose operationalisation

design experts

sketch mockups

alpha users

evaluate mockups

<figure><img src="image_9.png" /></figure>

## 3. DATA COLLECTION

alpha users

provide existing data

suggest new data sources

data experts

make old data compatible

extract new data

<figure><img src="image_10.png" /></figure>

## 4. ANALYSIS

data experts

explore data

<figure><img src="image_11.png" /></figure>

design experts

visualize data

propose interpretation

render interpretation

<figure><img src="image_12.png" /></figure>

## 5. PUBLICATION

design experts

publish maps

<figure><img src="image_13.png" /></figure>

beta users

react to maps
# Développer un écosystème d'outils OpenSource

http://tools.medialab.sciences-po.fr

* Viser une large **Adoption** :

→ **conception** d'outils dédiés aux besoins des chercheurs

→ **design** d'interfaces centrées sur l'utilisateur

→ **publication** d'outils web utilisables directement en ligne

* Assurer un maximum de **Réutilisabilité** :

→ développement « **opportuniste** » de fonctionnalités

→ diffusion en Logiciel Libre **Open Source**
(téléchargeable, installable, vérifiable & modifiable)

* **Documentation académique** et pratique des outils & méthodes
(publications scientifiques, tutoriels, formations...)
# Organiser des « datasprints »

## Ateliers collaboratifs de travail exploratoire et analytique

- centrés sur un ou quelques jeux de données

- sur plusieurs jours, en petits groupes

- rassemblant une diversité de profils (ingénieurs, designers, académiques, journalistes...)

- confrontant les auteurs ou experts à leurs données

<figure><img src="image_14.png" /></figure>
# Le MetAt, atelier de méthodes numériques

https://www.sciencespo.fr/recherche/fr/content/metat-latelier-de-methodes

* Demandes d'accompagnement :

- discussion et conseil méthodologique

- collecte & nettoyage de données

- visualisation exploratoire

- formation aux outils

- ...

* Un mardi après-midi par mois

* Ouvert à tous, sur inscription préalable

* Initialement « atelier du médialab » :
  → canaliser les sollicitations

* Élargi à la communauté des ingénieurs de recherche de Sciences Po en 2017

* Contribue à l'autoformation continue

<figure><img src="image_15.png" /></figure>

Diego Antolinos-Basso, Audrey Baneyx, Héloïse Théro, Benjamin Ooghe-Tabanou and Paul Girard, "L'atelier de méthodes de Sciences Po : apprendre, aider, rassembler", Humanités numériques, 5 | 2022, Online since 01 June 2022, connection on 09 November 2022.
http://journals.openedition.org/revuehn/2799 DOI: https://doi.org/10.4000/revuehn.2799
# SHS et « Big Data » ?

<figure><img src="image_16.png" /></figure>

Big Data = trop gros pour être manipulé par un ordinateur (> To)
des données personnelles le plus souvent

→ extrêmement rare en Sciences Humaines
# Différents modes de collecte de données web

2 approches bien distinctes aux cibles et résultats différents

**CRAWLING** Vs. **SCRAPING**

fouille systématique
(sources multiples hétérogènes)

contenus textuels & hyperliens

<figure><img src="image_17.png" /></figure>

traitement
du langage

<figure><img src="image_18.png" /></figure>

analyse de réseau
 effets de communauté)

extraction ciblée
(source unique ou ensemble cohérent)

données structurées

<figure><img src="image_19.png" /></figure>

méthodes quantitatives,
statistiques...

Problèmes : des données « sales » et un important coût en maintenance

<figure><img src="image_20.png" /></figure>

<figure><img src="image_21.png" /></figure>

<figure><img src="image_22.png" /></figure>

<figure><img src="image_23.png" /></figure>

CC-BY-NC - Randall Munroe - XKCD
# Hyphe : un crawler orienté recherche

http://hyphe.medialab.sciences-po.fr/demo/

* Les liens hypertextes : nouveaux révélateurs de relations entre acteurs d'une thématique

* Créer un corpus documentaire

- « acteurs web » & contenus textuels respectifs

- liens hypertextes entre ces acteurs

* Études exploratoires ou de controverses dans tous les domaines

<figure><img src="image_24.png" /></figure>

hyphe

<figure><img src="image_25.png" /></figure>

http://medialab.github.io/double-dating-data/

COP 21
Vie privée
Extrême droite
Tissu associatif
Produits laitiers
Cellules souches
Administrations culturelles
...

<figure><img src="image_26.png" /></figure>

http://utopies-concretes.org/

OOGHE-TABANOU, Benjamin, JACOMY, Mathieu, GIRARD, Paul & PLIQUE, Guillaume, "Hyperlink is not dead!", In Proceedings of the 2nd International Conference on Web Studies (WS.2 2018). ACM, New York, NY, USA, 12-18. DOI: https://doi.org/10.1145/3240431.3240434
# Hyphe : une stratégie de crawling contrôlé

* Crawlers classiques : snowballing

→ Surreprésentation des couches hautes
(Google, YouTube, Wikipedia...)

→ Dérive thématique rapide

* Hyphe : crawling semi-automatique

- Fouille systématique des pages des WebEntités choisies uniquement

- Choix humain des autres WebEntités à crawler grâce au degré de citation

<figure><img src="image_27.png" /></figure>

<figure><img src="image_28.png" /></figure>
<figure><img src="image_29.png" /><figcaption># Analyse de réseau : clusters, oppositions & affinités</figcaption></figure>
# Cartographier le web autour d'un thème/débat

## Corpus web sur le changement climatique : le changement climatique est-il anthropique ?

Le réseau représente les acteurs tels qu'ils sont reliés sur le web par des hypertiens. Les acteurs les plus cités dans le corpus ont une plus grande taille. La couleur des liens est celle de l'acteur qui en est à l'origine.

## Web corpus on climate change: anthropogenic climate change

The network represents how actors hyperlink on the web. The most cited actors have the biggest representation. Links are colored according to their source.

https://medialab.github.io/double-dating-data/#/

<figure><img src="image_30.png" /></figure>

### POSITIONNEMENTS DES ACTEURS / ACTORS' POSITION

Le changement climatique est-il anthropique ? / Anthropogenic climate change

<figure><img src="image_31.png" /></figure>

YES

<figure><img src="image_32.png" /></figure>

NO

<figure><img src="image_33.png" /></figure>

NOT RELEVANT

<figure><img src="image_34.png" /></figure>

UNKNOWN OR NOT CATEGORIZED
# Cartographier le web par typologie d'acteurs

## Corpus web sur le changement climatique : types d'activités soutenues

Le réseau représente les acteurs tels qu'ils sont reliés sur le web par des hypertiens. Les acteurs les plus cités dans le corpus ont une plus grande taille. La couleur des liens est celle de l'acteur qui en est à l'origine.

## Web corpus on climate change: type of supported policy

The network represents how actors hyperlink on the web. The most cited actors have the biggest representation. Links are colored according to their source.

https://medialab.github.io/double-dating-data/#/

<figure><img src="image_35.png" /></figure>
# Analyse de fond : traiter les contenus texte

EXPLORE WEB ENTITIES

## PRIVACY WEB CORPUS

SciencesPo
MÉDIALAB

<figure><img src="image_36.png" /></figure>

AXA
Research Fund
Through Research, Protection

<figure><img src="image_37.png" /></figure>

Dota
Innovation Lab

ABOUT

2,313 ENTITIES

7,549 entities represented as a cloud

<figure><img src="image_38.png" /></figure>

<figure><img src="image_39.png" /></figure>

Search

<figure><img src="image_40.png" /></figure>

Apple FBI backdoor

**nakedsecurity.Sophos**

https://nakedsecurity.sophos.com/category/technologies/operating-s..
developers would rather quit than give FBI a backdoor A lead
developer for the Tor Project said

**Helpnetsecurity**

https://www.helpnetsecurity.com/tag/backdoor/
encryption backdoors a bad idea March 4, 2016 backdoor
cybercriminals encryption Apple and the FBI

**nakedsecurity.Sophos**

https://nakedsecurity.sophos.com/2016/03/23/tor-project-says-devel...
developers would rather quit than give FBI a backdoor 23 Mar 2016 1
Apple, iOS, Law & order, Privacy

**nakedsecurity.Sophos**

https://nakedsecurity.sophos.com/2016/03/23/tor-project-says-devel...
developers would rather quit than give FBI a backdoor 23 Mar 2016 1
Apple, iOS, Law & order, Privacy

**Sidstamm**

http://blog sidstamm com/2016_02_01_archive.html
their phones vulnerable is not the right approach. The current public
discourse on the Apple vs. FBI "open

**Laquadrature**

https://mediakit.laquadrature.net/view.php?full=1&id=2374
20160219[AC] LCP Chiffrement Apple FBI Download: MP4, WebM,
How to embed ?

**Laquadrature**

https://mediakit.laquadrature.net/view.php?id=2374
20160219[AC] LCP Chiffrement Apple FBI Download: MP4, WebM,
How to embed ?

**Laquadrature**

https://mediakit.laquadrature.net/view.php?full=1&id=2374
20160219[AC] LCP Chiffrement Apple FBI Download: MP4, WebM,
How to embed ?

<figure><img src="image_41.png" /></figure>

Topics

Surveillance FR

Business & Media

Surveillance US

Cybersecurity

Big data & Analytics

Data Regulation FR

Cookies & Tracking

Telec Operators FR

Card and ID fraud

EXPLORE TOPICS

http://tools.medialab.sciences-po.fr/privacy/
# Exploiter la directionnalité des hyperliens

<figure><img src="image_42.png" /></figure>

<figure><img src="image_43.png" /></figure>

Most hyperlinks stem from the unreliable and aim at the reliable resources

Each bloc's surface is proportional to the count of websites. The color code is the same as the "Décodex".

<figure><img src="image_44.png" /></figure>

The thickness is proportional to the normalized link density*

<figure><img src="image_45.png" /></figure>

Venturini, Tommaso & Jacomy, Mathieu & Bounegru, Liliana & Gray, Jonathan. (2018). Visual Network Exploration for Data Journalists.
https://www.researchgate.net/publication/320225750_Visual_Network_Exploration_for_Data_Journalists
# Exemple de scraping ciblé : Google Bookmarklets

https://medialab.github.io/google-bookmarklets/

Des petits boutons installables simplement dans les favoris du navigateur pour exporter simplement en tableur des résultats d'une recherche Google

<figure><img src="image_46.png" /></figure>

→ url, name, row, description, date
# artoo.js : extraire des données du web (avancé)

https://medialab.github.io/artoo/

* Un bookmarklet à ajouter dans la barre de favoris du navigateur

* Une librairie JavaScript de fonctions utiles pour le scraping depuis la console du navigateur (F12)

<figure><img src="image_47.png" /></figure>

<figure><img src="image_48.png" /></figure>

→ exemple : https://en.wikipedia.org/wiki/List_of_countries_by_carbon_dioxide_emissions

> var data = artoo.scrapeTable( ".wikitable", {headers: 'th'} );
undefined

> data.length;
49

> data[0];
Object {Country: " World", CO2 emissions (kt) in 2014[2]: "35,669,000", " % CO2 Emissions by Country": "100%", Emission per capita (t) in 2014[3]: "5.0"}

> artoo.save,Csv(data, "CO2-world-emissions.csv");
undefined
# Accès contrôlé via les APIs des plateformes

* « Application Programmation Interface »

* Avantages :

- données structurées « propres »

- accès à de gros volume

- relative complétude

- accès à des informations d'usage

* **Problèmes :**

- accès à de gros volumes

- limitation des appels

- « boîtes noires »

- risques de refermeture

- dépendance à la vision des plateformes

<figure><img src="image_49.png" /></figure>

Developer

<figure><img src="image_50.png" /></figure>

<figure><img src="image_51.png" /></figure>

## API reference index

### Accounts and users

Follow, search, and get users

- GET followers/ids

- GET followers/list

- GET friends/ids

- GET friends/list

- GET friendships/incoming

- GET friendships/lookup

- GET friendships/no_retweets/ids

- GET friendships/outgoing

- GET friendships/show

- GET users/lookup

- GET users/search

- GET users/show

- GET users/suggestions

- GET users/suggestions/:slug

- GET users/suggestions/:slug/members

- POST friendships/create

- POST friendships/destroy

- POST friendships/update

https://developer.twitter.com/en/docs/api-reference-index
# De nombreuses métadonnées à exploiter

<figure><img src="image_52.png" /></figure>

<figure><img src="image_53.png" /></figure>

ScPo médialab
@medialab_ScPo

Pour mieux comprendre qui sont les producteurs de connaissances sur la Russie en France entre 1980 et 2020, le projet "Russia, made in France" de V. Lepinay et E. Lezean propose trois bases documentaires, en partie accessible en ligne.
A découvrir sur

<figure><img src="image_54.png" /></figure>

Russia, made in France : des connaissances sur la Russie | médialab Sciences ... Comment parler de la Russie et qui définit l'ordre du jour de la conversation sur la Russie soviétique et post-soviétique ? Initié en 2017, Russia, made in France... 🌐 medialab.sciencespo.fr

11:13 AM · 18 mars 2021 · TweetDeck

12 Retweets 2 Tweets cités 31 J'aime

```json
TWEET_FIELDS = [
    "id",
    "time",
    "created_at",
    "from_user_name",
    "text",
    "filter_level",
    "possibly_sensitive",
    "withheld版权",
    "withheld_scope",
    "withheld_countries",
    "truncated",
    "retweet_count",
    "favorite_count",
    "reply_count",
    "lang",
    "to_user_name",
    "to_user_id",
    "in reply to status id",
    "source",
    "source_name",
    "source_url",
    "location",
    "lat",
    "lng",
    "from_user_id",
    "from_user_realname",
    "from_user_verifyd",
    "from_user_description",
    "from_user_url",
    "from_user_profile_image_url",
    "from_user utco ff set",
    "from_user timezone",
    "from_user lang",
    "from_user tweetcount",
    "from_user followercount",
    "from_user friendcount",
    "from_user_favours count",
    "from_user_listed",
    "from_user_withheld scope",
    "from_user_withheld countries",
    "from_user_created_at",
    "collected via_thread",
    "retweeted_id",
    "retweeted_user_name",
    "retweeted_user_id",
    "quoted_id",
    "quoted_user_name",
    "quoted_user_id",
    "links",
    "medias URLs",
    "medias_files",
    "mentioned_user_names",
    "mentioned_user_ids",
    "hashtags"
]

# digital ID
# UNIX timestamp of creation
# ISO datetime of creation
# author's user text ID (@user)
# message's text content
# internal TCAT field, ignorable
# whether a link present in the message might contain sensitive content according to Twitter
# whether the tweet might be censored by Twitter following copyright requests, ignorable
# whether the content withheld is the "status" or a "user", ignorable
# list of ISO country codes in which the message is withheld, separated by |, ignorable
# whether the tweet is bigger than 140 characters, obsolete
# number of retweets of the message (at collection time)
# number of likes of the message (at collection time)
# number of answers to the message, dropped by Twitter (since Oct 17, now charged), unreliable and ignorable
# language of the message automatically identified by Twitter's algorithms (equals "und" when no language could be detected)
# text ID of the user the message is answering to
# digital ID of the user the message is answering to
# digital ID of the tweet the message is answering to
# medium used by the user to post the message
# name of the medium used to post the message
# link to the medium used to post the message
# location declared in the user's profile (at collection time)
# latitude of messages geolocalized
# longitude of messages geolocalized
# author's user digital ID
# author's detailed textual name (at collection time)
# whether the author's account is certified
# description given in the author's profile (at collection time)
# link to a website given in the author's profile (at collection time)
# link to the image avatar of the author's profile (at collection time)
# time offset due to the user's timezone, dropped by Twitter (since May 18), ignorable
# timezone declared in the user's profile, dropped by Twitter (since May 18), ignorable
# language declared in the user's profile (at collection time)
# number of tweets sent by the user (at collection time)
# number of users following the author (at collection time)
# number of users the author is following (at collection time)
# number of likes the author has expressed (at collection time)
# number of users lists the author has been included in (at collection time)
# whether the user content is withheld, ignorable
# list of ISO country codes in which the user content is withheld, separated by |, ignorable
# ISO datetime of creation of the author's account
# whether the tweet was retrieved only as part of a thread including a tweet matching the desired query
# digital ID of the retweeted message
# text ID of the user who authored the retweeted message
# digital ID of the user who authoring the retweeted message
# digital ID of the retweeted message
# text ID of the user who authored the retweeted message
# digital ID of the user who authoring the retweeted message
# list of links included in the text content, with redirections resolved, separated by |
# list of links to images/videos embedded, separated by |
# list of filenames of images/videos embedded and downloaded, separated by |, ignorable when medias collections isn't enabled
# list of text IDs of users mentioned, separated by |
# list of digital IDs of users mentioned, separated by |
# list of hashtags used, lowercased, separated by |
```
# Risques de refermeture des APIs

* Twitter API v2.0 « designed for academics needs »
  ... or not...

<table><thead><tr><th></th><th>scraping web</th><th>search API v1.1</th><th>search API v2 standard</th><th>search API v2 académique</th></tr></thead><tbody><tr><th>time coverture</th><td>all time</td><td>8 days back</td><td>8 days back</td><td>all time</td></tr><tr><th># tweets limit</th><td>~ 50 M / month</td><td>~ 180 M / month</td><td>0.2 M / month</td><td>10 M / month</td></tr><tr><th>retweets included</th><td>no</td><td>yes</td><td>yes</td><td>yes</td></tr><tr><th>extra metadata</th><td>yes</td><td>no</td><td>yes</td><td>yes</td></tr></tbody></table>

<table><thead><tr><th>task</th><th>API version</th><th>results / query</th><th>app API / 15 min</th><th>user API / 15 min</th><th>queries / heure</th><th>results / heure</th><th>max queries / jour</th><th>queries / jour</th><th>max tweets / mois</th><th>results / jour</th></tr></thead><tbody><tr><td>user followers/friends</td><td>1.1</td><td>5000</td><td>15</td><td>15</td><td>120</td><td>600000</td><td></td><td>2880</td><td></td><td>14400000</td></tr><tr><td>users followers/friends (max si 10000 / user)</td><td>1.1</td><td>0,5</td><td>15</td><td>15</td><td>120</td><td>60</td><td></td><td>2880</td><td></td><td>1440</td></tr><tr><td>users metas</td><td>1.1</td><td>100</td><td>300</td><td>900</td><td>4800</td><td>480000</td><td></td><td>115200</td><td></td><td>11520000</td></tr><tr><td>tweets by ids</td><td>1.1</td><td>100</td><td>300</td><td>900</td><td>4800</td><td>480000</td><td></td><td>115200</td><td></td><td>11520000</td></tr><tr><td>tweets by ids</td><td>2.0</td><td>100</td><td>300</td><td>900</td><td>4800</td><td>480000</td><td></td><td>115200</td><td>500000</td><td>500000</td></tr><tr><td>user tweets</td><td>1.1</td><td>200</td><td>1500</td><td>900</td><td>9600</td><td>1920000</td><td>100000</td><td>100000</td><td></td><td>20000000</td></tr><tr><td>users tweets (max si 3250 tweets / user)</td><td>1.1</td><td>0,05882352941</td><td>1500</td><td>900</td><td>9600</td><td>564</td><td>100000</td><td>100000</td><td></td><td>5882</td></tr><tr><td>tweet retweets</td><td>1.1</td><td>100</td><td>300</td><td>75</td><td>1500</td><td>150000</td><td></td><td>36000</td><td></td><td>3600000</td></tr><tr><td>tweets by search</td><td>1.1</td><td>100</td><td>450</td><td>180</td><td>2520</td><td>252000</td><td></td><td>60480</td><td></td><td>6048000</td></tr><tr><td>tweets by search</td><td>2.0</td><td>100</td><td>450</td><td>180</td><td>2520</td><td>252000</td><td></td><td>60480</td><td>500000</td><td>500000</td></tr><tr><td>tweets by search</td><td>2.0 académique</td><td>500</td><td>300</td><td>0</td><td>1200</td><td>600000</td><td>86400</td><td>28800</td><td>10000000</td><td>10000000</td></tr></tbody></table>
# Creuser le web avec Minet

https://github.com/medialab/minet

<figure><img src="image_55.png" /></figure>

* Pour utilisateurs semi-avancés (no-code, mais ligne de commande)

* Génériciser nos pratiques et expertises de webmining

* Autonomiser chercheurs et doctorants sur la collecte de données

* Extraire des contenus textes, des liens, des images, etc. à partir de listes d'URLs ou mots-clés

* **SCRAPING :**

- Facebook posts, pages & groups

- Twitter search

- Instagram en cours d'ajout (v0.65.0!)

- Telegram en cours d'ajout

- TikTok un jour ?

* **APIs :**

- Crowdtangle (métriques Facebook)

- Twitter friends/followers/search

- YouTube videos & channels

- Reddit à venir

```
# Yomgui at mbp-de-plique-1.home in ~/code/minet on git:master × [15:51:23]
+ ./ftest/fetch.sh
```
# Gazouilloire : extraction systématique de tweets

https://github.com/medialab/gazouilloire

* Collecter en direct en continu (et jusqu'à 7 jours en arrière)

- des tweets par mots-clés, url, utilisateurs, localisation, langue...

- les conversations et médias associés

- des profils d'utilisateurs

```json
{
    "twitter": {
        "user": "Gazou_medialab2",
        "key": "",
        "secret": "",
        "oauth_token": "",
        "oauth_secret": ""
    },
    "mongo": {
        "host": "localhost",
        "port": 27017,
        "db": "tweets-naturpradi"
    },
    "keywords": [
        "écologique Paris",
        "végétation Paris",
        "verger Paris",
        "grenelle environnement Paris",
        "locavore Paris"
    ],
    "time_limited_keyword": {
        "geolocalisation": null,
        "geolocalisation_type": "admin",
        "resolve_redirected-links": true,
        "grab_conversations": true,
        "download_medias": true,
        "medias_directory": "/store/tweets/naturpradi/media/",
        "timezone": "Europe/Paris",
        "debug": true
    }
}
```
# CatWalk : sélection qualitative de tweets

https://medialab.github.io/catwalk/

Passer en revue rapidement « à la *Tinder* » tous les tweets d'un CSV pour décider de les inclure / exclure d'un corpus

<figure><img src="image_56.png" /></figure>

→ V2 en approche !
# Explorer des réseaux de followers

<figure><img src="image_57.png" /></figure>

Liens de proximité Twitter entre les élus du Conseil Régional d'Île-de-France et du Conseil de Paris
<figure><img src="image_58.png" /><figcaption>Explorer les dynamiques temporelles</figcaption></figure>
<figure><img src="image_59.png" /><figcaption>Explorer des réseaux sémantiques</figcaption></figure>
Explorer l'espace visuel d'un corpus

<figure><img src="image_60.png" /></figure>

RICCI, Donato, COLOMBO, Gabriele, MEUNIER, Axel, et al. Designing Digital Methods to monitor and inform Urban Policy. The case of Paris and its Urban Nature initiative. In: 3rd International Conference on Public Policy (ICPP3)-Panel T10P6 Session 1 Digital Methods for Public Policy. https://re public.polimi.it/bitstream/11311/1038509/1/IPPA_Ricci-Colombo-Meunier-Brilli.pdf
# Explorer des réseaux de co-citation de sites web

<figure><img src="image_61.png" /><figcaption>Graphe obtenu à partir d'un corpus de 60 millions de tweets citant des médias français</figcaption></figure>
# Étudier la propagation de l'info sur l'espace politique

Cartographie de l'espace politique français des utilisateurs de Twitter à partir des followers de parlementaires (méthode de Barbera)

<figure><img src="image_62.png" /></figure>

Jean-Philippe Cointet, Pedro Ramaciotti Morales, Dominique Cardon, Caterina Froio, Benjamin Ooghe, et al. .. De quelle(s) couleur(s) sont les Gilets jaunes ? Plonger des posts Facebook dans un espace idéologique latent. Statistique et Société, Société française de statistique, 2021. https://hal.archives-ouvertes.fr/hal-03700083
# Étudier la propagation de l'info sur l'espace politique

Projection des articles de médias partagés par les utilisateurs de Twitter sur la cartographie de l'espace politique

<figure><img src="image_63.png" /></figure>
# Étudier la propagation de l'info sur l'espace politique

## Application à l'ensemble des médias partagés pour positionner ceux-ci sur la cartographie de l'espace politique

<figure><img src="image_64.png" /></figure>
# Étudier la propagation de l'info sur l'espace politique

Analyse dynamique des médias partagés sur les groupes Facebook de Gilets Jaunes au fil du mouvement

<figure><img src="image_65.png" /><figcaption>Du 3 décembre 2018 au 5 janvier 2019 (Acte III - Acte VIII)</figcaption></figure>

<figure><img src="image_66.png" /><figcaption>Depuis le 6 janvier 2019 (Acte VIII...)</figcaption></figure>

<figure><img src="image_67.png" /></figure>

<figure><img src="image_68.png" /></figure>
# SeeAlsology : exploration sémantique rapide

http://tools.medialab.sciences-po.fr/seealsology/

## Construire & explorer un réseau sémantique de liens entre concepts identifiés via les sections « Voir aussi » de Wikipedia

<figure><img src="image_69.png" /></figure>

WIKIPÉDIA
L'encyclopédie libre

Accueil

Portails thématiques

Article au hasard

Contact

Contribuer

Débutter sur Wikipedia

Aide

Communauté

Modifications récentes

Faire un don

Outils

Pages lées

Suivi des pages lées

Importer un fichier

Pages spéciales

Lien permanent

Informations sur la page

Élément Wikidata

Citer cette page

Imprimer / exporter

Créer un livre

Télécharger comme

PDF

Version imprimable

Dans d'autres projets

<figure><img src="image_70.png" /></figure>

Wikipedia
Commons

Dans d'autres
langues

العربية

Catala

Deutsch

English

Español

Fuskera

<figure><img src="image_71.png" /></figure>

Non connecté

Discussion

Contributions

Créer un compte

Se connecter

## Humanités numériques

Les humanités numériques (ou digital humanities, abrégées "DH", voire humanités digitales²) sont un domaine de recherche, d'enseignement et d'ingénierie au croisement de l'informatique et des arts, lettres, sciences humaines et sciences sociales.

Sommaire [afficher]

## Définition [ modifier | modifier le code ]

Les humanités numériques peuvent être définies comme l'application du « savoir-faire des technologies de l'information [et de l'informatique/infosciences] aux questions de sciences humaines et sociales »³.

...

...

...

...

## Voir aussi [ modifier | modifier le code ]

### Logiciels [ modifier | modifier le code ]

* Gephi est un logiciel libre open source, issu du projet e-Diaspora, permettant la visualisation, l'analyse et l'exploitation en temps réel de données relationnelles ou réseaux.

* IRAMTeQ est un logiciel libre d'analyse de texte, développé par Pierre Ratinaud.

* Voyant Tools permet de visualiser et d'explorer des textes

* Prospero (PROgramme de Sociologie Pragmatique, Expérimentale et Réflexive sur Ordinateur - © Doxa) est un logiciel d'analyse de données textuelles qualifié par ses concepteurs de technologie littéraire pour les sciences humaines. Le logiciel a été conçu par le sociologue Francis Chateauraynaud et l'informaticien Jean-Pierre Charriau.

* Philcarto est un logiciel de cartographie. Le code n'en est pas libre, mais le logiciel est gratuit (freeware). Il fonctionne sur Windows.

* OpenRefine est un logiciel libre et gratuit de lissage de données (anciennement nommée Google refine).

* Le projet DiRT® recense de très nombreux logiciels: DiRT® (archive) (Digital Research Tools - en Anglais).

### Articles connexes [ modifier | modifier le code ]

* Bibliothèque numérique

* Foulille de textes

* Littérature numérique

* Logométrie

* Moteur de recherche

<figure><img src="image_72.png" /></figure>

Exemple de recherche en humanités numériques : répertoire d'archives, sous forme d'analyse de réseau de métadonnées.

<figure><img src="image_73.png" /></figure>

Manifeste des Digital Humanities (2010).

<figure><img src="image_74.png" /></figure>
# Table2Net : construire un réseau à partir d'un CSV

http://tools.medialab.sciences-po.fr/table2net/

## Générer un réseau de liens entre éléments à partir des données d'un fichier tableur

<figure><img src="image_75.png" /></figure>

<figure><img src="image_76.png" /></figure>

→ Visualisation de réseaux avec Gephi / Nansi / MiniVan
# Les « datascales » : zoomer/dézoomer

## Construire des interfaces interactives d'exploration d'un jeu de données à différentes granularité

<figure><img src="image_77.png" /></figure>
# RICardo : visualiser les échanges au 19ème siècle

<figure><img src="image_78.png" /></figure>

Trade v

Data v

Glossary v

About

## The RICardo Project

### Trade between Nations from c. 1800 to 1938

RICardo (Research on International Commerce) is a project dedicated to trade between nations over a period spanning the beginning of the Industrial Revolution to the eve of the Second World War.

It combines a historical trade database covering all of the world's countries and a website which invites to an exploration of the history of international trade through data visualizations.

<table><thead><tr><th>IMPORTATIONS.</th><th>EXPORTATIONS.</th></tr></thead><tbody><tr><td>161,067,000f</td><td>103,305,000f</td></tr><tr><td>97,639,000</td><td>123,504,000</td></tr><tr><td>72,467,000</td><td>84,937,000</td></tr><tr><td>38,245,000</td><td>14,635,000</td></tr><tr><td>24,007,000</td><td>5,207,000</td></tr><tr><td>20,867,000</td><td>10,218,000</td></tr><tr><td>14,813,000</td><td>8,050,000</td></tr><tr><td>8,860,000</td><td>6,352,000</td></tr><tr><td>8,591,000</td><td>230,000</td></tr><tr><td>7,182,000</td><td></td></tr><tr><td>5,043,000</td><td></td></tr></tbody></table>

### Reporting

Reporting depicts the distribution of trade by partners of a reporting

<figure><img src="image_79.png" /></figure>

### Partner

Partner depicts an entity's trade as it is reported by the reportings

<figure><img src="image_80.png" /></figure>

### Bilateral

Bilateral focuses on trade between two countries and allows for a comparison between their trade statistics

<figure><img src="image_81.png" /></figure>

### World

World provides different historical series of world trade and its breakdown by countries

<figure><img src="image_82.png" /></figure>

### Metadata

Metadata provides an overview of bilateral and total trade data availability

<figure><img src="image_83.png" /></figure>

### Exchange rates

Exchange rates provides a visualization of the exchange rate database

<figure><img src="image_84.png" /></figure>
# LaFabriqueDeLaLoi : explorer la complexité législative

<figure><img src="image_85.png" /></figure>

LA FABRIQUE DE LA LOI.FR

<figure><img src="image_86.png" /></figure>
# LFDLL : plus de 1000 lois promulguées ou en cours

<figure><img src="image_87.png" /></figure>

Chaque ligne représente la chronologie des débats sur un projet ou une proposition de loi. La couleur indique l'institution en charge du texte à un instant donné (Assemblée en bleu, Sénat en rouge...). Cliquez sur un texte pour en consulter le résumé et en explorer les articles.

Cliquez sur le bouton ? ci-dessus pour voir un tutoriel interactif de cette visualisation.
# LFDLL : retracer l'évolution du texte à chaque étape

<figure><img src="image_88.png" /></figure>
# LFDLL : retrouver les amendements discutés et votés

<figure><img src="image_89.png" /></figure>
# LFDLL : remonter aux débats parlementaires

<figure><img src="image_90.png" /></figure>
# LFDLL : révéler les techniques d'obstruction

<figure><img src="image_91.png" /></figure>

<figure><img src="image_92.png" /></figure>

<figure><img src="image_93.png" /></figure>

<figure><img src="image_94.png" /></figure>
# LFDLL : l'alignement et la fragmentation des partis

<figure><img src="image_95.png" /></figure>
À vos questions !

https://medialab.sciencespo.fr

benjamin.ooghe@sciencespo.fr

@boogheta@piaille.fr

@boogheta

@medialab_ScPo