# La production participative (crowdsourcing) : miroir grossissant sur l'annotation manuelle

Karën Fort

► To cite this version:

Karën Fort. La production participative (crowdsourcing): miroir grossissant sur l'annotation manuelle. Séminaire de l'équipe Inria ALMANACH, Oct 2019, Paris, France. hal-02418852

HAL Id: hal-02418852

https://inria.hal.science/hal-02418852v1

Submitted on 19 Dec 2019

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# La production participative (crowdsourcing) : miroir grossissant sur l'annotation manuelle

Karën Fort

karen.fort@sorbonne-universite.fr

11 octobre 2019
# D'où je parle

Voir http://karenfort.org/

* Création de ressources langagières pour le Traitement automatique des langues (TAL)

<figure><img src="image_2.png" /></figure>

* Ethique et TAL

<figure><img src="image_3.png" /></figure>
# Production participative (crowdsourcing)

Jeux ayant un but que j'ai participé à créer :

<figure><img src="image_4.png" /></figure>

ZOMBILINGO

RIGORMORTIS

<figure><img src="image_5.png" /></figure>

<figure><img src="image_6.png" /></figure>

<figure><img src="image_7.png" /></figure>

<figure><img src="image_8.png" /></figure>

Portail de jeux pour les langues et atelier récurrent :

<figure><img src="image_9.png" /></figure>

Games4NLP
L'annotation manuelle de corpus

La production participative

ZombiLingo

Conclusion
## L'annotation manuelle de corpus

- Annoter c'est interpréter

- Une activité (insuffisamment) outillée

- Annotateurs et biais

## La production participative

### ZombiLingo

## Conclusion
Définition de l'annotation

<figure><img src="image_10.png" /></figure>
Définition de l'annotation

<figure><img src="image_11.png" /></figure>

Ajout d'informations interprétatives [Leech, 1997, Habert, 2005]
# La science de la catégorisation

## Mesurer vs quantifier

Certaines réalités sont immédiatement mesurables :

* la hauteur du Mont Everest (8 848 m)

d'autres non :

* le nombre de chômeurs → qu'est-ce qu'un chômeur ?

"Mais précisément la définition et la mesure de la population active et du chômage relèvent d'une autre épistémologie que celle de l'étoile polaire. Elles impliquent des conventions (analogues aux principes généraux des lois et des codes votés par les Parlements) et des décisions (analogues à celles d'un juge) d'affecter tel cas à telle classe." [Desrosières, 2001]
"Un codage est une décision conventionnelle de construire une classe d'équivalence entre divers objets, la 'classe' étant jugée plus 'générale' que tout objet singulier. La 1ère condition pour cela est de supposer que tous ces objets peuvent être comparés, ce qui ne va pas de soi"

[Desrosières, 1989]

→ Quantifier, c'est se mettre d'accord, puis mesurer

[Desrosières, 2008]
Comment se mettre d'accord ?

guide d'annotation

et comment vérifier que le consensus est compris et appliqué ?

accord inter-annotateur
# L'annotation manuelle de corpus

Annoter c'est interpréter

Une activité (insuffisamment) outillée

Annotateurs et biais

La production participative

ZombiLingo

Conclusion
<figure><img src="image_12.png" /></figure>
User: gavrillova2

<figure><img src="image_13.png" /></figure>

User: kristanti

<figure><img src="image_14.png" /></figure>
<figure><img src="image_15.png" /></figure>

Projects Settings

WebAnno | Home

Projects

ADN

Demo_M2_2018
GSD-108
NLP_2017
POS-FR-P4
UD_2017
ZLUD
ZL_TCOF_UD
ZombiLingo
old foot
wc2018
wc2018 Dep

Details

Users

Documents

Layers

Tagsets

Guidelines

Export

General

Name: ADN

Description:

Script direction:

<figure><img src="image_16.png" /></figure>

Project Types

annotation

automation

correction
# L'annotation manuelle de corpus

- Annoter c'est interpréter

- Une activité (insuffisamment) outillée

- Annotateurs et biais

- La production participative

- ZombiLingo

- Conclusion
Les annotateurs bien formés sont moins sensibles aux biais :

* dus à la pré-annotation [Fort and Sagot, 2010]

* dus à l'outil d'annotation [Dandapat et al., 2009]

et annotent moins « au hasard »

L'utilisation d'un guide d'annotation permet d'obtenir de
meilleures annotations (si) [Nédellec et al., 2006]
# Qu'est-ce qu'un expert ?

Experts :

* du **domaine** : annotation en microbiologie (renommage de noms de gènes), football, etc.

* de la **tâche** : annotation en entités nommées structurées

... contradictions et insuffisances :

→ pour des entités nommées en microbiologie, vaut-il mieux des microbiologistes formés à ce qu'est une EN ou des linguistes ayant une formation en microbiologie ?

→ pour des entités nommées dans de la presse ancienne, vaut-il mieux des spécialistes des EN ou des historiens ?
La production participative

Des annotateurs qu'on ne choisit pas
Au-delà des mythes
Redéfinition

ZombiLingo

Conclusion
**Crowdsourcing** is "the act of a company or institution taking a function once performed by employees and outsourcing it to an undefined (and generally large) network of people in the form of an open call." [Howe, 2006]

* pas d'identification ou de sélection des participants a priori (appel ouvert)

* massif (en termes de production et de participation)

* (relativement) peu cher
# Des réussites remarquables

Wikipédia<fnref n="1" /> (octobre 2019) :

* plus de **158 million d'articles** en **279** langues

* plus de 800 millions de pages de la Wikipédia française vues en septembre

Distributed Proofreaders (Gutenberg Project)<fnref n="2" /> :

* près de **40 000** livres numérisés et corrigés

Numérisation des déclarations de conflits d'intérêts des élus<fnref n="3" /> :

* 11 095 extraits de déclarations saisis **en moins d'une semaine**

* près de 8 000 participants

<footnote n="1">1. https://stats.wikimedia.org/v2/#/all-wikipedia-projects</footnote>

<footnote n="2">2. https://www.pgdp.net/c/</footnote>

<footnote n="3">3. http://regardscitoyens.org/interets-des-elus/</footnote>
Les productions participatives

<figure><img src="image_17.png" /></figure>
L'annotation manuelle de corpus

La production participative

Des annotateurs qu'on ne choisit pas

Au-delà des mythes

Redéfinition

ZombiLingo

Conclusion
# Mythe #1 : << C'est nouveau ! >>

## Instructions pour les voyageurs et les employés des colonies

### INSTRUCTIONS
POUR
LES VOYAGEURS

LES EMPLOYÉS DANS LES COLONIES
SUR LA MANIÈRE DE BRÉCILLIER
DU CONSEIL ET D'ANNÉE
LES OBJETS D'HISTOIRE NATURELLE
RÉDIGÉS SUR L'INVESTIGATION DE M. LE MINISTRE DE LA MARITÉ ET DES COLONIES
FONDÉS SUR L'ANNEXATION
DU MUSÉUM IMPÉRIAL D'HISTOIRE NATURELLE.

CINQUIEME ÉDITION.

PARIS
IMPRIMERIE DE L. MARTINET,
7, NORD HISTORIC.
1860

### Sciences participatives :

* publiées par le Museum National d'Histoire Naturelle

* première édition en **1824**
Mythe #2 : << Ca implique beaucoup de participants >>

<figure><img src="image_18.png" /></figure>

Nombre de joueurs sur *Phrase Detectives* selon le nombre de points gagnés dans le jeu (fév. 2011 - fév. 2012)
Une foule de participants ? JeuxDeMotS

<figure><img src="image_19.png" /></figure>

Nombre de joueurs sur JeuxDeMotS selon leur classement dans le jeu
(source : http://www.jeuxdemots.org/generateRanking-4.php)
# Une foule de participants ? ZombiLingo

<figure><img src="image_20.png" /></figure>
Une foule de travailleurs ? [Fort et al., 2011]

Nombre de *Turkers* actifs sur Amazon Mechanical Turk :

* annoncé : plus de 500 000

* 80 % des tâches (HIT) sont réalisés par les 20 % des *Turkers* les plus actifs [Deneme, 2009]

⇒ travailleurs vraiment actifs (en 2011) : entre 15 059 et 42 912
# Mythe #3 : << Ca implique des non-experts >>

## Extraits du forum de ZombiLingo

4 zombies ont donné leur avis

1084 (Phrase de référence)

<figure><img src="image_21.png" /></figure>

28 %

Le principal critère d'évaluation de l'efficacité a été de mesurer si le taux dans le sang de phosphatases alcalines sériques (enzyme impliquée dans la dégradation des os) est revenu à la normale ou est **REDESCENDU** d'au moins 75 % pour se rapprocher des taux normaux.

<figure><img src="image_22.png" /></figure>

<figure><img src="image_23.png" /></figure>

Suivre la discussion

Discuter de la réponse

<figure><img src="image_24.png" /></figure>

Annotation expert

Justin a écrit il y a 9 mois :

est redescendu est le passé composé du verbe redescendre, de même que "est revenu" est le passé-composé du verbe revenir. Si on les considérait comme des présents de l'indicatif au passif, il faudrait pouvoir écrire "il a été revenu" et "il a été redescendu". Ce qui n'est pas le cas...

17 zombies ont donné leur avis

22637

<figure><img src="image_25.png" /></figure>

35 %

Graphe associé à un jeu de Nim Dans la grande majorité des cas, l'ensemble des situations, même s'il est très grand, est **FINI**.

<figure><img src="image_26.png" /></figure>

<figure><img src="image_27.png" /></figure>

<figure><img src="image_28.png" /></figure>

<figure><img src="image_29.png" /></figure>

<figure><img src="image_30.png" /></figure>

<figure><img src="image_31.png" /></figure>

<figure><img src="image_32.png" /></figure>

<figure><img src="image_33.png" /></figure>

<figure><img src="image_34.png" /></figure>

Suivre la discussion

Discuter de la réponse

<figure><img src="image_35.png" /></figure>

Annotation expert

Zeltron a écrit il y a 9 mois :

l'ensemble est fini donc il n'est pas infini : rien à voir avec finir
L'annotation manuelle de corpus

La production participative

Des annotateurs qu'on ne choisit pas
Au-delà des mythes

Redéfinition

ZombiLingo

Conclusion
Profiter d'une foule de "non-experts" ?

<figure><img src="image_36.png" /></figure>
# Production participative

—Profiter d'une foule de "non-experts"?

→ Trouver/former des experts (de la tâche) dans la foule

<figure><img src="image_37.png" /></figure>
L'annotation manuelle de corpus

La production participative

ZombiLingo

La syntaxe de dépendances, en jeu
Derrière le rideau
Résultats

Conclusion
# Une tâche complexe

<figure><img src="image_38.png" /></figure>

* guide d'annotation

* 29 types de relation

* approx. 50 pages

* des décisions contre-intuitives (**pas** de la grammaire d'écoliers, de la linguistique) : aobj = au

[...] avoir recours au type de mesures [...]

c-à-d que la tête de la relation est ici une préposition

→ décomposer la complexité de la tâche [Fort et al., 2012], pas la simplifier !
<figure><img src="image_39.png" /></figure>

# ZOMBILINGO
BIENVENUE À TOI, JEUNE ZOMBIE !

LE MONDE EST
CONDAMNE, TA
TRANSFORMATION EN
ZOMBIE À COMMENCE.

POUR SURVIVRE,
SUIS MES BEGLES,
IDENTIFIE LES TÉTES
ET MANGE-LES.

ATTENTION AUX
PIEGES, ILS SONT
NOMBREUX !

<figure><img src="image_40.png" /></figure>

SIGNE

Prof. Frankenpfeffer

Jouer

Pas de limite
pour toi !
Tu accèdes à
toutes les
options, bonus
cuchés !

Karen

Retrouve ici tes
statistiques, et
compare ton
score avec
celui de tes
amis !

SEMAINE

1 MOIS
TOTAL

1 nouveau : 38/993

2 neuve : 16/170

3mois : 11/366

4mois : 7/327

5mois : 7/012
<figure><img src="image_41.png" /></figure>
<figure><img src="image_42.png" /></figure>

CHOIX DU
CORPUS

POWERS

NIVEAU 1

SUJET

JEU

FORMATION

Points : 4 980

Annotations : 22/282

NIVEAU 1

AFFIXE

JEU

FORMATION

Points : 0

Annotations : 0/108

NIVEAU 1

DETERMINANT

JEU

FORMATION

Points : 0

Annotations : 0/188

NIVEAU 2

COMPLÉMENT EN
« DE »

JEU

FORMATION

Points : 0

Annotations : 0/50

NIVEAU 2

COMPLÉMENT EN
« A »

JEU

FORMATION

Points : 0

Annotations : 0/87

NIVEAU 2

ORJET DE LA
PREPOSITION

JEU

FORMATION

Points : 0

Annotations : 0/14

NIVEAU 2

AUXILIARE PASSIF

JEU

FORMATION

Points : 598

Annotations : 9/50
Jouer

Boutique

Forum

Joueurs

<figure><img src="image_43.png" /></figure>

Niveau

maximum!

<figure><img src="image_44.png" /></figure>

Trouve le complément (objet indirect introduit par "à") du verbe indiqué !

10%

Besoin
d'aide?

<figure><img src="image_45.png" /></figure>

Très jeune, il a fait preuve d'initiative et de courage pour PARTICIPER à un sauvetage lors d'inondations.

<figure><img src="image_46.png" /></figure>

<figure><img src="image_47.png" /></figure>

<figure><img src="image_48.png" /></figure>

<figure><img src="image_49.png" /></figure>

Acheter

<figure><img src="image_50.png" /></figure>

<figure><img src="image_51.png" /></figure>

Acheter

<figure><img src="image_52.png" /></figure>

<figure><img src="image_53.png" /></figure>

Acheter

3

<figure><img src="image_54.png" /></figure>

<figure><img src="image_55.png" /></figure>

Acheter

<figure><img src="image_56.png" /></figure>

<figure><img src="image_57.png" /></figure>

43
L'annotation manuelle de corpus

La production participative

ZombiLingo

La syntaxe de dépendances, en jeu

Derrière le rideau

Résultats

Conclusion
# Organiser une production de qualité

<figure><img src="image_58.png" /></figure>
# Prétraitement des données

corpus librement disponibles et distribuables

<figure><img src="image_59.png" /></figure>
## Pré-annotation avec deux parsers

1. un statistique : Talismane [Urieli, 2013]

2. un symbolique, basé sur la ré-écriture de graphes :
   * FRDEP-PARSE [Guillaume and Perrier, 2015]

→ les joueurs ne jouent que les relations sur lesquelles les deux parsers ne donnent pas les mêmes résultats
# Formation, contrôle et évaluation

Référence : 3 099 phrases du corpus Sequoia [Candito and Seddah, 2012]

<figure><img src="image_60.png" /></figure>

<table><thead><tr><th>REF<sub>Train&Control</sub></th><th>REF<sub>Eval</sub></th><th>non utilisé</th></tr></thead><tbody><tr><td>50 %</td><td>25 %</td><td>25 %</td></tr><tr><td>1 549 phrases</td><td>776 phrases</td><td>774 phrases</td></tr></tbody></table>

* REF<sub>Train&Control</sub> est utilisé pour former les joueurs

* REF<sub>Eval</sub> est utilisé comme un corpus brut, pour évaluer les annotations produites
# Formation

<figure><img src="image_61.png" /></figure>

Obligatoire pour chaque relation

* phrases du corpus REF Train&Control

* retour visuel en cas d'erreur

<figure><img src="image_62.png" /></figure>
# Gestion de la fatigue cognitive et des joueurs au long court

## Mécanisme de contrôle

Des phrases de REF<sub>Train&Control</sub> sont proposées régulièrement

1. si le joueur échoue à trouver la bonne réponse, un retour visuel avec la solution lui est proposé

Ils ont été reçus à la boulangerie Leroy POUR visiter le fournil et surtout pétrir la pâte afin de confectionner de délicieux pains au chocolat qu'ils ont dégustés à l'heure du goûter avec un verre de jus de fruit.

Tu as répondu 
surtout
 et il fallait répondre 
visiter


Il te reste 2 essais avant de devoir refaire le tutoriel de ce phénomène

⚠ Je ne peux pas d'accord

Passer à la phrase
au verso

<figure><img src="image_63.png" /></figure>
# Gestion de la fatigue cognitive et des joueurs au long court

## Mécanisme de contrôle

Des phrases de REF Train&Control sont proposées régulièrement

1. si le joueur échoue à trouver la bonne réponse, un retour visuel avec la solution lui est proposé

2. après un certain nombre d'erreurs sur une même relation, le joueur ne peut plus jouer et doit refaire la formation correspondante

- 1er **FÉVRIER** 1995 : Jean-Paul Schimpf, un ami intime de Didier Schuller, est **arrêté** sur un parking, alors que la dirigeante d'une entreprise d'assainissement disait vouloir lui remettre **une** somme d'argent en liquide.

Tu as répondu **une** et il fallait répondre **arrêté**

Tu as un peu oublié comment jouer ce phénomène. Pour continuer à jouer sur celui-ci, tu vas devoir refaire le tutoriel correspondant.

⚠ Je ne suis pas d'accord

Retourner au menu

<figure><img src="image_64.png" /></figure>
## Mécanisme de contrôle

Des phrases de REF<sub>Train&Control</sub> sont proposées régulièrement

1. si le joueur échoue à trouver la bonne réponse, un retour visuel avec la solution lui est proposé

2. après un certain nombre d'erreurs sur une même relation, le joueur ne peut plus jouer et doit refaire la formation correspondante

→ nous en déduisons un niveau de confiance dans le joueur, pour cette relation
L'annotation manuelle de corpus

La production participative

ZombiLingo

La syntaxe de dépendances, en jeu
Derrière le rideau

Résultats

Conclusion
## Production : taille des corpus créés

Au 10 juillet 2016

* 647 joueurs (1 460 au 9 octobre 2019)

* ont produit 107 719 annotations (496 462 au 9 octobre 2019)

→ ressource qui évolue **constamment**!
# Évaluation de la qualité

sur le corpus $REF_{Eval}$

<figure><img src="image_65.png" /></figure>
# Densité des annotations

sur le corpus $REF_{Eval}$

<figure><img src="image_66.png" /></figure>

→ besoin de **davantage** d'annotations sur certaines relations
L'annotation manuelle de corpus

La production participative

ZombiLingo

Conclusion
Bientôt sur vos écran !

Le jeu pour Universal Dependencies : http://zombiludik.org/

# ZOMBILUDIK

<figure><img src="image_67.png" /></figure>

JOUER

<figure><img src="image_68.png" /></figure>

ESSAYER
# Ce que la production participative nous apprend

Il est possible d'outiller davantage l'annotation pour :

* former les annotateurs

* maintenir leur attention sur le temps long

* identifier et prendre en compte les (micro) spécialisations

mais également pour :

* leur donner du *feedback* plus régulièrement

* leur fournir un espace d'échange (forum) entre eux et avec le gestionnaire de la campagne
THANK YOU

<figure><img src="image_69.png" /></figure>

https://github.com/zombilingo

<figure><img src="image_70.png" /></figure>

http://zombilingo.org/export
# ZombiLingo : l'équipe et les financeurs

<figure><img src="image_71.png" /><figcaption>Bruno Guillaume
(Sémagramme, Inria NGE)</figcaption></figure>

<figure><img src="image_72.png" /></figure>

<figure><img src="image_73.png" /><figcaption>Nicolas Lefèbvre (Ingénieur)</figcaption></figure>

<figure><img src="image_74.png" /></figure>

Liberté • Égalité • Fraternité
RÉPUBLIQUE FRANÇAISE

Ministère
Culture
Communication
# Appendix

* Les jeux ayant un but

* Motiver les différents types de joueurs

## Bibliographie
# Appendix

- Les jeux ayant un but

- Motiver les différents types de joueurs

## Bibliographie
Près de 300 million de relations (créées par env. 6 000 joueurs),
mises à jour **constamment**

▶ jeu par pairs

▶ des relations de plus en plus
complexes, typées

▶ des challenges

▶ des procès

▶ etc

<figure><img src="image_75.png" /></figure>
# Phrase Detectives : jouer les détectives...

... pour annoter des anaphores [Chamberlain et al., 2008]

3,5 millions de décisions de
45 000 joueurs (2016)

* corpus pré-annoté

* instructions détaillées

* formation

* 2 modes de jeu :

* annotation

* validation (correction d'annotations)

<figure><img src="image_76.png" /></figure>
Résolution de la structure cristalline de la protéine responsable de
la propagation du virus du SIDA chez les macaques rhésus

Solution à un problème non
résolu depuis plus de 10 ans

► trouvée en quelques
semaines

► par une équipe de joueurs

► qui va permettre la création
de médicaments
antirétroviraux

<figure><img src="image_77.png" /></figure>
# FoldIt : jouer à replier des protéines...

... sans aucune connaissance préalable en biochimie [Cooper et al., 2010]

<figure><img src="image_78.png" /></figure>

## Formation par étapes

* tutoriel décomposé par concepts

* puzzles pour chaque concept

* l'accès aux puzzles suivants n'est octroyé que si le niveau du joueur est suffisant
# General features

Bring the fun through :

* zombie design

* use of (crazy) objects

* regular challenges (specific corpus and design) on a trendy topic :

* Star Wars (when the movie was playing)

* soccer (during the Euro)

* Pokemon (well...)
LeaderboardS (for achievers)

<figure><img src="image_79.png" /></figure>

Criteria :

► number of annotations or points

► in total, during the month, during the challenge
Hidden features (for explorers)

<figure><img src="image_80.png" /></figure>

* appearing randomly

* with different effects : objects, other game, etc.
# Duels (for socializers (and killers?))

<figure><img src="image_81.png" /></figure>

* select an enemy

* challenge them on a specific type of relation
Badges (?) (for collectors)

<figure><img src="image_82.png" /></figure>

► play all the sentences for a relation type, for a corpus

► play all the sentences from a corpus
<figure><img src="image_83.png" /></figure>

Candito, M. and Seddah, D. (2012).

Le corpus Sequoia : annotation syntaxique et exploitation pour l'adaptation d'analyseur par pont lexical.

In *Proceedings of the Traitement Automatique des Langues Naturelles (TALN)*, Grenoble, France.

<figure><img src="image_84.png" /></figure>

Chamberlain, J., Poesio, M., and Kruschwitz, U. (2008).

Phrase Detectives : a web-based collaborative annotation game.

In *Proceedings of the International Conference on Semantic Systems (I-Semantics'08)*, Graz, Austria.

<figure><img src="image_85.png" /></figure>

Cooper, S., Treuille, A., Barbero, J., Leaver-Fay, A., Tuite, K., Khatib, F., Snyder, A. C., Beenen, M., Salesin, D., Baker, D., and Popović, Z. (2010).

The challenge of designing scientific discovery games.

In *Proceedings of the Fifth International Conference on the Foundations of Digital Games*, FDG '10, pages 40–47, New York, NY, USA. ACM.
<figure><img src="image_86.png" /></figure>

Dandapat, S., Biswas, P., Choudhury, M., and Bali, K. (2009).
Complex linguistic annotation - no easy way out! a case from
bangla and hindi POS labeling tasks.

In *Proceedings of the third ACL Linguistic Annotation Workshop*, Singapore.

<figure><img src="image_87.png" /></figure>

Deneme (2009).

How many turkers are there?

http://groups.csail.mit.edu/uid/deneme/.

<figure><img src="image_88.png" /></figure>

Desrosières, A. (1989).

Comment faire des choses qui tiennent : histoire sociale et
statistique.

Histoire & Mesure, 4(4) :225-242.

<figure><img src="image_89.png" /></figure>

Desrosières, A. (2001).

Entre réalisme métrologique et conventions d'équivalence : les
ambiguïtés de la sociologie quantitative.

Genèses, 2(43) :112-127.
<figure><img src="image_90.png" /></figure>

Desrosières, A. (2008).

Pour une sociologie historique de la quantification :
L'Argument statistique I.

Presses de l'École des Mines de Paris.

<figure><img src="image_91.png" /></figure>

Fort, K., Adda, G., and Cohen, K. B. (2011).

Amazon Mechanical Turk : Gold mine or coal mine ?

Computational Linguistics (editorial), 37(2) :413–420.

<figure><img src="image_92.png" /></figure>

Fort, K., Nazarenko, A., and Rosset, S. (2012).

Modeling the complexity of manual annotation tasks : a grid
of analysis.

In International Conference on Computational Linguistics (COLING), pages 895–910, Mumbai, India.

<figure><img src="image_93.png" /></figure>

Fort, K. and Sagot, B. (2010).

Influence of pre-annotation on POS-tagged corpus
development.

In Fourth ACL Linguistic Annotation Workshop, pages 56–63,
Uppsala, Sweden.
<figure><img src="image_94.png" /></figure>

Guillaume, B. and Perrier, G. (2015).
Dependency Parsing with Graph Rewriting.

In

Proceedings of IWPT 2015, 14th International Conference on Parsing
pages 30–39, Bilbao, Spain.

<figure><img src="image_95.png" /></figure>

Habert, B. (2005).

Portrait de linguiste(s) à l'instrument.

Texto!, vol. X(4).

<figure><img src="image_96.png" /></figure>

Howe, J. (2006).

The rise of crowdsourcing.

Wired Magazine, 14(6).

<figure><img src="image_97.png" /></figure>

Khatib, F., DiMaio, F., Cooper, S., Kazmierczyk, M., Gilski, M., Krzywda, S., Zabranska, H., Pichova, I., Thompson, J., Popović, Z., et al. (2011).

Crystal structure of a monomeric retroviral protease solved by
protein folding game players.

Nature structural & molecular biology, 18(10):1175–1177.
<figure><img src="image_98.png" /></figure>

Lafourcade, M. and Joubert, A. (2008).

JeuxDeMot : un prototype ludique pour l'émergence de relations entre termes.

In *Proceedings of the Journées internationales d'Analyse statistique des Données Textuelles (JADT)*, Lyon, France.

<figure><img src="image_99.png" /></figure>

Leech, G. (1997).

Corpus annotation : Linguistic information from computer text corpora, chapter Introducing corpus annotation, pages 1–18.

Longman, Londres, England.

<figure><img src="image_100.png" /></figure>

Nédellec, C., Bessières, P., Bossy, R., Kotoujansky, A., and
Manine, A.-P. (2006).

Annotation guidelines for machine learning-based named entity
recognition in microbiology.

In *et C. Nédellec, M. H.*, editor, *Proceedings of the Data and text mining in integrative biology workshop*, pages 40–54,

Berlin, Germany.

<figure><img src="image_101.png" /></figure>

Urieli, A. (2013).
Robust French syntax analysis : reconciling statistical methods
and linguistic knowledge in the Talismane toolkit.

PhD thesis, Université de Toulouse II le Mirail, France.