aide à organiser et animer le collectif. Nous avons commencé à travailler ensemble
en novembre 2021 et nous nous réunissons une fois par mois. J'ai proposé d'orga-
niser un événement pour les doctorants du laboratoire, à la manière de l'atelier
*Re-coding Black Mirror* organisé entre autres par Mathieu D'Aquin : les doctorants
seront invités à travailler en groupes pour produire une dystopie autour d'un sujet
proche de leurs sujets de thèses. Comme dans les hackathons, un prix pourrait être
décerné par les participants à la production la plus originale et les projets les plus
aboutis pourraient être publiés, par exemple sous forme de BD. Cet événement
constituera un espace de réflexion éthique ludique, qui, s'adressant à de jeunes
chercheurs, permettra de faire progresser le sujet de manière efficace dans nos do-
maines. Grâce à Aurore Coince, nous avons obtenu de l'école doctorale qu'il fasse
partie de la formation des doctorants. Il aura lieu sur deux jours, début novembre
2022⁷.

Enfin, j'ai commencé à lancer une dynamique autour de l'éthique dans le cadre
du GDR LIFT (Linguistique informatique, formelle et de terrain). Je compte
mettre en place des rencontres croisées entre talistes et linguistes, afin de pro-
voquer des échanges sur les pratiques et les expériences liées à l'éthique. Mon idée
est d'organiser un atelier à TALN, avec des interventions invitées de linguistes de
terrain, puis un atelier dans un cadre linguistique (à définir) avec des intervenants
du TAL. Il me semble que les deux communautés bénéficieraient grandement de
tels échanges et j'espère ainsi initier des collaborations. J'ai d'ailleurs été invitée
à présenter une conférence sur l'éthique dans le cadre des journées conjointes des
GDR TAL et LIFT, en novembre 2022, ce qui montre qu'il y a un besoin.

4.4 Croiser les chemins

Les possibilités de dystopies générées par le TAL sont trop nombreuses et se
réalisent trop souvent pour que nous détournions le regard. Pour devenir des mo-
teurs de progrès sociaux, le TAL et l'IA en général doivent s'ouvrir, non seulement
vers d'autres disciplines, comme la philosophie et la sociologie, mais également
vers les citoyens, afin de donner à ceux-ci les moyens d'articuler une réflexion sur
le sujet et de participer aux décisions.

Mes chemins de recherche m'ont justement menée à ce croisement. Je compte
dans les années à venir construire des projets visant à impliquer les citoyens et des
collègues d'autres disciplines dans l'analyse, afin de proposer une manière différente
d'envisager les recherches en TAL.

<footnote n="7">7. Voir : https://lstu.fr/ethics-through-dystopia.</footnote>
Bibliographie

(1979). The belmont report : Ethical principles and guidelines for the protection of human subjects of research.

(2014). *Fairness, accountability, and transparency in machine learning (FATML)*. S. Barocas and M. Hardt.

Abdalla, M. and Abdalla, M. (2021). The grey hoodie project : Big tobacco, big tech, and the threat on academic integrity. In *Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society*, pages 287–297, New York, NY, USA. Association for Computing Machinery.

Abeillé, A., Clément, L., and Toussenel, F. (2003). Building a treebank for French. In Abeillé, A., editor, *Treebanks*, pages 165–187. Kluwer, Dordrecht.

Adda, G. and Mariani, J. (2010). Language resources and amazon mechanical turk : legal, ethical and other issues. In *Proceedings of the Legal Issues for Sharing Language Resources workshop in International Conference on Language Resources and Evaluation (LREC)*, La Valette, Malte. European Language Resources Association (ELRA).

Alves, D. V. A. (2018). Une foule de données créée par la foule est-elle suffisante ? évaluation extrinsèque des annotations en syntaxe de dépendances produites gr mbilingo. Master’s thesis, Master 1 Spécialité Langue et Informatique – Sorbonne Université. Encadré par Karën Fort et Bruno Guillaume.

Amblard, M. (2016). Pour un TAL responsable. *Revue TAL*, 57(2) :21 – 45.

Amblard, M., Fort, K., Guillaume, B., de Groote, P., Li, C., Ludmann, P., Musiol, M., Pavlova, S., Perrier, G., and Pogodalla, S. (2021). The annotators did not agree on some of the guidelines examples. In *Proceedings of the IWCS workshop ISA-17, the Seventeenth Workshop on Interoperable Semantic Annotation*, Groningen, Netherlands.

Amblard, M., Fort, K., Musiol, M., and Rebuschi, M. (2014). L’impossibilité de l’anonymat dans le cadre de l’analyse du discours. In *Journée ATALA éthique et TAL*, Paris, France.
Anderson, M. and Fort, K. (2022a). From the ground up : developing a practical ethical methodology for integrating ai into industry. *AI & Society*.

Anderson, M. and Fort, K. (2022b). Human where? a new scale defining human involvement in technology communities from an ethical standpoint. *IRIE - International Review of Information Ethics*, 31.

Antoine, J.-Y. and Lefeuvre, A. (2014). Pour une réflexion éthique sur les conséquences de l'usage des NTIC : le cas des aides techniques (à composante langagière ou non) aux personnes handicapées. In *Actes de la journée ATALA Éthique et TAL*.

Aristote (-350). *Éthique à Nicomaque*. Wikisource.

Artstein, R. and Poesio, M. (2008). Inter-coder agreement for computational linguistics. *Computational Linguistics*, 34(4):555–596.

Badouard, R., Barthe, Y., Cazalis, F., Chavalarias, D., Chlous, F., de Rosnay, M. D., Fort, K., Fourniau, J.-M., Guillaud, D., Julliard, R., Marec, J. L., Mabi, C., Meyer, M., Pitrou, P., Prevot, A.-C., Roturier, C., and Tsoukias, A. (2016). Position paper. Technical report, GPRO Sciences participatives (dir. Sandra Laugier). Alliance ATHENA.

Bannour, N., Ghannay, S., Névéol, A., and Ligozat, A.-L. (2021). Evaluating the carbon footprint of NLP methods : a survey and analysis of existing tools. In *EMNLP, Workshop SustaiNLP*, Punta Cana, Dominican Republic.

Barbaresi, A. and Lejeune, G. (2020). Que recèlent les données textuelles issues du web ? In *Actes de l'atelier Ethique et TRaitemeNt Automatique des Langues@JEP-TALN-RECITAL 2020. 2e atelier ÉThique et tRaitemeNt Automatique des Langues (ETERNAL)*, pages 19–28, Nancy, France. Association pour le Traitement Automatique des Langues. What do text data from the Web have to hide ?

Bartle, R. (1996). Hearts, clubs, diamonds, spades : Players who suit MUDs. *The Journal of Virtual Environments*, 1(1).

Baude, O., Blanche-Benveniste, C., Calas, M.-F., Cappeau, P., Cordereix, P., Goury, L., Jacobson, M., De Lamberterie, I., Marchello-Nizia, C., and Mondada, L. (2006). *Corpus oraux, guide des bonnes pratiques 2006*. CNRS Editions, Presses Universitaires Orléans.

Begue, H. (2019). Développement de ressources langagières et d'outils de TAL pour le créole mauricien. Mémoire de Master 1 rbonne Université.
Bender, E. M. (2011). On achieving and evaluating language-independence in NLP. *Linguistic Issues in Language Technology*, 6(3).

Bender, E. M. and Friedman, B. (2018). Data statements for natural language processing : Toward mitigating system bias and enabling better science. *Transactions of the Association for Computational Linguistics*, 6 :587–604.

Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S. (2021). On the dangers of stochastic parrots : Can language models be too big ? ⌨️ In *Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency*, FAccT ’21, pages 610–623, New York, NY, USA. Association for Computing Machinery.

Bentham, J. (1780). *An Introduction to the Principles of Morals and Legislation*. Wikisource.

Bernard, L., Besombes, C., Boula De Mareüil, P., Chupin, L., Dagorne, E., Delan-
noy, M., Desainte-Catherine, M., Dosseur, B., Drouin, V., Echassoux, A., Fort,
K., Guillaud, D., Girard, J.-P., Ilien, G., Julliard, R., Laborde, D., Lemaire, F.,
Lheureux, R., L’Her, G., Mathieu, Y., Pellerin, G., Puig, V., Quach, C., Se-
vero, M., Sinclair, P. f., Siret, D., and Vurpillot, D. (2019). Recherche culturelle
et sciences participatives PARTICIP-ARC. Research report, Muséum national
d’Histoire naturelle.

Bernhard, D. and Ligozat, A.-L. (2013). Es esch fàscht wie Ditsch, oder net ? étiquetage morphosyntaxique de l'alsacien en passant par l'allemand. In *Actes de TALARE 2013 : Traitement Automatique des Langues Régionales de France et d'Europe*, pages 209-220, Les Sables d'Olonne, France.

Bird, S. (2020). Decolonising speech and language technology. In *Proceedings of the 28th International Conference on Computational Linguistics*, pages 3504–3519, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Blodgett, S. L., Barocas, S., Daumé III, H., and Wallach, H. (2020). Language (technology) is power : A critical survey of "bias" in nlp. In *ACL*.

Bonastre, J., Bimbot, F., jean Boë, L., Campbell, J. P., Reynolds, D. A., and Magrin-chagnolleau, I. (2003). Person authentication by voice : A need for caution. In *Proc. of Eurospeech 03*.

Bonastre, J.-F. (2020). 1990-2020 : retours sur 30 ans d'échanges autour de l'identi-
fication de voix en milieu judiciaire. In *Actes de l'atelier Ethique et TRaitemeNt
Automatique des Langues@JEP-TALN-RECITAL 2020. 2e atelier ÉThique et*
tRaitemeNt Automatique des Langues (ETERNAL), pages 38–47, Nancy, France. Association pour le Traitement Automatique des Langues. 1990-2020 : A look back at 30 years of discussions on voice identification in the judicial system.

Boudin, F. (2013). Taln archives : une archive numérique francophone des articles de recherche en traitement automatique de la langue. In *Actes de la 20e conférence sur le Traitement Automatique des Langues Naturelles*, pages 507–514, Les Sables d'Olonne, France. Association pour le Traitement Automatique des Langues.

Bouquiaux, L. and Thomas, J. (1971). *Enquête et description des langues à tradition orale. : l'enquête de terrain et l'analyse grammaticale*, volume I. Société d'études linguistiques et anthropologiques de France, Paris, 2nd edition 1976 edition.

Bowman, S. R., Angeli, G., Potts, C., and Manning, C. D. (2015). A large annotated corpus for learning natural language inference. In *Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing*, pages 632–642, Lisbon, Portugal. Association for Computational Linguistics.

Burnard, L. (2005). Metadata for corpus work. *Developing linguistic corpora : A guide to good practice*, pages 30–46.

Caillois, R. (1958). *Les Jeux et les Hommes : le masque et le vertige*. Folio/Essais. Gallimard, Paris, ition revue et augment1967] edition.

Candito, M., Perrier, G., Guillaume, B., Ribeyre, C., Fort, K., Seddah, D., and de la Clergerie, E. (2014). Deep syntax annotation of the sequoia french treebank. In *Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2014)*, Reykjavik, Islande.

Candito, M. and Seddah, D. (2012). Le corpus Sequoia : annotation syntaxique et exploitation pour l'adaptation d'analyseur par pont lexical. In *Actes de Traitement Automatique des Langues Naturelles (TALN)*, Grenoble, France.

Casares, P. A. M., Loe, B. S., Burden, J., O'hEigeartaigh, S., and Hernez-Orallo, J. (2022). How general-purpose is a language model? usefulness and safety with human prompters in the wild. In *Proceedings of AAAI 2022*.

Chamberlain, J., Fort, K., Kruschwitz, U., Lafourcade, M., and Poesio, M. (2013). Using games to create language resources : Successes and limitations of the approach. In *Gurevych, I. and Kim, J., editors, *The People's Web Meets NLP*, Theory and Applications of Natural Language Processing*, pages 3–44. Springer Berlin Heidelberg.
Chamberlain, J., Kruschwitz, U., and Poesio, M. (2009a). Constructing an anaphorically annotated corpus with non-experts: assessing the quality of collaborative annotations. In *Proceedings of the 2009 Workshop on The People's Web Meets NLP: Collaboratively Constructed Semantic Resources*, People's Web '09, pages 57–62, Stroudsburg, PA, USA. Association for Computational Linguistics.

Chamberlain, J., Poesio, M., and Kruschwitz, U. (2008). Phrase Detectives : a web-based collaborative annotation game. In *Proceedings of the International Conference on Semantic Systems (I-Semantics'08)*, Graz, Autriche.

Chamberlain, J., Poesio, M., and Kruschwitz, U. (2009b). A new life for a dead parrot : Incentive structures in the phrase detectives game. In *Proceedings of WWW 2009*, Madrid, Espagne.

Chupin, L. and Fort, K. (2019). Ouvrir le dédale des données des recherches myriadisées. *Culture et recherche*, 140.

Cohen, K. B., Fort, K., Adda, G., Zhou, S., and Farri, D. (2016). Ethical Issues in Corpus Linguistics And Annotation : Pay Per Hit Does Not Affect Effective Hourly Rate For Linguistic Resource Development On Amazon Mechanical Turk. In *ETHics In Corpus collection, Annotation and Application workshop*, Proceedings of the ETHics In Corpus collection, Annotation and Application workshop, Portoroz, Slovenia.

Cooper, S., Treuille, A., Barbero, J., Leaver-Fay, A., Tuite, K., Khatib, F., Snyder, A. C., Beenen, M., Salesin, D., Baker, D., and Popović, Z. (2010). The challenge of designing scientific discovery games. In *Proceedings of the Fifth International Conference on the Foundations of Digital Games*, FDG '10, pages 40–47, New York, NY, USA. ACM.

Couillault, A. and Fort, K. (2013). Charte éthique et big data : parce que mon corpus le vaut bien ! In *Actes de colloque international Corpus et Outils en Linguistique, Langues et Parole : Statuts, Usages et Mésusages*, Strasbourg, France.

Couillault, A., Fort, K., Adda, G., and De Mazancourt, H. (2014). Evaluating Corpora Documentation with regards to the Ethics and Big Data Charter. In *International Conference on Language Resources and Evaluation (LREC)*, Reykjavik, Islande.

Dandapat, S., Biswas, P., Choudhury, M., and Bali, K. (2009). Complex linguistic annotation - no easy way out! a case from bangla and hindi POS labeling tasks. In *Proceedings of the third ACL Linguistic Annotation Workshop*, Singapour.
de Castilho, R. E., Biemann, C., Gurevych, I., and Yimam, S. M. (2014). We-banno : a flexible, web-based annotation tool for clarin. In *Proceedings of the CLARIN Annual Conference (CAC) 2014*, page online, Utrecht, Netherlands. CLARIN ERIC. Extended abstract.

de Chalendar, G. (2014). Traitement automatique des langues, biens communs informationnels et industries de la langue. In *Journée ATALA éthique et TAL*, Paris, France.

de Mazancourt, H., Couillault, A., and Recourcé, G. (2014). L'anonymisation, pierre d'achoppement pour le traitement automatique des courriels. In *Journée ATALA éthique et TAL*, Paris, France.

Denis, P. and Sagot, B. (2010). Exploitation d'une ressource lexicale pour la construction d'un étiqueteur morphosyntaxique état-de-l'art du français. In *Traitement Automatique des Langues Naturelles : TALN 2010*, Montréal, Ca-nada.

Desrosières, A. (1989). Comment faire des choses qui tiennent : histoire sociale et statistique. *Histoire & Mesure*, 4(4):225-242.

Desrosières, A. (2001). Entre réalisme métrologique et conventions d'équivalence : les ambiguïtés de la sociologie quantitative. *Genèses*, 2(43):112-127.

Desrosières, A. (2008). *Pour une sociologie historique de la quantification : L'Ar-gument statistique*. Presses de l'école des Mines de Paris.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In *Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Volume 1 (Long and Short Papers)*, pages 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Dittrich, D. and Kenneally, E. (2012). The Menlo Report : Ethical Principles Gui-ding Information and Communication Technology Research. Technical report, U.S. Department of Homeland Security.

Drugan, J. and Babych, B. (2010). Shared resources, shared values? ethical im-plications of sharing translation resources. In *Proceedings of the Second Joint EM+/CNGL Workshop : Bringing MT to the User : Research on Integrating MT in the Translation Industry*, pages 3-10, Denver, Colorado, USA. Association for Machine Translation in the Americas.
Enguehard, C. and Mangeot, M. (2014). Favorisons la diversité linguistique en tal.
*In Journée ATALA éthique et TAL*, Paris, France.

Eshkol-Taravella, I., Kanaan-Caillol, L., Baude, O., Dugua, C., and Maurel, D. (2014). Procédure d'anonymisation et traitement automatique : l'expérience d'ESLO. In *Journée ATALA éthique et TAL*, Paris, France.

Fenouillet, F., Kaplan, J., and Yennek, N. (2009). Serious games et motivation. In
*4ème Conférence francophone sur les Environnements Informatiques pour l'Ap-
prentissage Humain (EIAH'09)*, vol. Actes de l'Atelier "Jeux Sérieux : concep-
tion et usages", pages 41–52, Le Mans, France.

Fiumara, J., Cieri, C., Wright, J., and Liberman, M. (2020). LanguageARC : De-
veloping language resources through citizen linguistics. In *Proceedings of the
LREC 2020 Workshop on "Citizen Linguistics in Language Resource Develop-
ment"*, pages 1–6, Marseille, France. European Language Resources Association.

Floridi, L. (2013). *The Ethics of Information*. Oxford University Press, Oxford, England, UK.

Floridi, L. and Chiriatti, M. (2020). Gpt-3 : Its nature, scope, limits, and consequences. *Minds & Machines*, 30 :681–694.

Fort, K. (2012). *Les ressources annotées, un enjeu pour l'analyse de contenu : vers une méthodologie de l'annotation manuelle de corpus*. PhD thesis, Université Paris XIII, LIPN, INIST-CNRS.

Fort, K. (2016). *Collaborative Annotation for Reliable Natural Language Processing*. Focus series. ISTE Wiley.

Fort, K. (2017). Experts ou (foule de) non-experts ? la question de l'expertise des annotateurs vue de la myriadisation (crowdsourcing). *CORELA (cognition, représentation, langage)*, page 12 p.

Fort, K., Adda, G., and Cohen, K. B. (2011). Amazon Mechanical Turk : Gold mine or coal mine? *Computational Linguistics (editorial)*, 37(2) :413–420.

Fort, K., Adda, G., Sagot, B., Mariani, J., and Couillault, A. (2014a). Crowdsourcing for Language Resource Development : Criticisms About Amazon Mechanical Turk Overpowering Use. In Vetulani, Z. and Mariani, J., editors, *Human Language Technology Challenges for Computer Science and Linguistics*, pages 303–314. Springer International Publishing.

Fort, K. and Amblard, M. (2018). Éthique et traitement automatique des langues.
*In Journée éthique et intelligence artificielle*, Nancy, France.
Fort, K. and Couillault, A. (2016). Yes, We Care! Results of the Ethics and Natural Language Processing Surveys. In *international Language Resources and Evaluation Conference (LREC) 2016*, Proceedings of the international Language Resources and Evaluation Conference (LREC) 2016, Portoroz, Slovenia.

Fort, K. and Guillaume, B. (2019). Les jeux ayant un but : des sciences participatives ? *Culture et recherche*, 140.

Fort, K., Guillaume, B., and Chastant, H. (2014b). Creating Zombilingo, a Game With A Purpose for dependency syntax annotation. In *Gamification for Information Retrieval (GamifIR'14) Workshop*, Amsterdam, Pays-Bas.

Fort, K., Guillaume, B., Constant, M., Lefèbvre, N., and Pilatte, Y.-A. (2018a). "Fingers in the Nose" : Evaluating Speakers’ Identification of Multi-Word Expressions Using a Slightly Gamified Crowdsourcing Platform. In *LAW-MWE-CxG 2018 - COLING 2018 Joint Workshop on Linguistic Annotation, Multiword Expressions and Constructions*, Proceedings of the Joint Workshop on Linguistic Annotation, Multiword Expressions and Constructions (LAW-MWE-CxG-2018), pages 207 – 213, Santa Fe, United States.

Fort, K., Guillaume, B., and Lefèbvre, N. (2017a). Who wants to play Zombie ? A survey of the players on ZOMBILINGO. In *Games4NLP 2017 - Using Games and Gamification for Natural Language Processing*, Symposium Games4NLP, page 2, Valencia, Spain.

Fort, K., Guillaume, B., Lefèbvre, N., Ramírez, L., Regnault, M., Collins, M., Gavrilova, O., and Kristanti, T. (2017b). Vers l’annotation par le jeu de corpus (plus) complexes : le cas de la langue de spécialité. In *Traitement Automatique des Langues Naturelles (TALN)*, Orléans, France.

Fort, K., Guillaume, B., Pilatte, Y.-A., Constant, M., and Lefre, N. (2020). Rigor mortis : Annotating mwes with a gamified platform. In *Proc. of the Language Resources and Evaluation Conference (LREC)*, Marseille, France.

Fort, K., Lafourcade, M., and Brun, N. L. (2018b). Cheap, fast and good! voting games with a purpose. In *Actes de l'atelier LREC Games4NLP 2018*, Miyazaki, Japon.

Fort, K., Nazarenko, A., and Rosset, S. (2012). Modeling the complexity of manual annotation tasks : a grid of analysis. In *Proceedings of the International Conference on Computational Linguistics (COLING)*, pages 895–910, Mumbaiï, Inde.
Fort, K. and Névéol, A. (2018). Présence et représentation des femmes dans le traitement automatique des langues en france. In *Actes de l'atelier "Penser la Recherche en Informatique comme pouvant être Située, Multidisciplinaire Et Genrée" (PRISME-G)*.

Fort, K., Névéol, A., Dupont, Y., and Bezançon, J. (2022). Use of a Citizen Science Platform for the Creation of a Language Resource to Study Bias in Language Models for French: a case study. In *2nd LREC Workshop on Novel Incentives in Data Collection from People*, Marseille, France.

Fort, K. and Sagot, B. (2010). Influence of pre-annotation on POS-tagged corpus development. In *Proceedings of the Fourth ACL Linguistic Annotation Workshop*, pages 56–63, Uppsala, Suède.

Garnerin, M., Rossato, S., and Besacier, L. (2020). Pratiques d'évaluation en ASR et biais de performance. In Adda, G., Amblard, M., and Fort, K., editors, *2e atelier Éthique et TRaitemeNt Automatique des Langues (ETERNAL)*, pages 1–9, Nancy, France. ATALA.

Geiger, D., Seedorf, S., Schulze, T., Nickerson, R. C., and Schader, M. (2011). Managing the crowd : Towards a taxonomy of crowdsourcing processes. In *AMCIS 2011 Proceedings*.

Guillaume, B., Fort, K., and Lefebvre, N. (2016). Crowdsourcing complex language resources : Playing to annotate dependency syntax. In *Proceedings of the International Conference on Computational Linguistics (COLING)*, Osaka, Japon.

Guillaume, B., Fort, K., Perrier, G., and Bédaride, P. (2014). Mapping the lexique des verbes du français (lexicon of french verbs) to a nlp lexicon using examples. In *Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2014)*, Reykjavik, Islande.

Habert, B. (2005). Portrait de linguiste(s) à l'instrument. *Texto!*, vol. X(4).

Hagendorff, T. (2020). The ethics of ai ethics : An evaluation of guidelines. *Minds & Machines*, 30 :99–120.

Hara, K., Adams, A., Milland, K., Savage, S., Callison-Burch, C., and Bigham, J. P. (2018). A data-driven analysis of workers’ earnings on amazon mechanical turk. In *CHI 2018, Montreal, QC, Canada*.

Hara, K., Adams, A., Milland, K., Savage, S., Hanrahan, B. V., Bigham, J. P., and Callison-Burch, C. (2019). Worker demographics and earnings on amazon
mechanical turk : An exploratory analysis. CHI EA '19, pages 1-6, New York, NY, USA. Association for Computing Machinery.

Hiebel, N., Ferret, O., Fort, K., and Névéol, A. (2022). CLISTER : A Corpus for Semantic Textual Similarity in French Clinical Narratives. In *LREC 2022 - International Conference on Language Resources and Evaluation (LREC)*, Marseille, France.

Houllier, F. and Merilhou-Goudard, J.-B. (2016). Les sciences participatives en France. Other. Ce rapport est présenté en 3 livrets : états des lieux - bonnes pratiques - recommandations Ont également contribué à la réflexion et à la rédaction : Mathieu Andro (annexe10), François Charbonnel (annexes 3, 4, 5, 6), Jean-Philippe Cointet (annexe 3), Pascale Frey-Klett (livrets 2, 3), Pierre-Benoit Joly (livrets 1, 3, annexes 3, 4, 5, 6, 8), Hugues Leiser (annexe 8), et Muriel Mambrini-Doudet (livrets 2, 3, annexes 5, 6, 7, 8) Ont également contribué à la réflexion et à la relecture : Odile Hologne, Jean-François Launay, Olivier Le Gall, Jean Masson, Nathalie Morcrette, Jean-Luc Pujol et Christophe Roturier.

Hovy, D. and Prabhumoye, S. (2021). Five sources of bias in natural language processing. *Language and Linguistics Compass*, 15(8):e12432.

Hovy, D. and Spruit, S. L. (2016). The social impact of natural language processing. In *Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)*, pages 591-598, Berlin, Germany. Association for Computational Linguistics.

Ipeirotis, P. (2010). Analyzing the amazon mechanical turk marketplace. *ACM Crossroads*, 17:16-21.

Joshi, P., Santy, S., Budhiraja, A., Bali, K., and Choudhury, M. (2020). The state and fate of linguistic diversity and inclusion in the NLP world. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, pages 6282-6293, Online. Association for Computational Linguistics.

Kant, E. (1781). *Critique de la raison pure*. Wikisource.

Kant, E. (1788). *Critique de la raison pratique*.

Kenny, D. (2011). The ethics of machine translation. In *New Zealand Society of Translators and Interpreters Annual Conference 2011*, Auckland, New Zealand.

Khatib, F., DiMaio, F., Cooper, S., Kazmierczyk, M., Gilski, M., Krzywda, S., Zabranska, H., Pichova, I., Thompson, J., Popović, Z., et al. (2011). Crystal structure of a monomeric retroviral protease solved by protein folding game players. *Nature structural & molecular biology*, 18(10):1175-1177.
Klie, J.-C., Bugert, M., Boullosa, B., de Castilho, R. E., and Gurevych, I. (2018). The inception platform : Machine-assisted and knowledge-oriented interactive annotation. In *Proceedings of the 27th International Conference on Computational Linguistics : System Demonstrations*, pages 5–9. Association for Computational Linguistics. Event Title : The 27th International Conference on Computational Linguistics (COLING 2018).

Lafourcade, M. (2007). Making people play for lexical acquisition. In *Proceedings of the 7th Symposium on Natural Language Processing (SNLP 2007)*, Pattaya, Thailand.

Lafourcade, M., Brun, N. L., and Joubert, A. (2015a). *Games with a Purpose (GWAPS)*. Wiley-ISTWiley-ISTE.

Lafourcade, M. and Fort, K. (2014). Propa-l : a semantic filtering service from a lexical network created using games with a purpose. In *Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2014)*, Reykjavik, Islande.

Lafourcade, M., Joubert, A., and Brun, N. (2018). The jeuxdemots project is 10 years old : What we have learned. In *Proc. of the LREC workshop Games4NLP 2018*, Miyazaki, Japan.

Lafourcade, M., Le Brun, N., and Joubert, A. (2015b). Collecting and evaluating lexical polarity with a game with a purpose. In *Proc. of the International Conference on Recent Advances in Natural Language Processing (RANLP)*, History, Bulgaria.

Lafourcade, M., Le Brun, N., and Joubert, A. (2016). Construire un lexique de sentiments par crowdsourcing et propagation. In *Proc. of Traitement Automatique des Langues Naturelles*, Paris, France.

Lafourcade, M., Le Brun, N., and Zampa, V. (2014). Crowdsourcing word-color associations. In *Proc. of the International Conference on Application of Natural Language to Information Systems (NLDB)*, Montpellier, France.

Lafourcade, M. and Lebrun, N. (2014). Éthique et construction collaborative de données lexicales par des gwaps. Journée d'étude ATALA Éthique et TAL.

Le, H., Vial, L., Frej, J., Segonne, V., Coavoux, M., Lecouteux, B., Allauzen, A., Crabbé, B., Besacier, L., and Schwab, D. (2020). FlaubERT : Unsupervised language model pre-training for French. In *Proceedings of the 12th Language Resources and Evaluation Conference*, pages 2479–2490, Marseille, France. European Language Resources Association.
Leech, G. (1991). The state of the art in corpus linguistics. *English Corpus Linguistics : Linguistic Studies in Honour of Jan Svartvik*, pages 8–29.

Leech, G. (1997). *Corpus annotation : Linguistic information from computer text corpora*, chapter Introducing corpus annotation, pages 1–18. Longman, Londres, Angleterre.

Lefeuvre, A., Antoine, J.-Y., and Allegre, W. (2015). Ethique conséquentialiste et traitement automatique des langues : une typologie de facteurs de risques adaptée aux technologies langagières. In *Atelier Ethique et TRaitemeNt Automatique des Langues (ETeRNAL’2015), conférence TALN’2015*, Actes de la 1e Ethique et TRaitemeNt Automatique des Langues (ETeRNAL’2015), Caen (France), pages 53–66, Caen, France.

Lefeuvre-Halftermeyer, A., Govaere, V., Antoine, J.-Y., Allegre, W., Pouplin, S., Departe, J.-P., Slimani, S., and Spagnulo, A. (2016). Typologie des risques pour une analyse éthique de l’impact des technologies du TAL. *Revue TAL*, 57(2):47–71.

Leidner, J. L. and Plachouras, V. (2017). Ethical by design : Ethics best practices for natural language processing. In *Proceedings of the First ACL Workshop on Ethics in Natural Language Processing*, pages 30–40, Valencia, Spain. Association for Computational Linguistics.

Lintott, C., Schawinski, K., Bamford, S., Slosar, A., Land, K., Thomas, D., Edmondson, E., Masters, K., Nichol, R. C., Raddick, M. J., Szalay, A., Andreescu, D., Murray, P., and Vandenberg, J. (2010). Galaxy Zoo 1 : data release of morphological classifications for nearly 900 000 galaxies*. *Monthly Notices of the Royal Astronomical Society*, 410(1):166–178.

Lion-Bouton, A., Grobol, L., Antoine, J.-Y., Billot, S., and Lefeuvre-Halftermeyer, A. (2020). Comment arpenter sans mètre : les scores de résolution de chaînes de coréférences sont-ils des métriques ? In *Actes de l'atelier Ethique et TRaitemeNt Automatique des Langues@JEP-TALN-RECITAL 2020. 2e atelier ÉThique et tRaitemeNt Automatique des Langues (ETeRNAL)*, pages 10–18, Nancy, France. Association pour le Traitement Automatique des Langues. Do the standard scores of evaluation of coreference resolution constitute metrics ?

Machado, A. (1912). *Campos de Castilla*, chapter Proverbios y cantares.

Macklin, R. (1999). *Against Relativism : Cultural Diversity and the Search for Ethical Universals in Medicine*. Oxford University Press, New York.
Magistry, P., Ligozat, A.-L., and Rosset, S. (2018). Étiquetage en parties du discours de langues peu dotées par spécialisation des plongements lexicaux. In *Conférence sur le Traitement Automatique des Langues Naturelles*, Rennes, France.

Marcus, M., Santorini, B., and Marcinkiewicz, M. A. (1993). Building a large annotated corpus of English : The Penn Treebank. *Computational Linguistics*, 19(2):313–330.

Martin, L., Muller, B., Ortiz Suárez, P. J., Dupont, Y., Romary, L., de la Clergerie, É., Seddah, D., and Sagot, B. (2020). CamemBERT : a tasty French language model. In *Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics*, pages 7203–7219, Online. Association for Computational Linguistics.

Massé, R. (2000). Les limites d'une approche essentialiste des ethnoéthiques : Pour un relativisme éthique critique. *Anthropologie et Sociétés*, Anthropologie, relativisme éthique et santé(24-2):13–33.

Mathet, Y. and Widlöcher, A. (2016). Évaluation des annotations : ses principes et ses pièges. *Revue TAL*, 57(2):73–98.

Mill, J. S. (1859). *Bentham*.

Millour, A. (2019). Getting to Know the Speakers : a Survey of a Non-Standardized Language Digital Use. In *9th Language & Technology Conference : Human Language Technologies as a Challenge for Computer Science and Linguistics*, Poznań, Poland.

Millour, A. (2020). *Myriadisation de ressources linguistiques pour le traitement automatique de langues non standardisées*. Theses, Sorbonne Universite.

Millour, A., Dupont, Y., Jouglar, A., and Fort, K. (2022). FENEC : un corpus à échantillons équilibrés pour l'évaluation des entités nommées en français. In *Conférence sur le Traitement Automatique des Langues Naturelles (TALN)*, Avignon, France.

Millour, A. and Fort, K. (2018a). À l'écoute des locuteurs : production participative de ressources langagières pour des langues non standardisées. *Revue TAL*, numéro spécial traitement automatique des langues peu dotées, 59(3):41–65.

Millour, A. and Fort, K. (2018b). Krik : First steps into crowdsourcing pos tags for kréyòl gwadloupéyen. In Soria, C., Besacier, L., and Pretorius, L., editors, *Proceedings of the Eleventh International Conference on Language Resources and*
*Evaluation (LREC 2018)*, Paris, France. European Language Resources Association (ELRA).

Millour, A. and Fort, K. (2018c). Toward a lightweight solution for less-resourced languages : Creating a pos tagger for alsatian using voluntary crowdsourcing. In *chair), N. C. C., Choukri, K., Cieri, C., Declerck, T., Goggi, S., Hasida, K., Isahara, H., Maegaard, B., Mariani, J., Mazo, H., Moreno, A., Odijk, J., Piperidis, S., and Tokunaga, T., editors, *Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)*, Paris, France. European Language Resources Association (ELRA).

Millour, A. and Fort, K. (2019). Unsupervised Data Augmentation for Less-Resourced Languages with no Standardized Spelling. In *RANLP*, pages 776 – 784, Varna, Bulgaria.

Millour, A., Fort, K., Bernhard, D., and Steiblé, L. (2017). Vers une solution légère de production de données pour le tal : création d'un tagger de l'alsacien par crowdsourcing bénévole. In *Proc. of TALN - Traitement Automatique des Langues Naturelles*, pages 139–154, Orléans, France.

Millour, A., Fort, K., and Magistry, P. (2020). Répliquer et étendre pour l'alsacien "étiquetage en parties du discours de langues peu dotées par spécialisation des plongements lexicaux". In *Actes de l'atelier Ethique et TRaitemeNt Automatique des Langues@JEP-TALN-RECITAL 2020. 2e atelier ÉThique et tRaitemeNt Automatique des Langues (ETeRNAL)*, pages 29–37, Nancy, France. Association pour le Traitement Automatique des Langues. Replicating and extending for Alsatian : "POS tagging for low-resource languages by adapting word embeddings".

Millour, A., Grace Araneta, M., Lazić Konjik, I., Raffone, A., Pilatte, Y.-A., and Fort, K. (2019). Katana and Grand Guru : a Game of the Lost Words (DEMO). In *9th Language & Technology Conference : Human Language Technologies as a Challenge for Computer Science and Linguistics (LTC'19)*, Poznań, Poland.

Mitchell, M., Wu, S., Zaldivar, A., Barnes, P., Vasserman, L., Hutchinson, B., Spitzer, E., Raji, I. D., and Gebru, T. (2019). Model cards for model reporting. In *Proceedings of the Conference on Fairness, Accountability, and Transparency*, FAT* '19, pages 220–229, New York, NY, USA. Association for Computing Machinery.

Moosavi, N. S., Fan, A., Shwartz, V., Glavaš, G., Joty, S., Wang, A., and Wolf, T., editors (2020). *Proceedings of SustaiNLP : Workshop on Simple and Efficient Evaluation (LREC 2018)*, Paris, France.
*Natural Language Processing*, Online. Association for Computational Linguistics.

Moosavi, N. S., Gurevych, I., Fan, A., Wolf, T., Hou, Y., Marasović, A., and Ravi, S., editors (2021). *Proceedings of the Second Workshop on Simple and Efficient Natural Language Processing*, Virtual. Association for Computational Linguistics.

Nangia, N., Vania, C., Bhalerao, R., and Bowman, S. R. (2020). *CrowS-pairs : A challenge dataset for measuring social biases in masked language models*. In *Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)*, pages 1953–1967, Online. Association for Computational Linguistics.

Névéol, A., Dupont, Y., Bezançon, J., and Fort, K. (2022). French crows-pairs : Extending a challenge dataset for measuring social bias in masked language models to a language other than english. In *Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL)*, Dublin, Irlande.

Névéol, A., Fort, K., and Hwa, R. (2017). Report on EMNLP Reviewer Survey. Technical report, Association for computational linguistics.

Neves, M. and Seva, J. (2019). An extensive review of tools for manual annotation of documents. *Briefings in Bioinformatics*, 22(1):146–163.

Nivre, J., Hall, J., Nilsson, J., Chanev, A., Eryigit, G., Kübler, S., Marinov, S., and Marsi, E. (2007). Maltparser : A language-independent system for data-driven dependency parsing. *Natural Language Engineering*, 13:95–135.

Poesio, M., Chamberlain, J., Kruschwitz, U., Robaldo, L., and Ducceschi, L. (2013). Phrase detectives : Utilizing collective intelligence for internet-scale language resource creation. *ACM Trans. Interact. Intell. Syst.*, 3(1):3:1–3:44.

Reimers, N. and Gurevych, I. (2019). Sentence-bert : Sentence embeddings using siamese bert-networks. In Inui, K., Jiang, J., Ng, V., and Wan, X., editors, *Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019, Hong Kong, China, November 3-7, 2019*, pages 3980–3990. Association for Computational Linguistics.

Rosa, H. (2012). *Aliénation et accélération – vers une théorie critique de la modernité tardive*. Collection Théorie critique. La Découverte, Paris.
Rosset, S., Grouin, C., Fort, K., Galibert, O., Kahn, J., and Zweigenbaum, P. (2012). Structured named entities in two distinct press corpora : Contemporary broadcast news and old newspapers. In *Proceedings of the 6th Linguistic Annotation Workshop (LAW VI)*, pages 40–48, Jeju, République de Corée.

Sagot, B., Fort, K., Adda, G., Mariani, J., and Lang, B. (2011). Un turc mécanique pour les ressources linguistiques : critique de la myriadisation du travail parcellisé. In *Actes de Traitement Automatique des Langues Naturelles (TALN)*, Montpellier, France. 12 pages.

Snow, R., O'Connor, B., Jurafsky, D., and Ng, A. Y. (2008). Cheap and fast - but is it good ? evaluating non-expert annotations for natural language tasks. In *Proceedings of EMNLP 2008*, pages 254–263, Waikiki, Honolulu, Hawaii.

Stadler, T., Oprisanu, B., and Troncoso, C. (2021). Synthetic data – anonymisation groundhog day. ArXiv paper.

Stengers, I. (2019). *Résister au désastre*. Collection Petite bibliothèque d'écologie populaire. Marseille.

Straka, M. (2018). UDPipe 2.0 prototype at CoNLL 2018 UD shared task. In *Proceedings of the CoNLL 2018 Shared Task : Multilingual Parsing from Raw Text to Universal Dependencies*, pages 197–207, Brussels, Belgium. Association for Computational Linguistics.

Straka, M., Straková, J., and Hajic, J. (2019). Evaluating contextualized embeddings on 54 languages in POS tagging, lemmatization and dependency parsing.

Strubell, E., Ganesh, A., and McCallum, A. (2019). Energy and policy considerations for deep learning in NLP. In *Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics*, pages 3645–3650, Florence, Italy. Association for Computational Linguistics.

Stubbs, A. (2012). Developing specifications for light annotation tasks in the biomedical domain. In *Proceedings of the Third Workshop on Building and Evaluating Resources for Biomedical Text Mining*, Istanbul, Turquie.

Tisserant, G. and Lafourcade, M. (2015). Politit, du crowd-sourcing pour politiser le lexique. In *Proc. of Etudier le Web politique : Regards crois Institut des Sciences de l'Homme*, Lyun, France.

Tuite, K. (2014). Gwaps : Games with a problem. *Foundations of Digital Games 2014*.
Urieli, A. (2013). *Robust French syntax analysis : reconciling statistical methods and linguistic knowledge in the Talismane toolkit*. PhD thesis, Université de Toulouse II le Mirail, France.

von Ahn, L. (2006). Games with a purpose. *IEEE Computer Magazine*, pages 96–98.

von Ahn, L. (2013). Duolingo : learn a language for free while helping to translate the web. In ACM, editor, *Proceedings of the 2013 international conference on Intelligent user interfaces (IUI '13)*, pages 1–2, New York, NY, USA.

von Ahn, L. and Dabbish, L. (2004). Labeling images with a computer game. In *Proceedings of the SIGCHI conference on Human factors in computing systems*, CHI ’04, pages 319–326, New York, NY, USA. ACM.

Wynne, M., editor (2005). *Developing Linguistic Corpora : a Guide to Good Practice*. Oxford : Oxbow Books.

Zhao, J., Wang, T., Yatskar, M., Ordonez, V., and Chang, K.-W. (2017). Men also like shopping : Reducing gender bias amplification using corpus-level constraints. In *Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing*, pages 2979–2989, Copenhagen, Denmark. Association for Computational Linguistics.

Zimmer, M. (2010). "but the data is already public" : on the ethics of research in facebook. *Ethics and Information Technology*, 12 :313–325.