Sciences participatives et TAL : jusqu’où ? comment ? pourquoi ? (Citizen science and NLP : how far ? how ? why ? This paper investigates the modalities of achievement of citizen science in NLP , by considering existing participative projects but also historical studies on the relationships between science and opinion) (2017)

Abstract: Cet article s’interroge sur les modalités de participation citoyenne aux recherches en TALN, à la lumière des projets actuels en sciences citoyennes mais aussi d’études menées sur le sujet en histoire des sciences. Il vise à montrer comment une science participative est déjà en marche en TALN, à interroger ses modalités et également à en circonscrire les limites.

## introduction les recherches menées en taln s'appuient sur l'utilisation de ressources linguistiques comme matière première, et ce selon une certaine variété de méthodes. la constitution de ces ressources peut répondre à différentes finalités : soit la récupération de données linguistiques sources réelles (corpus brut), soit l'enrichissement de ces dernières par une annotation fine portant sur certains phénomènes spécifiques. la constitution de ces ressources linguistiques implique de fait le citoyen (dit « naïf » 1 de la discipline, par opposition au chercheur en taln), que ce soit pour produire des données premières, enrichir ces données ou bien pour faire émerger de nouveaux besoins. les travaux faisant intervenir ces citoyens-locuteurs sont nombreux aujourd'hui, dans la constitution de corpus, 1 pour une discussion sur la notion d'annotateur expert, non-expert ou naïf, on pourra se référer à l'état de l'art donné par @xcite dans le paragraphe 2.2.3 (pages 87 à 93). par ailleurs, nous utilisons le terme « citoyen » pour désigner l'ensemble de la population qui n'est pas professionnellement dans le domaine de la recherche (le chercheur-citoyen sera nommé abusivement « chercheur »). ce choix est apparu naturel dans l'idée d'une science citoyenne, et à défaut de terme dédié. ces deux types d'intervention citoyenne différent de deux points de vue : comment situer ces interventions du grand public en taln dans la question plus générale des sciences participatives ? débat sur les cultures transgéniques, commissions de consensus sur les nanotechnologies, controverses sur les radio-émissions, condamnation d'experts sismologues, les rapports entre science et grand public sont de plus en plus empreints d'une grande ambivalence. la science est en effet vue comme le facteur de progrès dans notre société technique, ou au contraire comme une menace, ou une autorité trop liée aux pouvoirs dominants. dans ces débats, le chercheur voit sa légitimité contestée. les sciences participatives proposent un recours à la dégradation des rapports de confiance entre science et opinion publique, et participent à la mise en oeuvre d'une vraie démocratie technique (callon et al. 2001). quoiqu'encore modestes en france, les initiatives en faveur d'une science citoyenne se multiplient. en témoignent par exemple certains appels à programmes de recherche associant laboratoires et associations de citoyens (picris 5 en ile-de-france, chercheurs citoyens dans l'ex-région nord-pas-de-calais 6 , le groupe sciences 2 https://www.wiktionary.org/ 3 dans le cas des jeux sérieux ou jeux avec un but -gwap : game with a purpose (fort, 2017), la motivation principale reste l'amusement, et le joueur peut simplement s'informer sur la finalité de sa participation s'il le souhaite, en suivant un lien. cette finalité reste toutefois explicite : zombilingo annonce ainsi « joue pour aider les scientifiques » sur sa page d'accueil. participatives de l'alliance athena 7 ). ce réinvestissement du citoyen dans les questions scientifiques concerne toutefois avant tout les sciences qui ont une visibilité politique forte, en particulier celles relevant de la santé ou de l'environnement. à un degré moindre, notre société du numérique voit émerger des interrogations citoyennes sur les technologies influant sur la structuration de la société. le taln est pour l'heure peu concerné par ce mouvement, alors que ses applications commencent à envahir des champs importants de la vie quotidienne. l'application de la fouille de texte au monitoring des comportements sur les réseaux sociaux est un exemple, parmi d'autres, des questions éthiques que posent désormais le taln (lefeuvre et al. 2015). le développement prévisible des technologies langagières devrait appeler une attente citoyenne de plus en plus marquée à laquelle les sciences participatives pourraient répondre. ces échanges citoyens autour des technologies langagières peuvent bénéficier d'un facteur favorisant : tout locuteur est porteur d'une expertise praticienne de sa langue maternelle, objet socio-linguistique à laquelle il contribue au quotidien. cette expertise s'observe dans nos jeux de mots humoristiques ou nos pratiques diaphasiques (gadet 2006). sans être complètement conscientisée ou théorisée, elle relève en partie de notre apprentissage scolaire au cours duquel on est guidé vers une autoévaluation et une maîtrise de cette compétence, contrairement à d'autres aptitudes moins conscientisées telle que la marche par exemple. le taln constitue de fait un lieu prédisposé pour évaluer les possibilités du public à s'approprier les enjeux de la recherche scientifique. en éclairant la compréhension des questions scientifiques liées au progrès technique, la formation comme la vulgarisation sont de puissants outils pour atteindre cet objectif démocratique essentiel, même si, dès lors que l'on se place dans le cadre de la transmission du savoir, il persiste toujours un enjeu de pouvoir. il est intéressant de se demander dans quelle mesure une compréhension raisonnée peut également être atteinte par une participation citoyenne à la recherche. cet article s'interroge ainsi sur les modalités de développement des sciences participatives en taln. il pose en particulier certaines questions qui se doivent d'être étudiées en regard de la nature particulière de son sujet d'étude, et afin de réfléchir au mieux à la part que l'on souhaite voir donnée au citoyen dans les orientations scientifiques :  jusqu'où ? -différentes modalités d'interventions citoyennes en sciences peuvent être imaginées. nous ferons tout d'abord un retour historique sur les rapports entre science et public pour montrer que le citoyen conserve ses capacités de compréhension en présence d'une science de plus en plus complexe et spécialisée. partant de ce constat, nous discuterons ensuite des différentes gradations d'interventions qui peuvent être envisagées. nous en conclurons qu'un apport citoyen doit être recherché avant tout en amont (définition de questions scientifiques et apport d'observations) et en aval (évaluation des technologies) du processus de recherche.  comment ? -nous nous interrogerons sur les modalités déjà effectives en taln et à la manière de conduire une recherche participative dans cette discipline. nous ferons d'une part le recensement de travaux existants dans le domaine, puis nous proposerons avant tout un cadre méthodologique pour étudier la modalité et l'apport d'une recherche participative en taln. il nous semble en effet que notre discipline manque encore de recul sur la question pour permettre l'émergence d'une science citoyenne au-delà des discours convenus.  mais pourquoi ? retour sur un taln participatif -nous montrerons enfin en quoi les sciences participatives peuvent présenter un intérêt pour le taln. nous reviendrons tout d'abord sur la nécessité éthique d'un regard citoyen sur la direction de nos recherches, mais nous suggérons également que les sciences participatives peuvent être un moteur éventuel d'innovation par le regard décalé qu'elles apportent. 2 jusqu'où : quelle implication citoyenne ? 2.1 science et compréhension citoyenne : mise au point historique des échanges plus marqués entre public et scientifiques peuvent favoriser le développement du progrès technique. cet échange n'est toutefois concevable que si le citoyen est à même de saisir en profondeur les enjeux des recherches concernées. en présence d'une science hyper spécialisée, certains doutent qu'une réelle intercompréhension puisse encore être atteinte et s'accordent sur une séparation désormais indépassable entre chercheurs et citoyens. avant d'étudier plus en avant les frontières d'une recherche participative en taln, nous nous appuierons sur une analyse historique des rapports entre science et opinion publique (bensaude-vincent 2013) pour indiquer que l'existence de ce fossé infranchissable n'est pas démontrée. la science moderne, envisagée comme l'établissement de vérités par une analyse critique des résultats d'épreuves de vérification et de falsification d'hypothèses, émerge au xvii e siècle et s'établit réellement dans l'esprit des lumières au xviii e siècle. cette cristallisation de la pratique scientifique est concomitante avec l'émergence d'un vrai espace politique (cafés, salons, loges maçonniques) pour l'opinion publique. dépositaire de l'autorité de l'analyse critique, le scientifique y a toute sa place, et en retour le public est lui aussi invité à participer, comme observateur et expérimentateur, au développement de la science. bien qu'elles soient ouvertes à tous, ces interventions citoyennes ne concernent qu'un public lettré. (habermas 1978) parle ainsi d'espace bourgeois. il n'en reste pas moins que la science recourt alors à ces amateurs éclairés pour se constituer (voire se financer). un des mérites de l'université sera d'étendre ultérieurement ce public éclairé à d'autres catégories sociales. le xix e va correspondre à une institutionnalisation de la recherche scientifique soutenue par l'opinion publique. l'essor de la presse scientifique, concomitant à la révolution industrielle, répond à une curiosité croissante des masses pour la recherche, considérée alors comme le principal facteur de progrès de l'humanité. ainsi renforcée, la communauté scientifique va alors cantonner le public dans un rôle passif de soutien : la vulgarisation n'est plus considérée que comme un outil politique pour assoir la promotion de la recherche. ainsi, l'académie des sciences interdit elle, à la mort (1853) de françois arago, secrétaire perpétuel et grand vulgarisateur, les interventions du public en séance. la séparation d'avec le public qui s'observe à ce moment historique n'est donc pas due aux progrès rapides de la science, mais à une stratégie de disqualification de la part d'une communauté scientifique qui cherche à se créer un espace social @xcite . cette rupture sera totalement consommée chez bachelard au xx e siècle. s'appuyant sur le mythe @xcite ) fondateur d'une recherche rationnelle objective, la science devient chez cet épistémologue très influent une nouvelle religion à laquelle le public doit se soumettre aveuglément @xcite : la parole de l'expert ne peut plus être contestée, l'opinion publique est totalement délégitimée @xcite ). l'opinion procède pour bachelard uniquement de l'émotion et non de la rationalité permise par l'exercice de la raison critique chez le scientifique. c'est cette autorité de la raison critique qui justifie l'abandon au seul chercheur de la définition de ses directions de recherche. malgré certaines réserves exprimées foot_4 , une telle position ne saurait être affirmée aussi clairement désormais. il faudra attendre l'émergence de la société du risque technologique @xcite ) et la répétition de scandales écornant l'image du scientifique rationnel indépendant de toute pression extérieure (climato-sceptiques, expériences sur l'innocuité du tabac ou de l'amiante financées par l'industrie), pour que l'opinion publique ose à nouveau s'intéresser à la conduite de la science, à une période où apparaissent précisément les sciences participatives (années 1970). des initiatives associatives ou institutionnelles (main à la pâte, sciences en fête) cherchent également à combler ce fossé à partir de la fin du xx e siècle, sans interroger par contre le rôle respectif des chercheurs et du citoyen. ce dernier pas semble toutefois franchi comme en témoigne le soutien affirmé par le cnrs avec sa mission « sciences et citoyens » @xcite . par ce bref retour en arrière historique, nous avons cherché à montrer que la disqualification de l'expertise citoyenne n'est pas due à un quelconque analphabétisme scientifique mais à une stratégie d'isolement de la communauté des chercheurs à un moment historique de son histoire. rien ne justifie le maintien d'une telle rupture, qui est plus ou moins prononcée suivant les disciplines et ne semble plus répondre à un programme de disqualification de l'opinion publique, comme ce fut le cas à l'époque de bachelard. reste à déterminer la place que peut prendre le public dans ses échanges avec la communauté scientifique, au-delà de certains discours incantatoires convenus. nous allons aborder cette question en étudiant dans un premier temps les différentes modalités d'action qui ont été envisagées pour la mise en place d'une science citoyenne. ## comment : sciences participatives en taln pour envisager ce que pourrait être une science participative approfondie en taln, nous proposons de considérer les principales étapes de production de connaissance du domaine : production d'observables -on regroupe ici la constitution de corpus annotés, de ressources lexicales, d'ontologies essentielles au développement des technologies langagières. une telle participation citoyenne relève du crowdsourcing dont nous avons déjà discuté le bien fondé. interprétation des données -a notre connaissance, aucune recherche participative en taln n'a fait intervenir à ce jour le citoyen dans l'interprétation des données qu'il produit. pourtant, des plateformes comme zombilingo et jeuxdemots disposent de forums où s'expriment certaines interrogations linguistiques. par exemple, nobody, participant à zombilingo demande : j'ai eu un énoncé avec le verbe dépendent [sic] et un groupe sujet avec coordinations de deux gn, la réponse était la tête du gn1... je me demandent [sic] ce que vont valoir les annotations le fait de ne pouvoir faire porter la relation sujet sur la coordination en elle-même semble gêner le joueur. indirectement, il interroge le schéma d'annotation en dépendances retenu par le jeu, par rapport à une annotation en constituants sans doute plus proche de ses connaissances scolaires. ce type d'échange nous amène à penser que le public pourrait aider le chercheur à finaliser certaines conventions d'annotation, pour les rendre plus opératives. cette participation a sans doute ses limites et peut scléroser le débat scientifique : on pense ainsi à la gestion chronophage de sollicitations de pertinences variables qu'elle pourrait entraîner. mais il nous semble intéressant d'étudier expérimentalement la capacité de l'amateur à participer à de tels échanges, sans avoir accès aux modèles théoriques manipulés par le chercheur. l'objectif étant, une fois encore, d'apporter un point de vue original, ancré dans l'expérience naturelle de locuteur de l'amateur. développement de systèmes -la création des technologies langagières requiert au moins deux expertises complémentaires : une connaissance sur les modèles de langage intégrés dans les systèmes, et une compétence informatique pour leur développement. il est difficile d'imaginer qu'un public non expert puisse mobiliser cette compétence pluridisciplinaire pointue. l'existence du mouvement open source, composé de contributeurs particulièrement motivés, invite toutefois à considérer avec attention la contribution citoyenne qui pourrait être attendue dans ce domaine : détection de bugs, retours d'expériences, réutilisation dans des applications hôtes, ajouts de plugins. l'intervention citoyenne concerne ici l'expression de besoins et également l'appropriation avancée des technologies. de nombreux systèmes de recherche sont désormais diffusés en open source. le système sibylle d'aide à la communication pour personnes handicapées @xcite est diffusé librement par le centre de rééducation de kerpape dans sa version sibylle vk foot_8 . l'analyse des téléchargements montre que le logiciel est utilisé par de simples particuliers qui n'hésitent pas à faire des retours sur l'utilisation de dernier. le site de diffusion de sibylle fait par ailleurs appel à la contribution bénévole de plugins utiles à la communauté. evaluation -l'évaluation devrait être un des champs d'intervention privilégiés des sciences participatives en taln, dont les applications commencent à se déployer sur des données parfois sensibles : fouille d'opinion et monitoring sur les réseaux sociaux, identification d'auteurs @xcite ) par exemple. la participation citoyenne à l'évaluation des systèmes participe donc au principe éthique de contrôle citoyen du progrès technologique. elle présente deux intérêts pour notre communauté scientifique. d'une part, elle permettrait de remettre en contexte une vision parfois mythique des possibilités du taln et plus généralement de l'intelligence artificielle, telle que dispensée par certains chercheurs eux-mêmes dans les médias. cela éviterait les déceptions qui ont déjà affecté l'histoire du taln par le passé, mais surtout écarterait l'application inconsidérée de nos technologies sur des sujets tels que, par exemple, l'expertise judiciaire @xcite ). d'autre part, le taln ne cesse, à raison, de s'interroger sur ses pratiques d'évaluation. des campagnes d'évaluation concernant les modèles d'évaluation eux-mêmes existent même dans des domaines tels que la traduction automatique @xcite . un regard citoyen est susceptible d'aider le chercheur à se poser certaines bonnes questions en matière d'évaluation ; par exemple en se focalisant sur des métriques liées à l'acceptabilité des technologies et plus facilement compréhensibles pour le grand public. il ne faut bien entendu pas négliger les difficultés à trouver un panel de citoyens motivés par une participation à des actions d'évaluation. ainsi que l'a montré l'aide au handicap, on pourrait toutefois imaginer que des associations représentatives soient associées à certaines évaluations. de même, l'implication d'informaticiens appelés, au-delà du seul secteur des industries de la langue, à utiliser nos technologies, serait enrichissant. pourtant, une intervention citoyenne plus marquée dans la conduite de la recherche ne doit pas être vue comme une contrainte mais au contraire comme une forme de libération pour le chercheur. la dimension éthique de sa responsabilité sociale peut en effet être lourde à porter isolément dans notre société du risque technique @xcite . un regard citoyen permet un partage de responsabilités sur les conséquences de ses recherches, fardeau qui se fera de plus en plus pressant : l'exemple de la condamnation de sismologues suite au tremblement de terre de l'aquila est là pour le rappeler (grazzi 2012). or, le taln arrive à un stade de développement où ses applications ont des implications économiques, sociologiques et éthiques importantes que nous ne saurions négliger @xcite . ## conclusion : pour une évaluation des sciences citoyennes en conclusion, cet article ne doit pas être considéré comme un plaidoyer en faveur des sciences participatives en taln, mais comme une première réflexion sur ses modalités d'action. de fait, l'existence des sciences citoyennes dans la recherche publique est déjà une réalité, et elle est actuellement encouragée par les pouvoirs publics, comme le montre par exemple la récente mission « sciences participatives » @xcite . alain fuchs, directeur du cnrs, voit même dans l'émergence d'une science participative forte un moyen de ré-acculturation scientifique de l'opinion publique face à la montée en puissance de discours pseudo-scientifiques (dessibourg 2017). notre propos ici a donc été de montrer en quoi les sciences participatives, finalement elles-aussi déjà assez présentes dans le domaine du taln sans qu'elles ne donnent leur nom, sont un apport non négligeable aux avancées de celui-ci. analysant les différentes activités liées au développement des technologies langagières, nous avons esquissé des champs d'intervention citoyenne qui vont au-delà de la seule participation à la collecte de données (crowdsourcing). nous avons en particulier insisté sur l'intérêt d'une association du public à l'évaluation des technologies, et nous sommes interrogés sur la limite que l'on peut définir à la formation du public par une pratique active à la recherche. à notre connaissance, ces questions n'ont pas reçu de réponse dans le domaine du taln. aussi pensons-nous qu'il serait intéressant de mener des études expérimentales portant sur l'apport citoyen dans des projets de sciences participatives. l'existence d'une science participative forte dans un domaine de recherche nécessite l'implication de citoyens motivés. cette motivation peut être essentiellement ludique dans le cadre des jeux sérieux. la nature de cette motivation pourrait certainement être diversifiée, du fait de l'intérêt que tout un chacun porte à sa langue maternelle. une implication plus forte, que ce soit en terme de formation et de désir de participation au pilotage de projets de recherche, demande sans doute que le citoyen perçoive un enjeu politique derrière les travaux réalisés. nul doute que l'apparition somme tout récente d'applications du taln posant des enjeux éthiques visibles renforcera ce besoin.