# Science citoyenne et qualité des données sur la biodiversité: un faux problème ?

Bastien Castagneyrol, Christophe Botella, Benoit Fontaine

► To cite this version:

Bastien Castagneyrol, Christophe Botella, Benoit Fontaine. Science citoyenne et qualité des données sur la biodiversité: un faux problème?. NOV'AE, 2021, Sciences et Recherches Participatives à INRAE, Numéro Spécial 01, pp.64-74. 10.17180/novae-2022-ns01-art06. hal-03856478

HAL Id: hal-03856478

https://hal.science/hal-03856478

Submitted on 16 Nov 2022

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution - ShareAlike 4.0 International License
# Science citoyenne et qualité des données
sur la biodiversité : un faux problème ?

Bastien Castagneyrol<fnref n="1" />*, Christophe Botella<fnref n="2" />, Benoît Fontaine<fnref n="3" />

* Contact : Bastien Castagneyrol, INRAE UMR BIOGECO, 69 route d'Arcachon, 33612 Cestas cedex, bastien.castagneyrol@inrae.fr

Résumé (< 200 mots) -- Quelle confiance accorder aux données issues des programmes de sciences et recherches participatives (SRP) si elles sont collectées massivement (*crowdsourcing*) par des volontaires dont le niveau d'expertise est variable et inconnu ? Cette question en appelle immédiatement une seconde : quel crédit accorder aux résultats scientifiques fondés sur ces données ? A partir d'un examen de la littérature scientifique internationale et de cas d'études de projets de SRP menés sur le territoire français dans le domaine de l'écologie, nous discutons ces interrogations et proposons des éléments de réponse. Nous montrons que la fiabilité des données issues de *crowdsourcing* est entièrement dépendante des questions auxquelles elles répondent, et que de nombreux points de contrôle existent — en amont et en aval des observations — pour assurer la fiabilité des inférences réalisées à partir de ces données. Nous concluons que pour peu que le protocole de collecte des données soit en adéquation avec la question scientifique posée, la fiabilité des données collectées en masse par le grand public n'est pas problématique, et que les limitations intrinsèques des SRP fondées sur le *crowdsourcing* sont largement compensées par les opportunités qu'ils offrent aux niveaux scientifique et sociétal.

<footnote n="1">¹ - Univ. Bordeaux, INRAE, BIOGECO, F-33610 Cestas, France</footnote>

<footnote n="2">² - Laboratoire d'Ecologie Alpine, CNRS, Grenoble, France</footnote>

<footnote n="3">³ - CESCO, UMR 7204 - MNHN, Paris, France</footnote>
Faut-il avoir un doctorat pour contribuer à la production de connaissances scientifiques ? Le développement massif des programmes de sciences et recherches participatives (SRP) dans lesquels chercheurs professionnels et volontaires<fnref n="1" /> collaborent étroitement à l'acquisition, la validation, l'analyse et l'interprétation de données scientifiques suggère que non. Toutefois, ce constat ne remet pas en question le haut niveau d'expertise nécessaire à la production des connaissances scientifiques. C'est plutôt une invitation à s'interroger sur les différentes étapes de la production des données qui garantissent leur fiabilité et leur reproductibilité. Dans cet article, nous nous intéressons aux SRP se limitant à l'implication du public dans la collecte de données à grande échelle (*crowdsourcing*) dans le domaine de l'écologie. Après une présentation rapide de la diversité de ces programmes illustrée par quelques exemples emblématiques, nous posons une question cruciale : les données collectées en masse par des volontaires au degré d'expertise variable sont-elles de qualité suffisante pour contribuer à l'avancée des connaissances scientifiques ? Nous y répondons en confrontant retours d'expériences et évaluations formelles publiées dans la littérature scientifique. Enfin, nous discutons les moyens qui peuvent être mis en œuvre pour garantir la qualité des données.

## Pourquoi et comment faire appel aux volontaires pour collecter des données en masse ?

### De quoi parle-t-on ?

Les collections naturalistes des muséums d'histoire naturelle doivent beaucoup aux naturalistes amateurs de sorte que les SRP ne sont pas une invention du XXIe siècle [voir l'article de V. Fages dans ce numéro]. Un des plus anciens programmes de SRP date du début du XXème siècle : le programme Christmas Birds Count invite les américains à répertorier la diversité des oiseaux, tous les ans depuis 19XX, pendant la période de Noël (Silvertown 2009). Mais l'essor des SRP et notamment de la collecte de données en masse est très largement favorisé par le développement des technologies informatiques et des outils connectés (Graham et al. 2011). Aujourd'hui, les SRP s'adressent à un public plus ou moins qualifié, pouvant participer depuis son canapé, son jardin, son quartier... avec un minimum de matériel (Tableau 1). Par exemple, le programme Penguin Watch propose aux volontaires de participer à l'étude de la dynamique des populations d'oiseaux marins à partir du dénombrement de pingouins sur des images issues de pièges photographiques (Jones et al. 2018). L'observatoire de la biodiversité des jardins invite les volontaires novices à observer les papillons, bourdons et escargots dans leur environnement proche, contribuant ainsi à la compréhension de l'impact des sociétés humaines sur la biodiversité commune (Bergerot et al. 2010, Muratet and Fontaine 2015, Olivier et al. 2016). En parallèle de ces projets "tout public" existent également des programmes de SRP impliquant des naturalistes hautement qualifiés. C'est le cas du Suivi Temporel des Oiseaux Commun (STOC) qui s'adresse aux ornithologistes confirmés depuis 1989 (Julliard et al. 2004). Les algorithmes permettant l'identification automatisée des plantes photographiées au travers de l'application Pl@ntnet sont également alimentés par les données collectées par le grand public et validées collaborativement par des botanistes confirmés (Affouard et al. 2017).

<footnote n="1">1 Les termes utilisés pour faire référence aux personnes participants aux programmes de SRP sont extrêmement variés (amateurs, citoyens volontaires, non-chercheurs, scientifiques non-professionnels, « volonpairs »...). Le choix des mots n'est pas neutre et véhicule implicitement un ensemble de représentations (Eitzel et al. 2017). Dans cet article, nous nous focalisons sur les programmes de sciences citoyennes se limitant à la collecte de données ou de matériel par le public, sans distinction d'âge, d'expertise, de citoyenneté. Nous qualifierons les participants de « volontaires » et de « scientifiques » ou de « chercheurs » les professionnels à l'origine de ces programmes, étant entendu que ces deux catégories peuvent être partiellement chevauchantes.</footnote>
<table><caption>Tableau 1 - Exemples de projets de SRP sur la biodiversité sollicitant les citoyens français pour la collecte de données de masse.</caption><thead><tr><td>Projet (début)</td><td>Objectif</td><td>Public visé</td><td>Méthodes</td><td>Temporalité</td><td>Etendue géographique</td><td>Contribution du public</td></tr></thead><tbody><tr><td>SPIPoll (2010)</td><td>Suivi photographique des insectes visitant les plantes</td><td>Tout public</td><td>Observations protocolées, pas de plan d'échantillonnage</td><td>Long terme</td><td>Nationale (France)</td><td>Photos identifiées</td></tr><tr><td>Observatoire des saisons</td><td>Suivi de la phénologie des plantes et des animaux en lien avec le changement climatique</td><td>Tout public</td><td>Observations protocolées</td><td>Long terme</td><td>Nationale (France)</td><td></td></tr><tr><td>Citique</td><td>Développement d'outils de prévention des maladies transmises par les tiques</td><td>Tout public</td><td>Observations opportunistes, Collecte de matériel biologique</td><td>Long terme</td><td>Nationale (France)</td><td></td></tr><tr><td>PI@ntnet (2009)</td><td>Cartographie de l'aire de répartition des plantes</td><td>Tout public</td><td>Observations opportunistes</td><td>Long terme</td><td>Mondiale</td><td></td></tr><tr><td>Vigil'encre (2020)</td><td>Suivi sanitaire des châtaigniers en lien avec la maladie de l'encre</td><td>Professionnels et propriétaires forestiers</td><td>Observations opportunistes</td><td>Long terme</td><td>Nationale (France)</td><td></td></tr><tr><td>Tree Bodyguards (2018)</td><td>Evaluation du contrôle biologique des herbivores du chêne par les prédateurs</td><td>Scolaires</td><td>Observations protocolées, Collecte de matériel</td><td>Court terme</td><td>Européenne</td><td></td></tr><tr><td>Sauvages de rue (2011)</td><td>Suivi de la biodiversité végétale en milieu urbain</td><td>Tout public</td><td>Observations protocolées, pas de plan d'échantillonnage</td><td>Long terme</td><td>Nationale (France)</td><td>Liste d'espèces complètes (présence/absence)</td></tr><tr><td>Oiseaux des jardins (2012)</td><td>Suivi spatio-temporel des espèces d'oiseaux dans les jardins</td><td>Tout public</td><td>Observations protocolées, site choisi par l'observateur</td><td>Long terme</td><td>Nationale (France)</td><td>Liste d'espèces complètes (abondances)</td></tr><tr><td>Observatoire des sentinelles du climat</td><td>Suivi de la phénologie de 18 espèces communes (plantes, animaux, insectes).</td><td>Tout public</td><td>Observations protocolées</td><td>Long terme</td><td>Régionale (Nouvelle-Aquitaine)</td><td></td></tr><tr><td>Faune France (2017)</td><td>Observations naturalistes</td><td>Naturalistes</td><td>Observations opportunistes</td><td>Long terme</td><td>Nationale (France)</td><td>Listes d'espèces, présence/absence ou abondances</td></tr></tbody></table>
<table><tr><td>Suivi Temporel des Oiseaux Communis (STOC - 1989)</td><td>Suivi des populations d'oiseaux</td><td>Naturalistes</td><td>Observations protocolées, plan d'échantillonnage imposé</td><td>Long terme</td><td>Nationale (France)</td><td>Liste d'espèces complètes (abondances)</td></tr><tr><td>Herbonautes (2012)</td><td>Décryptage d'étiquettes d'herbier numérisées</td><td>Tout public</td><td>Décryptage puis validation par les autres participants</td><td>Long terme</td><td>Mondiale</td><td>Retranscriptions d'étiquettes d'herbier manuscrites</td></tr><tr><td>Observatoire Agricole de la Biodiversité (2010)</td><td>Suivi de l'impact des pratiques agricoles sur la biodiversité</td><td>Agriculteurs</td><td>Observations protocolées, site choisi par l'observateur</td><td>Long terme</td><td>Nationale (France)</td><td>Liste d'espèces complètes (abondances)</td></tr><tr><td>Vigie-Nature Ecole (2013)</td><td>Suivi de la biodiversité commune, initiation à la démarche scientifique</td><td>Scolaires</td><td>Observations protocolées, site choisi par l'observateur</td><td>Long terme</td><td>Nationale (France)</td><td>Liste d'espèces complètes (abondances)</td></tr><tr><td>EPOC (2017)</td><td>Suivi des oiseaux communis</td><td>Naturalistes</td><td>Observations protocolées, site choisi par l'observateur</td><td>Long terme</td><td>Nationale (France)</td><td>Liste d'espèces complètes (abondances)</td></tr></table>

Les projets de SRP fondés sur la collecte massive de données auxquels nous nous intéressons ici ont en commun d'avoir pour objectif premier la construction de nouvelles connaissances sur l'environnement ou la biodiversité ; à cet objectif scientifique peut s'ajouter un objectif social pouvant se décliner au niveau de l'individu et de la société dans son ensemble (Adler et al. 2020).

## Gagnant-gagnant ?

Ces projets sont un apport inestimable à la recherche dans les domaines de l'écologie et de l'environnement, particulièrement dans le cadre de l'étude de la dynamique de la biodiversité dans le contexte des changements globaux (Schmeller et al. 2009), des effets du réchauffement climatique sur la structure des communautés et le fonctionnement des écosystèmes (Bison et al. 2019), de la surveillance de l'expansion des espèces exotiques envahissantes (Pocock and Evans 2014, Meentemeyer et al. 2015), de l'efficacité des politiques de conservation (Kerbiriou et al. 2018) ou encore de l'amélioration des plans de conservation des espèces menacées (Schuster et al. 2019). La raison en est simple : la participation de volontaires à la collecte de données scientifiques démultiplie les capacités d'observation des chercheurs dans l'espace et le temps. Il devient alors possible d'obtenir des informations sur la distribution ou la phénologie des espèces sur l'ensemble de leur aire de répartition, ou de synchroniser une campagne d'observation sur une grande aire géographique (Julliard et al. 2004, Meentemeyer et al. 2015, Ekholm et al. 2019, Bison et al. 2019). De plus, la recherche en écologie peut impliquer la répétition de tâches extrêmement chronophages mais ne requérant pas, ou que peu d'expertise. La participation du public à ces tâches est un gain de temps substantiel pour les scientifiques, à un coût dérisoire par rapport à ce qu'il serait s'il fallait avoir recours à des collecteurs de données rémunérés (Levrel et al. 2010).

Ce serait sortir du cadre de cet article que de s'attarder sur les bénéfices individuels et sociétaux que procure la participation du public aux programmes de SRP. Il est tout de même utile de les mentionner brièvement, parce la (re)connaissance de ces bénéfices oriente la manière dont sont conçus les programmes de SRP. Les programmes de SRP fondés sur la collecte de données de masse visent à l'amélioration des connaissances scientifiques et de la capacité à lire, écrire et comprendre la science (i.e., la littératie scientifique) au niveau individuel et au niveau de la communauté. Indissociablement, c'est aussi la transformation de la relation entre le public et la nature au sens large qui est en jeu (Gabillet
2018, Deguines et al. 2020). Couplés aux objectifs scientifiques de la collecte de données par le grand public, ces aspects transformatifs aux niveaux individuel et collectif contribuent également à orienter les politiques publiques. A titre d'exemple, le Nutri-Score que l'on retrouve sur les emballages de nos produits alimentaires est une mesure de santé publique soutenue par les résultats scientifiques de l'étude NutriNet-Santé basée sur les pratiques de consommation autodéclarée d'une large cohorte d'adultes volontaires (Julia et al. 2017). De manière similaire, le Farmland Bird Indicator, basé sur des données de suivis participatifs dans plusieurs pays européens, dont la France avec le STOC, est un indicateur officiel de la communauté européenne pour évaluer l'impact des politiques agricoles sur la biodiversité (Scholefield et al. 2011).

## Des réticences des deux côtés

La collecte massive de données par le public au travers des SRP apparaît, sur le principe, comme une initiative "gagnant-gagnant". Pourtant, elle se heurte à un certain nombre de réticences ou de critiques synthétisées dans le rapport de Houiller et Merilhou-Goudard sur les sciences participatives en France (Houiller and Merilhou-Goudard 2016). Sans chercher à être exhaustifs, retenons que des réticences quant à l'utilisation des données collectées en masse par le grand public existent des deux côtés : chez les chercheurs et chez le public. Les enquêtes menées auprès du public pointent du doigt (i) la crainte d'une instrumentalisation des données récoltées à des fins idéologiques ou politiques, (ii) une autocensure (« je ne suis pas assez compétent pour identifier correctement une espèce »), (iii) un renoncement face à l'ambiguïté ou la lourdeur des protocoles (ou au coût de sa mise en œuvre), (iv) un désintérêt pour la "biodiversité ordinaire" ainsi que (v) une déception quant à la nature des résultats obtenus si les attentes initiales étaient trop fortes (Hobbs and White 2012, Houiller and Merilhou-Goudard 2016). Certains scientifiques adoptent une attitude circonspecte voire hostile vis-à-vis de la qualité des données générées par les sciences et recherche participatives en général, et par le crowdsourcing en particulier. Plusieurs raisons sont invoquées (Houiller and Merilhou-Goudard 2016, Burgess et al. 2016, Law et al. 2017) : (i) certaines données sensibles ne devraient pas être acquises par le grand public, et encore moins lui être accessibles (par exemple les signalements d'espèces rares ou en danger) ; (ii) il peut y avoir un risque d'instrumentalisation ou de sabotage des données si elles sont préférentiellement acquises par des individus ou des groupes d'individus porteurs d'intérêts politiques ; (iii) tous les scientifiques ne sont pas à l'aise à l'idée d'interagir avec le grand public et anticipent des difficultés à gérer un projet de recherche aux trop nombreux participants mal identifiés d'un point de vue institutionnel ; (iv) il y a un doute sur la qualité des données acquises par des non-experts, voire une remise en cause du statut du scientifique si tout le monde peut collecter des données et en extraire de la connaissance.

Plusieurs auteurs ont analysé ces différents points de blocage et émis des recommandations pour les lever (Pandya 2012, Crowston et al. 2019, Serret et al. 2019, Adler et al. 2020). Nous y renvoyons le lecteur intéressé. Par la suite, nous nous focaliserons sur le dernier point : la qualité présumée faible des données.

## Le grand public est-il fiable pour acquérir des données de qualité ?

### Qu'est-ce qu'une donnée de qualité ?

La qualité des données acquises peut être vue selon différents critères établis par Pipino et al. (2002). En effet, assurer une qualité suffisante pour répondre à une question scientifique représente des coûts, avant et après la collecte. Initier et conduire un projet de SRP impose d'anticiper ces coûts. Notons que nous n'abordons pas ici le principe des données FAIR (Findable, Accessible, Interoperable, Reusable – Wilkinson et al., 2016), qui s'applique à tous types de données : dans le cadre des SRP dont nous parlons ici, il est de la responsabilité des chercheurs en charge des projets d'assurer que les données soient FAIR,
qu'elles soient collectées par des volontaires ou non. Dans le cadre des SRP sur la biodiversité, le coût associé à l'acquisition de données de qualité peut se décomposer ainsi :

- le coût de développement d'une infrastructure (site web, application smartphone, etc) pour la digitalisation,

- les coûts liés à l'accessibilité des données (Où sont-elles stockées ? Qui peut y avoir accès ? Qui peut les utiliser ? Comment créditer les pourvoyeurs ?), à la révision, la validation et la protection des données assurant leur fiabilité et leur pérennité.

Les coûts liés à la logistique du stockage et de l'accessibilité des données dépendent fortement de leur attendue (et donc de l'étendue spatiale et temporelle du projet, ainsi que des efforts de communications faits pour le publiciser) et du niveau de précision attendu pour répondre aux questions posées (par exemple des identifications d'organismes au niveau de la famille, du genre, de l'espèce). Ainsi, l'observatoire des bourdons et papillons des jardins a permis de mesurer l'impact de l'utilisation de pesticides sur les insectes floricoles dans les jardins privés en utilisant des identifications grossières (papillons et bourdons) mais suffisantes pour obtenir des résultats fiables, qu'il aurait été compliqué d'obtenir autrement (Muratet and Fontaine 2015). Ici, le niveau de précision requis est suffisamment bas pour que les compétences grand public suffisent à procurer des données fiables. En effet, la fiabilité est une composante déterminante de la qualité des données d'un projet de SRP, car elle assure la validité des résultats scientifiques qui en sont issus. Encore faut-il s'entendre sur ce qu'est une donnée fiable.

## Qu'est-ce qu'une donnée fiable ?

La fiabilité des données concerne l'incertitude sur la valeur de la donnée fournie par l'observateur. Dans le cadre des SRP sur la biodiversité, il s'agit notamment de l'identification du groupe taxonomique (famille, espèce), mais aussi, parfois, du nombre d'individus, du lieu et de la date d'observation. L'incertitude d'identification et le nombre d'individus observés sont liés au niveau d'expertise de l'observateur, mais également à l'adéquation du protocole avec ce niveau d'expertise : on peut demander à un lépidoptériste confirmé d'identifier toutes les espèces de lycènes, alors qu'un participant à « Papillon des Jardins », ouvert à tous, ne devra signaler que des « Lycènes bleus », sans distinction. Dans les deux cas, l'information est fiable et exacte. Les incertitudes géographique et temporelle sont quant à elles fortement conditionnées par la précision des outils connectés employés sur le terrain pour la collecte de données ainsi que par l'accès au réseau. Une donnée de biodiversité fiable est donc une donnée pour laquelle l'identification taxonomique est correcte et contextualisée, c'est-à-dire géoréférencée et temporisée avec un niveau de précision suffisant au regard de la question scientifique posée. Cela est conditionné par le protocole de collecte de données ainsi que par le plan d'échantillonnage spatial et temporel des données (Miller et al. 2019). Ces deux aspects peuvent ou non être définis en amont par les scientifiques en charge du projet.

Il faut donc garder à l'esprit que chaque type de données a sa spécificité et ne peut permettre de répondre qu'à un certain nombre de questions scientifiques, en général prédéterminées par le protocole ou le contexte d'acquisition (même si la question peut émerger, a posteriori, de l'exploration des données). Ce n'est donc pas tant la qualité de la donnée qui est critique dans le cadre des SRP que la connaissance que les scientifiques ont sur cette qualité (Shirk and Bonney 2018), et que ce qu'ils en font.

## Le grand public fournit des données plus ou moins fiables

Plusieurs études ont comparé les données récoltées par les citoyens volontaires à des données de référence ou à des données acquises dans les mêmes conditions par les scientifiques eux-mêmes (Crall et al. 2011, Gardiner et al. 2012, Pocock and Evans 2014, Miczajka et al. 2015, Steinke et al. 2017, Saunders et al. 2018, Castagneyrol et al. 2020). Elles fournissent des conclusions contrastées quant à la confiance à accorder aux données issues de sciences citoyennes. Aceves-Bueno et al. (2017) ont
récemment réalisé une synthèse de 63 articles ayant directement abordé cette question. Leur étude fait notamment ressortir que : (i) sur la masse des articles scientifiques s'appuyant sur les SRP, peu ont cherché à évaluer la qualité des données, et moins encore ont défini les critères caractérisant une donnée de qualité ; (ii) à peine plus de la moitié des articles évalués fournissent des données de qualité suffisante (selon les critères des auteurs). A noter toutefois que la synthèse d'Aceves-Bueno et al. (2017) ne se limitait pas aux données issues de crowdsourcing mais prenait aussi en compte un nombre important de "petits" projets n'impliquant qu'une dizaine de participants. Bien que la problématique de la qualité des données soit différente d'un projet à l'autre, le constat peut sembler alarmant en première instance, mais l'examen détaillé des sources de variabilité entre études permet d'établir plusieurs recommandations permettant de réduire les sources d'erreurs dans les données acquises par le grand public (Crall et al. 2011, Aceves-Bueno et al. 2017).

Comment les chercheurs peuvent-ils s'assurer de la qualité des données fournies en masse par le grand public ?

Avant d'acquérir son statut de "donnée", l'observation brute faite par le citoyen passe au travers de plusieurs étapes de préparation, vérification, et "réparations" avant de pouvoir être considérée comme fiable et informative, donc exploitable à des fins de production de savoirs et de connaissances scientifiques (voir l'infographie).
La vie des
**données**
issues des
**sciences**
**citoyennes**

<figure><img src="image_2.png" /><figcaption>Figure 1 - Le cycle de vie des données de crowdsourcing acquises dans le cadre des sciences et recherches participatives. Toutes les étapes présentées dans cette infographie ne se retrouvent pas dans tous les programmes de sciences et recherches participatives basées sur le crowdsourcing (vérification, protocole, entraînement, supports pédagogiques peuvent manquer).</figcaption></figure>
## Le protocole standardise les données

**Données standardisées** -- Les données issues des programmes de SRP sont dites standardisées quand elles sont collectées en respectant un protocole assurant qu'elles soient comparables dans le temps et dans l'espace. Ce protocole implique le respect de contraintes sur la pression d'observation, les techniques et le matériel utilisé, et la date, le lieu et les conditions d'observation. Pour le matériel, par exemple, il suffit d'un appareil photo (ou d'un smartphone) pour participer au SPIPOLL (Table 1). Au contraire, le projet *Tree Bodyguards* (Table 1) qui invite les élèves des écoles primaires et secondaires à fabriquer et installer des chenilles en pâte à modeler dans les arbres pour étudier la prédation par les oiseaux utilise un matériel spécifique fourni par les coordinateurs du projet. Au contraire, pour le STOC (Table 1), il est interdit d'utiliser des jumelles pour repérer les oiseaux.

Le plan d'échantillonnage peut imposer les dates et sites d'acquisition des données, ou au contraire avoir une approche opportuniste. Par exemple, le STOC repose sur un plan d'échantillonnage spatial et temporel très strict, avec des sites tirés aléatoirement (afin d'assurer une bonne représentativité des habitats). Au contraire, le SPIPOLL ou l'EPOC (Table 1) n'ont pas de plan d'échantillonnage, les participants peuvent effectuer des sessions où bon leur semble. On parle alors de données semi-structurées (présence d'un protocole, mais sans plan d'échantillonnage). Cas intermédiaire, certains programmes laissent aux observateurs le libre choix de leur site, mais ils doivent ensuite revenir régulièrement sur ce site (par exemple, Oiseaux des Jardins, dans lequel les observateurs collectent des données sur les oiseaux visitant leur jardin).

Le protocole peut également laisser les citoyens libres de participer quand bon leur semble, ou imposer des observations à date fixe, selon des conditions particulières. Par exemple, pour le STERF, les papillons sont observés entre 10h et 18h, avec une couverture nuageuse d'au maximum 75 % et sans pluie, un vent inférieur à 30 km/h et une température d'au moins 13°C si le temps est ensoleillé ou faiblement nuageux ou d'au moins 17°C si le temps est nuageux.

**Données opportunistes** -- De nombreux projets de SRP reposent sur l'acquisition de données opportunistes, grandement facilitée par le développement des outils numériques nomades. Les données opportunistes sont, par définition, collectées au bon vouloir des observateurs. Les scientifiques pilotant le projet n'ont pas de connaissance *a priori* ni aucun moyen de contrôle sur l'origine et le volume de données acquises de manière opportuniste. Par exemple, Les utilisateurs de l'application Pl@ntnet (Table 1) ne font remonter des observations d'occurrence que dans les secteurs qu'ils décident de visiter (avec leur smartphone, sous réserve de signal GPS et de couverture 3G) de sorte que des secteurs géographiques entiers sont sous-échantillonnés alors que d'autres sont surreprésentés. De telles données sont donc lacunaires et biaisées et cela limite leur exploitation. En effet, de très nombreuses données de présences seules opportunistes ne nous informent pas sur l'absence avérée d'une espèce là où aucune observation n'a été rapportée. Cela peut arriver si une zone n'a tout simplement pas été prospectée, ou si les observateurs ont rapporté leurs observations de manière sélective (par exemple en ne signalant que la présence d'espèces rares ou remarquables, délaissant les espèces communes).

Quelles soient opportunistes ou protocolées, les données sont en général générées pour répondre à une question précise. C'est la question qui détermine le niveau de précision dans les observations demandées aux citoyens, et les contraintes imposées par le protocole. La réalisation d'un inventaire exhaustif de la diversité des Hyménoptères d'une région donnée requiert des compétences hors de portée des amateurs, mais pour mesurer l'impact de l'urbanisation sur les communautés d'insectes floricoles (Bergerot et al. 2011, Deguines et al. 2016) ou celui des pesticides dans les jardins privés pour les papillons et bourdons (Muratet and Fontaine 2015), il devient acceptable de ne pas chercher à avoir une résolution taxonomique au niveau de l'espèce.

Au final, la présence d'un protocole contraignant facilite l'analyse des données mais peut limiter le nombre de volontaires susceptibles de les acquérir de manière fiable. Au contraire, l'absence de protocole impose le recours à des outils d'analyse complexes permettant de tenir compte des biais d'observation. Ce format peu exigeant de collecte de données ouvre néanmoins la porte à un maximum
de contributeurs, et peut ainsi permettre de couvrir des espaces et fenêtres temporelles plus étendus. Quoi qu'il en soit, les données de SRP, qu'elles soient opportunistes ou protocolées, sont susceptibles d'être utilisées pour répondre, *a posteriori*, à des questions scientifiques qui n'auraient pas été anticipées (i.e., une forme de sérendipité). Par exemple, les données d'Opération Papillon, concues au départ pour évaluer l'impact des facteurs environnementaux sur les papillons communs, ont permis de mesurer l'effet de la participation à des programmes de SRP sur les comportements des observateurs (Deguines et al., 2020), et le STOC, dont l'objectif est d'étudier la dynamique temporelle des communautés d'oiseaux, a permis de mesure l'efficacité des mesures agri-environnementales de la Politique Agricole Commune (Chiron et al. 2013).

## Les données sont d'autant plus précises que les volontaires gagnent en expérience

Les SRP ont un objectif transformatif d'acquisition de connaissances et de développement de littératie scientifique auprès du grand public (Adler et al. 2020, Aristeidou and Herodotou 2020). Le gain de connaissance est une des sources de motivation que l'on retrouve chez les citoyens volontaires. La prise en compte de ce facteur dans la préparation des projets de SRP permet non seulement de renforcer la participation du public, mais augmente aussi significativement le degré d'expertise des participants, et par là même la qualité des données. Par exemple, Ratnieks et al. (2016) ont comparé la capacité de trois groupes de volontaires à identifier les insectes visitant le lierre selon qu'ils avaient reçu un entraînement à base de fiches descriptives et de présentations power-point, ou un entraînement sur le terrain avec des scientifiques. Ils ont montré que la précision dans les identifications d'insectes était positivement associée à l'intensité de l'entraînement reçu. De la même manière, les compétences taxinomiques des observateurs du SPIPOLL augmentent avec le nombre d'observations (Deguines et al. 2018).

Pour permettre au grand public d'améliorer sa précision d'identification, certains projets proposent l'assistance par des algorithmes d'identification automatisés. C'est le parti pris par le projet Pl@ntNet qui intègre la reconnaissance automatisée d'images de plantes à son application mobile depuis ses débuts en 2013 (Joly et al. 2016). Cette approche est motivée par le fait qu'il existe plus de 300 000 espèces de plantes connues à travers le monde, de nombreuses confusions étant possibles même à une échelle locale, alors que l'expertise botanique se raréfie. L'algorithme de Pl@ntNet permet d'aiguiller l'observateur jusqu'au bon genre, voire la bonne espèce, dans la vaste majorité des cas pour les zones les plus prospectées. Cet algorithme s'améliore constamment (Goëau et al. 2017) et notamment grâce l'enrichissement de sa base d'apprentissage par les identifications validées de la communauté. De tels systèmes automatisés sont déjà disponibles et fonctionnels gratuitement pour d'autres types d'organismes, comme les oiseaux (Van Horn et al. 2015), et peuvent s'intégrer à des SRP plus spécifiques ou de moins grande ampleur, avec un double objectif : faciliter les apprentissages chez les volontaires et (ainsi) renforcer la qualité des données.

## Les observations peuvent être vérifiées avant d'être utilisées

Plusieurs procédures permettent de vérifier la pertinence des observations brutes. Selon les projets, cette opération peut être réalisée par les scientifiques ou des experts, par les citoyens observateurs eux-mêmes, ou être automatisée. Cette étape de validation a pour objectif de supprimer les observations aberrantes avant que les données ne soient soumises à l'analyse.

Par exemple, dans le cadre du projet *Tree Bodyguards*, les données sont directement acquises par les scientifiques en charge du projet à partir du matériel fourni par les participants (Castagneyrol et al. 2019, 2020). A son lancement, les observations du SPIPOLL étaient d'abord filtrées par les observateurs eux-mêmes qui ne transmettaient que les photographies d'insectes répondant à un cahier des charges précis (Deguines et al. 2012, Serret et al. 2019). Les données étaient ensuite validées par des experts (naturalistes de l'Office Pour les Insectes et leur Environnement, OPIE). Un système analogue de validation par des experts (botanistes de la communauté Tela Botanica) a permis le lancement de l'application Pl@ntNet (Barthélémy et al. 2014).
Ce système de validation a permis un gain de compétence de la part des utilisateurs (SPIPOLL) et la constitution de bases de données photographiques alimentant des algorithmes d'intelligence artificielle (PI@nNet) de sorte que la validation initiale des données par des experts a été peu à peu remplacée par un autre système. Depuis 2019, la validation des observations du SPIPOLL est assurée par les participants eux-mêmes : pour être considérée comme valide, une identification doit avoir obtenu un score de 3 points. Un point est obtenu lorsqu'un participant (autre que celui qui a fait la photo) valide l'identification. Chaque participant ne peut valider qu'une fois une photo donnée. Un participant peut également enlever un point à l'identification, s'il considère que celle-ci est fausse (même si elle avait déjà été validée). Ce système permet de s'affranchir des experts, en assurant une très bonne qualité des identifications, et en favorisant des interactions entre les participants, bénéfiques au dynamisme du programme. Dans le cadre de PI@ntNet, toute observation est accompagnée d'une ou plusieurs images de la plante et d'une localisation dans la plupart des cas. Ces observations brutes réalisées au travers de l'application passent ensuite par un système de révision collaborative faisant intervenir toute la communauté des utilisateurs élargie au réseau de botanistes amateurs de Tela Botanica (Barthélémy et al. 2014). Le système de révision se décline ainsi en une révision de la détermination taxonomique proposée, notamment via le site IdentiPlante (https://www.tela-botanica.org/outils/identiplante/), et en une estimation de la qualité visuelle des images illustrant l'observation via le site PictoFlora (https://www.tela-botanica.org/appli:pictoflora). L'observateur a alors la possibilité d'indiquer son accord, désaccord, ou de discuter les possibles confusions ou critères manquants. Chaque groupe d'image reçoit donc un certain nombre de votes, pondérés par le niveau d'expertise des votants, lequel s'accroît avec le nombre et la diversité des leurs observations précédemment validées. Ainsi, la validation des observations est permise par la communauté d'expertise botanique citoyenne.

Toutes les données générées par les programmes de SRP ne sont pas nécessairement vérifiées, ou vérifiables. Les données de la majorité des programmes de Vigie-Nature sont déclaratives et donc invérifiables. Le choix a donc été fait de ne pas passer par des étapes de validation des données une à une. Plusieurs raisons à cela : ces programmes génèrent des centaines de milliers de données (voire davantage), il serait trop coûteux de les vérifier ; d'autre part ces programmes s'intéressant aux espèces communes, la majorité des données sont invérifiables : comment savoir si une fauvette à tête noire identifiée par un participant au STOC n'a pas été confondue avec une fauvette des jardins ? En effet, les deux espèces sont communes, ont une large aire de répartition et leur présence sur un site est donc vraisemblable autant pour l'une que pour l'autre. Seuls les programmes dans lesquels les données ne sont pas uniquement déclaratives, mais reposent sur des supports numériques, font l'objet de validation : validation par les pairs pour les photos du SPIPOLL, identification automatique et validation par les observateurs et les experts pour les sonogrammes issus de Vigie-Chiro.

## Un traitement statistique approprié prend en compte les spécificités de chaque type de données

Pour répondre à une question scientifique, la modélisation statistique simplifie et formalise mathématiquement le lien entre les variables mesurées (les données) par des équations qui les relient. On fait alors intervenir des facteurs aléatoires ou déterministes représentant les phénomènes d'observation qui peuvent perturber ou biaiser les valeurs mesurées par rapport à la réalité. Prenons un exemple. Le projet *Tree bodyguards* cherche à relier la température et le service de régulation des insectes herbivores par les oiseaux. Pour cela, un réseau européen de scientifiques et d'écoliers a déployé des fausses chenilles en pâte à modeler dans des chênes (20 chenilles par arbre), et a dénombré le nombre de fausses chenilles présentant des coups de bec. Pour chaque chêne, deux données étaient disponibles : le pourcentage de chenilles attaquées (*P*), et la température annuelle moyenne du site (*T*). En faisant l'hypothèse que la prédation par les oiseaux est déterminée par la température, alors *P* et *T* peuvent être reliés par l'équation :

$$P = a \times T + b + \varepsilon$$
P et T sont les données (connues), a et b les paramètres de l'équation, et ε l'erreur, soit toute la variation de P qui n'est pas expliquée par T et qui inclue l'erreur de mesure ou d'observation. Tout l'enjeu de la modélisation statistique consiste à attribuer une valeur aux paramètres a et b, à quantifier l'incertitude autour de ces paramètres, et à quantifier ε. Un enjeu majeur de l'analyse des données issues des SRP basées sur le crowdsourcing consiste à contrôler et modéliser ε. Or, plusieurs facteurs peuvent influencer l'incertitude autour des relations entre les variables. Nous développerons deux exemples : les erreurs de mesures et le caractère opportuniste des données.

***Erreurs sur la mesure*** -- Nous avons vu plus haut qu'elles peuvent être en partie contrôlées, mais qu'elles sont inévitables. Toutefois, elles peuvent parfois être ignorées. L'objectif de certains programmes comme l'observatoire des papillons des jardins (OPJ) est le suivi à long terme d'un groupe d'organisme : les observations sont recensées de la même manière par tous les participants, aux même dates selon un protocole précis qui ne change pas. On peut faire l'hypothèse que le taux d'erreur, qui n'est jamais nul, ne change pas avec le temps. On décide de l'accepter rendant la vérification des identifications une à une est inutile. Les données issues de l'OPJ ont par exemple permis de montrer que l'urbanisation réduit la diversité et l'abondance des papillons, mais que ces effets peuvent être contrebalancés à l'échelle locale par la plantation et l'entretien de plantes nectarifères (Fontaine et al. 2016). Dans un tel cas, l'impact de l'erreur ou des biais d'identification sur les résultats peut être supposé négligeable.

***Caractère opportuniste des observations*** -- Si l'on ne peut pas faire l'hypothèse *a priori* que les erreurs d'observations ne sont pas constantes dans l'espace et le temps, alors ε doit faire l'objet d'un effort de modélisation supplémentaire. C'est le cas lorsqu'il s'agit de comparer des abondances ou des diversités d'espèces entre sites (habitats, régions, pays, biomes) et que la fiabilité des données est imparfaite, inégale et surtout inconnue.

Il existe des protocoles de collecte qui permettent d'estimer les probabilités de détection des divers observateurs et les probabilités d'occupation par site en parallèle, en vue de produire des cartes de répartition ou d'estimer des préférences environnementales. C'est le cas des modèles de d'occupation en détection imparfaite (MacKenzie and Nichols 2004). Ils se basent sur des visites répétées d'un site sur une même période de temps par plusieurs observateurs, avec connaissance de l'effort d'observation. En utilisant d'importantes quantités de ces données, la modélisation de la variabilité des capacités de détections en fonction des observateurs, des conditions et de l'effort d'observation, permet de corriger ces facteurs de biais, et de retrouver la répartition d'une espèce de manière fiable. Ce type de modélisation a été récemment employé pour étudier la recolonisation du loup gris en France à partir d'observations citoyennes (Louvrier et al. 2018).

Pour les données opportunistes dites de présence-seule, c'est à dire d'observations ponctuelles et localisées de présence d'une espèce, l'information sur le processus d'observation est quasi-nulle : on ne connaît ni le temps et ni l'effort d'échantillonnage consacrés, pas plus que l'intérêt relative porté par l'observateur aux espaces rares et communes. Or, tous ces facteurs peuvent varier énormément à l'échelle d'un projet de SRP (Botella 2019). De plus, pour les données en présence seule, l'absence de donnée ne peut pas être considérée comme une donnée d'absence : il peut ne pas y avoir d'information sur la présence du tournepierre à collier au sommet du Néouvielle parce qu'il ne s'y trouve pas du fait de son écologie, ou parce qu'aucun observateur n'a prospecté ce site. Enfin, par essence, ce type de données ne permet pas d'obtenir l'information d'abondance absolue (Hastie and Fithian 2013), et comparer la concentration des occurrences d'une zone à une autre n'est pas non plus une bonne mesure d'abondance relative.

Les modélisateurs ont développé plusieurs stratégies pour contourner ces problèmes faisant souvent appel à des hypothèses sur le processus d'observation. Il est par exemple possible de modéliser l'effort d'échantillonnage comme une fonction de facteurs géographiques ou environnementaux connus (distance aux routes, aux villes, etc) pour l'estimer conjointement avec la distribution d'une espèce et ainsi corriger les biais d'échantillonnages (Warton et al. 2013). Par ailleurs, dans certains cas, on peut utiliser un approximation de la distribution de l'effort pour corriger le biais (e.g. un ensemble
d'occurrences, toutes espèces confondues, Phillips et al. 2009). Enfin, une stratégie alternative est de combiner des données plus protocolées, comme des comptages (Giraud et al. 2016), des présences/absence ou des données d'occupation sous détection imparfaite, aux données opportunistes (Fithian et al. 2015, Koshkina et al. 2017, Fletcher et al. 2019). Les données protocolées agissent alors comme témoin du biais et permettent de l'éliminer, alors que la masse de données opportunistes augmente la précision de l'estimation.

On voit donc que l'utilisation appropriée du savoir sur le processus d'échantillonnage et la combinaison de données protocolées et opportunistes dans les modèles statistiques permet dans certains cas de contrebalancer l'incertitude et l'hétérogénéité des données pour répondre à des questions écologiques ambitieuses.

## Conclusion

Les programmes de science et recherches participatives (SRP), notamment ceux basés sur l'acquisition de données en masse par le grand public (*crowdsourcing*) sont devenus un outil incontournable de la recherche sur la biodiversité tant ils fournissent des données avec une résolution et une profondeur spatiale et temporelle inaccessibles aux chercheurs seuls. Toutefois, parce qu'elles sont acquises par des observateurs dont la motivation est inconnue et l'expertise variable, la qualité des données issues de ces programmes peut être remise en question, ou du moins questionnée *a priori*. Dans cet article, nous montrons qu'il existe une grande diversité d'approches dans les programmes de SRP, y compris parmi la gamme plus restreinte de programmes fondés sur le *crowdsourcing*. A partir de quelques exemples représentatifs, nous montrons que les interrogations quant à la qualité des données générées par ces programmes sont légitimes. Il ne s'agit en aucun cas de les nier. Toutefois, en retraçant le cycle de vie des données acquises par les citoyens volontaires, nous montrons que plusieurs niveaux de contrôle de la qualité de la donnée peuvent être appliqués en amont et en aval de leur utilisation pour répondre à une question scientifique. Nous insistons sur le fait que pour peu que la qualité des données soit connue et que les procédures d'analyses et d'inférences la reconnaissent, elle ne doit pas être un frein à l'implémentation des programmes de SRP.

Tout au long de l'article, nous avons vu que l'effort de construction d'un projet de SRP en *crowdsourcing* répond souvent à un besoin de collecte données dont la couverture spatiale ou temporelle est inaccessible à un échantillonnage par des experts, et ne nécessite pas une expertise maximale. Aussi, les SRP et le *crowdsourcing* n'ont pas vocation à remplacer les approches traditionnelles pour l'étude de la biodiversité, pas plus que le recours aux citoyens volontaires pour l'acquisition de données ne doit se substituer à un investissement des universités et instituts de recherche dans la formation et le recrutement de professionnels qualifiés. Au contraire, les SRP et le *crowdsourcing* doivent être pris pour ce qu'ils sont : un outil complémentaire aux autres approches de la recherche permettant de répondre efficacement à des questions spécifiques, tout en participant à l'éducation du public à la science et à l'environnement.

## Références

* Aceves-Bueno, E., A. S. Adeleye, M. Feraud, Y. Huang, M. Tao, Y. Yang, and S. E. Anderson. 2017. The Accuracy of Citizen Science Data: A Quantitative Review. The Bulletin of the Ecological Society of America 98:278–290.

* Adler, F. R., A. M. Green, and Ç. H. Şekercioğlu. 2020. Citizen science in ecology: a place for humans in nature. Annals of the New York Academy of Sciences 1469:52–64.

* Affouard, A., H. Goëau, P. Bonnet, J.-C. Lombardo, and A. Joly. 2017. Pl@ntNet app in the era of deep learning.
Aristeidou, M., and C. Herodotou. 2020. Online Citizen Science: A Systematic Review of Effects on Learning and Scientific Literacy. Citizen Science: Theory and Practice 5:11.

Barthélémy, D., N. Boujemaa, J.-F. Molino, A. Joly, H. Goëau, V. Bakić, S. Selmi, J. Champ, J. Carre, M. Chouet, A. Perronnet, C. Vignau, S. Dufour-Kowalski, A. Affouard, J. Barbe, and P. Bonnet. 2014. Pl@ntNet, une plate-forme innovante d'agrégation et partage d'observations botaniques. Pages 191–197 in N. R. Rakotoarisoa, S. Blackmore, and B. Riera, editors. International Conference 'Botanists of the Twenty-first Century'. UNESCO, Paris, France.

Bergerot, B., B. Fontaine, M. Renard, A. Cadi, and R. Julliard. 2010. Preferences for exotic flowers do not promote urban life in butterflies. Landscape and Urban Planning 96:98–107.

Bison, M., N. G. Yoccoz, B. Z. Carlson, and A. Delestrade. 2019. Comparison of budburst phenology trends and precision among participants in a citizen science program. International Journal of Biometeorology 63:61–72.

Botella, C. 2019, October. Statistical methods for spatial plant species distribution modeling based on large masses of uncertain observations from citizen-science programs. Theses, Université de Montpellier.

Burgess, H., L. DeBey, H. Froehlich, N. Schmidt, J. Hille Ris Lambers, J. Tewksbury, and J. K. Parrish. 2016. The science of citizen science: Exploring barriers to use as a primary research tool. Biological Conservation 208.

Castagneyrol, B., E. Valdés-Correcher, A. Bourdin, L. Barbaro, O. Bouriaud, M. Branco, G. Centenaro, G. Csóka, M.-L. Duduman, A.-M. Dulaurent, C. B. Eötvös, M. Faticov, M. Ferrante, Á. Fürjes-Mikó, A. Galmán, M. M. Gossner, D. Harvey, A. G. Howe, M. Kaennel-Dobbertin, J. Koricheva, G. L. Löveï, D. Lupastean, S. Milanović, A. Mrazova, L. Opgennoorth, J.-M. Pitkänen, M. Popović, T. V. Roslin, M. Scherer-Lorenzen, K. Sam, M. Tahadlová, R. Thomas, and A. J. M. Tack. 2020. Can School Children Support Ecological Research? Lessons from the *Oak Bodyguard* Citizen Science Project. Citizen Science: Theory and Practice 5:10.

Castagneyrol, B., E. Valdés-Correcher, M. Kaennel Dobbertin, and M. Gossner. 2019. Predation assessment on fake caterpillars and leaf sampling: Protocol for partner schools. protocols.io.

Crall, A. W., G. J. Newman, T. J. Stohlgren, K. A. Holfelder, J. Graham, and D. M. Waller. 2011. Assessing citizen science data quality: an invasive species case study. Conservation Letters 4:433–442.

Crowston, K., E. Mitchell, and C. Østerlund. 2019. Coordinating Advanced Crowd Work: Extending Citizen Science. Citizen Science: Theory and Practice 4:16.

Deguines, N., M. de Flores, G. Loïs, R. Julliard, and C. Fontaine. 2018. Fostering close encounters of the entomological kind. Frontiers in Ecology and the Environment 16:202–203.

Deguines, N., R. Julliard, M. de Flores, and C. Fontaine. 2012. The Whereabouts of Flower Visitors: Contrasting Land-Use Preferences Revealed by a Country-Wide Survey Based on Citizen Science. PLOS ONE 7:e45822.

Deguines, N., K. Princé, A.-C. Prévot, and B. Fontaine. 2020. Assessing the emergence of pro-biodiversity practices in citizen scientists of a backyard butterfly survey. Science of The Total Environment 716:136842.

Ekholm, A., A. J. M. Tack, K. Bolmgren, and T. Roslin. 2019. The forgotten season: the impact of autumn phenology on a specialist insect herbivore community on oak. Ecological Entomology 44:425–435.

Fithian, W., J. Elith, T. Hastie, and D. A. Keith. 2015. Bias correction in species distribution models: pooling survey and collection data for multiple species. Methods in Ecology and Evolution 6:424–438.
Fletcher, R. J., T. J. Hefley, E. P. Robertson, B. Zuckerberg, R. A. McCleery, and R. M. Dorazio. 2019. A practical guide for combining data to model species distributions. Ecology 100:e02710.

Fontaine, B., B. Bergerot, I. L. Viol, and R. Julliard. 2016. Impact of urbanization and gardening practices on common butterfly communities in France. Ecology and Evolution 6:8174–8180.

Gabillet, M. 2018. Eduquer l'attention, organiser les affects. Les technologies de l'implication dasn les sciences participatives. These en préparation, Paris, Muséum national d'histoire naturelle.

Gardiner, M. M., L. L. Allee, P. M. Brown, J. E. Losey, H. E. Roy, and R. R. Smyth. 2012. Lessons from lady beetles: accuracy of monitoring data from US and UK citizen-science programs. Frontiers in Ecology and the Environment 10:471–476.

Giraud, C., C. Calenge, C. Coron, and R. Julliard. 2016. Capitalizing on opportunistic data for monitoring relative abundances of species. Biometrics 72:649–658.

Goëau, H., P. Bonnet, and A. Joly. 2017. Plant identification based on noisy web data: the amazing performance of deep learning (LifeCLEF 2017). Page CLEF: Conference and Labs of the Evaluation Forum. Dublin, Ireland.

Graham, E., S. Henderson, and A. Schloss. 2011. Using mobile phones to engage citizen scientists in research. EOS Transactions 92.

Hastie, T., and W. Fithian. 2013. Inference from presence-only data; the ongoing controversy. Ecography 36:864–867.

Houiller, F., and J.-B. Merilhou-Goudard. 2016. Les sciences participatives en France : Etat des lieux, bonnes pratiques et recommandations. Page 123. INRA.

Joly, A., P. Bonnet, H. Goëau, J. Barbe, S. Selmi, J. Champ, S. Dufour-Kowalski, A. Affouard, J. Carré, J.-F. Molino, N. Boujemaa, and D. Barthélémy. 2016. A look inside the Pl@ntNet experience. Multimedia Systems 22:751–766.

Jones, F. M., C. Allen, C. Arteta, J. Arthur, C. Black, L. M. Emmerson, R. Freeman, G. Hines, C. J. Lintott, Z. Macháčková, G. Miller, R. Simpson, C. Southwell, H. R. Torsey, A. Zisserman, and T. Hart. 2018. Time-lapse imagery and volunteer classifications from the Zooniverse Penguin Watch project. Scientific Data 5:180124.

Julia, C., S. Péneau, C. Buscail, R. Gonzalez, M. Touvier, S. Hercberg, and E. Kesse-Guyot. 2017. Perception of different formats of front-of-pack nutrition labels according to sociodemographic, lifestyle and dietary factors in a French population: cross-sectional study among the NutriNet-Santé cohort participants. BMJ open 7:e016108.

Julliard, R., F. Jiguet, and C. Denis. 2004. Common birds facing global changes: What makes a species at risk? Global Change Biology 10:148–154.

Kerbiriou, C., C. Azam, J. Touroult, J. Marmet, J.-F. Julien, and V. Pellissier. 2018. Common bats are more abundant within Natura 2000 areas. Biological Conservation 217:66–74.

Koshkina, V., Y. Wang, A. Gordon, R. M. Dorazio, M. White, and L. Stone. 2017. Integrated species distribution models: combining presence-background data and site-occupancy data with imperfect detection. Methods in Ecology and Evolution 8:420–430.

Law, E., K. Z. Gajos, A. Wiggins, M. L. Gray, and A. Williams. 2017. Crowdsourcing as a Tool for Research: Implications of Uncertainty. Pages 1544–1561 Proceedings of the 2017 ACM Conference on Computer Supported Cooperative Work and Social Computing. Association for Computing Machinery, Portland, Oregon, USA.

Levrel, H., B. Fontaine, P.-Y. Henry, F. Jiguet, R. Julliard, C. Kerbiriou, and C. Denis. 2010. Balancing state and volunteer investment in biodiversity monitoring for the implementation of CBD indicators: A French example. Ecological Economics 69:1580–1586.
Louvrier, J., C. Duchamp, V. Lauret, E. Marboutin, S. Cubaynes, R. Choquet, C. Miquel, and O. Gimenez. 2018. Mapping and explaining wolf recolonization in France using dynamic occupancy models and opportunistic data. *Ecography* 41:647–660.

MacKenzie, D. I., and J. D. Nichols. 2004. Occupancy as a surrogate for abundance estimation.

Meentemeyer, R. K., M. A. Dorning, J. B. Vogler, D. Schmidt, and M. Garbelotto. 2015. Citizen science helps predict risk of emerging infectious disease. *Frontiers in Ecology and the Environment* 13:189–194.

Miczajka, V. L., A.-M. Klein, and G. Pufal. 2015. Elementary School Children Contribute to Environmental Research as Citizen Scientists. *PLoS ONE* 10.

Miller, D. A. W., K. Pacifici, J. S. Sanderlin, and B. J. Reich. 2019. The recent past and promising future for data integration methods to estimate species' distributions. *Methods in Ecology and Evolution* 10:22–37.

Muratet, A., and B. Fontaine. 2015. Contrasting impacts of pesticides on butterflies and bumblebees in private gardens in France. *Biological Conservation* 182:148–154.

Olivier, T., R. Schmucki, B. Fontaine, A. Villemey, and F. Archaux. 2016. Butterfly assemblages in residential gardens are driven by species' habitat preference and mobility. *Landscape Ecology* 31:865–876.

Pandya, R. E. 2012. A framework for engaging diverse communities in citizen science in the US. *Frontiers in Ecology and the Environment* 10:314–317.

Phillips, S. J., M. Dudík, J. Elith, C. H. Graham, A. Lehmann, J. Leathwick, and S. Ferrier. 2009. Sample selection bias and presence-only distribution models: implications for background and pseudo-absence data. *Ecological Applications* 19:181–197.

Pipino, L. L., Y. W. Lee, and R. Y. Wang. 2002. Data quality assessment. *Communications of the ACM* 45:211–218.

Pocock, M. J. O., and D. M. Evans. 2014. The Success of the Horse-Chestnut Leaf-Miner, *Cameraria ohridella*, in the UK Revealed with Hypothesis-Led Citizen Science. *PLOS ONE* 9:e86226.

Ratnieks, F. L. W., F. Schrell, R. C. Sheppard, E. Brown, O. E. Bristow, and M. Garbuzov. 2016. Data reliability in citizen science: learning curve and the effects of training method, volunteer background and experience on identification accuracy of insects visiting ivy flowers. *Methods in Ecology and Evolution* 7:1226–1235.

Saunders, M. E., E. Roger, W. L. Geary, F. Meredith, D. J. Welbourne, A. Bako, E. Canavan, F. Herro, C. Herron, O. Hung, M. Kunstler, J. Lin, N. Ludlow, M. Paton, S. Salt, T. Simpson, A. Wang, N. Zimmerman, K. B. Drews, H. F. Dawson, L. W. J. Martin, J. B. Sutton, C. C. Webber, A. L. Ritchie, L. D. Berns, B. A. Winch, H. R. Reeves, E. C. McLennan, J. M. Gardner, C. G. Butler, E. I. Sutton, M. M. Couttie, J. B. Hildebrand, I. A. Blackney, J. A. Forsyth, D. M. Keating, and A. T. Moles. 2018. Citizen science in schools: Engaging students in research on urban habitat for pollinators. *Austral Ecology* 43:635–642.

Schmeller, D. S., P.-Y. Henry, R. Julliard, B. Gruber, J. Clobert, F. Dzioc, S. Lengyel, P. Nowicki, E. Déri, E. Budrys, T. Kull, K. Tali, B. Bauch, J. Settele, C. V. Swaay, A. Kobler, V. Babij, E. Papastergiadou, and K. Henle. 2009. Advantages of Volunteer-Based Biodiversity Monitoring in Europe. *Conservation Biology* 23:307–316.

Scholefield, P., L. Firbank, S. Butler, K. Norris, L. M. Jones, and S. Petit. 2011. Modelling the European Farmland Bird Indicator in response to forecast land-use change in Europe. *Ecological Indicators* 11:46–51.
Schuster, R., S. Wilson, A. D. Rodewald, P. Arcese, D. Fink, T. Auer, and J. R. Bennett. 2019. Optimizing the conservation of migratory species over their full annual cycle. *Nature Communications* 10:1754.

Serret, H., N. Deguines, Y. Jang, G. Lois, and R. Julliard. 2019. Data Quality and Participant Engagement in Citizen Science: Comparing Two Approaches for Monitoring Pollinators in France and South Korea. *Citizen Science: Theory and Practice* 4:22.

Shirk, J. L., and R. Bonney. 2018. Scientific impacts and innovations of citizen science. *Page Citizen Science: Innovation in Open Science, Society and Policy*. UCL Press. UCL Press.

Silvertown, J. 2009. A new dawn for citizen science. *Trends in Ecology & Evolution* 24:467–471.

Steinke, D., V. Breton, E. Berzitis, and P. D. N. Hebert. 2017. The School Malaise Trap Program: Coupling educational outreach with scientific discovery. *PLOS Biology* 15:e2001829.

Van Horn, G., S. Branson, R. Farrell, S. Haber, J. Barry, P. Ipeirotis, P. Perona, and S. Belongie. 2015. Building a bird recognition app and large scale dataset with citizen scientists: The fine print in fine-grained dataset collection. Pages 595–604 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, Piscataway, NJ.

Warton, D. I., I. W. Renner, and D. Ramp. 2013. Model-Based Control of Observer Bias for the Analysis of Presence-Only Data in Ecology. *PLOS ONE* 8:e79168.