Context-aware worker selection for efficient quality control in crowdsourcing. (Selection contextuelle de travailleurs pour un contrôle de qualité efficace dans les systèmes de production participative)

Le crowdsourcing est une technique qui permet de recueillir une large quantite de donnees d'une maniere rapide et peu onereuse. Neanmoins, La disparite comportementale et de performances des "workers" d’une part et la variete en termes de contenu et de presentation des tâches par ailleurs influent considerablement sur la qualite des contributions recueillies. Par consequent, garder leur legitimite impose aux plateformes de crowdsourcing de se doter de mecanismes permettant l’obtention de reponses fiables et de qualite dans un delai et avec un budget optimise. Dans cette these, nous proposons CAWS (Context AwareWorker Selection), une methode de controle de la qualite des contributions dans le crowdsourcing visant a optimiser le delai de reponse et le cout des campagnes. CAWS se compose de deux phases, une phase d’apprentissage operant hors-ligne et pendant laquelle les tâches de l’historique sont regroupees de maniere homogene sous forme de clusters. Pour chaque cluster, un profil type optimisant la qualite des reponses aux tâches le composant, est infere ; la seconde phase permet a l’arrivee d’une nouvelle tâche de selectionner les meilleurs workers connectes pour y repondre. Il s’agit des workers dont le profil presente une forte similarite avec le profil type du cluster de tâches, duquel la tâche nouvellement creee est la plus proche. La seconde contribution de la these est de proposer un jeu de donnees, appele CrowdED (Crowdsourcing Evaluation Dataset), ayant les proprietes requises pour, d’une part, tester les performances de CAWS et les comparer aux methodes concurrentes et d’autre part, pour tester et comparer l’impact des differentes methodes de categorisation des tâches de l’historique (c-a-d, la methode de vectorisation et l’algorithme de clustering utilise) sur la qualite du resultat, tout en utilisant un jeu de tâches unique (obtenu par echantillonnage), respectant les contraintes budgetaires et gardant les proprietes de validite en terme de dimension. En outre, CrowdED rend possible la comparaison de methodes de controle de qualite quelle que soient leurs categories, du fait du respect d’un cahier des charges lors de sa constitution. Les resultats de l’evaluation de CAWS en utilisant CrowdED compares aux methodes concurrentes basees sur la selection de workers, donnent des resultats meilleurs, surtout en cas de contraintes temporelles et budgetaires fortes. Les experimentations realisees avec un historique structure en categories donnent des resultats comparables a des jeux de donnees ou les taches sont volontairement regroupees de maniere homogene. La derniere contribution de la these est un outil appele CREX (CReate Enrich eXtend) dont le role est de permettre la creation, l’extension ou l’enrichissement de jeux de donnees destines a tester des methodes de crowdsourcing. Il propose des modules extensibles de vectorisation, de clusterisation et d’echantillonnages et permet une generation automatique d’une campagne de crowdsourcing.