FR 3161779 A1 20251031 FR 2404449 A 20240429 Dispositif électronique et procédé d’orchestration d’une campagne d’annotation d’un ensemble de signaux à annoter par une équipe d’opérateurs, système électronique et programme d’ordinateur associés L’invention concerne un dispositif électronique (20) d’orchestration d’une campagne d’annotation d’un ensemble (12) de signaux (14) à annoter par une équipe (16) d’opérateurs (18), comprenant : - un module (30) de calcul d’une performance d’annotation pour chaque opérateur (18) ; - un module (32) d’évaluation de chaque signal (14) en attribuant un indicateur d’évaluation à chaque signal (14) ; - un module (34) de répartition de l’ensemble (12) des signaux (14) à annoter parmi l’équipe (16) d’opérateurs (18) en fonction des performances d’annotation calculées pour les opérateurs (18) et des indicateurs d’évaluation des signaux (14) à annoter ; et - un module (36) de restitution de ladite répartition via l’affichage, sur un dispositif électronique d’affichage (22) et à destination d’au moins un opérateur (18), de donnée(s) d’information de ladite répartition ; et/ou la transmission, à un dispositif électronique de planification, d’une instruction de commande dépendant de ladite répartition. Figure pour l'abrégé : Figure1 Dispositif électronique et procédé d’orchestration d’une campagne d’annotation d’un ensemble de signaux à annoter par une équipe d’opérateurs, système électronique et programme d’ordinateur associés La présente invention concerne un dispositif électronique d’orchestration d’une campagne d’annotation d’un ensemble de signaux à annoter par une équipe d’opérateurs ; ainsi qu’un système électronique d’aide à la mise en œuvre d’une telle campagne d’annotation, comprenant un dispositif électronique d’affichage d’informations et un tel dispositif électronique d’orchestration. L’invention concerne également un procédé d’orchestration d’une campagne d’annotation d’un ensemble de signaux à annoter par une équipe d’opérateurs, le procédé étant mis en œuvre par un dispositif électronique d’orchestration ; ainsi qu’un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un tel procédé. L’invention concerne le domaine de de l’optimisation des ressources humaines pour l’annotation de signaux opérationnels. L’activité d’annotation est une tâche fastidieuse, difficile et chronophage. Actuellement, les tâches d’annotation sont assignées aux opérateurs en fonction de la définition de leur poste. De ce fait, les doctrines s’appuient sur des formations spécifiques : chaque opérateur est responsable de son propre domaine technico-opérationnel. En cas de manquement ou de difficulté, les opérateurs peuvent requérir le soutien de leur hiérarchie, qui peut décider de réattribuer manuellement la tâche à un autre opérateur. Cependant, une telle orchestration d’une campagne d’annotation d’un ensemble de signaux par une équipe d’opérateurs n’est pas optimale. Le but de l’invention est alors de proposer un dispositif électronique et un procédé associé d’orchestration d’une campagne d’annotation d’un ensemble de signaux à annoter par une équipe d’opérateurs qui permettent d’optimiser et d’automatiser l’organisation de la campagne d’annotation. A cet effet, l’invention a pour objet un dispositif électronique d’orchestration d’une campagne d’annotation d’un ensemble de signaux à annoter par une équipe d’opérateurs, le dispositif comprenant : - un module de calcul configuré pour calculer une performance d’annotation pour chaque opérateur de l’équipe ; - un module d’évaluation configuré pour évaluer chaque signal de l’ensemble en attribuant un indicateur d’évaluation à chaque signal ; - un module de répartition configuré pour répartir l’ensemble des signaux à annoter parmi l’équipe d’opérateurs en fonction des performances d’annotation calculées pour les opérateurs et des indicateurs d’évaluation des signaux à annoter, chaque signal à annoter étant alors attribué à un opérateur respectif en vue de son annotation par ledit opérateur ; et - un module de restitution configuré pour restituer la répartition de l’ensemble des signaux à annoter parmi l’équipe d’opérateurs via la mise en œuvre d’au moins une action parmi le groupe consistant en : l’affichage, sur un dispositif électronique d’affichage et à destination d’au moins un opérateur, de donnée(s) d’information de ladite répartition ; et la transmission, à un dispositif électronique de planification, d’une instruction de commande dépendant de ladite répartition. Avec le dispositif d’orchestration selon l’invention, l’organisation de la campagne d’annotation est alors automatisée et optimisée pour l’équipe d’opérateurs en prenant notamment en compte leurs compétences variées et charges mentales fluctuantes. Le dispositif d’orchestration selon l’invention permet alors de diminuer significativement la charge cognitive pour chacun des opérateurs de l’équipe, notamment en attribuant à chaque opérateur le ou les signaux à annoter qui sont le plus en adéquation avec la performance d’annotation dudit opérateur. De préférence, le dispositif d’orchestration selon l’invention permet alors de prendre en compte des compétences disponibles, ainsi que des niveaux de fatigue et de charge mentale estimés via le calcul de la performance d’annotation, pour minimiser le temps nécessaire et les erreurs afférents à l’annotation de données. Suivant d’autres aspects avantageux de l’invention, le dispositif d’orchestration comprend une ou plusieurs des caractéristiques suivantes, prises isolément ou suivant toutes les combinaisons techniquement possibles : - le module de calcul est configuré pour calculer les performances d’annotation pour l’équipe d’opérateurs via la mise en œuvre d’au moins un modèle, de préférence d’au moins deux modèles, parmi le groupe consistant en : un modèle de compétences des opérateurs, un modèle de fatigue des opérateurs et un modèle de charge mentale des opérateurs ; - le module de calcul est configuré pour calculer les performances d’annotation pour l’équipe d’opérateurs via la mise en œuvre du modèle de compétences des opérateurs, du modèle de fatigue des opérateurs et du modèle de charge mentale des opérateurs ; - au moins un modèle parmi le modèle de compétences des opérateurs, le modèle de fatigue des opérateurs et le modèle de charge mentale des opérateurs est obtenu via la mise en œuvre préalable d’un algorithme d’apprentissage automatique ; - le module d’évaluation est configuré pour évaluer chaque signal de l’ensemble à partir d’une collection de métriques d’évaluation, chaque indicateur d’évaluation attribué dépendant d’au moins une métrique d’évaluation ; et - le module de répartition est configuré pour répartir l’ensemble des signaux à annoter parmi l’équipe d’opérateurs selon un algorithme d’optimisation multicritères prenant en compte les performances d’annotation des opérateurs et les indicateurs d’évaluation des signaux à annoter. L’invention concerne également un système électronique d’aide à la mise en œuvre d’une campagne d’annotation d’un ensemble de signaux à annoter par une équipe d’opérateurs, le système comprenant : - un dispositif électronique d’affichage d’informations ; et - un dispositif électronique d’orchestration de la campagne d’annotation de l’ensemble de signaux à annoter par l’équipe d’opérateurs, le dispositif électronique d’orchestration étant tel que défini ci-dessus, et l’attribution de chaque signal à annoter à un opérateur respectif étant affichée sur le dispositif d’affichage d’informations. L’invention concerne aussi un procédé d’orchestration d’une campagne d’annotation d’un ensemble de signaux à annoter par une équipe d’opérateurs, le procédé étant mis en œuvre par un dispositif électronique d’orchestration et comprenant les étapes suivantes : - calculer une performance d’annotation pour chaque opérateur de l’équipe ; - évaluer chaque signal de l’ensemble en attribuant un indicateur d’évaluation à chaque signal ; - répartir l’ensemble des signaux à annoter parmi l’équipe d’opérateurs en fonction des performances d’annotation calculées pour les opérateurs et des indicateurs d’évaluation des signaux à annoter, chaque signal à annoter étant alors attribué à un opérateur respectif en vue de son annotation par ledit opérateur ; et - restituer la répartition de l’ensemble des signaux à annoter parmi l’équipe d’opérateurs via la mise en œuvre d’au moins une action parmi le groupe consistant en : l’affichage, sur un dispositif électronique d’affichage et à destination d’au moins un opérateur, de donnée(s) d’information de ladite répartition ; et la transmission, à un dispositif électronique de planification, d’une instruction de commande dépendant de ladite répartition. L’invention concerne également un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un procédé d’orchestration tel que défini ci-dessus. L’invention apparaîtra plus clairement à la lecture de la description qui va suivre, donnée uniquement à titre d’exemple non limitatif, et faite en référence aux dessins dans lesquels : FIG. 1 la FIG. 1 est une représentation schématique d’un système électronique, selon l’invention, d’aide à la mise en œuvre d’une campagne d’annotation d’un ensemble de signaux à annoter par une équipe d’opérateurs, le système d’aide comprenant un dispositif électronique d’affichage d’informations et un dispositif électronique d’orchestration de la campagne d’annotation de l’ensemble de signaux par l’équipe d’opérateurs ; et FIG. 2 la FIG. 2 est un organigramme d’un procédé, selon l’invention, d’orchestration de la campagne d’annotation de l’ensemble de signaux par l’équipe d’opérateurs, le procédé étant mis en œuvre par le dispositif d’orchestration de la FIG. 1 . Sur la FIG. 1 , un système électronique 10 d’aide à la mise en œuvre d’une campagne d’annotation d’un ensemble 12 de signaux à annoter 14 par une équipe 16 opérateurs 18 comprend un dispositif électronique 20 d’orchestration de la campagne d’annotation de l’ensemble 12 de signaux 14 par l’équipe 16 d’opérateurs 18. En complément, le système d’aide 10 comprend un dispositif électronique 22 d’affichage d’informations, le dispositif d’affichage 22 étant connecté au dispositif d’orchestration 20. Le dispositif d’affichage 22 est connu en soi, et est typiquement en forme d’un écran d’affichage. En complément encore ou en variante, le système 10 comprend un dispositif électronique de planification, non représenté, le dispositif de planification étant connecté au dispositif d’orchestration 20 en lieu et place du dispositif d’affichage 22, ou bien en complément du dispositif d’affichage 22. Le dispositif de planification est configuré pour élaborer automatiquement une planification de l’annotation de l’ensemble 12 de signaux 14 par l’équipe 16 d’opérateurs 18, sur réception d’une instruction de commande de la part du dispositif d’orchestration 20. L’instruction de commande dépend d’une répartition de l’ensemble 12 de signaux 14 parmi les opérateurs 18 de l’équipe 16. L’ensemble 12 comporte une pluralité de signaux 14 à annoter. L’ensemble 12 comporte par exemple plusieurs dizaines de signaux 14. Chaque signal 14 à annoter est typiquement un signal issu d’un senseur, non représenté. Le signal 14 est par exemple un signal acoustique issu d’un sonar, un signal vidéo issu d’une caméra, ou encore un signal électromagnétique issu d’un radar. L’équipe 16 comporte une pluralité d’opérateurs 18. Chaque opérateur 18 est typiquement une personne du domaine technique associé à un groupe de signaux 14 à annoter, ce groupe de signaux 14 étant un sous-ensemble de l’ensemble 12. Chaque opérateur 18 a un niveau d’expertise dans ledit domaine technique, ce niveau d’expertise étant variable d’un opérateur 18 à l’autre, typiquement depuis un niveau débutant jusqu’à un niveau d’expert. Le niveau d’expertise présente par exemple une valeur choisie parmi le groupe consistant en : niveau débutant, niveau intermédiaire, niveau confirmé et niveau expert. Le dispositif d’orchestration 20 comprend un module de calcul 30, un module d’évaluation 32, un module de répartition 34 et un module de restitution 36. Dans l’exemple de la FIG. 1 , le dispositif d’orchestration 20 comprend une unité de traitement d’informations 40 formée par exemple d’un processeur 42 et d’une mémoire 44 associée au processeur 42. Dans l’exemple de la FIG. 1 , le module de calcul 30, le module d’évaluation 32, le module de répartition 34 et le module de restitution 36 sont réalisés chacun sous forme d’un logiciel, ou d’une brique logicielle, exécutable par le processeur 42. La mémoire 44 du dispositif d’orchestration 20 est alors apte à stocker un logiciel de calcul, un logiciel d’évaluation, un logiciel de répartition et un logiciel de restitution. Le processeur 44 est alors apte à exécuter chacun des logiciels parmi le logiciel de calcul, le logiciel d’évaluation, le logiciel de répartition et le logiciel de restitution. En variante non représentée, le module de calcul 30, le module d’évaluation 32, le module de répartition 34 et le module de restitution 36 sont réalisés chacun sous forme d’un composant logique programmable, tel qu’un FPGA (de l’anglais Field Programmable Gate Array ), ou encore sous forme d’un circuit intégré dédié, tel qu’un ASIC (de l’anglais Application Specific Integrated Circuit ). Lorsque le dispositif d’orchestration 20 est réalisé sous forme d’un ou plusieurs logiciels, c’est-à-dire sous forme d’un programme d’ordinateur, il est en outre apte à être enregistré sur un support, non représenté, lisible par ordinateur. Le support lisible par ordinateur est par exemple, un médium apte à mémoriser des instructions électroniques et à être couplé à un bus d’un système informatique. A titre d’exemple, le support lisible est un disque optique, un disque magnéto-optique, une mémoire ROM, une mémoire RAM, tout type de mémoire non volatile (par exemple EPROM, EEPROM, FLASH, NVRAM), une carte magnétique ou une carte optique. Sur le support lisible est alors mémorisé un programme d’ordinateur comprenant des instructions logicielles. Le module de calcul 30 est configuré pour calculer une performance d’annotation pour chaque opérateur 18 de l’équipe 16. Avantageusement, le module de calcul 30 est configuré pour calculer les performances d’annotation pour l’équipe 16 d’opérateurs 18, c’est-à-dire de chacun des opérateurs 18 de l’équipe 16, via la mise en œuvre d’au moins un modèle parmi le groupe consistant en : un modèle de compétences des opérateurs 18, un modèle de fatigue des opérateurs 18 et un modèle de charge mentale des opérateurs 18. De préférence, le module de calcul 30 est configuré pour calculer les performances d’annotation de l’équipe 16 d’opérateurs 18 via la mise en œuvre d’au moins deux modèles parmi le modèle de compétences des opérateurs 18, le modèle de fatigue des opérateurs 18 et le modèle de charge mentale des opérateurs 18. De préférence encore, le module de calcul 30 est configuré pour calculer les performances d’annotation des opérateurs de 18 de l’équipe 16 via la mise en œuvre à la fois du modèle de compétences des opérateurs 18, du modèle de fatigue des opérateurs 18 et du modèle de charge mentale des opérateurs 18. Le module de calcul 30 est alors configuré pour calculer la performance d’annotation de chaque opérateur 18 en fonction de plusieurs critères, dont par exemple sa compétence individuelle, son état de fatigue, sa charge mentale, et sa disponibilité. La performance d’annotation calculée pour chaque opérateur 18 est par exemple représentée sous forme d’un vecteur de valeurs unitaires de performance, chaque valeur unitaire de performance étant obtenue via la mise en œuvre d’un modèle respectif parmi les modèles suivants : le modèle de compétences, le modèle de fatigue et le modèle de charge mentale. Ce vecteur de valeurs de performances peut éventuellement être synthétisé en une valeur scalaire, par exemple, par le biais d’une somme pondérée. Par exemple, au moins un modèle parmi le modèle de compétences des opérateurs 18, le modèle de fatigue des opérateurs 18 et le modèle de charge mentale des opérateurs 18 est obtenu via la mise en œuvre préalable d’un algorithme d’apprentissage automatique, également appelé algorithme ML (de l’anglais Machine L earning ). Avantageusement, chacun des modèles de compétences des opérateurs 18, de fatigue des opérateurs 18 et de charge mentale des opérateurs 18 est obtenu via la mise en œuvre préalable d’un algorithme respectif d’apprentissage automatique. Pour le modèle de compétence, l’apprentissage s’effectue sur une base de données pour laquelle on dispose d’annotations de référence et des annotations de l’opérateur dont les compétences sont à modéliser. A l’usage, ce modèle estime la compétence de l’opérateur pour chaque signal qui lui est soumis. Pour le modèle de fatigue, l’apprentissage s’effectue sur des données physiologiques (niveau de stress ou temps de réactivité par exemple) de l’opérateur dont la fatigue est à modéliser, annotée d’un niveau de fatigue estimé par ailleurs a posteriori. A l’usage, ce modèle estime la fatigue de l’opérateur en temps réel par traitement des données physiologiques recueillies. Pour le modèle de charge mentale, l’apprentissage s’effectue sur des données physiologiques et de contexte (nombre de tâches restantes à réaliser, urgence déclarée de la situation, complexité estimée de la tâche courante), annotées d’un niveau de charge mentale estimé par ailleurs a posteriori. A l’usage, ce modèle estime la charge mentale de l’opérateur en temps réel par traitement des données physiologiques et de contexte recueillies. Le module d’évaluation 32 est configuré pour évaluer chaque signal 14 de l’ensemble 12 en attribuant un indicateur d’évaluation à chaque signal 14. Avantageusement, le module d’évaluation 32 est configuré pour évaluer chaque signal 14 de l’ensemble 12 à partir d’une collection de métriques d’évaluation, chaque indicateur d’évaluation attribué dépendant d’au moins une métrique d’évaluation. Avantageusement encore, le module d’évaluation 32 est configuré en outre pour prendre en compte un contexte opérationnel, l’indicateur d’évaluation attribué à chaque signal 14 dépendant alors dudit contexte opérationnel. Le module d’évaluation 32 s’appuie sur des modèles d’estimation paramétrique basés sur des techniques de traitement du signal dépendantes de la nature physique des signaux, comme par exemple l’estimation du rapport signal à bruit. Il s’appuie également sur une pondération préétablie de chaque métrique d’évaluation ainsi estimée en fonction dudit contexte opérationnel, comme par exemple un a priori obtenu par ailleurs sur le niveau de criticité du signal à annoter. En complément, le module d’évaluation 32 est configuré en outre pour effectuer une priorisation des signaux 14 de l’ensemble 12, c’est-à-dire pour attribuer un niveau de priorité à chaque signal 14 de l’ensemble 12, notamment par rapport aux autres signaux 14 dudit ensemble 12. Le module de répartition 34 est configuré pour répartir l’ensemble 12 des signaux 14 à annoter parmi l’équipe 16 d’opérateurs 18 en fonction des performances d’annotation calculées pour les opérateurs 18 et des indicateurs d’évaluation des signaux 14, chaque signal 14 étant alors attribué à un opérateur 18 respectif en vue de son annotation par ledit opérateur 18. Avantageusement, le module de répartition 34 est configuré pour répartir l’ensemble 12 des signaux 14 à annoter parmi l’équipe 16 d’opérateurs 18 selon un algorithme d’optimisation multicritères prenant en compte les performances d’annotation des opérateurs 18 et les indicateurs d’évaluation des signaux 14. De préférence, l’algorithme d’optimisation multicritères est un algorithme basé sur un compromis entre durée d’annotation et qualité d’annotation, et prend en compte lorsque c’est pertinent les sorties des modèles de compétence, de charge mentale et de fatigue de chaque opérateur disponible, ainsi que la sortie du module d’évaluation 32. Ce compromis est avantageusement paramétrable en fonction d’une situation opérationnelle courante, adaptant ainsi l’importance accordée par l’algorithme d’optimisation multicritères à la durée d’annotation et à la qualité d’annotation. Par exemple, en situation opérationnelle jugée urgente, l’importance d’optimisation de la durée d’annotation sera maximale ; et en situation opérationnelle jugée critique, l’importance d’optimisation de la qualité d’annotation sera maximale. Le module de restitution 36 est configuré pour restituer la répartition de l’ensemble 12 des signaux 14 à annoter parmi l’équipe 16 d’opérateurs 18. Par exemple, le module de restitution 36 est configuré pour restituer ladite répartition via l’affichage, sur le dispositif d’affichage 22 et à destination d’au moins un opérateur 18, de donnée(s) d’information de ladite répartition. En variante, le module de restitution 36 est configuré pour restituer ladite répartition via la transmission, au dispositif de planification, d’une instruction de commande dépendant de ladite répartition. En complément, le module de restitution 36 est configuré pour restituer ladite répartition à la fois via l’affichage de données d’information de ladite répartition sur le dispositif d’affichage 22 et via la transmission de l’instruction de commande dépendant de ladite répartition au dispositif de planification. Le fonctionnement du système électronique d’aide 10, et en particulier du dispositif d’orchestration 20, va désormais être expliqué, notamment à l’aide de la FIG. 2 représentant un organigramme du procédé, selon l’invention, d’orchestration de la campagne d’annotation de l’ensemble 12 de signaux 14 à annoter par l’équipe 16 d’opérateurs 18. Lors d’une étape 100, le dispositif d’orchestration 20 calcule, via son module de calcul 30, la performance d’annotation pour chaque opérateur 18 de l’équipe 16. Lors de cette étape de calcul 100, la performance d’annotation de chaque opérateur 18 est typiquement calculée via la mise en œuvre d’au moins un, de préférence d’au moins deux, et de préférence encore de chacun, parmi le modèle de compétences, le modèle de fatigue et le modèle de charge mentale. En parallèle de cette étape de calcul 100, le dispositif d’orchestration 20 évalue, lors d’une étape 110 et via son module d’évaluation 32, chaque signal 14 en lui attribuant un indicateur d’évaluation. Lors de cette étape d’évaluation 110, l’indicateur d’évaluation de chaque signal 14 est par exemple déterminé à partir de la collection de métriques d’évaluation, chaque indicateur d’évaluation dépendant d’au moins une métrique d’évaluation. En complément, pour les signaux 14 plus complexes, leur indicateur d’évaluation dépend typiquement de plusieurs métriques d’évaluation. Selon ce complément, au moins un indicateur d’évaluation dépend alors de plusieurs métriques d’évaluation. À l’issue de ces étapes de calcul 100 et d’évaluation 110, le dispositif d’orchestration 20 répartit, lors d’une étape suivante 120 et via son module de répartition 34, l’ensemble 12 des signaux 14 parmi l’équipe 16 d’opérateurs 18 en fonction des performances d’annotation calculées lors de l’étape 100 pour les différents opérateurs 18 et en fonction également des indicateurs d’évaluation obtenu lors de l’étape 110 pour les différents signaux 14. À l’issue de cette étape de répartition 120, chaque signal 14 à annoter est alors attribué à au moins un opérateur 18 en vue de son annotation par l’au moins un opérateur 18, comme représenté sur la FIG. 1 , où à l’issue de ladite répartition, à chaque signal 14 est associée une étiquette identifiant l’au moins un opérateur 18 en charge de l’annotation dudit signal 14. Dans l’exemple de la FIG. 1 , certains signaux 14 sont associés à un groupe de quatre opérateurs 18 en vue de leur annotation par ledit groupe ; d’autres signaux 14 sont associés à un couple d’opérateurs 18 en vue de leur annotation par ledit couple ; et encore d’autres signaux sont associés à un triplet d’opérateurs 18 en vue de leur annotation par ledit triplet. L’homme du métier comprendra bien entendu qu’en variante ou en complément, un ou plusieurs signaux 14 sont associés à un unique opérateur 18 en vue de leur annotation par ledit opérateur 18. Après l’étape de répartition 120, le dispositif d’orchestration 20 restitue enfin, lors d’une étape suivante 130 et via son module de restitution 36, la répartition obtenue lors de l’étape de répartition 120. Lors de cette étape de restitution 130, la répartition des différents signaux 14 parmi les différents opérateurs 18 est par exemple affichée sur le dispositif d’affichage 22, ou en variante utilisée pour générer une instruction de commande transmise au dispositif de planification, ou encore à la fois affichée sur le dispositif d’affichage 22 et transmise au dispositif de planification sous la forme de l’instruction de commande. Ainsi, le dispositif d’orchestration 20 selon l’invention permet d’automatiser et d’optimiser l’organisation de la campagne d’annotation en prenant notamment en compte les compétences variées et charges mentales fluctuantes pour les différents opérateurs 18 de l’équipe 16. L’homme du métier observera alors que le dispositif d’orchestration 20 permet de diminuer fortement la charge cognitive pour chaque opérateur 18, notamment en attribuant à chaque opérateur 18 le ou les signaux 14 qui sont le plus en adéquation avec sa performance d’annotation. Le dispositif d’orchestration 20 permet ainsi typiquement de prendre en compte des compétences disponibles, ainsi que des niveaux de fatigue et de charge mentale de chaque opérateur 18, pour ensuite minimiser la durée de chaque annotation et les éventuelles erreurs inhérentes à ladite annotation, et ce faisant de réduire significativement la charge cognitive de chaque opérateur 18 de l’équipe 16. À titre d’exemple, dans le domaine de l’acoustique sous-marine, un sonar passif embarqué à bord d’un sous-marin enregistre un grand volume de signaux 14 à annoter, notamment des images sonores, ou signaux acoustiques. Certains de ces signaux 14, ou certaines parties de ces signaux 14, sont particulièrement complexes, et nécessitent alors une expertise particulière et une allocation de temps significative. Plutôt que de solliciter un opérateur 18 débutant, le dispositif d’orchestration 20 selon l’invention va alors identifier un autre opérateur 18 plus disponible et/ou suffisamment compétent auquel attribuer l’annotation de ces signaux 14. De manière corollaire, le dispositif d’orchestration 20 selon l’invention va déléguer, c’est-à-dire attribuer, l’annotation des signaux 14 les plus simples à l’opérateur 18 débutant, pour optimiser l’utilisation efficace du temps des opérateurs 18 experts disponibles. En complément facultatif, le dispositif d’orchestration 20 selon l’invention est également configuré pour prioriser l’annotation de certains signaux 14 par rapport à d’autres signaux 14 de l’ensemble 12, par exemple dans une situation de criticité particulière. Selon ce complément, cette priorisation ne dépend pas nécessairement de la chronologie des signaux 14. Autrement dit, le niveau de priorité associé à chaque signal 14 est typiquement prioritaire par rapport à la chronologie des signaux 14 au sein de l’ensemble 12. On conçoit alors que le dispositif électronique d’orchestration 20 selon l’invention permet d’optimiser l’organisation de la campagne d’annotation, en particulier la répartition des différents signaux 14 à annoter parmi la pluralité d’opérateurs 18 de l’équipe 16, et alors de réduire la charge cognitive de chacun des opérateurs 18 de l’équipe 16. Dispositif électronique (20) d’orchestration d’une campagne d’annotation d’un ensemble (12) de signaux (14) à annoter par une équipe (16) d’opérateurs (18), le dispositif (20) comprenant : - un module de calcul (30) configuré pour calculer une performance d’annotation pour chaque opérateur (18) de l’équipe (16) ; - un module d’évaluation (32) configuré pour évaluer chaque signal (14) de l’ensemble (12) en attribuant un indicateur d’évaluation à chaque signal (14) ; - un module de répartition (34) configuré pour répartir l’ensemble (12) des signaux (14) à annoter parmi l’équipe (16) d’opérateurs (18) en fonction des performances d’annotation calculées pour les opérateurs (18) et des indicateurs d’évaluation des signaux (14) à annoter, chaque signal (14) à annoter étant alors attribué à un opérateur (18) respectif en vue de son annotation par ledit opérateur (18) ; - un module de restitution (36) configuré pour restituer la répartition de l’ensemble (12) des signaux (14) à annoter parmi l’équipe (16) d’opérateurs (18) via la mise en œuvre d’au moins une action parmi le groupe consistant en : l’affichage, sur un dispositif électronique d’affichage (22) et à destination d’au moins un opérateur (18), de donnée(s) d’information de ladite répartition ; et la transmission, à un dispositif électronique de planification, d’une instruction de commande dépendant de ladite répartition. Dispositif (20) selon la revendication 1, dans lequel le module de calcul (30) est configuré pour calculer les performances d’annotation pour l’équipe (16) d’opérateurs (18) via la mise en œuvre d’au moins un modèle, de préférence d’au moins deux modèles, parmi le groupe consistant en : un modèle de compétences des opérateurs (18), un modèle de fatigue des opérateurs (18) et un modèle de charge mentale des opérateurs (18). Dispositif (20) selon la revendication 2, dans lequel le module de calcul (30) est configuré pour calculer les performances d’annotation pour l’équipe (16) d’opérateurs (18) via la mise en œuvre du modèle de compétences des opérateurs (18), du modèle de fatigue des opérateurs (18) et du modèle de charge mentale des opérateurs (18). Dispositif (20) selon la revendication 2 ou 3, dans lequel au moins un modèle parmi le modèle de compétences des opérateurs (18), le modèle de fatigue des opérateurs (18) et le modèle de charge mentale des opérateurs (18) est obtenu via la mise en œuvre préalable d’un algorithme d’apprentissage automatique. Dispositif (20) selon l’une quelconque des revendications précédentes, dans lequel le module d’évaluation (32) est configuré pour évaluer chaque signal (14) de l’ensemble (12) à partir d’une collection de métriques d’évaluation, chaque indicateur d’évaluation attribué dépendant d’au moins une métrique d’évaluation. Dispositif (20) selon l’une quelconque des revendications précédentes, dans lequel le module de répartition (34) est configuré pour répartir l’ensemble (12) des signaux (14) à annoter parmi l’équipe (16) d’opérateurs (18) selon un algorithme d’optimisation multicritères prenant en compte les performances d’annotation des opérateurs (18) et les indicateurs d’évaluation des signaux (14) à annoter. Système électronique (10) d’aide à la mise en œuvre d’une campagne d’annotation d’un ensemble (12) de signaux (14) à annoter par une équipe (16) d’opérateurs (18), le système (10) comprenant : - un dispositif électronique (22) d’affichage d’informations ; et - un dispositif électronique (20) d’orchestration de la campagne d’annotation de l’ensemble (12) de signaux (14) à annoter par l’équipe (16) d’opérateurs (18), caractérisé en ce que le dispositif électronique d’orchestration (20) est selon l’une quelconque des revendications précédentes, et en ce que l’attribution de chaque signal (14) à un opérateur (18) respectif est affichée sur le dispositif d’affichage d’informations (22). Procédé d’orchestration d’une campagne d’annotation d’un ensemble (12) de signaux (14) à annoter par une équipe (16) d’opérateurs (18), le procédé étant mis en œuvre par un dispositif électronique d’orchestration (20) et comprenant les étapes suivantes : - calculer (100) une performance d’annotation pour chaque opérateur (18) de l’équipe (16) ; - évaluer (110) chaque signal (14) de l’ensemble (12) en attribuant un indicateur d’évaluation à chaque signal (14) ; - répartir (120) l’ensemble (12) des signaux (14) à annoter parmi l’équipe (16) d’opérateurs (18) en fonction des performances d’annotation calculées pour les opérateurs (18) et des indicateurs d’évaluation des signaux (14) à annoter, chaque signal (14) à annoter étant alors attribué à un opérateur (18) respectif en vue de son annotation par ledit opérateur (18) ; et - restituer (130) la répartition de l’ensemble (12) des signaux (14) à annoter parmi l’équipe (16) d’opérateurs via la mise en œuvre d’au moins une action parmi le groupe consistant en : l’affichage, sur un dispositif électronique d’affichage et à destination d’au moins un opérateur, de donnée(s) d’information de ladite répartition ; et la transmission, à un dispositif électronique de planification, d’une instruction de commande dépendant de ladite répartition. Programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un procédé selon la revendication précédente.