FR 3087566 A1 20200424 FR 1859634 A 20181018 Description Titre de l'invention : Dispositif de suivi des mouvements et/ou des efforts d'une personne, méthode d'apprentissage dudit dispositif et procédé d'analyse des mouvements et/ou des efforts d'une personne [0001] La présente demande se rapporte à un dispositif de suivi des mouvements et/ou des efforts d'une personne, à un procédé d'apprentissage dudit dispositif ainsi qu'à un procédé d'analyse des mouvements et/ou des efforts d'une personne. [0002] La pénibilité au travail est jusqu'ici appréciée de manière subjective, au regard de certains facteurs comme par exemple : - la manutention manuelle de charges lourdes, - les postures pénibles définies comme des positions forcées des articulations, OU lo - le travail répétitif caractérisé par la répétition d'un même geste, à une cadence contrainte, avec un temps de cycle défini. [0003] Les entreprises qui cherchent à réduire la pénibilité au travail de leurs employés, pour limiter par exemple l'apparition de troubles musculosquelettiques, disposent d'outils d'évaluation tels que des questionnaires, des 15 grilles d'évaluation, mais d'aucun outil pour la quantifier. [0004] Les entreprises peuvent avoir recours à un ergonome pour améliorer les conditions de travail des personnes à leur poste de travail. La démarche de l'ergonome comprend une première phase d'observation du poste de travail, une deuxième phase d'analyse se basant sur des grilles ergonomiques et une 20 troisième étape de formulation de recommandations qui sont généralement un compromis de son analyse et des différents points de vue des personnes évoluant au poste de travail. [0005] Cette démarche n'est pas pleinement satisfaisante car la première phase d'observation est relativement longue et incomplète. Par ailleurs, les 25 recommandations formulées par l'ergonome reposant sur des observations et 2 non sur des mesures de biomécaniques précises, la qualité de ses recommandations est étroitement liée à son niveau d'expertise. [0006] Dans le domaine du sport, de la réalité augmentée et de l'animation, il existe des dispositifs de suivi des mouvements d'une personne permettant de suivre les s mouvements des différents segments d'une personne évoluant dans une scène. Selon un premier mode de réalisation, un tel dispositif comprend plusieurs caméras agencées de manière à couvrir la scène et des marqueurs portés par la personne, qui sont agencés de manière à identifier ses différents segments. [0007] Même si les dispositifs de ce premier mode de réalisation permettent de suivre de manière très précise les différents mouvements des différents segments d'une personne, ils peuvent difficilement être utilisés dans le cadre de l'amélioration des postes de travail pour les raisons suivantes : - En raison de coûts de revient et d'exploitation élevés, de tels dispositifs ne peuvent pas être déployés dans le cadre de l'analyse et l'amélioration des postes de travail. - Compte tenu de la fragilité et du prix de certains de leurs composants, ces dispositifs sont généralement utilisés dans des conditions proches de celles d'un laboratoire, incompatibles à un environnement tel qu'un chantier dans le domaine du bâtiment. - L'aspect intrusif du dispositif, en raison de la mise en place de marqueurs sur la personne, peut fausser les mesures. - Le temps de préparation et de calibration des équipements est relativement long. [0008] Selon un deuxième mode de réalisation issu notamment du domaine du jeu vidéo, un dispositif de suivi des mouvements d'un joueur comprend un capteur de mouvements sous la forme d'une caméra de profondeur, positionnée en face du joueur, ainsi qu'un logiciel de traitement du signal de la caméra configuré pour identifier les différents segments du joueur et leurs mouvements afin de représenter ces différents segments sous la forme d'un avatar filiforme. Les dispositifs de ce deuxième mode de réalisation ont des coûts de revient et d'exploitation nettement inférieurs à ceux du premier mode de réalisation, et sont 3 par conséquent compatibles avec une méthode d'amélioration d'un poste de travail. De plus, ils ne nécessitent pas d'équiper les personnes de marqueurs. [0009] Malgré ces avantages, un dispositif de suivi des mouvements selon le deuxième mode de réalisation, en tant que tel, ne peut pas être utilisé pour s obtenir un modèle dynamique fiable d'une personne en vue d'améliorer son poste de travail ou réduire la pénibilité. [0010] La présente invention vise à remédier à tout ou partie des inconvénients de l'art antérieur. [0011] A cet effet, l'invention a pour objet un dispositif de suivi des mouvements 10 et/ou des efforts d'une personne comprenant au moins un capteur configuré pour déterminer un ensemble de données brutes qui comprennent au moins certaines données anatomiques et/ou morphologiques de la personne observée et/ou au moins certaines données dynamiques de la personne observée, caractérisé en ce que le dispositif de suivi des mouvements et/ou des efforts comprend un 15 module de traitement, configuré pour corriger les données brutes, comportant au moins un réseau de neurones artificiels présentant des paramètres optimisés par une méthode d'apprentissage. [0012] Ce dispositif de suivi des mouvements et/ou des efforts d'une personne permet de créer un modèle dynamique de la personne observée fidèle à la réalité, 20 avec des coûts de revient et d'exploitation compatibles avec une méthode d'amélioration d'un poste de travail. [0013] L'invention a également pour objet une méthode d'apprentissage d'un module de traitement d'un dispositif de suivi des mouvements et/ou des efforts d'une personne, caractérisée en ce que la méthode d'apprentissage comprend : 25 une étape d'observations simultanées d'une personne équipée de marqueurs par un dispositif de suivi des mouvements et/ou des efforts conforme à l'invention et configuré pour établir un ensemble de données brutes obtenues suite à l'observation des segments réels et/ou des articulations réelles de la personne et par un dispositif de suivi de référence configuré pour établir un 30 ensemble de données de référence obtenues suite à l'observation des segments réels et/ou des articulations réelles de la personne, 4 - une étape de traitement des données brutes par le réseau de neurones artificiels du module de traitement de manière à obtenir un ensemble de données affinées, - une étape de comparaison des données affinées et des données de s référence obtenues à l'aide du dispositif de suivi de référence, et - une étape de modification des paramètres du réseau de neurones artificiels de manière à minimiser la différence entre les données affinées et les données de référence. [0014] D'autres caractéristiques et avantages ressortiront de la description de 10 l'invention qui va suivre, description donnée à titre d'exemple uniquement, en regard des dessins annexés parmi lesquels : - la figure 1 est une représentation schématique d'une étape d'étalonnage d'un dispositif de suivi des mouvements d'une personne qui illustre un mode de réalisation d'invention, 15 - la figure 2 est une représentation schématique du dispositif de suivi des mouvements d'une personne visible sur la figure 1 après l'étape d'étalonnage, - la figure 3 est une représentation schématique d'une étape d'auto-apprentissage, - la figure 4 est une représentation schématique des différentes positions réelles 20 d'un mouvement réel d'un avant-bras d'une personne, - la figure 5 est une représentation schématique des différentes positions virtuelles déterminées par un dispositif de suivi des mouvements à partir de l'observation du mouvement réel visible sur la figure 4, - la figure 6 est une traduction du mouvement réel visible sur la figure 4 sous la 25 forme d'une succession de caractères d'un système d'écriture, - la figure 7 est une traduction des différentes positions visibles sur la figure 5 en utilisant le même système d'écriture que celui utilisé à la figure 6, -la figure 8 est une représentation schématique d'un boîtier d'acquisition qui illustre un mode de réalisation de l'invention, et 5 - la figure 9 est une représentation schématique d'un dispositif de suivi des mouvements d'une personne qui illustre un mode de réalisation de l'invention. [0015] Sur la figure 9, on a représenté en 10 un dispositif de suivi des mouvements et/ou des efforts d'une personne qui comprend au moins un boîtier d'acquisition s 12 et au moins un système de traitement et d'analyse 14. Selon une application, ce dispositif de suivi des mouvements et/ou des efforts d'une personne 10 est configuré pour obtenir un modèle dynamique de la personne. [0016] Selon une configuration illustrée par les figures 1 et 2, un boîtier d'acquisition 12 est supporté par un trépied 16. Bien entendu, l'invention n'est pas limitée à cet to agencement. Quelle que soit la configuration, chaque boîtier d'acquisition 12 est positionné et orienté de manière à visualiser une scène 18 dans laquelle peut évoluer au moins une personne 20. [0017] Pour la suite de la description, une personne 20 (visible sur la figure 2 par exemple) comprend plusieurs segments réels, référencés de manière générale 15 22 ou de manière dissociée 22.1, 22.2, 22.3 (comme illustré sur la figure 4), reliés par des articulations réelles, référencées de manière générale 24 ou de manière dissociée 24.1, 24.2, 24.3 (comme illustré sur la figure 4). Ces segments réels 22 correspondent aux différentes parties de son corps (tronc, haut du bras droit ou gauche, avant-bras droit ou gauche, main droite ou gauche ,...) qui sont 20 articulées les unes par rapport aux autres grâce aux articulations réelles 24 qui peuvent être des liaisons de type rotule (trois rotations possibles) ou de type pivot (une rotation possible). [0018] Chaque boîtier d'acquisition 12 comprend au moins un capteur d'acquisition 26 configuré pour déterminer une position virtuelle brute, dans un repère virtuel, 25 pour chacun des segments virtuels correspondant à au moins certains des segments réels 22 et/ou pour chacune des articulations virtuelles correspondant à au moins certaines articulations réelles 24. [0019] Selon un mode de réalisation non limitatif, chaque capteur d'acquisition 26 comprend une caméra de profondeur 28, de type RGB-D, configurée pour 30 émettre un signal en fonction du flux d'images saisies, ainsi qu'un contrôleur 30 dans lequel est implémenté un logiciel de traitement d'images configuré pour traiter le signal de la caméra 28 et en déduire la position virtuelle brute de chaque 6 segment virtuel et/ou de chaque articulation virtuelle correspondant aux segments réels 22 et/ou aux articulations réelles 24 filmé(e)s par la caméra de profondeur 28. [0020] Le dispositif de suivi des mouvements et/ou des efforts d'une personne 10 s peut comprendre d'autres capteurs d'acquisition 26, comme par exemple des capteurs d'effort. [0021] Selon une configuration, le (ou les) capteur(s) d'acquisition 26 est (sont) configuré(s) pour fournir en sortie un ensemble de données brutes qui comprennent au moins certaines données anatomiques et/ou morphologiques de 10 la personne (longueur, masse, centre de gravité,... de chaque segment virtuel) et/ou au moins certaines données dynamiques de la personne (vecteur de rotation de chaque couple de segments virtuels reliés, efforts, moments appliqués à chaque segment, vitesse en un point donné de chaque segment,...). [0022] Selon un mode de réalisation visible par exemple sur les figures 8 et 9, le 15 dispositif de suivi des mouvements et/ou des efforts d'une personne comprend plusieurs capteurs d'acquisition 26. Ces capteurs d'acquisition 26 peuvent déterminer des valeurs redondantes pour certaines données de l'ensemble de données brutes. Dans ce cas, ces valeurs redondantes sont fusionnées de manière à établir pour chaque donnée brute une valeur unique. 20 [0023] Les capteurs d'acquisition 26 ne sont pas plus décrits car certains peuvent être identiques aux dispositifs de suivi des mouvements du deuxième mode de réalisation de l'art antérieur. [0024] Comme pour l'art antérieur, le capteur d'acquisition 26 ou les capteurs d'acquisition 26 donne(nt), pour chaque segment virtuel et/ou chaque articulation 25 virtuelle, une position peu fiable dite brute qui n'est pas satisfaisante dans le cadre d'un suivi précis des mouvements des segments réels et/ou des articulations réelles d'une personne. [0025] Quel que soit le mode de réalisation, le (ou les) capteur(s) d'acquisition 26 est (ou sont) configuré(s) pour déterminer, à partir de l'observation d'une personne, 30 un ensemble de données brutes permettant de positionner dans un repère virtuel un ensemble de segments virtuels et/ou d'articulations virtuelles correspondant aux segments réels et/ou aux articulations réelles de la personne observée. Le 7 (ou les) capteur(s) d'acquisition 26 est (ou sont) configuré(s) pour déterminer, à partir de l'observation d'une personne, un modèle dynamique de la personne observée. [0026] Pour la suite de la description, par un ou le capteur on entend aussi bien un s unique capteur d'acquisition 26 que plusieurs capteurs d'acquisition 26 permettant d'obtenir un ensemble de données brutes. [0027] Selon une caractéristique de l'invention, le dispositif de suivi des mouvements d'une personne 10 comprend un module de traitement 32 configuré pour corriger la valeur de chaque donnée brute mesurée par le capteur d'acquisition 26 afin 10 d'établir un ensemble de données affinées. [0028] Le niveau de correction de chaque donnée brute est tel que la position virtuelle de chaque segment virtuel et/ou de chaque articulation virtuelle déduite à partir de l'ensemble de données affinées est très proche de la position réelle de chaque segment réel et/ou de chaque articulation réelle de la personne observée, 15 ce qui permet un suivi précis des mouvements des segments réels et/ou des articulations réelles d'une personne. [0029] Selon une particularité de l'invention, le module de traitement 32 comprend au moins un réseau de neurones artificiels 42 présentant des paramètres optimisés par une méthode d'apprentissage. 20 [0030] Ce réseau de neurones artificiels 42 comprend un nombre d'entrées ou de sorties supérieur ou égal au nombre de données brutes à traiter. [0031] Selon un mode opératoire, le nombre de données brutes est de quarante-six (46). Selon une configuration, le réseau de neurones artificiels 42 comprend vingt-sept (27) entrées et vingt-sept (27) sorties. 25 [0032] Selon une architecture, le réseau de neurones artificiels 42 comprend cent dix-huit (118) neurones répartis en quatre (4) couches, vingt-sept (27) au niveau de chaque couche d'entrée ou de sortie et trente-deux (32) au niveau de chaque couche intermédiaire. Le réseau de neurones artificiels 42 a une structure similaire à une structure de type auto-encodeur variationnel (ou VAE pour 30 variational auto-encoder en anglais). 8 [0033] En variante, le réseau de neurones artificiels 42 a une structure de type récurrent à mémoire court terme et long terme (ou LSTM pour Long Short Term Memory en anglais). [0034] En variante, le réseau de neurones artificiels 42 est de type entièrement s connecté (fully connected en anglais), chaque neurone d'une couche étant connecté à tous les neurones de la couche supérieure. [0035] Quel que soit le mode de réalisation, le réseau de neurones artificiels 42 comprend au moins quatre couches de neurones. [0036] Selon une configuration, le réseau de neurones artificiels 42 comprend au 10 moins vingt-sept (27) entrées et vingt-sept (27) sorties. [0037] Selon une première configuration, le module de traitement 32 comprend un unique réseau de neurones artificiels 42 configuré pour traiter toutes les données brutes. Selon une autre configuration, le module de traitement 32 comprend plusieurs réseaux de neurones artificiels traitant chacun des données brutes 15 différentes. A titre d'exemple, un premier réseau est configuré pour traiter les données brutes relatives aux vecteurs de rotation et un deuxième réseau est configuré pour traiter les données relatives aux longueurs des segments. [0038] Comme illustré sur la figure 1, la méthode d'apprentissage comprend une étape d'observations simultanées d'une personne 20 équipée de marqueurs 34 20 par un dispositif de suivi des mouvements 10 selon l'invention et par un dispositif de suivi de référence 36. [0039] Le dispositif de suivi de référence 36 comprend plusieurs caméras 38 et un système de traitement 40 configuré pour établir un ensemble de données de référence Y1 à Yn obtenues suite à l'observation des segments réels et/ou des 25 articulations réelles de la personne 20. En variante, le dispositif de suivi de référence 36 comprend, en plus des caméras 38, au moins un capteur d'effort, comme par exemple une dalle de force. [0040] Ce dispositif de suivi de référence 36 n'est pas plus décrit car il peut être identique à l'un de ceux du premier mode de réalisation de l'art antérieur. A titre 30 d'exemple, le dispositif de suivi de référence 36 peut être un dispositif commercialisé sous la dénomination OPTITRACK, comportant entre 8 et 32 9 caméras, ou un dispositif commercialisé sous la dénomination VICON, comportant une dalle de force. [0041] Comme illustré sur la figure 3, les données brutes X1 à Xn obtenues à l'aide du dispositif de suivi des mouvements 10 sont traitées par le réseau de neurones s artificiels 42 du module de traitement 32 de manière à obtenir un ensemble de données affinées X1' à Xn'. Ces données affinées X1' à Xn' sont comparées à l'aide d'une fonction perte 44 aux données de référence Y1 à Yn obtenues à l'aide du dispositif de suivi de référence 36. En fonction de cette comparaison, les paramètres du réseau de neurones artificiels 42 sont modifiés de manière à 10 minimiser la différence entre les données affinées X1' à Xn' et les données de référence Y1 à Yn. [0042] La modification des paramètres du réseau de neurones artificiels 42 se base sur la méthode de rétropropagation du gradient visant à corriger le poids des neurones, de la dernière couche vers la première couche. 15 [0043] Au fur et à mesure des observations, le module de traitement 32 devient de plus en plus précis, les données affinées X1' à Xn' étant sensiblement égales aux données de référence Y1 à Yn obtenues par le dispositif de suivi de référence 36. [0044] II est possible d'étalonner plusieurs dispositifs de suivi des mouvements 10 simultanément. Pour chacun d'eux, les données brutes X1 à Xn sont traitées par 20 le réseau de neurones artificiels 42 du module de traitement 32 de manière à obtenir un ensemble de données affinées X1' à Xn' qui sont comparées aux données de référence Y1 à Yn. [0045] Le dispositif de suivi des mouvements 10 selon l'invention permet d'obtenir un suivi précis des segments d'une personne. Ses coûts de revient et d'exploitation 25 étant nettement inférieurs à ceux d'un dispositif de suivi de référence 36, il est possible de multiplier les observations et d'utiliser le dispositif selon l'invention dans des environnements tels que des chantiers dans le bâtiment par exemple. [0046] Le fait de pouvoir multiplier les observations permet de collecter un grand nombre de données affinées relatives à une multitude de mouvements de 30 différentes personnes, notamment au niveau de différents postes de travail. [0047] Ainsi, il est possible d'observer plusieurs fois un même mouvement réalisé plusieurs fois par des personnes différentes (ayant des gabarits différents). 10 [0048] Le dispositif de suivi des mouvements 10 comprend au moins une base de données 46 répertoriant, pour chaque mouvement, les différentes positions des différents segments aux différents moments du mouvement. [0049] Les observations d'un même mouvement réalisé plusieurs fois par plusieurs s personnes peuvent être regroupées dans la base de données 46 sous la forme d'une famille de mouvements. Pour la présente demande, une famille de mouvements comprend des mouvements proches, comme la famille regroupant les mouvements correspondant à une position statique debout, la famille des mouvements de saisie d'un objet au sol, la famille des mouvements de rotation 10 du torse, la famille des mouvements de lever d'un bras,... [0050] Même si le dispositif de suivi des mouvements 10 permet d'obtenir des mesures précises, ces dernières peuvent être bruitées par différents facteurs comme des phénomènes d'occultation ou en raison des angles de vue ou de l'environnement extérieur. Ainsi, comme illustré sur les figures 4 et 5, un dispositif 15 de suivi des mouvements 10 peut déterminer, à partir d'un mouvement de segments réels 22.1 à 22.3 comprenant plusieurs positions réelles P1 à P5 successives des segments réels, les positions virtuelles P1', P3', P4', P5' des segments virtuels 22.1' à 22,3' (correspondant aux segments réels 22.1 à 22.3). Dans ce cas, la position virtuelle des segments virtuels correspondant à la 20 position P2 n'a pas pu être déterminée. [0051] Le dispositif de suivi des mouvements 10 comprend un module d'analyse des mouvements configuré pour identifier le mouvement observé. [0052] Selon un premier mode de réalisation, le module d'analyse des mouvements est configuré pour comparer le mouvement observé avec les mouvements 25 stockés dans la base de données 46 et pour identifier la famille de mouvements à laquelle il appartient. [0053] Selon une autre caractéristique de l'invention, un procédé d'analyse des mouvements d'une personne comprend une étape de segmentation d'un mouvement déterminé par le mouvement de traitement 32 en une succession 30 d'actions élémentaires ayant des durées égales, comprises entre 0,25 et 1 s, et une étape de traduction de chaque action élémentaire en un caractère d'un système d'écriture. 11 [0054] A cet effet, le dispositif de suivi comprend un module d'analyse 48 configuré pour segmenter le mouvement déterminé par le module de traitement 32 et traduire chaque segment en un caractère d'un système d'écriture. [0055] Chaque mouvement est traduit en une succession de caractères qui, en s fonction de la complexité et/ou de la longueur du mouvement, forme une syllabe, un mot ou une phrase. [0056] Selon une autre particularité, chaque mouvement déterminé par le module de traitement 32 est stocké, dans la base de données 46 ou une autre base de données 46', sous la forme d'une succession de segments, chaque segment 10 étant traduit en un caractère d'un système d'écriture. Ainsi, à partir d'une multitude observations d'une multitude de mouvements traduits dans la base de données 46, 46' sous la forme de syllabes, de mots ou de phrases, il est possible d'établir un langage écrit structuré qui présente au moins une règle, généralement un ensemble de règles (comme des règles de grammaire par 15 exemple) et au moins un lexique. [0057] Ce procédé d'analyse des mouvements permet, lorsqu'au moins une action élémentaire d'un mouvement n'a pas pu être déterminée par le dispositif de suivi des mouvements 10, de déterminer le caractère manquant à partir des règles et/ou du lexique du langage écrit structuré et en suivant l'action élémentaire dont 20 le caractère déterminé est la traduction. [0058] Comme illustré sur les figures 4 et 6, à partir du mouvement de segments réels 22.1 à 22.3 visible sur la figure 4, le module d'analyse 48 segmente le mouvement observé en une succession de cinq actions élémentaires traduites par « D »-« E »-« B »-« U »-« T ». Ainsi, le mouvement de lever d'une main se 25 traduit par le mot DEBUT dans le langage écrit et structuré. [0059] Comme illustré sur les figures 5 et 6, si le module de traitement 32 n'identifie que les actions élémentaires 1, 3, 4 et 5 du mouvement, comme illustré sur la figure 5, le module d'analyse 48 traduit uniquement les actions élémentaires 1, 3, 4 et 5 en un « D », un « B », un « U », un « T » selon le langage écrit et structuré. 30 A partir du lexique du langage écrit et structuré, le module d'analyse 48 en déduit que la lettre manquante est probablement un « E » et que le mouvement observé, 12 traduit en DEBUT dans le langage écrit et structuré, correspond au mouvement de lever d'une main. [0060] Selon une autre particularité, le fait de traduire chaque mouvement en un enchaînement de caractères peut permettre de comparer les enchaînements de s caractères entre eux sur le plan de la pénibilité et d'affecter à chacun des enchaînements de caractères un degré de pénibilité en fonction de leur classement. [0061] Sur le plan structurel, chaque boîtier d'acquisition 12 peut comprendre, en plus du ou des capteurs 26, le module de traitement 32 et des composants 50 10 tels qu'une batterie, un système de refroidissement pour rendre le boîtier d'acquisition 12 autonome ainsi qu'un module de communication 52 pour permettre au boîtier d'acquisition 12 de communiquer avec d'autres éléments comme un serveur, un ordinateur distant, une tablette ou autres, comme illustré sur la figure 8. 15 [0062] Selon un mode de réalisation, les modules de traitement et d'analyse 32, 48, la ou les bases de données 46, 46' sont intégrés dans un ordinateur 54. Ce dernier peut comprendre entre autres un module de commande 56 pour contrôler chaque capteur 26, un module d'affichage 58 et un module de communication 60 pour permettre à l'ordinateur de communiquer avec un réseau 62 et/ou avec un 20 autre appareil 64 (ordinateur, tablette ou analogue). [0063] Le dispositif de suivi des mouvements 10 peut comprendre au moins un capteur annexe 66, comme par exemple un capteur de température, une centrale inertielle. Le signal de chaque capteur annexe 66 peut être transmis au module de traitement 32. 25 [0064] Au moins l'une des bases de données peut être stockée dans un serveur distant 68. Bien entendu, l'invention n'est pas limitée aux modes de réalisation décrits précédemment. 13