Brevet FR2853983A1 — publié le 20041022

Procédé et dispositif d'interaction pour l'assistance au geste " métier-matière ". La présente invention concerne un procédé et un dispositif pour l'aide et l'apprentissage assistés par ordinateur du geste manuel pendant le travail d'une matière, dans le but soit de reproduire une 10 forme existante soit de créer une nouvelle forme. La présente invention est susceptible d'être intégrée ou disposée dans une chaîne de conception ou de transformation de la matière, notamment dans les domaines des arts plastiques, du design, de l'usinage industriel, du paramédical, du chirurgical mais non 15 exclusivement. L'invention concerne plus particulièrement un procédé s'appuyant sur un dispositif qui met en oeuvre, pour l'aide et l'apprentissage du geste, une représentation numérique de la forme à reproduire et de la matière à travailler. La reproduction de formes à partir d'un modèle numérique peut être partiellement résolue par l'utilisation de solutions robotiques. Cependant, cette technique atteint ses limites quand la complexité des formes à reproduire nécessite des gestes spécifiques mais aussi quand le nombre d'objets à reproduire est faible en regard de l'investissement 25 nécessaire à la programmation des trajectoires. Une autre approche consiste à garder l'homme de métier au coeur de la boucle du processus de reproduction en lui fournissant, continuellement, toutes les informations nécessaires et suffisantes afin de lui permettre d'intervenir en toute sécurité sur la matière. Pour cette approche, un certain nombre de documents décrivent des dispositifs qui intègrent d'une part, des moyens métrologiques, d'autre part un système de représentations tridimensionnelles d'un objet numérique. Ainsi le brevet FR2808366 (AZERAD J., BLANCHARD J., MAURIN Y.) décrit un procédé d'apprentissage en réalité virtuelle constitué de divers éléments: captage d'informations de position spatiale d'un organe réel tenu à la main, une représentation tridimensionnelle d'un objet numérique, une fourniture d'un outil 5 numérique apte à opérer sur l'objet numérique. A aucun moment, le procédé ne permet l'usinage d'une matière réelle, et encore moins une possible remontée de l'usinage de la matière réelle dans un modèle numérique permettant ainsi une intervention conceptuelle dans les deux mondes. De ce fait, il est impossible d'informer un apprentissage 10 complet à travers un geste manuel pendant le travail d'une matière. En conséquence ce procédé ne répond pas aux besoins exprimés par les métiers qui travaillent la matière. Le but de la présente invention est de proposer un procédé itératif action/information s'appuyant sur un dispositif permettant une aide au 15 geste manuel afin de conférer à une matière une forme s'approchant d'un modèle numérique. Un tel dispositif permet d'optimiser la nature et la quantité d'informations nécessaires à la maîtrise spatiale de l'intervention dans la matière. Un autre but de l'invention est de proposer un dispositif 20 d'apprentissage du geste manuel pendant le travail de la matière permettant d'une part une analyse de la méthodologie du geste et d'autre part une lecture du résultat sous la forme d'un modèle numérique de la matière ouvragée. A cet effet, l'invention concerne un dispositif qui met en oeuvre un 25 ou plusieurs modèles numériques parmi lesquels on distingue: - le modèle à atteindre, appelé " modèle mère ", construit à partir d'un modèle source (données de numérisation, modèle CAO) enrichi d'informations métier et/ou transformé (mise à échelle, simplification, etc.) - le modèle de la matière à ouvrager, appelé " modèle matière à ouvrager" construit à partir d'informations issues d'un volume physique ou de données numériques spécifiant les dimensions de la matière à ouvrager. - le " modèle outil " spécifiant les paramètres physiques et géométriques de l'outil de travail (réserve de réaction, diamètre de l'outil, excentricité, etc.). Ce modèle est utilisé pour le calcul de l'effet de l'outil sur la matière, et le résultat de ce calcul sert à la mise à jour continuelle du " modèle matière ouvragée ". - le " modèle geste " contient la description des configurations de l'outil pendant le travail de la matière. - le " modèle matière ouvragée " est le résultat des actions de l'outil sur la matière à ouvrager. Ces modèles permettent à l'homme de métier d'exprimer son besoin et d'explorer les alternatives possibles dans l'espace à ouvrager. Ils peuvent être à la base soit d'une reproduction à l'identique soit d'une homothétie partielle ou globale, soit d'une transformation par l'ajout ou le retrait aussi bien dans le monde virtuel que réel. Une autre possibilité 15 offerte par ce système est de pouvoir prendre en compte les déplacements de la matière par une mesure continuelle de ceux- ci, permettant le maintien de l'action de l'outil sur la matière, grâce à la mise en concordance continuelle des différents modèles. L'invention sera bien comprise à la lecture de la description 20 suivante, en référence aux dessins annexés représentant à titre d'exemple non limitatif, un dispositif d'aide et d'apprentissage pour l'assistance au geste manuel dans un volume, dans lesquels: - la figure 1 représente une vue schématique d'ensemble du dispositif d'aide et d'apprentissage pour 25 l'assistance au geste manuel dans un volume, conforme à l'invention. - les figures 2 et 3 représentent des informations visuelles possibles et des exemples d'affichage (projection vidéo et écran moniteur) conformes à L'invention. Conformément à l'invention, le dispositif d'aide et d'apprentissage pour le geste manuel dans un volume est destiné à être utilisé de plusieurs façons en fonction du domaine d'application. Une première façon consiste à travailler la matière 19 sans s'appuyer sur un " modèle mère " Ml, dans ce cas le geste manuel libéré de toutes contraintes permet un travail de création directe, et le résultat issu de celui-ci est mémorisé dans le " modèle matière ouvragée " M4. Le 5 procédé itératif relevant de la présente invention permet de réutiliser ce résultat après adaptation comme " modèle mère " Mi pour une reproduction. Une deuxième façon consiste à représenter, continuellement, l'action de l'outil 3 sur la matière 19 par une transformation de l'état du 10 " modèle matière ouvragée " M4. Dans ce cas, il est possible pour du contrôle dimensionnel de comparer le " modèle matière ouvragée " M4 et le " modèle mère " M1, afin d'établir une carte tridimensionnelle des erreurs. Une autre utilisation de ce résultat est le suivi au cours du temps de l'évolution du travail. Une troisième façon, mais non exclusivement, consiste, à partir des mesures de position de l'outil 3 fournies par le système métrologique 4, à spécifier les éléments pour la génération d'un mouvement de référence en vue de sa ré-exécution par un système automatique tel qu'un robot. En réalité ce dispositif pourra se présenter comme un outil de conception et/ou un outil pédagogique et ludique. Il s'agit donc bien des besoins attendus par des métiers, notamment dans les domaines des arts plastiques, du design, de l'usinage industriel, du paramédical, du chirurgical mais non exclusivement. Ainsi l'exemple cité dans les schémas annexés démontre l'utilisation du dispositif dans le domaine des arts plastiques (reproduction de sculpture numérisée). Il va de soi que l'invention ne se limite pas à cette forme de réalisation, mais au contraire, l'invention peut embrasser d'autres variantes que les différents domaines 30 impliquent. Comme illustré sur la figure 1, le dispositif est constitué principalement des éléments suivants: - un opérateur 1. - un poste de travail 9, auquel est associé un repère tridimensionnel absolu Ri, composé d'un support matière, modélisé par un repère tridimensionnel R3, d'un système d'étalonnage outil 16 modélisé par un repère tridimensionnel R2 5 et d'un ensemble d'objets cible 20 utilisé pour le recalage, respectivement défini par rapport au repère tridimensionnel absolu Ri. - un calculateur (de type micro-ordinateur) 2 intégrant les données des modèles et de leurs effets. - un outil 3 modélisé par un repère tridimensionnel R4 disposé sur un système métrologique 4 (un bras articulé ou suiveur) associé à un repère tridimensionnel R5 défini par rapport au repère tridimensionnel absolu RI, délivrant continuellement au calculateur 2 les informations relatives à la position et 15 l'orientation de l'outil 3. - un générateur de stimuli 5 composé de canaux optique 6, acoustique 7 et/ou haptique 8 informant l'opérateur 1 de l'effet de ses gestes sur la matière 19. Suivant la figure 1 le calculateur de type micro-ordinateur 2 qui 20 intègre les données des modèles numériques et de leurs effets comprend une partie matérielle, constituée de circuits électroniques hautement intégrés, et des logiciels. La fonction d'un ordinateur se limite à ordonner, classer, calculer, trier, rechercher, éditer, représenter des informations qui ont au préalable été codifiées selon une représentation 25 binaire. Comme on peut le voir sur la figure 1 le dispositif est constitué, dans son système métrologique 4, d'un bras de mesure à plusieurs degrés de liberté informant continuellement le calculateur 2 de tous les déplacements de l'extrémité libre induits par le geste manuel. A partir 30 de ces informations, le calculateur 2 met à jour l'ensemble des modèles. La première fonction du système métrologique 4 est de servir à la mesure des repères tel que le repère matière R3, le repère R2 du système étalonnage outil 16, afin de réaliser l'étalonnage du poste travail 9. Grâce à l'ensemble des objets cible 20, la position du système métrologique 4 est modulable permettant ainsi l'augmentation de l'espace d'intervention au-delà de son propre volume de travail. Le système métrologique 4 a pour deuxième fonction de servir à la 5 mesure, de manière continue, de la position et de l'orientation d'un outil 3 par rapport à la matière ouvragée 19. L'outil 3 destiné à ouvrager la matière 19 est lié de manière rigide au système métrologique 4. Il peut être constitué de fraise, de disque, de spatule sphérique ou de tout autre outil de travail selon les 10 applications et les matériaux choisis. Grâce à la mesure, l'effet de l'outil 3 est traduit dans le " modèle matière ouvragée " M4 au travers du " modèle outil " M3 en s'appuyant sur le " modèle mère " Ml placé dans le " modèle matière à ouvrager " M2. Le système métrologique 4 pourrait être un système de 15 localisation de type " suiveur " optique ou magnétique, préférable pour certaines applications ou pour certaines phases de travail. Le système métrologique 4 doit être manipulable manuellement et de façon libre. Dans le cas de l'utilisation d'un bras de mesure et pour plus de 20 maniabilité, le système métrologique 4 est équilibré par un système de rappel réglable, tel un équilibreur ou sustentateur 10, conférant aux gestes de l'opérateur une fluidité accrue. Cet ensemble de sustentation 10 est installé au-dessus du bras grâce à une potence rotative 1 1 dont l'axe de rotation est aligné sur l'axe de base du bras de mesure. Dans les exemples représentés sur la figure 1 le dispositif est constitué d'un poste de travail 9 qui est un système rigide permettant à l'opérateur le réglage de la hauteur du support matière. Le système d'étalonnage outil est composé d'un trièdre 16 servant de référence dans l'étalonnage des outils 3 installés au bout du bras. Le générateur de stimuli 5 piloté à distance par l' opérateur 1 grâce à un dispositif 12 monté sur le système de métrologie 4 met à disposition de celui-ci des stimuli optique 6, acoustique 7 ou haptique 8 utilisés séparément ou en combinaison. Selon une possibilité et suivant la figure 2, un stimulus optique peut être une projection vidéo 6 des modèles numériques sur une ou plusieurs vues 13 et 13' caractérisées entre autres par un point de vue et un facteur d'échelle programmables par l'opérateur 1, dans lesquels 5 l'outil 3 est représenté continuellement et dans tous ses déplacements, affiché d'une sphère de réaction 14 programmable en fonction du facteur densité/échelle du matériau à ouvrager, la représentation de celui-ci est enrichie par la matérialisation de l'axe du support 15 de l'outil et de la trajectoire 20 la plus courte séparant l'outil du contact 10 possible ponctuel le plus proche dans le " modèle mère " Ml. Une particularité importante de la visualisation est d'être localement de meilleure définition 21, par un réglage de certaines caractéristiques telles que l'habillage surfacique ou la lumière, à l'exact déroulement des mouvements de l'outil dans l'espace, permettant à l'opérateur 1 15 l'interprétation continuelle des situations de l'outil M3 par rapport au " modèle mère " Ml et à la forme ouvragée dans la matière 19. Selon une autre possibilité, un stimulus acoustique est transmis par des sons modulables 7 fig.3 et reçu dans un casque 7' fig.1; ces sons sont réglables en fréquence et en amplitude. La fréquence est 20 déterminée, continuellement pendant le travail de la matière, en fonction de la distance de l'outil et de sa réserve M3 au contact possible ponctuel le plus proche calculé dans le " modèle mère " M1. Les échelles de fréquence et de distance sont programmables par l'opérateur. L'amplitude est réglable manuellement en fonction du niveau sonore 25 dans l'environnement du poste travail. Selon une autre possibilité, un stimulus haptique 8 peut être généré par un rappel en effort en fonction de la distance de l'outil et de sa réserve M3 au contact possible ponctuel le plus proche calculé dans le " modèle mère " M1. Le rappel en effort pourrait être assuré par un 30 système constitué d'un bracelet 17 positionné sur le poignet de l'opérateur 1 ou sur le système métrologique 4 relié par un lien souple 18 à une motorisation qui exerce une force de rappel de façon progressive jusqu'à ce que l'extrémité de l'outil M3 atteint un point de l'enveloppe du " modèle mère " M 1. Au vu de cela, l'invention concerne un procédé d'aide et 5 d'apprentissage du geste manuel d'un opérateur pour le travail d'une matière en ce qu'il comprend d'une part les éléments suivants: - une représentation numérique de la forme à atteindre (nommé " modèle mère " Ml), - une représentation numérique de la matière à 10 ouvrager calée selon un repère tridimensionnel absolu Rl (nommé " modèle matière à ouvrager " M2), - une représentation numérique de l'outil issue d'une étape d'étalonnage (nommée a modèle outil " M3), - une matière à transformer 19 calée selon un repère 15 tridimensionnel absolu R1, - des moyens d'informations et d'actions tels que décrit dans le dispositif, et d'autre part les étapes suivantes: Etape 1: la création du " modèle mère " MI a pour but de 20 convertir l'enveloppe géométrique du volume à reproduire en coordonnées tridimensionnelles pouvant être manipulées par un ordinateur. Un modèle numérique crée peut être enrichi, simplifié ou sectorisé selon les besoins spécifiques à chaque métier. Cette étape peut être réalisée indépendamment des autres étapes. Etape 2: l'étalonnage du poste de travail 9 permet de spécifier, par des mesures réalisées dans le repère tridimensionnel absolu Rl, d'une part le repère tridimensionnel R3 du support matière et le repère tridimensionnel R2 du système d'étalonnage outil, et d'autre part le repère tridimensionnel R5 du système métrologique. Etape 3: la création du " modèle matière à ouvrager " M2 est obtenue soit par l'acquisition des données numériques d'un volume extérieur préexistant, soit par la détermination du volume à travailler correspondant à l'enveloppe extérieure du volume à reproduire. Etape 3: l'étalonnage de l'outil 3 consiste en s'appuyant sur une surface de référence 16 du système d'étalonnage préalablement calée dans le repère tridimensionnel absolu RI à déterminer certains des paramètres du " modèle outil " M3 tels que la longueur, l'excentricité et 5 à préciser les autres paramètres tels que la sphère de réaction. Cette étape nécessite que 1 'étalonnage du poste de travail 9 soit réalisé. Etape 4: le placement du " modèle mère " M1 par rapport au " modèle matière à ouvrager " M2 permet un positionnement assisté par ordinateur de la représentation numérique de la forme à atteindre à 10 l'intérieur de la représentation numérique du bloc de matière à ouvrager. Le paramétrage de la position, de l'orientation et de l'échelle de la forme à atteindre par rapport au bloc de matière permet un placement rapide pour réaliser des reproductions à l'identique (échelle 1) ou avec agrandissement (échelle > 1) ou avec réduction (échelle Etape 5: le travail de la matière peut être réalisé selon deux approches possibles: la création de forme en taille directe qui nécessite que les trois étapes 2, 3 et 4 soient accomplies, la reproduction qui nécessite les quatre étapes 1, 2, 3 et 4. L'opérateur 1 ayant préalablement choisi et réglé les stimuli 5 (6, 7 et 8) qu'il souhaite avoir 25 en retour, la position et l'orientation de l'outil 3 dans l'espace sont traitées à tout instant par le calculateur 2 qui, à partir de la connaissance des différents modèles Ml, M2, M3 et M4, calcule les grandeurs caractéristiques (collisions, distance minimale, volume balayé) de l'effet de l'outil 3 sur la matière 19. Cet effet est ensuite 30 traduit sous la forme de stimuli 5 envoyés à l'opérateur. Entre autres, grâce à la visualisation 6 sur plusieurs vues, l'opérateur peut connaître, à tout moment, d'une part la position de l'outil 3 par rapport à la forme à atteindre M1 et d'autre part l'effet de l'outil sur la matière au travers de l'évolution du " modèle matière ouvragée " M4. L'opérateur a la possibilité de suspendre à tout moment le travail de la matière pour analyser les résultats fournis par les modèles 5 numériques de la matière ouvragée (M4) et du geste (M5) et/ou changer d'outils 3 en fonction de l'évolution du travail réalisé et/ou sauvegarder sur le calculateur 2 l'ensemble des informations traduisant l'état d'avancement de son travail. Le changement d'outil 3 implique la réalisation d'un étalonnage 10 de l'outil (cf. étape 3) afin de déterminer les paramètres du nouvel outil 3. Cette étape étant réalisée, la propagation des changements identifiés est faite automatiquement et la reprise du travail de la matière 19 est rendue possible. L'opérateur 1 devra réaliser sur la matière 19 les mêmes 15 opérations que celles habituellement pratiquées par son métier. L'une des principales difficultés incontournable pour obtenir un travail de la matière de grande qualité est la transcription mentale de la forme à atteindre dans la matière que doit réaliser en permanence l'opérateur. Grâce à l'adaptation des différents stimuli envoyés à l'opérateur en 20 fonction de la position de l'outil par rapport à la matière, l'opérateur reçoit une assistance permanente dans son geste dont la qualité est indépendante des conditions ambiantes de l'environnement de travail. Ceci décharge l'opérateur du travail de transcription mentale et lui permet de se concentrer sur le travail de la matière rendue 25 transparente. Le dispositif possède des moyens de mesures qui permettent un apprentissage du geste à des fins d'entraînement, pédagogiques, d'analyse du geste ou de programmation de systèmes robotiques, entre autres. Il REVENDICATIONS 1. Dispositif d'aide et d'apprentissage du geste manuel assisté par ordinateur continuellement pendant le travail d'une matière, constitué principalement d'un référent (R3) de la matière à ouvrager (19) défini selon un repère absolu (RI), d'un poste de travail (9) équipé d'objets cible (20) ayant pour fonction le recalage du système métrologique (4) après son déplacement, un système d'étalonnage outil (16), des outils (3) pour ouvrager la matière (19), un repère absolu (R1) 10 servant de référent au calculateur (2), un calculateur (2) réalisant l'acquisition, la mémorisation et le traitement des informations issues du système métrologique (4) et propageant continuellement au(x) modèle(s) numérique(s) (M3, M4, M5) l'effet des déplacements de(s) l'outil(s) (3) dans la relation à la matière à ouvrager (19), un ou 15 plusieurs système(s) métrologique(s) (4) ayant pour fonction de mesurer la position de manière continue d'une part de(s) l'outil(s) (3) et d'autre part de la matière (19), un générateur de stimuli (5) informant l'opérateur (1) continuellement de la position de l'outil (3) relativement à la matière (19) par une augmentation de la réalité des actions/réactions 20 que son métier implique, au travers un choix de retours sensoriels multiples et simultanés. 2. Dispositif selon la revendication 1, caractérisé en ce que le système métrologique (4) est un bras articulé de mesure ou un système de localisation portant l'outil (3), est équilibré par un système de 25 sustentation réglable (10), tel q'un équilibreur, conférant aux gestes de l'opérateur (1) une fluidité accrue. 3. Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que la position du système métrologique (4) est modulable et identifiable à l'aide de l'ensemble des objets cible 30 (20) mis en place sur le poste de travail (9), permettant ainsi l'augmentation de l'espace d'intervention au-delà du volume de travail du système de métrologie. 4. Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce qu'à chaque instant les déplacements mesurables de la matière (19) sont pris en compte afin de permettre le maintien de l'action de l'outil (3) sur la matière (19) grâce à la mise en 5 concordance continuelle des différents modèles avec le repère absolu (Ri). 5. Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que l'ensemble des mesures de position de l'outil (3) fourni par le système métrologique (4) est mémorisé, 10 retraité et transcrit à un système automatique tel qu'un robot, pour la génération d'un mouvement de référence en vue de sa ré-exécution. 6. Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que le générateur de stimuli (5) fournit des retours sensoriels de type vues multiples (13 et 13' à échelles 15 variables des modèles numériques dans lesquelles l'outil (3) est représenté, dans tous ses déplacements, affiché d'une réserve de réaction (M3) programmable en fonction du facteur densité/échelle du matériau à ouvrager, 7. Dispositif selon l'une quelconque des revendications 20 précédentes caractérisé en ce que le générateur de stimuli (5) fournit des retours sensoriels de type sonores (7 et 7), de type vibrations et / ou un rappel en effort qui ont une intensité variable et progressive en fonction de l'approche progressive de l'outil et de sa réserve (M3) dans le modèle numérique (MI) au niveau du contact possible ponctuel le plus 25 proche. 8. Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que la représentation de l'outil (M3) dans les vues (13, 13' est enrichie par la matérialisation de l'axe du support de l'outil (15) et de la trajectoire la plus courte (22) séparant le modèle 30 outil (M3) du contact possible ponctuel le plus proche dans le modèle numérique (M1). 9. Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que la visualisation du modèle numérique de la forme à atteindre " modèle mère " (Ml) est localement de meilleure définition (21) , et est prédéfinie par certaines caractéristiques telles que l'habillage surfacique ou la lumière, à l'exact déroulement des mouvements de l'outil (3) dans l'espace. 10. Procédé itératif action/information pour l'aide et l'apprentissage du geste manuel assistés continuellement par 5 ordinateur (2) pendant le travail d'une matière (19), caractérisé en ce qu'il comprend les étapes consistant à définir le(s) système(s) référentiel(s) (RI, R2, R3, R5) en vue de l'étalonnage du poste de travail (9), définir le(s) modèle(s) numérique(s) de la forme à atteindre " modèle 10 mère " (Ml) et de la matière à ouvrager (M2) par rapport à un référent (R3) connu à tout instant par rapport à un repère absolu (Ri), établir le placement du ou des modèles numériques de la forme à atteindre (MI) dans le(s) modèle(s) numérique(s) de la matière à ouvrager (M2), définir le modèle numérique (M3) de l'outil (3) spécifié par les paramètres physiques et géométriques (réserve de réaction, diamètre de l'outil, excentricité, etc.) destiné à ouvrager la matière (19) en étalonnant celui-ci par appui sur un repère (R2) connu à tout instant par rapport à un repère absolu (Ri), obtenir les informations nécessaires pour connaître la position de l'outil (3) par rapport au modèle numérique (Ml) de la forme à atteindre. obtenir une mise à jour quasi simultanée du modèle numérique de la matière ouvragée (M4) en fonction de l'effet de l'outil (3) sur la matière (19) qui est induit par le geste manuel de l'opérateur (1), obtenir une analyse quasi simultanée des résultats du travail fourni par les modèles numériques de la matière ouvragée (M4) et du geste (M5).