Brevet FR2808366A1 — publié le 20011102

" Procédé et système d'apprentissage en réalité virtuelle, et application en odontologie " DESCRIPTION La présente invention concerne un procède d'apprentissage en réalité virtuelle. Elle vise également un système d'apprentissage mettant en #uvre ce procédé, ainsi que son application en odontologie, notamment pour la formation et la modélisation de stratégies thérapeutiques. Dans le cadre de la formation des étudiants chirurgie dentaire, l'apprentissage des gestes opératoires de base est effectué le plus souvent sur des dents naturelles prélevées post-mortem. Celles-ci, rares et chères, sont d'un approvisionnement difficile qui grève lourdement le budget des Facultés et centres de formation. Par ailleurs, l'origine de ces dents, souvent incertaine expose leurs utilisateurs à des risques de contamination inacceptables. Des dents artificielles sont commercialisées, mais les plus économiques sont réalisées dans une matière homogène ne traduisant pas la structure de la dent (émail, dentine, pulpe), tandis que les dents artificielles hétérogènes, plus fidèles, sont difficilement accessibles car dépassant les budgets formation. Plus généralement, tout apprentissage de techniques de traitement mécanique, à des fins thérapeutiques ou industrielles, impliquant des actions irréversibles sur des objets solides, telles que des actions de perçage, forage grattage, gravure, peut être concerné par le problème de l'approvisionnement en objets à traiter. La société Denx Ltd commercialise une station de travail dentaire en réalité virtuelle appelée DentSim, comprenant un simulateur de patient pourvu de capteurs reliés à un ordinateur, un équipement complet de soins dentaires et des outils logiciels procurant à son utilisateur une représentation tridimensionnelle des mâchoires du simulateur de patient. Le brevet US5688118 détenu par la société Denx Ltd divulgue ainsi un système de simulation graphique, sonore et sensation en odontologie, comprenant un outil portatif de fraisage comportant un capteur tridimensionnel prévu pour fournir au système la position et orientation spatiales de l'outil de fraisage, et unité de traitement et d'affichage de données. L'utilisateur de ce systeme de simulation opère sur des dents artificielles disposées dans des mâchoires artificielles un mannequin simulant un patient. Ce système comprend outre des moyens pour contrôler le flux d'air comprimé fourni à l'outil de fraisage et pour commander de cette façon sa vitesse de rotation afin d'imiter le bruit et sensation correspondant à une opération de fraisage à travers des couches de la dent de différentes duretés. Si un tel système peut effectivement procurer des moyens d'apprentissage pour la formation en odontologie, il 'en demeure pas moins qu'il présente structure complexe impliquant notamment une installation d'alimentation en air comprimé, ce qui induit nécessairement un coût élevé qui ne le rend pas nécessairement accessible à tous les centres de formation en odontologie. Un but principal de l'invention est de remédier à ce problème en proposant un procédé d'apprentissage en réalité virtuelle qui permette à des étudiants ou professionnels en apprentissage ou en formation continue l'acquisition des bons gestes et des bonnes pratiques. et qui présente en outre un coût significativement moins élevé que celui d'une station de travail dentaire conventionnelle comportant entre autres les instruments rotatifs necessaires. Par 'lieurs, au delà des besoins en apprentissage, il existe aussi, notamment au sein des cabinets dentaires, des besoins en termes de modélisation de stratéaies thérapeutiques et interventionnelles, par exemple en orthodontie, où les traitements sont simulés sur des typodonts, et les dents artificielles soumises aux forces orthodontiques sont enchâssées dans un support de cire qui doit être ramolli à chaud. Un autre but de la présente invention est par conséquent de proposer une application logicielle de réalité virtuelle qui procure aux praticiens un outil de modélisation pour définir une stratégie d'intervention. Ces objectifs sont atteints avec un procédé d'apprentissage en réalité virtuelle, pour acquisition de gestes opératoires sur un objet, comprenant - un captage d'informations de position spatiale d'un organe réel tenu à la main, - une représentation tridimensionnelle d'un 'et virtuel sur un écran, - un traitement des informations de position spatiale pour fournir une visualisation spatiale d'un organe virtuel en correspondance avec la position spatiale effective dudit organe réel, - une fourniture d'un outil virtuel apte à opérer sur l'objet virtuel et - une modélisation d'une interaction entre ledit outil virtuel et ledit objet virtuel. Suivant l'invention, l'organe réel tenu à la main appartient à un dispositif d'interface homme-machine (IHM) haptique comprenant des actionneurs commandés de façon. ' procurer à un_ utilisateur tenant dans sa main ledit organe réel un retour d'effort lorsque ,'organe virtuel interagit avec l'objet virtuel-. Ainsi, on peut disposer d'un procédé d'apprentissage qui ne nécessite comme infrastructure matérielle qu' ordinateur ou station de travail informatique et un dispositif d'interface homme-machine haptique du type de ceux actuellement disponibles. A la différence du procédé d'apprentissage divulgué dans 1e document US5688 précité, il n'est pas nécessaire de prévoir interaction physique réelle entre un véritable outil fraisage et une dent artificielle. Dans la présen invention, la seule fonction mécanique réelle à fournir réside dans la production d'un retour d'effort sur l'organe réel d'apprentissage tenu par l'utilisateur, ce qui réduit considérablement le coût de mise en #uvre de procédé du fait de la disponibilité actuelle d'interfaces homme-machine haptiques. Le procédé selon l'invention peut en outre avantageusement comprendre une modélisation d' structure hétérogène de l'objet virtuel et une génération d'informations de retour d'effort dépendant de ladite structure hétérogène et de caractéristiques fonctionnelles de l'organe virtuel. Par ailleurs, le procédé d'apprentissage selon l'invention met en #uvre de préférence une interface logicielle entre d'une part, des fonctions de captage de position spatiale et des fonctions de commande d'actionneurs de retour d'effort réalisées au sein du dispositif d'interface haptique et d'autre part, des fonctions de modélisation et de représentation tridimensionnelle d'objets et d'outils virtuels réalisées au sein de l'ordinateur. Suivant un autre aspect de l'invention, il est proposé un système d'apprentissage en réalité ruelle pour l'acquisition de gestes opératoires sur un objet, mettant en #uvre le procédé selon l'invention, comprenant . - un organe réel pouvant être tenu à la main, - des moyens pour fournir des informations de position et d'orientation dudit organe réel, - un ordinateur agencé pour fournir sur un écran une représentation tridimensionnelle d'un objet virtuel et une visualisation spatiale d'un organe virtuel en correspondance avec la position spatiale effective dudit organe réel. Suivant l'invention, ce système comprend en outre un dispositif d'interface homme-machine (IHM) haptique incluant l'organe réel pouvant être tenu à la main et comprenant des actionneurs commandés par ledit ordinateur de façon à procurer à un utilisateur tenant dans sa main ledit organe réel un retour d'effort lorsque l'organe virtuel interagit avec l'objet virtuel. Dans une forme pratique de réalisation, le dispositif d'interface homme-machine comprend en outre une structure mécanique articulée conçue pour recevoir à l'une de ses extrémités l'organe réel. Par ailleurs, le système selon l'invention peut en outre comprendre des moyens logiciels pour fournir, à titre d'organe virtuel, un outil virtuel agencé pour opérer sur ledit objet virtuel, et des moyens pour modéliser une interaction entre ledit outil virtuel et ledit objet virtuel. De préférence, les moyens de modélisation comprennent des moyens pour modéliser une structure hétérogène de l'objet virtuel et pour délivrer aux moyens de commande des informations de retour d'effort dépendant de ladite structure hétérogène et de caractéristiques fonctionnel de l'outil virtuel. plus, le dispositif d'interface haptique peut outre coopérer avec l'ordinateur pour procurer l'utilisateur une fonction de sélection d'un outil v' 1 parmi un ensemble d'outils virtuels disponibles. ailleurs, les moyens de modélisation comprennent en @re de préférence des moyens pour modéliser un ensemble d'obj virtuels. L'organe réel peut être un stylet, qui présente caractéristiques dimensionnelles et physiques semblables à celle un outil réel. Ce stylet peut aussi être constitué par un outil réel fixé de façon amovible à l'extrémité de la structure mécanique articulée. système et le procédé d'apprentissage en réalité virtuelle peuvent être avantageusement appliqués dans le domaine de l'odontologie, dans lequel les objets virtuels sont dents et les outils virtuels sont des outils chirurgicaux. Ces dents virtuelles peuvent être insérées dans mâchoire virtuelle qui peut elle-même faire partie intégrante d'une tête virtuelle. Cette application peut tout autant concerner la formation en odontologie que la modélisation de stratégies thérapeutiques. autres particularités et avantages de l'invention apparaltront encore dans la description ci-après. Aux dessins annexés donnés à titre d'exemples non limitatifs: - la figure lA est un schéma synoptique d'un système d'apprentissage en réalité virtuelle selon l'inventi dans lequel l'organe réel est un outil de fraisage; - la figure 1B illustre un mode particulier de réalisation dans lequel l'organe réel est un stylet ; - la figure 2A est une vue en coupe simplifiée d'une t traitée dans le procédé selon l'invention ; - figure 2B est un schéma fonctionnel de génération d' retour d'effort dans un procédé de réalité virtuelle haptiaue selon l'invention ; et - figure 3 est un schéma synoptique d'un logiciel implémentant le procédé de réalité virtuelle haptique selon l'invention. On va maintenant décrire, en référence à la figure 1A, structure générale d'un système d'apprentissage en réalité virtuelle selon l'invention. Ce système S comprend un dispositif d'interface haptique 1 comprenant un bras articulé 3 comportant à son extrémité libre un organe réel 2, exemple un outil de fraisage ou une représentation factice ou copie d'un outil de fraisage, pouvant être pris la main M d'un utilisateur, et un ordinateur 6 auquel dispositif d'interface haptique est connecté. Le système d'apprentissage en réalité virtuelle sel l'invention peut avantageusement mais non limitativem-nt mettre en ceuvre le système haptique PHANTOMT"/GHOST produit et commercialisé par la société SensAble Technologies Inc, qui inclut un dispositif d'interface haptique complet à retour d'effort. Le bras articulé 3 comprend par exemple articulations 40, 41, 42 et une liaison rotative 43 à socle 3 contenant des circuits électroniques d'alimentation et de commande. Chaque articulation pourvue d'un capteur de position angulaire et d'un actionneur électrique, par exemple un actionneur piézoélectrique ou toute autre technologie de converse électromécanique pouvant procurer un retour d'effort. L'ordinateur 6 est pourvu d'un écran 7 permettant visualiser une représentation tridimensionnelle d'une dent virtuelle T et d'un outil virtuel OV en action sur cette dent virtuelle, ainsi qu'une palette P d'outils virtuels 01-04 accessibles à l'utilisateur du svstème. Il est à noter qu'on peut également prévoir que le bras articulé 30 soit pourvu à son extrémité d'un simple stylet 20 que l'utilisateur peut tenir dans sa main, référence à la figure 1B. On va maintenant décrire, en référence aux figures 2A et 2B, le traitement de la structure hétérogène d'une mis en ceuvre dans le procédé de réalité virtuelle haptique selon l'invention. On considère une dent virtuelle T dont la structure hétérogène a été préalablement modélisée spatialement en prenant en compte différentes zone internes d'une dent l'émail E, la dentine D et la pulpe P. Lors d'une action de forage F réalisée depuis le sommet de 1a dent virtuelle T, les trois zones E, D et F sont successivement traversées. Un modèle MH de la structure hétérogène est développé pour associer à chaque zone un niveau spécifique de résistance mécanique R. Lorsqu'une action réelle de déplacement du stylet outil 2 est réalisée par l'utilisateur, les capteurs du dispositif d'interface haptique 1 fournissent des informations de position spatiale du stylet-outil qui sont traitées pour déterminer le niveau d'interaction entre l'outil virtuel OV et la dent virtuelle T et pour obtenir une modélisation tridimensionnelle de la dent opérée prend en compte le modèle hétérogène MH. De cet modélisation, on peut générer des informations sur les efforts dus à la résistance variable des différentes zones 1a dent v__taelle, et ces in-orMa@-Îcns sont @_@du_@es commandes des du d #s 0 os rt__ d, ; __.terface haptique qui procure finalement à _'ut@lisa@@eur un retour d'effort. Le logiciel L développé pour l'implémentation du procédé de réalité virtuelle haptique selon l'invention dans le contexte particulier de l'odontologie, comprend par exemple en référence à la figure J, un logiciel de Pilotage d u dispositif d'interface hactique "! possédant toutes les fonctionnalisés de base nécessa-res à une application à orientation odontologique, et un logiciel LU d'interface utilisateur adapté au secteur de commercialisation du système de réalité virtuelle selon l'invention. Le logiciel de pilotage LP assure le traitemen- des informations de position reçues des capteurs, la commande des actionneurs de retour d'effort, la modé-isaticn tridimensionnelle d'une dent virtuelle, d'outils virtuels et de l'interaction dent/outil, et le calcul des retours effort. Le logiciel d'interface utilisateur LU assure la représentation. graphique tridimensionnelle des dents et outils virtuels, la gestion d'une bibliothèque de dents et outils virtuels, le contrôle de commandes graphiques telles que des commandes de zoom, translation, rotation, etc-, et la sélection d'outils virtuels dans une palette d'outils disponibles. Le stylet-outil 2 peut être de forme banalisée ou encore être de type amovible et présenter les caractéristiques dimensionnelles et p^vsiqIues !colas, matériau et surface externe ) d'un outil chirurgie dentaire. Le logiciel de pilotage permet l'affichage et la manipulation d'objets tridimensionnels en rendu réaliste, et leur modification par des outiIs virtuels. La résistance du matériau constitutif des objets rtuels est prise en compte par retour d'effort sur le bras articulé dont la manipulation est d'autant plus difficile que l'objet virtuel est résistant. L'ordinateur doit être choisi suffisamment puissant pour mettre en #uvre de manière fluide des objets tridimensionnels réalistes. A titre d'exemple non limitatif, on peut utiliser une machine de type PC, bi processeur, un processeur étant dédié aux fonction affichage tandis que l'autre processeur est dédié aux fonction de calcul. L'application du système et du procédé de réalité virtuelle haptique selon l'invention à l'odontologie implique une modélisation de l'ensemble des types de dents Traitées et d'une panoplie d'outils chirurgicaux de base odontologie. 11 s'agit notamment des fraises et des turbines à vitesse fixe ou variable, avec différents modèles de mèches de forage, ainsi que des crochets, des moules, des tétons d'ancrage (brackets) et arcs orthodontiques. Les fonctions principales qui sont assurée par le système d'apprentissage en réalité virtuelle selon l'invention peuvent comprendre: - une prise en compte d'un facteur d'échelle réglable de la représentation virtuelle par rapport au monde réel, - des fonctions d'action mécanique sur une dent virtuelle, notamment de forage, de grattage, d'ajout de matière (obturations à l'amalgame ou aux résines composites) et d'impression d'une forme avec un moule, - une représentation de la structure hétérogène de la dent avec variation. de la résistance, - une homothétie dans la représentation virtuelle relative de la dent et de l'outil, quel que soit 1e niveau de zoom, - une corrélation entre la vitesse de rotation l'outil et la diminution de la résistance, pour chaque composant de la dent : émail, dentine, pulpe. A titre optionnel, on peut également prévoir les fonctions suivantes . - une possibilité d'agrandir l'écartement de la machoire, - un retour d'effort vibratoire (buzz) sur le bras de l'utilisateur, simulant l'utilisation d'une fraise - un durcissement avec le temps d'une matière rajoutée sur une dent virtuelle, - une possibilité de composer un modèle personnalisé en sélectionnant des dents à insérer dans une mâchoire. Dans le cadre de la présente invention, une bibliothèque de dents virtuelles peut être mise en place pour couvrir les variétés de dents rencontrées dans l'exercice de l'odontologie. Ces dents virtuelles peuvent être visualisées individuellement, ou insérées dans une mâchoire virtuelle qui peut être elle-même insérAes dans un visage virtuel. Bien sûr, l'invention n'est pas limitée exemples qui viennent d'être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention. Ainsi, d'autres structures de dispositif d'interface haptique que celle qui vient d'être décrite peuvent être envisagés. Par ailleurs, on peut prévoir que le dispositif d'interface haptique soit connecté à un ordinateur distant via un ou plusieurs réseaux de communication, notamment via Internet. On peut aussi prévoir au sein du système d'apprentissage selon l'invention des moyens pour ',ettre des signaux sonores prédéterminés en réponse des interactions prédéterminées entre l'organe virtuel et l'objet virtuel. Ces signaux sonores peuvent inclure une simulation du bruit des outils réels qui peut varier en fonction notamment de la vitesse de rotation: de l' -l et de la couche p:nysiologique traversée, ou bien encore une simulation. de la réaction d'un patient en réponse au geste opératoire pratiqué. De plus, ce système peut aussi comprendre des moyens pour modéliser des effets thermiques au sein de l'objet virtuel lors d'interactions avec l'organe virtuel. REVENDICATIONS 1. Procédé d'apprentissage en réalité virtuelle, pour acquisition de gestes opératoires sur un objet, comprenant . - un captage d'informations de position spatiale d'un organe réel tenu à la main (2, 20), - une rebrésentation tridimensionnelle d'un objet virtuel sur un écran (7 ), - traitement des informations de position spatiale pour fournir une visualisation spatiale d'un organe virtuel en correspondance avec la position spatiale effective dudit organe réel (2), - une fourniture d'un outil virtuel (0V) apte à opérer sur objet virtuel (T) et une modélisation d'une interaction entre ledit outil virtuel (0V) et ledit objet virtuel (T), caractérisé en ce que l'organe réel tenu à la main (2, 20) appartient à un dispositif d'interface homme-machine (!HM) haptique (1) comprenant des actionneurs commandés de façon procurer à un utilisateur tenant dans sa main ledit organe réel (2) un retour d'effort lorsque outil virtuel (0V) interagit avec l'objet virtuel (T). 2. Procédé selon la revendication 1, caractérisé en ce qu'il comprend en outre une modélisation une structure hétérogène de l'objet virtuel (T) et génération d'informations de retour d'effort dépendant de ladite structure hétérogène et de caractéristiques fonctionnelles de l'outil virtuel (0V). 3. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce qu'il met en #uvre une -interface logicielle entre d'une part, des fonctions de captage de position spatiale et des fonctions commande d'actionneurs de retour d'effort réalisées sein du dispositif d'interface haptique et d'autre part, des fonctions de modélisation et de représentation tridimensionnelle d'objets et d'outils virtuels réalisées au sein de l'ordinateur. 4. Système (S) d'apprentissage en réalité virtuelle pour l'acquisition de gestes opératoires sur un objet, mettant en #uvre le procédé selon l'une des revendications précédentes, comprenant . - un organe réel (2, 20) pouvant être tenu à la main, - des moyens pour fournir des informations de position et d'orientation dudit organe réel, - un ordinateur (6) agencé pour fournir sur un écran (7) une représentation tridimensionnelle d'un objet virtuel (T) et une visualisation spatiale d'un organe virtuel en correspondance avec 1a position spatiale effective dudit organe réel (2), caractérisé en ce qu'il comprend en outre un dispositif d'interface homme-machine (IHM) haptique incluant l'organe réel pouvant être tenu à la main (2) et comprenant des actionneurs commandés par ledit ordinateur (6) de façon à procurer à un utilisateur tenant dans sa main ledit organe réel (2) un retour d'effort lorsque l'organe virtuel (0V) interagit avec l'objet virtuel (T). 5. Système (S) selon la revendication 4, caractérisé en ce que le dispositif d'interface homme-machine j-) comprend en outre une structure mécanique articulée (3) conçue pour recevoir à l'une de ses extrémités l'organe réel (2). 6. Système (S) selon une quelconque des revendications 4 cu S, caractérisé er qu'il- comprend en outre des moyens logiciels pour fournir, à d'organe virtuel, u__ outil virtuel ;01,') agencé pour opérer s:@_ led-@ objet vîriuel (T), et des moyens pour modéliser une interaction entre ledit outil virtuel (0V) et ledit objet virtuel (T). 7. S@,jstèrne (S) selon 1 une quel connue des re@/e-di cations _ à 6, caractérisé en que les moyens de mcdèlisatio=_ comûrennent des moyens pour modéliser une structure hétérogène de l'objet virtuel (T) et pour délivrer aux moyens de commande des informations de retour d'effort dépendant de ladite structure hétérogène et de caractér@.sti@ues fonctionnelles de l'outil-' virtuel (O`,:') . 8. Système (S) selon l'une des revendications 4 à 7, caractérisé en ce que le dispositif d'interface haptique (1) coopère avec l'ordinateur (6) pour procurer à l'utilisateur une fonction de sélection d'un outil virtuel (0V) parmi un ensemble d'outils virtuels disponibles 101- 04). 9. Système (S) selon une quelconque des revendications 4 à 8, caractérisé en que les outils virtuels comprennent un outil (0V) comprenant une pièce en rotation à vitesse réglable. 10. Système (S) selon l'une quelconque des revendications 4 à 9, caractérisé en ce que les moyens de modélisation comprennent en outre des moyens pour modéliser un ensemble d'objets virtuels. 11. Système (S) selon l'une des revendications 4 à 10, caractérisé en ce que l'organe réel est un s- et (20). . Système (S) selon la revendicat_o-1 11, caractérisé que le stylet présente des caractéristiques dimensionnelles et physiques semblables à celle d'un outil réel. 1 . Système (S) se''-on la revendication 11, caractérisé en que 1 e style- est cors ti tué par un outil réel (2) fixé de façon à l'extrémité de la structure mécanique articulée (3). 14. Système (S) selon l'une des revendications 4 à 13, caractérisé en ce qu'il comprend en outre moyens pour émettre des signaux sonores prédéterminés réponse à des interactions prédéterminées entre l'organe virtuel (0V) e` l'objet virtuel (?') . 15. Système (S) selon l'une des revendications 4 à 14, caractérisé en ce qu'il comprend en outre des moyens pour modéliser des effets thermiques au sein de l'objet virtuel (T) lors d'interactions avec l'organe virtuel (0V). 16. Application du système et du procédé selon -'une quelconque des revendications précédentes en odontologie, dans laquelle les objets virtuels sont des dents et les outils virtuels sont des outils chirurgicaux. 17. Application selon 1a revendication lé, dans laquelle des dents virtuelles peuvent être insérées dans une mâchoire virtuelle. 18. Application selon la revendication 17, dans laquelle la mâchoire virtuelle est insérée dans une tête virtuelle. 19. Application du système selon l'une quelconque des revendications 4 à 15 et du procédé selon une quelconque des revendications 1 à 3 pour la formation odontologie. 20. Application du système et du procédé selon l'une quelconque des revendications précédentes, pour la modélisation de stratégies thérapeutiques.