FR 2728982 A1 19960705 FR 9415894 A 19941229 RECONNAISSANCE AUTONIATIQUE DES TRAITS CARACIwERISTIQUES DU VISAGE ET SIMULATION D'UNE IMAGE ESTHéTIQUE D'UN OBJECTIF (VISAGE) REEL La présente invention concerne un système informatique permettant de simuler automatiquement une image esthétique d'un objectif (visage) réel par la reconnaissance des traits caractéristiques du visage. On sait qu'il existe dans la cosmétique, un certain nombre d'équipements de dessin et de coloriage manuels. Ces équipements permettent de modifier l'image initiale dun visage et d'en déduire par voie manuelle une image parfaitement esthétique. Mais ce procédé est toujours lent et parfois aléatoire. La présente invention concerne donc un procédé et un dispositif permettant de réaliser automatiquement par voie informatique, la simulation esthétique d'un objectif initial, un visage par exemple. Le système informatique mis en oeuvre est installé dans une cabine ou une console. ll comporte essentiellement un ordinateur possédant un disque dur de 420 Mo, un lecteur de CD ROM, un appareil photographique numérique et un système expert, muni dtune base de données et animé par un moteur d'inférence, c'est à dire par un puissant système déductif indépendant de la base de données. Ce système expert utilisé est de la classe zéro plus (0+). La présente invention concerne donc un procédé et un dispositif permettant de simuler par un processus automatique une image idéale, à partir de l'image réelle d'un objectif: un visage par exemple, caractérisée en ce que l'image réelle capturée par un appareil photographique numérique en couleurs est segmentée, puis en ce que l'on détermine les traits caractéristiques fins de cette image par une reconnaissance de formes, de textures et de contour et enfin ce que l'on modifie certains de ces traits en fonction de critères de décision d'un système expert doté d'une base de connaissance enrichie de plusieurs milliers de combinaisons et d'harmonies. La capture de l'image en couleurs est obtenue en quelques secondes au moyen d'un appareil photographique numérique du type ION ou d'une caméra vidéo avec sa carte d'acquisition numérique, sous un éclairage approprié issu de spots lumineux. C'est à partir de cette image, segmentée au préalable, que le procédé et le dispositif selon l'invention vont permettre de simuler l'image esthétique idéale. Le procédé comprend essentiellement trois phases: Une phase d'acquisition: on procède à l'analyse et à la reconnaissance des formes et des contours d'une image photographique numérisée en mettant en oeuvre des techniques caractérisées par le recours d'une logique déductive. Une phase de transformation conduisant à la modification des traits caractéristiques fins de l'image initiale en fonction des critères de décision établis dans une base de règles du système expert interfacé avec les outils de segmentation et de reconnaissance des formes. Une phase de restitution offrant sur un grand écran et (ou) sur du papier de format A4 la simulation esthétique recherchée. Au cours de la première phase, le logiciel du traitement de l'image va coordonner plusieurs opérations successives: Dans un premier temps, il procède à la détection et à la reconnaissance des contours. A cette fin, on considère les histogrammes des 256 niveaux de couleurs ou des 256 niveaux de gns équivalent correspondant à chaque segment élémentaire de l'image. En suivant deux directions privilégiées (verticale et horizontale par exemple) il détermine les points où les histogrammes subissent une discontinuité ou bien passent par des minima ou des maxima de manière à optimiser la méthode on déterminera les dérivées de la variance, la moyenne et le coefficient de variation des niveaux de gris de chaque ligne d'image. On arrive ainsi à préciser les formes de l'image.Ainsi par exemple, avec un visage ces opérateurs pennettent de définir non seulement sa forme mais également la forme des traits caractéristiques du visage (yeux, nez, cils, paupières, pommettes, bouches...). On utilise à cette fin des automates suiveurs de contour. On peut ainsi isoler facilement les objets par rapport au fond. On délimite ainsi les régions d'intérêt de l'image. Dans le cas présent cette binarisation peut être opérée de faucon automatique par la recherche des minima des histogrammes des niveaux de gris suivant des directions privilégiées. La reconnaissance et l'analyse des textures cutanées suit dans un deuxième temps la reconnaissance des formes. On procède notamment à l'évaluation du degré d'entropie de la texture de la peau qui tient compte de l'importance de l'organisation ou du désordre de ce tissu ainsi que de l'existence ou de l'absence de motifs spatialement répétitifs. On relève également la présence de dislocations cutanées correspondant à des cicatrices, à des traces de couperose, susceptibles d'apparaître sur l'image. Cette première phase comporte enfin une détermination des effets structuraux au cours de laquelle on évalue d'une marnière plus générale le degré d'homéomorphisme des tissus, le degré de symétrie de l'image et plus particulièrement le degré de symétrie orthogonale lorsque l'objet examiné est un visage (chilarité). Dans tous ces traitements la qualité de l'image peut être améliorée par l'élimination ou par l'atténuation des bruits. Les bruits correspondent à des fluctuations aléatoires et à des informations parasites provoquées notamment par l'éclairage. Ces bruits se présentent sous forme de pixels isolés des pixels du voisinage. De puis, ces pixels isolés ne sont pas spatialement corrélés. On obtient l'élimination de ces bruits: d'une part, par "l'érosion" qui permet d'éliminer des points extérieurs aux formes (exemple, l'élimination de points sur fond blanc). d'autre part, par la "dilatation" qui permet d'éliminer les "trous" apparaissant dans les formes. Ces transformations peuvent être contextuelles, c'est-ådire que les paramètres des opérateurs sont susceptibles de varier en fonction d'un environnement ou d'une position par rapport au cadre de l'image ou par rapport à des formes caractéristiques préalablement détectées. On atténue l'importance de ces bruits en appliquant des filtres sur l'image. Il y a lieu de classer les filtres en deux catégories. 1. Les filtres opérateurs d'intégration susceptibles d'atténuer les bruits. 2. Les filtres opérateurs de différenciation susceptibles, au contraire, de renforcer le contraste. Suivant le cas, ces filtres sont appliqués localement ou globalement sur l'image et ils doivent éventuellement tenir compte du contexte local de l'image en prenant en compte ses propriétés statistiques. Suivant le cas, ces filtres sont destinés à des operations effectuées en binaire en niveaux de gris, soit au contraire à opérer en 256 couleurs. Dans tous les cas l'application de ces filtres demande une gestion efficace des "caches" intermédiaires. Au cours de la phase de transformation de l'image originale, le procédé détermine à quel sexe appartient le visage (masculin ou féminin), si il est de type entant, adolescent, adulte, ou vieillard, ensuite apporte des améliorations de caractère esthétique en fonction de son programme de soins. Certaines particularités du visage initial sont améliorées. Ainsi par exemple, les petites rides, les cernes, les "pattes d'oies", les taches de rousseur, I'acné et la couperose sont fortement estompées. D'une façon plus générale, les traits caractéristiques du visage sont modifiés en fonction de décisions de la base du système expert. Au cours de cette phase de transformation, le logiciel analyse les couleurs dominantes qui apparaissent dans les différentes régions du visage (couleur des levures, des yeux, teint dominant de la peau par exemple etc.) et apporte, si cela s'avère nécessaire des améliorations de caractère cosmétique. Dans le cas où des données nécessaires aux inférences du système expert peuvent être incomplète ou incertaines, l'utilisation de la logique floue permet de pondérer les prémisses des règles et les règles elles-mêmes de manière à pouvoir inférer même en présence de données incomplètes ou imprécises. Des choix cosmétiques pourront être ainsi effectuées même si on ne dispose pas avec précision de toutes les données nécessaires. Au cours de la phase de décision, c'est cette image esthétique et maquillée qui va etre présentée comme la simulation de l'image idéale. La phase de restitution se traduit d'abord par l'affichage, en 256 couleurs, sur écran couleur haute définition de l'image progressivement transformée, ensuite par l'impression d'une photographie en 256 niveaux de gris grâce à une imprimante à jet d'encre ou laser, dans un format A4, et par l'édition de la feuille d'infonnation: "soins et beauté ou passeport beauté Dans l'application du procédé au visage, chaque partie du visage qui a subi des soins est directement renseignée par un commentaire scientifique et esthétique avec la description du produit à utiliser.Enfin, I'impression d'une seconde photographie en 256 couleurs de format A4 est éditée quelques minutes plus tard, grâce à une imprimante à sublimation thermique, jet d'encre ou laser, incorporée dans l'installation, révélant ainsi son nouveau visage simulé au sujet examiné. L'image simulée et les informations correspondantes sont enregistrées au moyen d'un lecteur enregistreur de carte optique numérique faisant partie de l'installation. La feuille de soins et la photographie définitive en couleurs sont éditées devant la ou le client. Toujours dans l'application du procédé au visage humain, le système expert est en mesure de simuler à la demande, des styles de maquillage adaptés aux circonstances. On peut ainsi réaliser le maquillage le mieux adapté à une reste, une soirée, soit au travail ou même au séjour au bord de mer etc. Le système expert est en mesure de simuler à la demande, et de vérifier les effets dun programme de soins de peau. Le procédé mis en oeuvre dans la présente invention sera mieux compris en se reportant à la description d'un exemple simplifié concernant un visage de femme décrit en référence à 4 figures dans lesquelles, la fleure 1 représente l'image d'un visage de femme à modifier. La flEure 2 représente une photographie du même visage sous forme informatique en 256 niveaux de gris ou 256 couleurs. la fleure 3 fait apparaître en gris foncé, les portions de l'image soumises à un premier traitement. La flEure 4 représente le visage modifié par le procédé de la présente invention, déposé sous le nom MAGIC LUMIERE. La figure 1 est l'image du visage de femme à modifier. Pour pouvoir procéder au traitement informatique de l'image, on substitue à cette image, une autre image obtenue au moyen d'un appareil photographique numérique en 256 couleurs. La figure 2 représente l'image de ce visage de femme ainsi obtenu sous forme informatique, formé de segments élémentaires, caractérisé chacun par un histogramme précisant pour ce segment élémentaire le niveau de chacune des 256 couleurs. n est alors possible de procéder à l'analyse et à la reconnaissance des formes de ce visage. On choisit alors deux directions privilégiées telles que les droites (V) et (H) de la figure (3). En suivant ces directions privilégiées, on détennine les points tels que (V; Hl) où les histogrammes subissent une discontinuité correspondant à la limite de la chevelure sombre du visage étudié. On révélera également tous les points tel que (Vl; H2) ou (V1; H5) où les histogrammes passent par des minima. En déplaçant les lignes V et H le long de l'image du visage, on définit des lignes continues représentant la forme des différents éléments du visage. On est alors en mesure de procéder à la reconnaissance et à l'analyse des textures cutanées en examinant par exemple les histogrammes des points relevés suivant les directions telles que H2, H3,.. H7. Ayant déterminé les formes et la nature des textures cutanées de cette image, on est en mesure de passer à la phase de transformation. Le logiciel va alors analyser les couleurs dominantes qui ont été mises en évidence sur certaines parties du visage. Dans ce cas présent, le logiciel analyse la couleur des yeux, des cils, des paupières, des sourcils, puis la coloration des levures Ces extraits sont alors modifiés en fonction des décisions du système expert. La figure 3 illustre ces opérations. Ayant défini les éléments à modifier (paupières, cils, sourcils), on procède à l'extraction des contours de ces éléments. De sorte que ceuxci apparaissent en gris foncé ou blanc sur l'image. On met donc en mémoire tous les pixels de ces zones pour modifier leur couleur et réaliser le maquillage recherché. La figure 4 correspond à la phase de restitution au cours de laquelle les traits caractéristiques fins de l'image initiale ont été transformés pour donner une image esthétique et maquillée. Ainsi, on note que les éléments extraits de l'image (figure3) ont été remplacés par des éléments nouveaux - les paupières et la base des sourcils ont été rendus plus clair et soulignés de bleu; les cils ont été maquillés. L'opération de restitution s'est poursuivie en modifiant le rouge des levures et leur contour. C'est cette image qui révèle son nouveau visage simulé à la cliente. On peut évidemment appliquer ce procédé et ce dispositif à la simulation d'une image esthétique d'un visage, à partir d'une simple photographie noir et blanc ou couleurs, permettant d'effectuer, à partir de la numérisation de cette photographie par un scanner de haute définition, des portraits photographiques d'un sujet en améliorant l'esthétique de ce visage par des techniques capillaires et de maquillage, I'estompage ou la rectification de certains défauts anatomiques, le changement de la couleur cutanée (bronzage), dans ce cas la base de données correspondant à la simulation esthétique du visage est complétée par une collection de règles d'esthétique concernant le maquillage, la coiflim, les techniques capillaire, la texture de la peau, et/ou la chirurgie plastique permettant ainsi de traiter simultanément le visage et la partie capillaire d'un sujet pour éditer et restituer une nouvelle image valorisante et idéale. Les applications On conçoit facilement que ce système peut recevoir de très nombreuses applications en enrichissant la base de données utilisée par le système expert en mettant en oeuvre des données spécifiques de l'application concernée: En lunetterie Le dispositif selon l'invention permet, à l'opticien lunetier, d'aider à faire le choix d'une meilleure esthétique en facilitant la superposition de différentes montures de lunettes ou de différentes lentilles de couleurs sur un visage. Cette application pouvant être mise en oeuvre directement avec le système conforme à l'invention, I'application à la technique de la lunetterie ou des instruments d'optiques peut être directement incluse dans le traitement du visage. La base de données correspondant å la simulation esthétique du visage est complétée par une collection de règles d'esthétique concernant les montures de lunettes et les instruments d'optiques (lentilles de couleurs etc.) permettant ainsi de traiter simultanément le visage et de superposer différentes montures de lunettes de manière adéquate ou différentes lentilles de couleurs sur ce visage. En sécurité Le système selon l'invention permettant de reconnaître à coup sur le visage d'une personne connue, peut être utilisé pour commander un système d'ouverture. La base de données est enrichie d'informations correspondants à tous les traits caractéristiques d'un ou plusieurs visages connues permettant de reconnaître à coup sur le visage d'une personne dite autonsee. Le système selon l'invention permet également de reconnaître un visage partiellement masqué ou totalement masqué par un tissu et de le comparer à une base de données de traits caractéristiques d'un visage, et ceci quelque soit son orientation. Un système de reconstruction 3D à partir d'images 2D dont l'orientation est inconnue permettent la reconstruction du faciès et sa représentation face et profil pour comparaison avec un fichier. La base de données est enrichie d'informations correspondants à tous les traits caractéristiques de visages permettant de reconstruire un faciès de face et de profil. A cette base de donnée est associée une autre base de donnée contenant des visages de personnels qui permettront leur comparaison avec le faciès reconstruit de face et de profil. En Photographie numérique Le système selon l'invention permet lors d'une photographie effectuée en cabine de photographie numérique d'améliorer l'esthétique et valoriser 1' image d'un sujet. La base de données correspondant à la simulation esthétique du visage est complétée par une collection de règles d'esthétique concernant le maquillage, la coiffure, les techniques capillaires et la texture de la peau permettant ainsi de traiter simultanément le visage, la partie capillaire d'un sujet pour éditer des photographies valorisantes pour le client. En traitement de photognphie Le système selon l'invention permet à partir d'une photographie du visage bun suet, fourni sur support photographique classique en noir et blanc ou en couleurs; après avoir été scannerisé par un appareil de numérisation, d'être retouché et amélioré esthétiquement. La base de données correspondant à la simulation esthétique du visage est complétée par une collection de règles d'esthétique concernant le maquillage, la coiffilre, les techniques capillaires et la texture de la peau permettant ainsi de traiter simultanément le visage, la partie capillaire d'un sujet pour éditer des portraits valorisants. En technique de remise en forme On peut ainsi visualiser à partir de l'image de l'anatomie existante du corps à traiter, les modifications à y apporter (élimination du tissus adipeux abdominal, musculation de la paroi abdominal, etc.) de sorte que la base de données du système expert est enrichie de règles concernant l'ensemble des techniques de la culture physique, les régimes alimentaires et les différentes méthodes de musculation. En dermatologie L'emploi d'un système expet du traitement de l'image cutanée en couleur permet un nouveau développement en quantifiant et qualifiant l'état de la peau grâce aux analyseurs de texture et de la distribution des couleurs. En particulier, le système d'acquisition et de traitement d'images associé à un système expert permet de réaliser un modèle d'aide au diagnostic et de suggérer la nature du traitement à effectuer (pommade ect.) En outre, le dispositif permet au dermatologur d'apprécier plus facilement l'évolution de l'affection et de constater sans difficulté les changements de coloration des taches cutanées susceptibles de se cancériser, les naevi, les cicatrices en évolution, les escarres, les troubles vasomoteurs, les affections des muqueuses etc. La base de données du système expert est enrichie d'informations correspondants à un ensemble d'affectations, accompagnées d'exemples des traitements permettant de suggérer la nature du traitement à effectuer. En chirurgie plastique On peut ainsi visualiser à partir de l'anatomie existante du corps ou du visage à traiter, les modifications à y apporter telles qu'un lifting, une rectification du nez une transformation du maxillaire, une rectification du bec de lièvre, la disparition de la culotte de cheval etc. La base de données du système expert est enrichie de règles concernant l'anatomie. Le logiciel simule alors les modifications à apporter, ainsi que l'aspect fttur du visage ou de la partie du corps traitée. Après cicatrisation, cette dernière image doit être comparée au résultat obtenu afin de voir s'il y a encore lieu de procéder à quelques rectifications complémentaires. En coiffure et en techniques capillaires Le dispositif selon l'invention permet d'aider à faire le choix dune meilleure esthétique en facilitant la superposition de différents types de coiffures et de différentes coloration de cheveux sur un visage. La technique capillaire peut être directement incluse dans le traitement du visage. La base de données du système expert correspondant à la simulation esthétique du visage est complétée par une collection de règles d'esthétique concernant la coiffixre et la couleur des cheveux permettant ainsi de traiter simultanément le visage et la partie capillaire d'un sujet. En morphopsychologie Le dispositif selon l'invention permet d'observer et de lire avec minutie un visage, les rides et les ridules, l'équIlibre entre la partie supérieure et inférieure, la taille et la forme du nez, du lobe des oreilles et des commissures des levures, etc., ainsi il est possible de déceler et de déterminer la personnalité d'autrui. Cette application pouvant être mis en oeuvre directement avec le système selon I'invention La base de données du système expert est enrichie d'un ensemble de techniques correspondants à l'observation des visages complété par celles des psychologues, des psychiatres et des anatomistes dans ce domaine. REVENDICATIONS 1 Procédé de simulation de l'image esthétique idéale à partir de l'image photographique numérique en couleurs d'un visage réel, caractérisé en ce qu'après une segmentation de l'image, on procède au cours d'une premiére phase d'acquisition à la détermination des traits caractéristiques fins du visage et de sa structure cutanée puis au cours d'une phase de transformation, on procède d'une part à l'amélioration esthétique des traits caractéristiques de l'image initiale et d'autre part à la modification de certaines des couleurs de ia structure cutanée, en fonction des critères de sélection, déterminés par un système expert de classe zéro + animé par un moteur d'inférence en s'appuyant sur une base de données enrichie de plusieurs milliers de combinaisons de formes et d'harmonies de couleurs. 2. Procédé suivant la revendication (1), caractérisé en ce qu'après avoir déterminé les histogrammes des niveaux de couleurs des segments du visage, on procéde suivant le programme du système expert à une reconnaissance des structures du visage en recherchant suivant deux directions privilégiées les lieux de discontinuité des histogrammes des niveaux de couleur. 3 Procédé selon les revendications (1) et (2), caractérisé en ce que la reconnaissance des contours et de l'image est obtenue par l'analyse des couleurs ou des niveaux de gris équivalents correspondant à chaque segment élémentaire de l'image. 4. Dispositif de simulation électronique d'une image esthétique selon la revendication (1) comprenant un système informatique disposé dans une cabine ou sur une console, au moins un appareil de photographie numérique en couleurs doté de spots lumineux, un écran couleur, au moins une imprimante et enfin un lecteur enregistreur de carte optique, caractérisé en ce que le système informatique assurant le traitement de l'image comprend un ordinateur doté d'un disque dur d'une capacité égale au moins à 420 MO, associé à un lecteur de disque du type CD ROM et en ce que les appareils de photographie numérique en couleurs permettent d'obtenir au cours d'une première phase une photographie réelle numérique en 256 couleurs de l'image réelle d'origine, tandis que l'image esthétique transformée suivant les critères de décision du système expert zéro + est affichée sur un écran en couleurs à haute définition. 5. Dispositifs selon la revendication (5) caractérisé en ce que apres l'affichage de l'image transformée sur un écran couleur, I'imprimante à jet d'encre fournit une photographie à 256 niveaux de gris, puis une deuxiéme imprimante à sublimation thermique, à jet d'encre ou au laser procède à l'impression d'une seconde photographie en 256 couleurs de format A4. 6. Procédé et dispositif de simulation d'une image selon les revendications (5) et (6) appliqué à la chirurgie plastique permettant à lui apporter sous forme d'un lifting, d'une rectification de nez, de la disparition de la culotte de cheval caractérisé en ce que la base de données associée au système expert est enrichie de régles concernant l'anatomie et la technique chirurgicale correspondante.