FR 3015741 A1 20150626 FR 1363400 A 20131223 Procédé d'analyse d'images du visage pour la détection d'un effet flush. L'invention a pour domaine technique l'analyse de peau, et plus particulièrement l'analyse de l'évolution des paramètres colorimétriques de la peau. L'invention a pour objet un procédé d'analyse d'images du visage d'un être humain comprenant les étapes suivantes : on réalise l'acquisition d'au moins une image du visage de sorte que le nez, les yeux et les joues soient alignés sur des repères préexistants, on détermine les composantes de l'image dans au moins une zone du visage, on compare les composantes à des valeurs mémorisées, et on détermine la présence d'un effet flush si les composantes sont supérieures aux valeurs mémorisées. Les zones du visage peuvent être les joues. Les composantes peuvent être les composantes colorimétriques L*, a*, b*. Les valeurs mémorisées peuvent être les valeurs des composantes colorimétriques déterminées à une date antérieure pour le même visage. On peut déterminer la présence d'un effet flush si la composante colorimétrique associée à la couleur rouge est supérieure à la valeur mémorisée associée à la couleur rouge. On peut réaliser l'acquisition d'images par l'intermédiaire d'un téléphone intelligent. On peut réaliser l'acquisition alors que le sujet tient une mire colorimétrique par l'intermédiaire de la bouche, afin de corriger les composantes colorimétriques. On peut acquérir au moins un parmi la température, la pression atmosphérique, la luminosité ambiante et l'hygrométrie, afin de corriger les composantes colorimétriques d'un effet de l'environnement sur le visage. D'autres buts, caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante, donnée uniquement à titre d'exemple non limitatif et faite en référence aux dessins annexés sur lesquels : - les figures la et lb illustrent des exemples de photographies acquises avec deux systèmes d'acquisition différents, - les figures 2a, 2b, 3a et 3b illustrent le fonctionnement d'un logiciel d'acquisition, - les figures 4a, 4b et 4c illustrent des mires colorimétriques, - les figures 5a et 5b illustrent deux vues d'un support de mire colorimétrique, - la figure 6 illustre les zones analysées sur une photographie, - les figures 7, 8 et 9 illustrent l'évolution de respectivement des paramètres L*, a* et b* en fonction du temps sur 20 jours, - les figures 10, 11 et 12 illustrent l'évolution de chaque paramètre colorimétrique pour la moyenne des deux joues par jour, - les figures 13 à 15 illustrent l'évolution de l'ensemble des paramètres colorimétriques indépendamment pour chaque joue, - les figures 16 à 18 illustrent l'évolution colorimétrique globale du visage (joue droite et joue gauche confondues), - les figures 19a, 19b, 20a et 20b illustrent l'évolution de la couleur de la peau sous l'effet du bronzage, - les figures 21, 22 et 23 illustrent l'évolution colorimétrique de chaque joue, - les figures 24, 25 et 26 illustrent l'évolution colorimétrique globale, - les figures 28a et 28b illustrent des photos avec un niveau de luminosité ambiante très important, - la figure 29 illustre l'évolution du taux d'hygrométrie au cours du temps, - la figure 30 illustre l'évolution de la température au cours du temps, - la figure 31 illustre l'évolution de la pression atmosphérique au cours du temps, - la figure 32 illustre les différences de luminosité ambiante observées sur les acquisitions d'une autre personne, - la figure 33 illustre le taux d'hygrométrie en fonction de temps sur les acquisitions d'une autre personne, - la figure 34 illustre la température en fonction de temps sur les acquisitions d'une autre personne, - la figure 35 illustre l'évolution de la pression atmosphérique au cours du temps sur les acquisitions d'une autre personne, - la figure 36 illustre l'évolution de la luminosité ambiante, - la figure 37 illustre des photos acquises avec une luminosité ambiante dépassant les 4000 lux, - les figures 38a, 38b, 39a et 39c illustrent l'influence de l'inclinaison verticale lors de l'acquisition d'une photographie, et -les figures 40a et 40b illustrent deux objectifs déportés et connectés. 1. Introduction Le but de cette étude est de définir un protocole technique permettant l'analyse de l'effet flush sur le visage. Le but étant de quantifier la modification de couleur du visage, qui devient plus rouge, pendant cet effet flush. La finalité étant de conduire une étude clinique pour montrer la diminution de ces effets avec la prise d'un principe actif spécifique. Nous avons, tout d'abord, conduit une première étude au mois de juin qui nous a permis de définir le système portable le plus optimal pour l'acquisition de photos en mode portrait. Il a alors été décidé d'utiliser deux systèmes distincts : - Samsung Galaxy S4 - Samsung Galaxy S4 Mini Le but de cette nouvelle étude est de caractériser les deux systèmes d'acquisition choisis et de valider la sensibilité d'acquisition en fonction des conditions d'illumination et de l'environnement de la prise de vue. Après une description des spécifications des deux systèmes et du logiciel d'acquisition SmartCam développé spécifiquement pour cette application, nous présenterons le protocole d'acquisition et les méthodes d'analyse. Enfin, nous exposerons les résultats, les problèmes rencontrés et les solutions et préconisations envisagées. 2. Spécifications des systèmes d'acquisition Pour effectuer l'ensemble des acquisitions, nous avons utilisé deux smartphones (téléphone intelligent, en langue française) Samsung Galaxy S4, ainsi qu'un téléphone Samsung Galaxy S4 Mini qui a un encombrement plus réduit mais des performances un peu plus faibles que le Samsung Galaxy S4. Avec le S4 Mini, la résolution de l'appareil photo est légèrement plus faible et l'ensemble des capteurs d'humidité, température, hygrométrie ne sont pas présents. Le tableau 1 suivant comprend les caractéristiques du Samsung Galaxy S4 : Marque Samsung Model Galaxy S4 Dimensions 136.6 x 69.8 x 7.9 mm Poids 130 g Résolution Caméra 2.1 MPixel frontale (1920x1080) Résolution caméra 13 MPixels dorsale Operating System Android Téléphone Oui GPS Oui Capteurs Proximité Lumière Thermomètre ambiante Hygromètre Baromètre Accéléromètre Gyroscope à 3 axes Magnétomètre Tableau 1 Le tableau 2 suivant comprend les caractéristiques du Samsung Galaxy S4 Mini : Marque Samsung Model Galaxy S4 Mini Dimensions 124.6 x 61.3 x 8.9 mm Poids 107 g Résolution Caméra 1.9 MPixels frontale (1392x1392) Résolution caméra 8 MPixels dorsale Operating System Android Téléphone Oui GPS Oui Capteurs Proximité Accéléromètre 3 axes Gyroscope à Magnétomètre Tableau 2 Afin de comparer les deux systèmes, nous avons réalisé une série de photos dans les mêmes conditions d'éclairage et à quelques secondes d'intervalles avec le Samsung Galaxy S4 et le Samsung Galaxy S4 Mini. Les figures la et lb présentent des exemples de photos acquises avec les deux systèmes, la figure la étant acquise avec le Samsung Galaxy S4 Mini (1393x1393) et la figure lb étant acquise avec le Samsung Galaxy S4 (1080x1920). On observe alors que la résolution du Galaxy S4 Mini est carrée (1393x1393 pixels) et nécessite de se positionner un peu plus loin de l'objectif par rapport au Galaxy S4 (1080x1920pixels). Le fait de se positionner plus loin de l'objectif entraîne une diminution des distorsions optiques (effet fish eye) qui sont légèrement visibles avec le Samsung Galaxy S4. L'analyse des photos étant axée sur des analyses non morphologiques, cela n'a pas d'effets négatifs. Par contre, on note que dans le même environnement d'acquisition, le Galaxy S4 prend des photos plus lumineuse et que le brillant est lui aussi plus nettement visible sur la peau. Les images sont également plus contrastées avec le Galaxy S4 en comparaison de celles acquises avec le Samsung Galaxy S4 Mini. Et les détails sont aussi plus visibles avec le Galaxy S4 que sur le Galaxy S4 Mini. 3. Le logiciel SmartCam Pour les besoins de cette étude, Newtone a développé un logiciel spécifique fonctionnant sur Android. Le logiciel permet notamment : - De définir, au début de l'étude, 2 axes horizontaux sur la photo en mode live permettant d'aligner les yeux et la bouche du sujet - De permettre le repositionnement rapide du sujet à l'aide de ces 2 axes horizontaux et d'un axe vertical - De stocker les images acquises en haute définition (résolution maximale de l'appareil) au format JPEG - De stocker les données relatives à chaque prise d'image comme la date et l'heure mais aussi les informations des différents capteurs : luminosité ambiante, pression atmosphérique, température, hygrométrie et inclinaison verticale. Au lancement du logiciel, le mode « live » s'affiche directement avec les axes horizontaux et l'axe verticale (figure 2a). Ces axes ont été définis dans la zone d'administration du logiciel au début de l'étude. L'utilisateur se positionne devant l'appareil photo et ajuste au mieux son visage pour s'aligner sur les repères. Une fois le sujet bien positionné, celui-ci appuie sur l'écran pour prendre la photo. Une nouvelle fenêtre apparaît avec la photo acquise en pleine résolution et l'utilisateur peut choisir de la conserver ou de l'annuler (figure 2b). Lorsque la photo est validée, celle-ci est enregistrée dans le dossier « Pictures / SmartCam » de l'appareil et les données relatives sont stockées dans la base de données. L'ensemble de ces données sont consultables par l'utilisateur (figure 3a). On retrouve alors la liste de toutes les photos acquises avec la date, l'heure, la luminosité ambiante et sur les appareils le permettant : la température, le taux d'humidité et la pression atmosphérique. L'utilisateur peut aussi voir les photos en plein écran avec une interface dédiée (figure 3b) avec la possibilité de zoomer sur la photo pour voir les détails. Dans la partie administration du logiciel, il est possible d'exporter l'ensemble des données stockées dans la base de données pour générer un fichier texte formaté pour être importé facilement dans Microsoft Excel. 4. Mires de calibration Afin de quantifier les dérives d'éclairement et de les corriger en fonction des différents environnements d'acquisition, nous avons décidé de réaliser trois mires spécifiques (figures 4a, 4b et 4c) pour cette étude de faisabilité : - Une mire numérique 30 patchs de couleur au format 40x12mm avec des patchs de 4x4mm (Figure 4a) - Une mire uniforme grise (Figure 4b) - Une mire avec 30 patchs diffus Munsell au format 40x12mm avec des patchs de 4x4mm (Figure 4c) Nous avons également réalisé un support spécifique en CAO (figures 5a et 5b) pour permettre à l'utilisateur de positionner la mire devant sa bouche de manière reproductible. 5. Protocole d'acquisition 5.1. Principe du protocole Le protocole d'acquisition doit permettre principalement: - De valider la prise en main du logiciel d'acquisition SmartCam - De valider la qualité (résolution, rendu colorimétrique) des images résultantes - D'étudier les performances des différentes mires colorimétriques - D'analyser les variabilités d'acquisition en fonction de l'environnement. 5.2. Détails du protocole Le système d'acquisition doit être placé le plus verticalement possible devant le visage. Le visage doit couvrir l'ensemble du champ d'acquisition pour maintenir une bonne résolution. Lors de la première prise d'image, l'utilisateur doit définir les guides de repositionnement en déplaçant les curseurs rouge et vert sur les yeux et la bouche. Il ne faut pas modifier les guides de repositionnement au cours de l'étude. Il est possible néanmoins de déplacer les axes (Menu paramètre en bas à droite) au tout début de l'étude si ceux-ci ne sont pas correctement positionnés. - Positionner la mire dans votre bouche en la maintenant par la rainure avec les dents - Sur l'écran d'accueil du logiciel Smartcam : Positionnez-vous le mieux possible pour être centré par rapport à l'axe vertical et par rapport aux guides horizontaux de la bouche et des yeux - Cliquer n'importe où sur l'image pour prendre la photo - Une fenêtre apparaît avec la photo acquise, vous pouvez alors la valider si celle-ci est correcte (pas de flou, bon positionnement) ou annuler pour recommencer. Les photos acquises ne sont pas effaçables à partir du logiciel SmartCam. Les photos acquises sont consultables en cliquant sur le bouton en bas à gauche de l'écran d'accueil : La liste de toutes les acquisitions apparaît et il est possible de cliquer sur un élément pour voir la photo en résolution complète à l'écran. Il est nécessaire de bien s'assurer que la mire est présente sur chaque photo (sinon celle-ci sera inexploitable). Il faudrait, au moins réaliser ces étapes au moins pendant 10 jours consécutifs. Les prises d'images suivantes doivent se faire dans des conditions normales (pas d'effort particulier avant) et si possible à heures fixes et dans le même environnement : - 3 acquisitions de suite avec la mire le matin (lever) - 3 acquisitions de suite le midi avec la mire le midi (si possible dans le même environnement que le matin) - 3 acquisitions de suite le soir avec la mire le soir (coucher). Il sera également intéressant de réaliser d'autres prises d'images : - Au cours de la journée et dans différents lieux en extérieur et intérieur toujours avec la mire et toujours 3 fois de suite pour analyser la reproductibilité du système. - Dans des conditions particulières (après le sport, après un temps d'exposition au soleil, ...) 6. Analyse des images résultantes 6.1. Liste des images acquises Suite à l'ensemble des acquisitions réalisées pendant le mois d'août, nous disposons des photos suivantes : Laurent a réalisé 51 photos avec un Galaxy S4 Mini réparties comme suit: - 17 photos avec 3 répétitions soit 51 photos avec la mire numérique. Pierre a réalisé 168 photos avec un Galaxy S4 réparties comme suit: - 28 photos avec 3 répétitions soit 84 photos avec la mire numérique, et - 28 photos avec 3 répétitions soit 84 photos avec la mire grise. Matthieu a réalisé 450 photos avec un Galaxy S4 réparties comme suit: - 50 photos avec 3 répétitions soit 150 photos avec la mire numérique, - 50 photos avec 3 répétitions soit 150 photos avec la mire grise, et - 50 photos avec 3 répétitions soit 150 photos avec la mire Munsell. Soit un total de 669 photos à analyser. 6.2. Comparaison des différentes mires utilisées Afin de définir quelle mire est la plus performante, nous avons analysé les écarts relatifs des 3 composantes L*, a* et b* sur un ensemble de 50 acquisitions avec 3 répétitions à chaque fois. Les photos ont été acquises avec un Samsung Galaxy S4. Chaque photo a été recalée colorimétriquement par nos algorithmes de recalage colorimétrique avec ajustement des contraintes de convergence étant données les variations entre chaque condition de prise de vue qui sont très importantes. Pour les mires 30 patchs, nous avons utilisé nos algorithmes de recalage colorimétrique multi patchs alors que pour la mire grise, nous utilisons une technique de type « white point compensation ». Comparons les résultats du recalage colorimétrique avec chaque mire sur les composantes L*a*b* d'une zone définie sur chaque joue. Nous calculons alors l'écart type des valeurs moyennes des 2 joues (Tableau 3) sur les 3 répétitions après recalage colorimétrique. a(L*) a(a*) a(b*) Mire Numérique 1.44 0.77 0.21 30 patchs Mire grise 1.65 1.20 1.37 Mire Munsell 30 patchs 1.46 0.95 1.04 Tableau 3 : Ecart type relatif moyen des 2 joues avec 3 répétitions de 50 acquisitions pour chaque type de mire On constate que les écarts relatifs (Tableau 3) entre 3 répétitions après correction colorimétrique sont du même ordre de grandeur quelle que soit la mire utilisée. Les variations observées semblent moins importantes avec la mire numérique 30 patchs. En effet, celle-ci présente un pelliculage légèrement brillant qui peut optimiser la correction colorimétrique. Nous allons étudier la performance de la correction colorimétrique (Tableau 4) sur l'ensemble des 30 patchs de la mire numérique sur les 150 photos acquises (50 photos avec 3 répétitions) avec cette mire. a(L*) a(a*) a(b*) Avant recalage 6.62 6.75 9.32 Après recalage 2.64 3.61 5.14 Tableau 4 : Variabilités moyennes des 30 patchs de la mire numérique avant et après correction colorimétrique sur 150 photos On constate une diminution significative sur l'ensemble des paramètres L* a* et b*. On optimise de près de 50% la variabilité colorimétrique moyenne sur l'ensemble des teintes. Toutes les photos analysées dans le reste de cette étude seront celles qui sont recalées par rapport à la mire numérique 30 patchs. 6.3. Analyse de la sensibilité et reproductibilité d'acquisition Nous allons étudier maintenant la reproductibilité de l'acquisition avec le recalage colorimétrique. Nous avons effectué 10 acquisitions successives avec une mire colorimétrique numérique. Chaque acquisition est effectuée dans le même environnement mais la mire est retirée puis repositionnée entre chaque acquisition. Les résultats présentés sur le tableau 5 suivant tiennent donc compte de la variabilité de repositionnement de la mire. a(L*) a(a*) a(b*) Joue gauche 1.20 0.73 0.16 Joue droite 1.19 0.52 0.14 Tableau 5 : Variabilités moyennes sur les paramètres colorimétriques des joues sur 10 photos prises successivement dans le même environnement. On constate que les variabilités sont sensiblement identiques pour la joue droite et la joue gauche. La variabilité est plus importante sur la composante de luminosité L* que sur les autres composantes a* et b*. Les résultats montrent que la précision de la mesure sera de l'ordre de +/- 1.5 unité en L* et de l'ordre de +/-1 unité en a* et +/- 0.5 unité en b* pour des acquisitions réalisés dans le même environnement et dans les mêmes conditions d'éclairage. Nous allons maintenant analyser les variabilités sur chaque composante colorimétrique L*a*b* pour l'ensemble des répétitions quel que soit l'environnement d'acquisition pour chaque sujet (Tableaux 6a, 6b et 6c). a(L*) Acquisition Répétition Min Moy Max Laurent 17 3 0.17 1.48 7.05 Pierre 28 3 0.18 0.95 3.77 Matthieu 50 3 0.12 1.23 6.99 Tableau 6a : Variabilités sur du paramètre colorimétrique L* des joues (droite et gauche) sur 3 répétitions sur l'ensemble des photos acquises. a(a*) Acquisition Répétition Min Moy Max Laurent 17 3 0.09 1.05 3.77 Pierre 28 3 0.11 0.64 2.78 Matthieu 50 3 0.04 0.97 3.83 Tableau 6b : Variabilités sur du paramètre colorimétrique a* des joues (droite et gauche) sur 3 répétitions sur l'ensemble des photos acquises. a(b*) Acquisition Répétition Min Moy Max Laurent 17 3 0.06 1.31 6.00 Pierre 28 3 0.30 0.87 1.80 Matthieu 50 3 0.07 1.17 2.95 Tableau 6c : Variabilités sur du paramètre colorimétrique b* des joues (droite et gauche) sur 3 répétitions sur l'ensemble des photos acquises. On remarque que les variabilités moyennes globales sont relativement bonnes sur chaque composante. On observe néanmoins des variabilités maximales relativement importantes surtout sur la composante L* qui sont principalement dues aux variations d'illumination à chaque condition d'acquisition. 6.4. Etude de l'effet temps sur les images Nous allons maintenant analyser l'évolution colorimétrique sur les joues de chacun des 3 sujets (Laurent, Pierre et Matthieu) au cours du temps. 6.4.1. Analyse de l'effet temps global sur 20 jours Cette analyse a été réalisée sur les photos prises par Laurent pendant 20 jours avec le Galaxy S4 mini avec un total de 51 photos. Les données colorimétriques sont extraites sur les deux joues après recalage colorimétrique avec la mire numérique 30 patchs. Les zones d'analyse ont été définies manuellement sur chaque photo comme le montre la figure 6. Afin d'analyser l'effet temps, nous avons effectué la moyenne les données colorimétriques acquises à chaque journée. Cela permet notamment d'optimiser le rapport signal sur bruit. Les figures 7, 8 et 9 montrent l'évolution de respectivement des paramètres L*, a* et b* en fonction du temps sur 20 jours. On remarque alors de forts écarts entre les joues droites et gauche en luminance (L*) notamment au 12ème jour. Cela est principalement dû à des dérives d'éclairages ou à des ombres portées sur le visage lors de la prise d'image. Le paramètre a* (axe vert/rouge) évolue de la même façon pour les 2 joues. Le paramètre b* (bleu/jaune) présente, quant à lui, de fortes variabilités. Si l'on étudie l'évolution générale de chaque paramètre, on constate une évolution très différente à partir du 18ème jour avec une diminution significative des paramètres L* et a* et une augmentation importante du paramètre b*. Nous retrouvons les mêmes tendances sur les graphiques des figures 10, 11 et 12, qui présentent l'évolution de chaque paramètre colorimétrique pour la moyenne des deux joues par jour. 6.4.1. Analyse de l'effet temps sur 17 jours Cette analyse a été réalisée sur les photos prises par Pierre pendant 17 jours avec le Galaxy S4 avec un total de 84 photos. Les données colorimétriques sont extraites sur les deux joues après recalage colorimétrique avec la mire numérique 30 patchs. Les zones d'analyse ont été définies manuellement sur chaque photo comme pour l'analyse précédente. Les figures 13 à 15 montrent l'évolution de l'ensemble des paramètres colorimétriques indépendamment pour chaque joue. Les données ont été moyennées pour chaque journée. Comme illustré sur la figure 13, on constate que le premier jour, les 2 joues sont très différemment exposées avec des valeurs de luminosité très différentes (20 unités d'écarts). Pour les autres temps d'analyse, la joue droite est toujours plus exposée que la joue gauche mais dans des proportions beaucoup moins importantes (5 à 10 unités d' écart). Le paramètre a* (axe rouge/vert), illustré par la figure 14, semble identique entre les 2 joues au cours du temps sauf au premier temps. Comme pour le paramètre a*, le paramètre b*, illustré par la figure 15, est relativement identique quel que soit le côté du visage analysé sauf pour le premier temps ou les différences gauche/droite sont très importantes. Nous allons maintenant étudier l'évolution colorimétrique globale du visage (joue droite et joue gauche confondues), illustrée par les figures 16 à 18. Si l'on considère que le premier temps correspondant à un problème d'acquisition (liés à un éclairage inhomogène sur les 2 joues), on observe une quasi stabilité des différents paramètres colorimétriques L* a* b* au cours du temps avec des différences de seulement quelques unités. Ces résultats montrent que la peau de Pierre n'a pas évoluée colorimétriquement pendant les 17 jours d'analyse. 6.4.2. Analyse de l'effet bronzage Cette analyse a été réalisée sur les photos prises par Pierre pendant 14 jours avec le Galaxy S4 avec un total de 150 photos. Les données colorimétriques sont extraites sur les deux joues après recalage colorimétrique avec la mire numérique 30 patchs. Les zones d'analyse ont été définies manuellement sur chaque photo. Dans ce chapitre, nous allons étudier l'effet du bronzage sur les mesures. L'évolution de la couleur de la peau est visible sur les photos acquises comme le montrent les figures 19a, 19b, 20a et 20b. Nous allons, dans un premier temps, nous intéresser l'évolution colorimétrique sur les 2 joues dans le même environnement lumineux. Les photos ont été acquises devant un plafonnier à tube fluorescent dans une pièce fermée à la même heure tous les jours pendant 12 jours. L'orientation du visage par rapport au plafonnier lumineux n'a pas été contrôlée afin d'étudier les variabilités de mesure en fonction de la position du visage par rapport à l'illumination. Trois photos ont été acquises chaque jour et les graphiques suivants montrent les résultats obtenus pendant 12 jours d'analyse. A travers les figures 21, 22 et 23, on constate que la joue gauche est globalement toujours plus surexposée que la joue droite mais que les évolutions sont similaires pour les 3 paramètres. Nous allons nous intéresser maintenant à l'évolution globale de la peau sur les 2 joues en même temps et pour toutes les conditions d'éclairages et toutes les prises de vue acquises par jour. Chaque jour, nous allons effectuer la moyenne de l'ensemble des données relatives aux photos acquises le matin, le midi et le soir dans des environnements lumineux différents. Les graphiques suivants montrent alors l'évolution des paramètres L*a*b* pour chaque jour. Sur les figures 24, 25 et 26, on constate que le paramètre de luminance L* diminue de plus de 10 unités en 12 jours en moyennant l'ensemble des mesures effectuées chaque jour soit un minimum de 9 photos par jour dans 3 conditions d'éclairage différentes à chaque fois. Cela montre que la peau s'est assombrie et présente donc une évolution du bronzage au cours du temps. Les évolutions plus importantes entre le 2ème et le 3ème jour et entre le 13ème et le 14ème jour correspondent bien à des fortes expositions au soleil ces journées-là. De plus le paramètre de rougeur (a*) augmente de plus de 4 unités sur les 12 jours d'analyse ce qui montre un rougissement de la peau. Le paramètre b* reste, quant à lui, quasiment constant tout au long de l'étude. 6.5. Etude des différents capteurs Comme nous l'avons détaillé dans le chapitre 3, le logiciel SmartCam permet d'enregistrer des données relatives aux différents capteurs pour chaque acquisition. Nous allons, dans ce chapitre, étudier l'influence des données de ces différents capteurs sur l'acquisition des images et les résultats obtenus précédemment. 6.5.1. Analyse des différents capteurs sur 12 jours Le graphique de la figure 27 présente les données acquises par Matthieu pendant 12 jours avec un Samsung Galaxy S4. Les figures 28a et 28b montrent des photos avec un niveau de luminosité ambiante très important, respectivement 20941ux et 9121ux. Etudions maintenant les autres données en fonction du temps. La figure 29 illustre l'évolution du taux d'hygrométrie au cours du temps. Le taux d'hygrométrie est très variable en fonction du lieu de la prise d'image. Dans les pièces d'eau (salle de bain par exemple) le taux d'humidité peut être très élevé. Nous n'avons pas vu de corrélation évidente entre le taux d'humidité ambiant et le brillant (L*) sur les photos acquises. La figure 30 illustre l'évolution de la température au cours du temps. La température ambiante peut être un facteur important pour la sensation de l'effet de chaleur lors de l'effet flush. Cette donnée pourrait être utilisée en complément de la chaleur ressentie. Par contre, dans le cadre de cette étude de faisabilité, nous n'avons pas vu de corrélation évidente entre la température et l'évolution des paramètres colorimétriques, la température étant restée relativement stable au cours de l'étude (entre 23° et 32°C). La figure 31 illustre l'évolution de la pression atmosphérique au cours du temps. La pression atmosphérique montre notamment un changement de lieu au début de l'étude mais ne permet pas une corrélation avec les valeurs colorimétriques mesurées. 6.5.2. Analyse des différents capteurs sur 15 jours Les données ont été acquises par Pierre pendant 15 jours avec un Samsung Galaxy S4 Les différences de luminosité ambiante observées sur les acquisitions de Pierre, illustrées par la figure 32, ne sont pas source de dérive lors de l'acquisition. Les variations de 260 lux maximum restent très faibles. Le taux d'hygrométrie, illustré par la figure 33, varie en fonction de temps avec une moyenne globale de 54%. Nous n'avons pas pu mettre en évidence une corrélation entre ces valeurs et l'évolution des paramètres colorimétriques. La température, illustrée par la figure 34, est, elle aussi, relativement stable et pourrait présenter une donnée intéressante pour l'étude clinique. Elle n'influe pas, dans cette étude, significativement sur la couleur de la peau des joues. Là encore, la pression atmosphérique, illustrée par la figure 35, varie légèrement mais n'est pas un indicateur qui peut être corrélé avec la couleur de la peau. 6.5.3. Analyse des différents capteurs sur 20 jours Les données ont été acquises par Laurent pendant 20 jours avec un Samsung Galaxy S4 Mini. Cet appareil possède uniquement un gyroscope et un capteur de luminosité. Nous allons nous intéresser ici uniquement aux données relatives à la luminosité ambiante comme le présente le graphique de la figure 36. On remarque alors que certaines photos ont été acquises avec une luminosité ambiante dépassant les 4000 lux. La figure 37 suivante présente une photo relative à ces acquisitions. 6.5.4. Analyse de l'inclinaison de l'appareil Lors de chaque acquisition, les informations concernant l'inclinaison de l'appareil sont stockées dans la base de données associée avec le logiciel SmartCam. Après analyse de l'ensemble des données d'inclinaison de l'appareil à chaque acquisition, reportées dans le tableau 7 suivant, on constate que la valeur médiane est relativement constante entre les sujets. Cependant les angles d'acquisition peuvent varier de façon relativement importante avec un écart maximum de 30°. Min Median Max Laurent 73.36° 85.05° 105.88° Pierre 73.43° 87.38° 100.57° Matthieu 66.04° 84.78° 96.80° Tableau 7: Angles d'inclinaison des prises de vues. Ces variations de l'angle d'inclinaison peuvent modifier la zone d'analyse sur les joues mais également la géométrie d'éclairage par rapport à l'axe de prise de vue comme le montrent les figures 38a, 38b, 39a et 39c. La photographie de la figure 38a est prise avec une inclinaison verticale de l'appareil à 73° tandis que celle de la figure 38b est acquise avec une inclinaison verticale de 105°. La photographie de la figure 39a est prise avec une inclinaison verticale de l'appareil à 66° tandis que celle de la figure 39b est acquise avec une inclinaison verticale de 96°. Afin de contrôler au mieux l'orientation de la prise de vue, il sera nécessaire de contraindre l'acquisition entre 85° et 95° au moment de la prise d'image pour limiter les variabilités liées à l'angle d' acquisition. 7. Conclusions 7.1. Les systèmes d'acquisition Les 2 systèmes d'acquisitions de type Samsung Galaxy S4 et S4 Mini fournissent des images de bonne qualité pour une analyse colorimétrique globale. La résolution des images est satisfaisante avec un champ rectangulaire pour le S4 et carré pour le S4 Mini qui limite donc la résolution si l'on veut avoir le visage complet dans le champ. On privilégiera donc le Samsung Galaxy S4 qui possède également un écran plus grand pour la visualisation temps réel au moment de l'acquisition. On notera cependant un effet relativement important de la compression JPEG sur les photos résultantes lors des forts grandissements. Ces systèmes ne donnent pas accès aux données brutes (format RAW) des photos en sortie de capteur et imposent le format JPEG avec faible compression. 7.2. Le logiciel SmartCam Le logiciel SmartCam est relativement intuitif et présente l'ensemble des fonctionnalités désirées pour réaliser cette étude. Il devra cependant évoluer pour intégrer d'autres fonctionnalités relatives à l'étude clinique. Plusieurs optimisations sont, d'ores et déjà, envisagées : - Ajout d'une échelle de visualisation de l'inclinaison verticale de l'appareil par un curseur à droite de l'écran en mode live pour forcer le bon positionnement de l'appareil à la verticale. Les seuils de tolérances seront fixés aux alentours de 85° et 95°, - Ajout d'un contrôle de la luminosité ambiante pour éviter la surexposition d'une zone particulière sur le visage ou des conditions d'éclairage trop éloignées des conditions initiales, - Ajout d'un contrôle de l'image acquise pour valider la netteté et ainsi limiter le flou de bouger, - Ajout d'une validation de la cohérence colorimétrique entre différentes zones du visage (2 joues et front) pour essayer de limiter au mieux les dérives d'éclairement, - Ajout d'une ou plusieurs zones de référence colorimétrique sur le visage à TO pour essayer de limiter les dérives d'une acquisition à l'autre, - Mise en place d'un écran blanc avec une luminosité maximale lors de la prise d'image pour essayer d'obtenir un éclairage relativement important provenant de l'appareil. 7.3. La mire colorimétrique Suite aux différents essais réalisés, il semble que les 3 mires pourraient convenir pour l'étape de recalage colorimétrique des images. Cependant la mire numérique semble la plus appropriée car elle permet d'ajuster non seulement la température de couleur, comme avec la mire grise, mais aussi d'optimiser certaines teintes spécifiques. La mire Munsell, bien que très diffuse, n'est pas plus performante que la mire réalisée en impression numérique étant donné les grandes variations d'éclairage. Le support de mire réalisé pour cette étude semble convenir pour un bon repositionnement devant le sujet. Ses dimensions pourront être optimisées si besoin. Le principal problème pour le recalage colorimétrique est que les variations colorimétriques sur la mire ne tiennent pas en compte l'ensemble des variations sur le visage à cause des différences trop importantes de géométrie d'éclairage. C'est pour cela qu'il faut essayer de contraindre au mieux l'environnement lumineux lors de la prise d'image. L'idéal serait d'avoir un éclairage uniforme très diffus. 7.4. L'analyse des données colorimétriques La mire colorimétrique permet d'optimiser de près de 50% les dérives colorimétriques entre chaque prise de vue. Après recalage des images, la répétabilité du système est de l'ordre de 1.5 unité en L* et environ 1 unité en a* et b* dans des conditions d'éclairement uniforme. Dans des conditions d'éclairage non uniformes sur la zone du visage, la variation de géométrie d'une prise d'image à une autre peut entraîner des écarts de 7 unités en L* et b* et de 4 unités en a* au maximum. Ces variations sont d'autant plus grandes si l'on change de lieu et de type d'éclairage. Cependant, il est possible en moyennant l'ensemble des données d'obtenir des résultats intéressants sur l'évolution colorimétrique de la peau comme l'effet du bronzage au cours du temps. Dans le cadre de l'analyse de l'effet flush, il sera donc nécessaire de multiplier les acquisitions pour optimiser le rapport signal/bruit. Plusieurs solutions sont à explorer : - Utiliser le magnétomètre pour obliger l'utilisateur à changer d'orientation et donc changer la géométrie d'éclairage - Utiliser des paramètres colorimétriques spécifiques comme le dH qui ne tient pas compte de la luminosité L* - Utiliser des paramètres invariants en fonction des ombres comme l'espace RGB normalisé ou des espaces spécifiques de type L1L2L3 - Utiliser le paramètre a* qui semble moins influencé par l'environnement lumineux et qui tient compte des rougeurs - Utiliser des zones de référence sur la peau comme le menton ou le front pour effectuer un calcul de contraste entre la peau « saine » et la peau « avec effet flush » 7.5. Utilisation des capteurs Les capteurs de température, de pression et d'hygrométrie présents dans le Samsung Galaxy S4 permettent d'extraire des informations intéressantes mais n'aident pas forcément à stabiliser la prise d'image ou à contrôler l'environnement d'acquisition. Par contre les capteurs de luminosité et d'inclinaison (gyroscope), qui sont également présents dans le Galaxy S4 Mini, peuvent aider à contraindre la prise d'image. En d'autres termes, il sera possible d'intégrer une prévisualisation temps réel de ces capteurs au moment de la prise d'image pour contraindre l'utilisateur à positionner correctement son appareil ou à changer de lieu car l'ambiance lumineuse est beaucoup trop importante (supérieure à 500 lux par exemple). 7.6. Solutions matérielles complémentaires Afin d'optimiser la prise d'image en très haute résolution, nous pensons qu'il est intéressant d'étudier les nouveaux objectifs développés par Sony. Ces objectifs connectés sur smartphone se connectent en Wi-Fi à un smartphone Android ou un iPhone et permettent d'effectuer des prises de vue d'excellente qualité. Actuellement, le format JPG est le seul pris en charge, le RAW arrivera plus tard. L'objectif QX10 est composé d'un capteur Exmor R CMOS de 18,2 mégapixels auquel vient s'ajouter un zoom x 3,6 Carl Zeiss. Une optique offrant une ouverture comprise entre 3.5 et 3.9 avec un microphone et un bouton dédié à l'obturateur. Le QX 100 est composé d'un capteur CMOS de 20.2 mégapixels, un zoom optique 3.6x f/1.8, un microphone, un bouton dédié à l'obturateur et deux bagues pour les réglages manuels. Les objectifs s'adaptent sur le smartphone et une application Sony Play Memories Mobile permet de prendre des clichés. Le smartphone sert donc à piloter l'objectif photo. Il faudra savoir s'il est possible de piloter ces objectifs avec une application externe. Leur prix est compris entre 250 et 450 dollars. Au niveau des diverses fonctionnalités de ces objectifs Sony, on peut retrouver divers modes de fixation, des connexions Wi-Fi et NFC, une compatibilité Android et iOS, l'affichage direct des images sur l'écran du terminal connecté, la sauvegarde simultanée sur l'objectif et le smartphone connecté, les contrôles manuels depuis le smartphone ce qui permet de piloter les objectifs directement depuis le terminal connecté, l'enregistrement de vidéos en Full HD 1080p. Le Sony QX10, illustré par la figure 40a, est construit autour d'un capteur photo CMOS Exmor de 1/2,3" d'une définition de 18 millions de pixels. Son zoom 10x stabilisé couvre la plage focale 25- 250 mm avec des ouvertures de f/3.3-5,9. Pour le traitement de l'image, il bénéficie du processeur Bionz. La sensibilité s'étend de 100 à 12800 ISO en fonction des modes de prise de vues. Ses dimensions sont de 6,24 x 6,18 x 3,33 cm pour un poids de 90 grammes. Le Sony QX100, illustré par la figure 40b, est construit autour d'un capteur photo CMOS Exmor de 1" avec une définition de 20 millions de pixels et une optique (Carl Zeiss) stabilisée x 3,6 couvrant la plage focale 28-100 mm. Ses ouvertures se situent à f/1.8-4.9. Le QX100 bénéficie aussi du processeur de traitement d'images Bionz. Sa sensibilité s'étend de 160 à 25600 ISO. Ses dimensions sont de 6,25 x 6,25 x 5,55 cm pour 179 grammes. REVENDICATIONS1. Procédé d'analyse d'images du visage d'un être humain comprenant les étapes suivantes : on réalise l'acquisition d'au moins une image du visage de sorte que le nez, les yeux et les joues soient alignés sur des repères préexistants, on détermine les composantes de l'image dans au moins une zone du visage, on compare les composantes à des valeurs mémorisées, et on détermine la présence d'un effet flush si les composantes sont supérieures aux valeurs mémorisées. 2. Procédé selon la revendication 1, dans lequel les zones du visage sont les joues. 3. Procédé selon l'une quelconque des revendications précédentes, dans lequel les composantes sont les composantes colorimétriques L*, a*, b*. 4. Procédé selon l'une quelconque des revendications précédentes, dans lequel les valeurs mémorisées sont les valeurs des composantes colorimétriques déterminées à une date antérieure pour le même visage. 5. Procédé selon l'une quelconque des revendications précédentes, dans lequel on détermine la présence d'un effet flush si la composante colorimétrique associée à la couleur rouge est supérieure à la valeur mémorisée associée à la couleur rouge. 6. Procédé selon l'une quelconque des revendications précédentes, dans lequel on réalise l'acquisition d'images par l'intermédiaire d'un téléphone intelligent. 7. Procédé selon l'une quelconque des revendications précédentes, dans lequel on réalise l'acquisition alors que le sujet tient une mire colorimétrique par l'intermédiaire de la bouche, afin de corriger les composantes colorimétriques. 8. Procédé selon l'une quelconque des revendications précédentes, dans lequel on acquiert au moins un parmi la température,la pression atmosphérique, la luminosité ambiante et l'hygrométrie, afin de corriger les composantes colorimétriques d'un effet de l'environnement sur le visage.