Brevet FR3136302A1 — publié le 20231208

L’invention concerne un procédé de simulation de la photophobie dans un casque de réalité augmentée comportant les étapes suivantes : - acquisition (10) d’un flux d’images ; - pour chaque image, - transformation (11) de l’image par un moteur graphique pour créer deux images binoculaires (ImgG, ImgD) ; - enregistrement (12) des images binoculaires (ImgG, ImgD) dans une mémoire ; - application (13) d’un filtre à plage de dynamique étendue de sorte à obtenir des images binoculaires en niveau de luminosité (ImgGLum, ImgDLum) ; - calcul (14) d’un effet de flou au moyen de l’application d’une matrice de convolution sur les images binoculaires en niveau de luminosité ; - fusion (15) des images binoculaires stockées dans la mémoire avec les images binoculaires floutées en niveau de luminosité (ImgGLumFlou, ImgDLumFlou) ; et - affichage (16) des images binoculaires floutées (ImgGFlou, ImgDFlou) dans le casque de réalité augmentée. Figure pour abrégé : Fig 1 PROCEDE DE SIMULATION DE LA PHOTOPHOBIE POUR UN CASQUE DE REALITE AUGMENTEE ET CASQUE DE REALITE AUGMENTEE ASSOCIE DOMAINE DE L’INVENTION La présente invention se rapporte à un procédé de simulation de la photophobie pour un casque de réalité augmentée, c’est-à-dire un procédé permettant l’acquisition et le traitement d’un flux d’images afin de simuler une vision stéréoscopique d’une personne atteinte de photophobie. L’invention vise également le casque de réalité augmentée associé. La photophobie aussi appelée « sensibilité à la lumière », désigne une hypersensibilité à la lumière. Cette hypersensibilité peut être provoquée par la lumière du soleil, les surfaces réfléchissantes (fenêtres, miroirs, routes, etc.), un reflet sur l’eau ou sur la neige, ou bien les sources de lumières artificielles. Pour les personnes atteintes de cette pathologie, l'exposition à la lumière peut provoquer des migraines ou encore des problèmes de fatigue oculaire allant de la douleur aux yeux à de la sécheresse oculaire. En outre, la photophobie est particulièrement gênante pour la vision des personnes atteintes, car elle se traduit par des halos éblouissants prenant naissance au niveau des points lumineux ou reflétant la lumière, qui masquent ou déforment une grande partie du champ visuel de ces personnes. L’invention vise plus particulièrement à simuler la photophobie pour les personnes saines afin qu’elles puissent comprendre les troubles liés à cette pathologie et adapter les espaces de déplacement ou de travail en conséquence. Ainsi, l’invention permet d’aider à concevoir des espaces de déplacement ou de travail prenant en compte les désagréments que pourraient percevoir les personnes atteintes de photophobie. Les sources lumineuses directes et indirectes, ainsi que les zones de reflet gênantes, difficilement perceptibles par les personnes saines, peuvent ainsi être facilement identifiées et les espaces peuvent être modifiés en conséquence, pour les supprimer ou les atténuer. Grâce à l’invention, il est possible pour une personne saine de concevoir par exemple un espace de déplacement ou un poste de travail mieux adapté aux personnes souffrant de photophobie. Plus précisément, il est ainsi possible de déterminer ou de valider le positionnement de moyens d’atténuation de l’éblouissement, tels que la pose de filtres anti-éblouissement sur des fenêtres, la pose ou le déplacement de sources de lumière ainsi que le réglage de l’intensité lumineuse et de la température de couleur des luminaires. ETAT ANTERIEUR DE LA TECHNIQUE Pour qu’une personne saine puisse comprendre les troubles liés à la photophobie et concevoir les espaces en conséquence, il existe aujourd’hui plusieurs dispositifs de réalité augmentée permettant de simuler la photophobie. Pour ce faire, ces dispositifs utilisent une caméra permettant l’acquisition d’un flux d’images, des moyens de traitement de ce flux d’images pour simuler la photophobie et un écran dédié à l’affichage du flux d’images traité. Ces dispositifs peuvent prendre différentes formes, par exemple un téléphone intelligent, une tablette, un ordinateur comportant une webcam, ou encore un casque de réalité augmentée. Dans le cas spécifique d’un casque de réalité augmentée, avant de traiter le flux d’images pour simuler la photophobie et afficher le flux d’images traité, il est nécessaire de transformer chaque image par un moteur graphique pour créer deux images binoculaires permettant de simuler une vision stéréoscopique de la scène. Pour réaliser le traitement du flux d’images et simuler la photophobie, la seule méthode connue consiste à appliquer un filtre blanc sur le flux d’images. Ce filtre blanc procède à une modification linéaire des images, pixel par pixel, afin d’augmenter la luminosité de chaque pixel. Concrètement, pour chaque pixel, le filtre blanc recherche la valeur de la luminosité du pixel et amplifie cette valeur, par exemple en appliquant un coefficient prédéterminé. Cette méthode permet d’augmenter la visibilité des pixels proches de la couleur blanche et d’atténuer la visibilité des pixels proches du noir, si bien que les pixels blancs ressortent clairement du flux d’images traité. Le principal avantage de cette méthode est de permettre une implémentation très simple puisque les pixels peuvent être traités indépendamment les uns des autres. Ainsi, il est possible de modifier plusieurs pixels en parallèle pour traiter rapidement une image ou même de traiter directement les pixels lors de l’affichage. Dans le contexte d’augmentation constante de la résolution et de la fréquence des images dans un flux d’images, cette facilité d’implémentation conduit à une utilisation généralisée d’un filtre blanc pour simuler la photophobie. Cependant, l’utilisation d’un filtre blanc révèle une vision pointilliste de la compréhension de la photophobie car les pixels sont traités point à point. Or, il apparait que les personnes atteintes de photophobie ne ressentent pas exactement l’hypersensibilité à la lumière de cette manière. En effet, les personnes atteintes de cette maladie perçoivent non seulement une luminosité accrue au niveau des sources de lumière ou des reflets lumineux, mais également des halos flous partant de ces zones lumineuses dont les effets ne sont pas rendus par les dispositifs et méthodes de traitement de l’art antérieur. Le problème technique de l’invention réside dans l’obtention d’un flux d’images plus proche de ce que perçoivent les personnes atteintes de photophobie et utilisant des moyens matériels et logiciels permettant une implantation dans un casque de réalité augmentée. Pour répondre à ce problème technique, l’invention propose un procédé de simulation de la photophobie pour un casque de réalité augmentée. Ce procédé applique un effet de flou au moyen d’une matrice de convolution appliquée sur les images binoculaires. Au sens de l’invention, « l’effet de flou » correspond à la représentation visuelle que perçoivent les personnes atteintes de photophobie autour des sources de lumières, de transmission ou de réflexion de la lumière. Cet effet de flou peut correspondre à une surexposition des blancs ou une augmentation de la balance des blancs d’une image. Ainsi, l’invention propose d’utiliser un nouveau procédé pour simuler la photophobie avec une matrice de convolution appliquée sur plusieurs pixels au lieu d’un traitement pointilliste appliqué pixel par pixel. Les études auprès des personnes atteintes de photophobie montrent que cette simulation par un effet de flou est plus représentative de la photophobie que la simulation pointilliste de l’état de la technique. Cette amélioration de la simulation de la photophobie est possible car l’utilisation d’une matrice de convolution pour traiter les images d’un flux d’image est une technique assez classique de traitement d’images, même s’il n’était pas évident que cette technique de traitement d’images puisse être utilisée pour simuler la photophobie. Or, l’implémentation de traitements d’images par une matrice de convolution est réalisable avec les performances et les puissances de calcul des casques de réalité augmentée existants. Il s’ensuit que l’invention concerne, selon un premier aspect, un procédé de simulation de la photophobie comportant les étapes suivantes : - acquisition d’un flux d’images d’une scène au moyen d’une caméra intégrée dans un casque de réalité augmentée ; - pour chaque image, - transformation de l’image acquise par un moteur graphique pour créer deux images binoculaires permettant de simuler une vision stéréoscopique de la scène ; - enregistrement des images binoculaires dans une mémoire ; - application d’un filtre à plage de dynamique étendue de sorte à obtenir des images binoculaires en niveau de luminosité ; - calcul d’un effet de flou au moyen de l’application d’une matrice de convolution sur les images binoculaires en niveau de luminosité, de sorte à obtenir des images binoculaires floutées en niveau de luminosité ; - fusion des images binoculaires stockées dans la mémoire avec les images binoculaires floutées en niveau de luminosité de sorte à obtenir des images binoculaires floutées permettant de simuler une vision stéréoscopie de la scène avec une simulation de la photophobie ; et - affichage des images binoculaires floutées dans le casque de réalité augmentée. L’invention permet ainsi de simuler la photophobie de manière très proche de ce que perçoivent les personnes atteintes de photophobie. Cette simulation intégrée dans un casque de réalité augmentée permet de faciliter la conception des espaces de déplacement ou de travail prenant en compte les désagréments que pourraient percevoir les personnes atteintes de photophobie. Ainsi, un architecte qui utiliserait un casque de réalité augmentée intégrant la simulation de la photophobie selon l’invention pourrait placer les panneaux d’indication des issues de secours ou les affichages publicitaires plus efficacement pour informer correctement les personnes atteintes de photophobie. Il pourrait encore par exemple modifier l’orientation des sources lumineuses artificielles pour limiter les reflets gênants. Avec l’utilisation de la matrice de convolution, l’invention réside donc dans un compromis entre la précision de simulation de la photophobie et la capacité d’implémentation de cette simulation. De préférence, la matrice de convolution utilisée dans l’étape de calcul d’un effet de flou correspond à une matrice de convolution de trois pixels par trois pixels. Ce mode de réalisation permet d’obtenir un compromis très efficace entre la précision de simulation de la photophobie et la capacité d’implémentation de cette simulation. Avec une matrice de convolution de trois pixels par trois pixels, il a été constaté que la précision de la simulation de la photophobie est particulièrement juste en utilisant des coefficients particuliers pour la matrice de convolution. De préférence, pour simuler une photophobie moyenne, la matrice de convolution utilisée dans l’étape de calcul d’un effet de flou correspond à la matrice de convolution suivante : . Bien entendu, il peut être recherché de simuler une photophobie faible ou forte. Pour ce faire, les poids de la matrice de convolution peuvent être modifiés. Par exemple, si l’utilisateur souhaite simuler une photophobie faible, tous les poids de la matrice de convolution peuvent être divisés proportionnellement. De préférence, la transformation de l’image acquise en images binoculaires est réalisée par un moteur graphique permettant de créer des scènes supportant des éclairages, des terrains et des textures. Par exemple, le moteur graphique Unity, développé par Unity Technologies, permet de créer ces éléments avec des ressources de calcul limitées. Pour l’application d’un filtre à plage de dynamique étendue de sorte à obtenir des images binoculaires en niveau de luminosité, il a été constaté que la précision de la simulation de la photophobie est particulièrement juste en normalisant les différents niveaux de luminosité. De préférence, les niveaux de luminosité sont normés entre 0.0 pour les pixels les plus sombres et 1.0 pour les pixels les plus lumineux. De préférence, la fréquence du flux d’images est comprise entre 10 et 12 images par seconde. Bien entendu, plus le flux d’images est rapide, plus la photophobie est simulée correctement. Cependant, l’augmentation de la fréquence du flux d’images impose également une puissance de calcul augmentée pour afficher des images en temps réel. Ce mode de réalisation avec une fréquence comprise entre 10 et 12 images par seconde présente un compromis efficace entre la qualité de la simulation et la consommation de ressources. De la même manière, la définition des images présente également un compromis efficace entre la qualité de la simulation et la consommation de ressources lorsque la définition des images est comprise 540x960 pixels et 2560x1440 pixels. Selon un second aspect, l’invention concerne un casque de réalité augmentée comportant : - une caméra apte à capter un flux d’images d’une scène, - un écran configuré pour afficher des images binoculaires floutées, - une paroi d’occultation permettant d’isoler les images binoculaires floutées entre elles ; et - des moyens de traitement d’images configurés pour mettre en œuvre le procédé selon le premier aspect de l’invention. Ainsi, le casque de réalité augmentée peut prendre différentes formes. De préférence, le casque de réalité augmenté intègre un téléphone intelligent ; - la caméra du téléphone intelligent étant utilisée pour capter un flux d’images d’une scène ; - l’écran du téléphone intelligent étant utilisé pour afficher les images binoculaires floutées ; et - le téléphone intelligent intégrant une application de traitement d’images permettant de mettre en œuvre le procédé selon le premier aspect de l’invention. Outre la simulation de la photophobie, le casque de réalité augmentée peut également permettre de simuler d’autres déficiences visuelles, telles que par exemple la dégénérescence maculaire liée à l’âge. Pour ce faire, les moyens de traitement d’images sont configurés pour mettre en œuvre d’autres procédés de simulation de déficiences visuelles et l’utilisateur pour sélectionner la déficience visuelle qu’il souhaite simuler. BREVE DESCRIPTION DES FIGURES L’invention sera bien comprise à la lecture de la description qui suit, dont les détails sont donnés uniquement à titre d’exemple, dans laquelle : La est une représentation schématique des étapes d’un procédé de simulation de la photophobie selon un mode de réalisation de l’invention ; La est une illustration des images stéréoscopiques d’une scène ; La est une illustration des images stéréoscopiques de la sur lesquelles un filtre blanc est appliqué selon l’état de la technique ; et La est une illustration des images stéréoscopiques de la sur lesquelles le procédé de simulation de la photophobie est appliqué selon un mode de réalisation de l’invention. DESCRIPION DETAILLEE DE L’INVENTION L’invention propose de simuler la vision des personnes atteintes de photophobie en utilisant un casque de réalité augmentée. Ce casque de réalité augmentée comporte classiquement un écran interne rectangulaire permettant l’affichage de deux flux d’images stéréoscopiques d’une scène au moyen d’images binoculaires. Pour ce faire, le casque de réalité augmentée présente une enceinte semi-fermée dont le contour externe reproduit la forme d’un visage. Dans cette enceinte semi-fermée, deux lentilles sont interposées entre l’écran interne et les yeux d’un utilisateur de sorte à focaliser la vision de chaque œil sur une image binoculaire distincte. Entre les lentilles et l’écran, une paroi d’occultation permettant d’isoler les images binoculaires. De préférence, le casque de réalité augmentée est fixé sur la tête d’un utilisateur par une sangle. Ce casque de réalité augmentée comporte également une caméra intégrée au casque de réalité augmentée et apte à capter un flux d’images ImgScene d’une scène. Pour mettre en œuvre le procédé de l’invention et afficher des images binoculaires floutées gauche et droite ImgGFlou , ImgDFlou , le casque de réalité augmentée dispose généralement de moyens de traitement d’images et d’une mémoire 20 . Ces moyens de traitement d’images sont implémentés par un processeur, un microcontrôleur ou une carte graphique. De préférence, le casque de réalité augmentée intègre un support pour un téléphone intelligent. Par exemple, le casque de réalité augmentée comprend un compartiment pour accueillir le téléphone intelligent afin que l’écran du téléphone intelligent soit utilisé pour afficher les images binoculaires floutées ImgGFlou , ImgDFlou . La caméra du téléphone intelligent peut être utilisée pour capter le flux d’images ImgScene . Pour ce faire, le support du téléphone intelligent peut présenter une ouverture sur la face avant du casque de réalité augmentée. Les moyens de traitement d’images et la mémoire 20 peuvent également utiliser les ressources matérielles et logicielles du téléphone intelligent, par exemple au moyen d’une application. Que ce soient des moyens de traitement d’images dédiés au casque de réalité augmentée ou des moyens de traitement d’images implémentés par une application d’un téléphone intelligent, l’invention propose d’utiliser ces moyens de traitement d’images pour simuler la photophobie en mettant en œuvre un procédé de simulation tel que décrit sur la . Dans une première étape 10 , la caméra du casque de réalité augmentée ou celle du téléphone intelligent est utilisée pour acquérir un flux d’images ImgScene d’une scène positionnée devant le casque de réalité augmentée. Plus précisément, le plan focal de la caméra est orienté dans le champ de vision de l’utilisateur du casque de réalité augmentée. Dans cette étape 10 d’acquisition du flux d’images ImgScene , la fréquence d’images peut être comprise entre 10 et 12 images par seconde et la résolution peut être comprise entre 540x960 pixels et 2560x1440 pixels. Si la résolution ou la fréquence du flux d’images ImgScene est supérieure à ces compromis et que les moyens de calculs sont limités, il est possible d’effectuer un sous-échantillonnage dans cette étape 10 d’acquisition. De la même manière, différents traitements d’images classiques peuvent être utilisés dans l’étape 10 d’acquisition sans changer l’invention, par exemple une égalisation d’histogramme des images. Pour afficher la scène sur l’écran du casque de réalité augmentée, il est nécessaire de transformer les images du flux d’images ImgScene en images binoculaires ImgG , ImgD . Pour ce faire, un moteur graphique est classiquement utilisé. De préférence, le moteur graphique permet de créer des scènes supportant des éclairages, des terrains et des textures, tel que le moteur Unity. Cette étape 11 de transformation de chaque image du flux d’images ImgScene permet de simuler une vision stéréoscopique de la scène au moyen de deux images binoculaires ImgG , ImgD . L’enregistrement des deux images binoculaires ImgG , ImgD dans une mémoire 20 est effectué dans une étape 12 . Cette mémoire 20 peut prendre la forme d’une base de données ou d’une mémoire intégrée au casque de réalité augmentée ou au téléphone intelligent. Dans une étape 13 , l’application d’un filtre à plage de dynamique étendue, couramment appelé HDRR, est effectué sur les images binoculaires ImgG , ImgD . L’application du filtre à plage de dynamique étendue permet d’obtenir des images binoculaires en niveau de luminosité ImgGLum , ImgDLum . De préférence, il est possible de normaliser les différents niveaux de luminosité, par exemple entre 0.0 pour les pixels les plus sombres et 1.0 pour les pixels les plus lumineux. A partir des images binoculaires en niveau de luminosité ImgGLum , ImgDLum , l’invention propose de calculer, dans une étape 14 , un effet de flou au moyen de l’application d’une matrice de convolution. Pour ce faire, il est possible d’utiliser différentes tailles de matrices de convolution selon le besoin et la capacité de calcul fournis par le casque de réalité augmentée ou le téléphone intelligent. De la même manière, il est possible d’utiliser différents poids associés à la matrice de convolution. De préférence, la matrice de convolution utilisée dans l’étape 14 de calcul d’un effet de flou correspond à la matrice de convolution de trois pixels par trois pixels suivante : . Dans une étape 15 , les deux images binoculaires floutées en niveau de luminosité ImgGLumFlou , ImgDLumFlou sont fusionnées avec les images binoculaires ImgG , ImgD enregistrées dans la mémoire 20 . Par exemple, les valeurs des pixels des images binoculaires floutées en niveau de luminosité ImgGLumFlou , ImgDLumFlou peuvent être multipliées avec les valeurs des pixels des images binoculaires ImgG , ImgD enregistrées dans la mémoire 20 . Cette fusion permet d’obtenir des images binoculaires floutées ImgGFlou , ImgDFlou afin de générer une vision stéréoscopie de la scène avec une simulation de la photophobie. L’affichage de la simulation de la photophobie est réalisé dans une étape 16 . Pour se faire, les deux images binoculaires floutées ImgGFlou , ImgDFlou sont affichées sur l’écran du casque de réalité augmentée. La illustre le résultat des images binoculaires floutées ImgGFlou , ImgDFlou par rapport aux images binoculaires ImgG , ImgD illustrées sur la . Tel qu’illustré sur la , l’effet de flou permet effectivement d’appliquer une surexposition des blancs ou une augmentation de la balance des blancs sur les images binoculaires floutées ImgGFlou , ImgDFlou . Ainsi, l’invention permet de simuler plus efficacement la photophobie que la simple application d’un filtre blanc, tel qu’illustré sur la . L’invention permet ainsi de fournir une simulation de la photophobie très précise afin de permettre à une personne saine de comprendre les troubles liés à cette pathologie et adapter les espaces de déplacement ou de travail en conséquence. Plus précisément, il est ainsi possible de déterminer ou de valider le positionnement de moyens d’atténuation de l’éblouissement, tels que la pose de filtres anti-éblouissement sur des fenêtres, la pose ou le déplacement de sources de lumières ainsi que le réglage de l’intensité lumineuse et de la température ou de la couleur des luminaires. Par ailleurs, l’utilisation d’une matrice de convolution appliquée sur les images binoculaires autorise une implémentation dans un casque de réalité augmentée. Procédé de simulation de la photophobie comportant les étapes suivantes : - acquisition (10) d’un flux d’images (ImgScene) d’une scène au moyen d’une caméra intégrée dans un casque de réalité augmentée ; - pour chaque image, - transformation (11) de l’image acquise par un moteur graphique pour créer deux images binoculaires (ImgG, ImgD) permettant de simuler une vision stéréoscopique de la scène ; - enregistrement (12) des images binoculaires (ImgG, ImgD) dans une mémoire (20) ; - application (13) d’un filtre à plage de dynamique étendue de sorte à obtenir des images binoculaires en niveau de luminosité (ImgGLum, ImgDLum); - calcul (14) d’un effet de flou au moyen de l’application d’une matrice de convolution sur les images binoculaires en niveau de luminosité (ImgGLum, ImgDLum), de sorte à obtenir des images binoculaires floutées en niveau de luminosité (ImgGLumFlou, ImgDLumFlou) ; - fusion (15) des images binoculaires (ImgG, ImgD) stockées dans la mémoire (20) avec les images binoculaires floutées en niveau de luminosité (ImgGLumFlou, ImgDLumFlou) de sorte à obtenir des images binoculaires floutées (ImgGFlou, ImgDFlou) permettant de simuler une vision stéréoscopie de la scène avec une simulation de la photophobie ; et - affichage (16) des images binoculaires floutées (ImgGFlou, ImgDFlou) dans le casque de réalité augmentée. Procédé de simulation de la photophobie selon la revendication 1, dans lequel la matrice de convolution utilisée dans l’étape de calcul (14) d’un effet de flou correspond à une matrice de trois pixels par trois pixels. Procédé de simulation de la photophobie selon la revendication 2, dans lequel la matrice de convolution utilisée dans l’étape de calcul (14) d’un effet de flou correspond à la matrice de convolution suivante : [Math. 1] . Procédé de simulation de la photophobie selon l’une des revendications 1 à 3, dans lequel l’étape de transformation (11) de l’image acquise par un moteur graphique pour créer deux images binoculaires (ImgG, ImgD) est réalisée par un moteur graphique permettant de créer des scènes supportant des éclairages, des terrains et des textures. Procédé de simulation de la photophobie selon l’une des revendications 1 à 4, dans lequel l’étape d’application (13) d’un filtre à plage de dynamique étendue de sorte à obtenir des images binoculaires en niveau de luminosité (ImgGLum, ImgDLum) est réalisé en normalisant les différents niveaux de luminosité entre 0.0 pour les pixels les plus sombres et 1.0 pour les pixels les plus lumineux. Procédé de simulation de la photophobie selon l’une des revendications 1 à 5, dans lequel l’étape acquisition (10) d’un flux d’images (ImgScene) est réalisée avec une fréquence du flux d’images comprise entre 10 et 12 images par seconde. Procédé de simulation de la photophobie selon l’une des revendications 1 à 6, dans lequel l’étape acquisition (10) d’un flux d’images (ImgScene) est réalisée avec une définition des images comprise 540x960 pixels et 2560x1440 pixels. Casque de réalité augmentée comportant : - une caméra apte à capter un flux d’images (ImgScene) d’une scène, - un écran configuré pour afficher des images binoculaires floutées (ImgGFlou, ImgDFlou), - une paroi d’occultation permettant d’isoler les images binoculaires floutées (ImgGFlou, ImgDFlou) entre elles ; et - des moyens de traitement d’images configurés pour mettre en œuvre le procédé selon l’une des revendications 1 à 7. Casque de réalité augmentée selon la revendication 8, dans lequel le casque de réalité augmenté intègre un téléphone intelligent ; - la caméra du téléphone intelligent étant utilisée pour capter un flux d’images (ImgScene) d’une scène ; - l’écran du téléphone intelligent étant utilisé pour afficher les images binoculaires floutées (ImgGFlou, ImgDFlou) ; et - le téléphone intelligent intégrant une application de traitement d’images permettant de mettre en œuvre le procédé selon l’une des revendications 1 à 7.