Brevet FR3116351A1 — publié le 20220520

Dispositif d’affichage tête haute porté et procédé d’affichage associé La présente invention concerne un dispositif d’affichage (10) tête haute porté pour afficher une image conforme à au moins deux référentiels de projection, comprenant : - un module d’acquisition d’images (22) configuré pour acquérir séparément un flux d’images pour chacun d’au moins deux référentiels de projection (12, 14, 16, 18) et/ou pour extraire d’un flux d’entrée unique un flux d’images pour chacun d’au moins deux référentiels de projection (12, 14, 16, 18) ; - pour chaque référentiel de projection (12, 14, 16, 18), un module de traitement spatial (24) configuré pour adapter le flux d’images correspondant à un référentiel d’affichage ; - un module de mixage (26) configuré pour générer un flux résultant; - un module de projection (28) configuré pour projeter le flux résultant sur une surface d’affichage selon le référentiel d’affichage. Figure pour l'abrégé : figure 1 Dispositif d’affichage tête haute porté et procédé d’affichage associé La présente invention concerne un dispositif d’affichage tête haute porté. La présente invention concerne également un procédé d’affichage associé à ce dispositif d’affichage. Le domaine de l’invention se situe dans le domaine de la projection d’informations ou d’images en tête haute. En particulier, l’invention reste notamment applicable pour des dispositifs appelés dispositifs tête haute portés et connus dans la terminologie anglaise sous les termes de « Head Worn Display » et « Helmet Mounted Display ». De manière connue en soi, les dispositifs d’affichage tête haute portés permettent d’afficher sur une surface d’affichage « portée » par l’utilisateur, c’est-à-dire intégrée dans le casque, les lunettes ou tout autre dispositif liant mécaniquement le mouvement de la surface d’affichage au mouvement de l’utilisateur. L’effet de conformité des images est atteint par la superposition de la surface d’affichage avec la réalité. De manière également connue en soi, de tels dispositifs intègrent communément une fonction de détection de la posture de l’utilisateur afin de pouvoir adapter la projection d’informations selon différents référentiels de projection. Ainsi, par exemple, lorsque le dispositif d’affichage tête haute porté est utilisé dans un porteur tel qu’un aéronef, il est possible d’associer un référentiel de projection lié à l’environnement extérieur de l’aéronef et un autre référentiel de projection lié par exemple à la surface d’affichage ou alors à la tête de l’utilisateur. Le fait d’afficher des informations dans différents référentiels dans le cas d’un dispositif d’affichage tête haute porté permet par exemple d’afficher des informations par des symboles dont la représentation est liée à un référentiel spécifique (par exemple représentation dans le dispositif d’affichage porté de la ligne d’horizon appartenant au référentiel terrestre local par le dessin d’une ligne synthétique) et d’adapter la densité d’informations perçue par l’utilisateur en fonction de sa position de tête par rapport à la géométrie du porteur et des besoins opérationnels. Certaines informations peuvent ainsi être affichées en permanence dans le champ de vue de l’utilisateur, d’autres peuvent être affichées uniquement dans l’axe du porteur par exemple en fonction de la criticité des informations par rapport au besoin. Il est clair donc que les dispositifs d’affichage tête haute portés peuvent combiner des images relatives à différents référentiels de projection. Dans l’état de la technique, pour mettre en œuvre la projection d’images conformes à au moins deux référentiels de projection distincts par des dispositifs d’affichage tête haute portés, plusieurs méthodes sont connues. Ainsi, selon certaines de ces méthodes, le dispositif d’affichage tête haute porté inclut l’ensemble des logiques de génération graphique et mixe les images relatives aux différents référentiels de projection. Toutefois, dans un tel cas, le dispositif d’affichage tête haute porté dépend de son application et doit être modifié pour chaque nouvelle application. Il est connu également des dispositifs d’affichage tête haute portés similaires incluant en outre un système d’outils graphiques et logiques permettant à un client extérieur d’adapter la symbologie et les données d’entrée/sortie pour son application. Toutefois, pour ce genre de dispositif, la complexité et le coût associés à la certification du système d’outils s’ajoutent à ceux du produit lui-même. De plus, les possibilités d’adaptation des applications extérieures dépendent également de la performance des outils proposés. Le même type de dispositif d’affichage tête haute porté peut également proposer des interfaces de programmation dédiées au développement des applications extérieures. Ces interfaces, connues sous le terme anglais de « API » (« Application Programming Interface ») permettent de recevoir des commandes de génération graphique dans un référentiel de projection donné en utilisant par exemple un raccordement de type Internet ou Data Link. Ce type de dispositif présente également des inconvénients liés à la complexité et coût associés à la mise en place et certification des interfaces de programmation côté dispositif et côté de l’équipement extérieur pour respecter la surface de programmation. Selon encore d’autres méthodes connues de l’état de la technique, les dispositifs d’affichage tête haute portés ne permettent que l’affichage simple d’une image avec les contrôles associés. La génération de l’image est effectuée en amont par un équipement externe à ce dispositif. Toutefois dans un tel cas, des latences importantes peuvent survenir lorsque par exemple il est nécessaire pour l’équipement externe d’acquérir des données de détection de posture de tête de l’utilisateur issues du dispositif d’affichage tête haute porté. Ce type de dispositif ne répond donc plus aux besoins temps réel. La présente invention a pour but de remédier aux inconvénients précités et de proposer en particulier un dispositif d’affichage tête haute porté permettant aux clients extérieurs de développer des applications facilement tout en répondant aux contraintes temps réel de ce dispositif. À cet effet, l’invention concerne un dispositif d’affichage tête haute porté pour afficher une image conforme à au moins deux référentiels de projection, le dispositif. Ce dispositif comprend un module d’acquisition d’images configuré pour acquérir séparément un flux d’images pour chacun d’au moins deux référentiels de projection et/ou pour extraire d’un flux d’entrée unique un flux d’images pour chacun d’au moins deux référentiels de projection ; pour chaque référentiel de projection, un module de traitement spatial configuré pour adapter le flux d’images correspondant à ce référentiel de projection à un référentiel d’affichage ; un module de mixage configuré pour générer un flux résultant comprenant le flux d’images adapté par chacun des modules de traitement spatial et un module de projection configuré pour projeter le flux résultant sur une surface d’affichage selon le référentiel d’affichage. Suivant d’autres aspects avantageux de l’invention, le dispositif selon l’invention comprend une ou plusieurs des caractéristiques suivantes, prises isolément ou suivantes toutes les combinaisons techniquement possibles : - le module d’acquisition d’images comprend au moins un élément choisi dans la liste d’éléments consistant en une entrée d’images dédiée pour au moins un référentiel de projection ; une entrée d’images commune avec une unité de filtrage permettant de distinguer les flux d’images relatifs à au moins deux référentiels de projection différents et une entrée d’images commune de type multi-couleurs avec chaque couleur portant une information sur un référentiel de projection ; - le dispositif comprenant un module de détection configuré pour détecter une posture de tête d’un utilisateur, au moins un module de traitement étant apte à adapter le flux d’image correspondant en fonction de la posture de tête détectée par le module de détection ; - le dispositif étant un dispositif tête haute porté embarqué dans un porteur ; - le dispositif comprenant un module d’acquisition d’attitudes configuré pour acquérir des attitudes du porteur, au moins un module de traitement étant apte à adapter le flux d’image correspondant en fonction des attitudes du porteur acquises par le module d’acquisition d’attitudes ; - chaque référentiel de projection est choisi dans le groupe consistant en : - un référentiel lié à la surface d’affichage ; - un référentiel lié au corps d’un utilisateur ; - un référentiel lié au porteur ; - un référentiel lié à l’environnement extérieur du porteur ; - le dispositif comprenant un module de contrôle de la luminosité et/ou de contraste du flux résultant ; - le module d’acquisition d’images est configuré en outre pour acquérir des informations de contrôle de la priorité des différents référentiels de projection; - le module de mixage est configuré pour générer le flux résultant en fonction desdites informations de contrôle de la priorité ; - lesdites informations de contrôle de la priorité sont encodées dans des pixels des images des flux d’images correspondants. La présente invention concerne également un procédé d’affichage tête haute d’une image conforme à au moins deux référentiels de projection, le procédé comprenant les étapes suivantes : - acquérir séparément un flux d’images pour chacun d’au moins deux référentiels de projection et/ou extraire d’un flux d’entrée unique un flux d’images pour chacun d’au moins deux référentiels de projection ; - pour chaque référentiel de projection, adapter le flux d’images correspondant à ce référentiel de projection à un référentiel d’affichage ; - générer un flux résultant comprenant les flux d’images adaptés ; - projeter le flux résultant sur une surface d’affichage selon le référentiel d’affichage. Ces caractéristiques et avantages de l’invention apparaitront à la lecture de la description qui va suivre, donnée uniquement à titre d’exemple non-limitative et faite en référence aux dessins annexés sur lesquels : [Fig 1] la figure 1 est une vue schématique d’un dispositif d’affichage tête haute porté selon l’invention ; [Fig 2] la figure 2 est une vue schématique de différents référentiels de projection pour lesquels le dispositif d’affichage tête haute porté de la figure 1 reste applicable. Le dispositif d’affichage 10 de la permet d’afficher des images conformes à au moins deux référentiels de projection différents. Ce dispositif d’affichage 10 est un dispositif d’affichage tête haute porté. Ce type de dispositif d’affichage est également connu sous les appellations anglaises de « Head Worn Display » ou « Helmet Mounted Display ». De manière connue en soi, ce type de dispositif d’affichage est destiné à être porté par un utilisateur et se présente par exemple sous la forme d’un casque ou alors des lunettes. Dans un tel cas, ce dispositif d’affichage 10 définit une surface d’affichage sur laquelle la projection est faite. La surface d’affichage présente par exemple la visière dans le cas d’un casque porté ou alors la surface transparente des lunettes associées, et définit un référentiel d’affichage Selon l’invention, le dispositif d’affichage 10 est destiné à être utilisé dans un porteur tel que par exemple un aéronef. Dans ce cas, l’utilisateur du dispositif d’affichage 10 est un occupant de cet aéronef (pilote, copilote, 3 ème homme, operateur en soute, …). Suivant d’autres exemples de l’invention, le dispositif d’affichage 10 est embarqué dans tout autre porteur, comme par exemple un véhicule maritime ou un véhicule terrestre. Comme indiqué précédemment, le dispositif d’affichage 10 permet d’afficher des images conformes à au moins deux référentiels de projection. Ces différents référentiels de projection sont illustrés schématiquement sur la dans le cas d’un aéronef. Ainsi, comme cela est visible sur la , chaque référentiel de projection est choisi en relation avec un objet se trouvant à l’intérieur du porteur ou à l’extérieur de celui-ci. Sur la , le référentiel de projection 12 est lié au corps de l’utilisateur, notamment à sa tête. Ce type de référentiel est connu dans l’état de la technique sous le nom de « b-frame ». Sur la même , le référentiel de projection 14 est lié à la surface d’affichage qui présente la visière du casque de l’utilisateur dans cet exemple. Ce type de référentiel est connu dans l’état de la technique sous le nom de « d-frame ». Le référentiel de projection 16 présente un référentiel lié au porteur et le référentiel de projection 18 présente un référentiel lié à l’environnement extérieur du porteur, par exemple au sol lorsqu’il s’agit d’un aéronef. Ces types de référentiel sont connus dans l’état de la technique respectivement sous les noms de « p-frame » et « i-frame ». Il est donc clair que ces différents référentiels de projection peuvent être utilisés pour représenter en tête haute différents types d’informations utilisables par l’utilisateur pour piloter le porteur. L’affichage fourni par le dispositif d’affichage 10 présente donc un affichage conforme à l’ensemble de ces référentiels de projection. En référence à la , le dispositif d’affichage 10 comprend un module d’acquisition d’images 22, plusieurs modules de traitement spatial 24, un module de mixage 26 et un module de projection 28. De manière facultative, le dispositif d’affichage 10 comprend en outre un module de détection 32, un module d’acquisition d’attitudes 34 et un module de contrôle 36. Parmi ces modules facultatifs, le module de détection 32 permet de détecter la posture de la tête de l’utilisateur ou la position de toute autre partie du corps de l’utilisateur utilisable comme point de référence. En variante, le module de détection 32 permet de détecter la position et/ou l’attitude de tout autre référentiel mobile par rapport au référentiel de projection 16 lié au porteur. Le module d’acquisition d’attitudes 34 permet d’acquérir des attitudes du porteur. Ces attitudes sont par exemple fournies par un système interne du porteur tel qu’une centrale inertielle connue en soi. Le module de contrôle 36 permet par exemple d’adapter la luminosité et/ou le contraste de l’image affichée sur la surface d’affichage. Le module d’acquisition d’images 22 permet d’acquérir des flux d’images issus d’une pluralité de systèmes extérieurs désignés sur la par la référence numérique 40. En particulier, ces systèmes extérieurs 40 permettent de fournir des flux d’images séparés pour au moins deux référentiels de projection et/ou un flux d’images unique pour au moins deux référentiels de projection différents. Le module d’acquisition d’images 22 permet alors d’acquérir séparément chaque flux d’images fourni par le système 40 et/ou d’extraire d’un flux d’entrée unique un flux d’images pour chaque référentiel de projection. Pour ce faire, le module d’acquisition d’images 22 présente par exemple une entrée d’images dédiée pour chaque référentiel de projection dont le flux d’images est transmis séparément et/ou une entrée d’images unique pour le flux d’images unique. Dans ce dernier cas, l’entrée d’images unique est associée par exemple avec une unité de filtrage permettant de distinguer les flux d’images relatifs à des référentiels de projection différents. Dans ce cas, l’unité de filtrage présente par exemple des capacités de filtrage par un ensemble de bits par pixel permettant d’identifier le référentiel de projection correspondant, le nombre de bits dédié étant une fonction du nombre de référentiels de projection utilisés. En variante, l’entrée d’images unique présente une entrée de type multi couleurs (par exemple RGB) avec chaque couleur portant l’information sur un référentiel de projection donné. Encore en variante, l’entrée d’images unique présente une combinaison des différents types d’entrées précités. Selon un exemple de réalisation, le module d’acquisition d’images 22 permet en outre d’acquérir des informations de contrôle de la priorité des différents référentiels. Ces informations de contrôle sont relatives à la priorité de superposition graphique des flux d’images correspondants et peuvent être données par les systèmes extérieurs 40 : - soit par configuration statique liée à une priorité par référentiel ; - soit par pixels de l’image entrante (codage avec un certain nombre de bits dédiés à la priorité). Le nombre des modules de traitement spatial 24 est choisi en fonction du nombre de référentiels de projection pour lequel le dispositif d’affichage 10 est conçu. En particulier, un module de traitement spatial 24 est associé à chaque référentiel de projection pour lequel le dispositif d’affichage 10 est conçu. Dans l’exemple de la , les modules de traitement spatial 24 sont au nombre de trois. Chaque module de traitement spatial 24 est configuré pour adapter le flux d’images correspondant à ce module de traitement 24 au référentiel d’affichage de la surface d’affichage. En particulier, chaque module de traitement spatial 24 est configuré pour appliquer une fonction de projection à chaque pixel du flux d’images reçu, sur la surface d’affichage. Pour ce faire, au moins certains des modules de traitement spatial 24 utilisent des données supplémentaires relatives au référentiel de projection correspondant. Ainsi, par exemple, le module de traitement spatial 24 relatif au référentiel de projection lié au porteur, utilise les données issues du module de détection 32 décrivant la posture de la tête de l’utilisateur dans le référentiel lié au porteur. De manière analogue, le module de traitement spatial 24 relatif au référentiel lié à l’environnement extérieur du porteur, utilise les données issues du module de détection 32 décrivant la posture de la tête de l’utilisateur ainsi que les données relatives aux attitudes du porteur issues du module d’acquisition d’attitudes 34. Bien entendu, en fonction du référentiel de projection utilisé, les modules de traitement spatial 24 peuvent utiliser d’autres données issues des systèmes extérieurs 40 ou d’autres modules intégrés dans le système d’affichage 10. Le module de mixage 26 permet de générer un flux résultant à partir des flux d’images adaptés par chacun des modules de traitement spatial 24. Plus particulièrement, le module de mixage 26 permet de combiner l’ensemble des images adaptées pour les afficher ensuite sur la surface d’affichage selon le référentiel d’affichage. En outre, dans le cas où des informations de contrôle de la priorité ont été acquises, le module de mixage 26 permet de combiner les images conformément à ces informations de contrôle de la priorité, notamment en ce qui concerne la superposition des images issues de flux différents. Finalement, le module de projection 28 permet de projeter le flux résultant obtenu par le module de mixage 26 sur la surface d’affichage. Le procédé d’affichage tête haute mis en œuvre par le dispositif d’affichage 10 sera désormais expliqué. Initialement, il est considéré que les systèmes extérieurs 40 fournissent des flux d’images séparés pour au moins deux référentiels de projection différents et/ou un flux d’images unique comportant aux moins deux flux d’images séparés. Lors d’une première étape, le module d’acquisition d’images 22 acquiert séparément un flux d’images pour chaque référentiel de projection correspondant et/ou extrait du flux d’entrée unique un flux d’images pour chacun des référentiels de projection. Puis, le module d’acquisition d’images 22 fournit ces flux d’images au module de traitement spatial 24 correspondant. Lors d’une étape suivante, chacun des modules de traitement spatial 24 adapte le flux d’images correspondant pour l’afficher dans le référentiel d’affichage. Comme indiqué précédemment, au moins certains de ces modules de traitement spatial 24 utilisent des données fournies par les modules 32 et 34 relatifs respectivement à la posture de la tête de l’utilisateur ou aux attitudes du porteur. Lors d’une étape suivante, le module de mixage 26 génère un flux résultant comprenant le flux d’images adapté par chacun des modules de traitement spatial 24. Lors d’une étape finale suivante, le module de projection 28 projette alors le flux résultant obtenu par le module de mixage 26 sur les surfaces de projection selon le référentiel d’affichage. Si besoin, le module de contrôle 36 contrôle la luminosité ou le contraste de l’image résultante projetée. On conçoit alors que la présente invention présente un certain nombre d’avantages. En particulier, l’invention propose une interface unique et normalisée pour les flux d’images relatifs à des référentiels de projection différents. Ainsi, les systèmes extérieurs peuvent fournir directement un tel flux d’images indépendamment du traitement intérieur effectué par le dispositif d’affichage selon l’invention. De plus, le dispositif d’affichage selon l’invention correspond à des contraintes temps réel car il intègre l’ensemble des dispositifs nécessaires pour son fonctionnement. Dispositif d’affichage (10) tête haute porté pour afficher une image conforme à au moins deux référentiels de projection, le dispositif (10) comprenant : - un module d’acquisition d’images (22) configuré pour acquérir séparément un flux d’images pour chacun d’au moins deux référentiels de projection (12, 14, 16, 18) et/ou pour extraire d’un flux d’entrée unique un flux d’images pour chacun d’au moins deux référentiels de projection (12, 14, 16, 18) ; - pour chaque référentiel de projection (12, 14, 16, 18), un module de traitement spatial (24) configuré pour adapter le flux d’images correspondant à ce référentiel de projection (12, 14, 16, 18) à un référentiel d’affichage ; - un module de mixage (26) configuré pour générer un flux résultant comprenant le flux d’images adapté par chacun des modules de traitement spatial (24); - un module de projection (28) configuré pour projeter le flux résultant sur une surface d’affichage selon le référentiel d’affichage. Dispositif (10) selon la revendication 1, dans lequel le module d’acquisition d’images (22) comprend au moins un élément choisi dans la liste d’éléments consistant en : - une entrée d’images dédiée pour au moins un référentiel de projection (12, 14, 16, 18); - une entrée d’images commune avec une unité de filtrage permettant de distinguer les flux d’images relatifs à au moins deux référentiels de projection (12, 14, 16, 18) différents ; - une entrée d’images commune de type multi-couleurs avec chaque couleur portant une information sur un référentiel de projection (12, 14, 16, 18). Dispositif (10) selon l’une quelconque des revendications précédentes, comprenant en outre un module de détection (32) configuré pour détecter une posture de tête d’un utilisateur, au moins un module de traitement (24) étant apte à adapter le flux d’image correspondant en fonction de la posture de tête détectée par le module de détection (32). Dispositif (10) selon l’une quelconque des revendications précédentes, étant un dispositif tête haute porté embarqué dans un porteur. Dispositif (10) selon la revendication 4, comprenant en outre un module d’acquisition d’attitudes (34) configuré pour acquérir des attitudes du porteur, au moins un module de traitement (24) étant apte à adapter le flux d’image correspondant en fonction des attitudes du porteur acquises par le module d’acquisition d’attitudes (34). Dispositif (10) selon l’une quelconque des revendications précédentes prise en combinaison avec la revendication 4, dans lequel chaque référentiel de projection est choisi dans le groupe consistant en : - un référentiel (14) lié à la surface d’affichage ; - un référentiel (12) lié au corps d’un utilisateur ; - un référentiel (16) lié au porteur ; - un référentiel (18) lié à l’environnement extérieur du porteur. Dispositif (10) selon l’une quelconque des revendications précédentes, comprenant en outre un module de contrôle (36) de la luminosité et/ou de contraste du flux résultant. Dispositif (10) selon l’une quelconque des revendications précédentes, dans lequel : - le module d’acquisition d’images (22) est configuré en outre pour acquérir des informations de contrôle de la priorité des différents référentiels de projection (12, 14, 16, 18) ; - le module de mixage (26) est configuré pour générer le flux résultant en fonction desdites informations de contrôle de la priorité. Dispositif (10) selon la revendication 8, dans lequel lesdites informations de contrôle de la priorité sont encodées dans des pixels des images des flux d’images correspondants. Procédé d’affichage tête haute d’une image conforme à au moins deux référentiels de projection (12, 14, 16, 18), le procédé comprenant les étapes suivantes : - acquérir séparément un flux d’images pour chacun d’au moins deux référentiels de projection (12, 14, 16, 18) et/ou extraire d’un flux d’entrée unique un flux d’images pour chacun d’au moins deux référentiels de projection (12, 14, 16, 18) ; - pour chaque référentiel de projection (12, 14, 16, 18), adapter le flux d’images correspondant à ce référentiel de projection (12, 14, 16, 18) à un référentiel d’affichage ; - générer un flux résultant comprenant les flux d’images adaptés ; - projeter le flux résultant sur une surface d’affichage selon le référentiel d’affichage.