Brevet FR3081250A1 — publié le 20191122

PROCEDE ET DISPOSITIF DE RETRO VISION PAR CAMERAS A REALITE AUGMENTEE La présente invention concerne la rétro vision par caméras, 5 sur véhicule automobile. Plus précisément, elle a pour objet un procédé de rétro vision par caméras pour véhicule, restituant au conducteur sur un écran, une scène construite par regroupement de prises de vues. L'utilisation de caméras de rétro vision numériques avec un 10 écran de retour dans l'habitacle, offre davantage de possibilités pour adapter le champ de vision au profil extérieur du véhicule, que les miroirs de rétro vision classiques. Les caméras assurent notamment au conducteur un large champ de vision, vers l'arrière et les côtés du véhicule. Cependant, il est difficile, pour 15 certaines personnes, d'évaluer des distances relatives sur un écran, comme la proximité latérale ou longitudinale des obstacles, des vitesses relatives, etc. Les rétroviseurs à miroirs présentent au conducteur une vision extérieure cadrée par rapport au contour du véhicule et à 20 son contexte intérieur. Sur les rétroviseurs extérieurs, on voit le plus souvent une partie de l'aile du véhicule, ou de sa portière, par exemple la poignée. Sur le rétroviseur intérieur, on voit la lunette arrière, les appuie-têtes. De plus, les technologies à miroirs restituent les trois dimensions du paysage, 25 car les images sont en vision directe pour chaque oeil. Les caméras de rétro vision suppriment les angles morts, et la limitation du champ de vision par les passagers, ou des objets encombrants. Cependant les représentations peuvent dérouter des conducteurs, privés de repères visuels pour situer leur véhicule 30 et estimer les distances. Par la publication FR 2 780 230, on connaît un dispositif de rétro vision par caméra, délivrant sur un même écran une image de rétro vision, et des informations complémentaires fournies par le calculateur de contrôle moteur du véhicule. Ce dispositif 35 sélectionne automatiquement tout ou partie de l'image de rétro vision, pour afficher des informations additionnelles sur l'écran, -2 avec un cadrage dynamique. Certaines informations de conduite apparaissent sur l'écran, sans être incrustées sur l'image, de manière à limiter les risques de confusion de l'image avec certains symboles affichés. Toutefois, le conducteur ne dispose d'aucun repère supplémentaire, par rapport à son environnement. Plusieurs études ont mis en évidence les difficultés rencontrées par des utilisateurs avec la rétro vision par caméra, car les images restituées sont dépourvues de repères sur l'encombrement du 10 l'environnement. La présente invention vise emplacement dans à remédier aux inconvénients des véhicule, OU sur son systèmes de rétro vision par caméras connus. Dans ce but, elle propose de créer sur une image de rétro vision, des éléments fantômes représentant les parties arrière du 15 véhicule, pour aider l'utilisateur à retrouver les repères des rétroviseurs classiques à miroirs. Ce résultat est obtenu grâce à des repères physiques en réalité augmentée : on insère des maquettes numériques tridimensionnelles 20 adaptées au véhicule, dans la scène construite à partir des caméras, et - on construit une scène de réalité augmentée, en superposant les maquettes en trois dimensions, à la scène construite à partir des caméras. 25 Le dispositif comprend un ensemble de caméras de rétro vision 1, disposées par paires, un masque logiciel, statique ou dynamique, spécifique à chaque jeu de caméra, et au moins un écran de restitution 2. La présente invention sera mieux comprise à la lecture de 30 la description suivante d'un mode de réalisation non limitatif de celle-ci, en se reportant aux dessins annexés, sur lesquels : - la figure 1 est un schéma de dispositif de rétro vision par caméra embarqué sur véhicule, - la figure 2 illustre le procédé de l'invention, et 35 - la figure 3 illustre le résultat obtenu. - 3 - Sur la figure 1, on a représenté de façon schématique un véhicule automobile disposant d'un système d'acquisition d'images par doubles caméras 1, latérales et arrière, et d'un ensemble d'écrans de restitution d'images 2, de préférence auto- 5 stéréoscopiques. Les moyens de traitement associés comprennent un calculateur de point de vue de rétro vision A, une mémoire B de modèles 3D (en trois dimensions), de texture et d'agencement, un calculateur C d'image de réalité augmentée (pixels, lumière, paramétrages de l'utilisateur), et une unité de distribution graphique D vers les écrans. Ces composants permettent de constituer un dispositif de rétro vision par caméra disposant de : - un ensemble de caméras de rétro vision 1, disposées par paires, par exemple deux caméras arrière, et deux caméras 15 latérales, - un masque logiciel, statique ou dynamique, spécifique à chaque jeu de caméras, - un ensemble d'écrans de restitution 2, qui peuvent être classiques (LCD, LED, TN) mais de préférence auto-stéréoscopiques, 20 - une interface de paramétrage utilisateur, et éventuellement - un système d'acquisition de la position des yeux du conducteur. Le masque a pour objectif de rajouter à la rétro vision, 25 quelques repères habituellement représentés sur les rétroviseurs à miroir (lunettes arrière, appuis têtes arrière, ailes, poignées, etc.), afin de donner au conducteur des indices sur le point de vue des caméras. Le système apporte aussi une vision en trois dimensions, pour maximiser la perception spatiale. Dans le cadre 30 de l'invention, le masque logiciel est de préférence une surcouche graphique, qui est appliquée sur le flux, d'images de caméras, pour y superposer des informations. L'application d'éléments virtuels, tels que des repères sur le flux réel d'images des caméras, améliore la perception de la scène filmée en augmentant 35 son réalisme. -4 - Le procédé de rétro vision proposé, repose sur la sélection dans le champ de prise de vue des caméras, de zones correspondant à la rétro vision habituelle de rétroviseurs à miroirs. Les prises de vue sont soumises aux corrections nécessaires pour restituer 5 au conducteur sur un écran, une scène construite par regroupement des différentes prises de vues des caméras. L'invention propose de superposer sur l'image de la scène extérieure, quelques repères du véhicule. Le masque apporte à l'utilisateur les avantages cumulés de la rétro vision par caméras 10 et par miroirs, sans leurs inconvénients respectifs. Grâce au masque le dispositif de rétro vision restitue une scène complète de l'environnement extérieur, sans angle mort et sans occultation du champ de vision par des objets ou des occupants du véhicule, tout en l'enrichissant de repères physiques du véhicule, pour faciliter la perception spatiale. En résumé, l'invention prévoit d'insérer des maquettes numériques tridimensionnelles adaptées au véhicule, dans la scène construite à partir des caméras, et de construire une scène de réalité augmentée, en superposant les maquettes en trois dimensions, à la scène construite à partir des caméras. Le procédé de rétro vision par caméras comprend les étapes suivantes : - acquisition d'un flux d'images tridimensionnelles par les caméras, sélection et cadrage du point de vue du conducteur, - construction de la scène de réalité augmentée, - affichage en trois dimensions sur des écrans de restitution. Le dispositif comprend : - un ensemble de caméras de rétro vision 1, disposées par 30 paires, - un masque logiciel, statique ou dynamique, spécifique à chaque jeu de caméra, et au moins un écran de restitution. La technologie de la « 3D auto-stéréoscopique » permet au conducteur de voir directement les éléments insérés en trois dimensions, sans équipements particuliers, tels que des lunettes 3D. La profondeur de champ assurée par la restitution en trois dimensions, contribue à renforcer la perception spatiale. 5 Les caméras peuvent avantageusement être placées à leur emplacement habituel sur le véhicule. Elles sont disposées par paires, espacées d'environ 65mm, car cette distance correspond à un écart moyen entre deux yeux, et permet de restituer une image stéréoscopique à l'utilisateur. 10 Les autres ressources contribuant à la mise en oeuvre de l'invention sont les suivantes : une mémoire interne contenant les modèles numériques texturés du véhicule, qui peuvent être superposés à la rétrovision ; 15 un calculateur de position des modèles numériques, pouvant travailler avec le système de localisation des yeux du conducteur pour adapter l'image à celle-ci ; une unité graphique capable d'afficher en 3D les modèles numériques, avec une résolution suffisante, avec ou sans 20 quelques calculs en temps réel pour augmenter le réalisme de la scène : ombres, luminosité ambiante, lumières incidentes, etc. L'élaboration du masque s'effectue en temps réel avec un rafraîchissement permanent. Il s'applique sur l'image en plusieurs étapes. 25 La première étape est le cadrage. Il consiste à sélectionner dans le champ la zone qui correspond à la rétro vision habituelle des rétroviseurs à miroirs, en lui appliquant éventuellement certaines déformations si elles sont nécessaires pour constituer une vue d'ensemble. La deuxième étape est l'acquisition des modèles. Elle consiste à placer des maquettes numériques adaptées au véhicule et à les insérer dans la scène construite par les caméras. En général, les modèles requis sont des appui-têtes, des portières, etc. La troisième étape de construction de la scène de réalité - 6 - augmentée, consiste à effectuer le rendu des modèles 3D superposé à celui des caméras. Pour cela, le calculateur tient compte du paramétrage sélectionné par l'utilisateur, et de la position de la tête de celui-ci (soit une position moyenne, soit une position 5 précise si l'on équipe le véhicule du système de localisation des yeux facultatif). Les écrans de retour sont de préférence auto-stéréoscopiques, pour visualiser le contenu en trois dimensions, sans lunettes particulières ou autre accessoire. 10 L'interface est à la disposition du conducteur sur son poste de conduite. Grâce à lui, il peut paramétrer la rétro vision, en réglant la transparence des inserts numériques, ou la quantité des inserts mécaniques. L'interface de réglage peut avantageusement s'intégrer dans le logiciel d'une console de 15 navigation et de guidage préexistante. Si la console dispose d'un écran tactile, celui-ci facilite les réglages. Dans un mode de réalisation particulier de l'invention, dit de « de transparence dynamique », la transparence des inserts varie en fonction de l'environnement extérieur, par exemple la 20 présence d'un véhicule dans une zone potentiellement masquée, d'un véhicule en cours de stationnement, etc.). Enfin, il est préférable que la profondeur de la stéréoscopie soit également réglable. La superposition du masque sur l'image, diminue la 25 transparence de celle-ci dans la zone concernée. La suppression de la luminosité peut être partielle ou totale. La figure 3 montre sur un exemple, une image construite à partir d'une vue par caméra arrière et deux caméras latérales. Sur la première vue H, le masque logiciel n'apparaît pas sur l'image (100% de transparence 30 sur toute la surface) ; sur la deuxième 12, le masque diminue la transparence de l'image de 60% dans la zone concernée ; sur la troisième 13, cette diminution est de 80%. L'invention permet de s'affranchir des angles morts, et améliore la sécurité. Par rapport à un système de caméras 35 classique, elle facilite la phase d'apprentissage et de prise en main par le conducteur. La localisation des yeux est facultative, car on peut se contenter d'une position moyenne. Enfin, application de l'invention n'est pas limitée aux véhicules automobiles. Elle trouve aussi tout son intérêt dans d'autres REVENDICATIONS1. Procédé de rétro vision par caméras pour véhicule, restituant au conducteur sur un écran, une scène construite par 5 regroupement de prises de vues dans la zone d'observation habituelle de rétroviseurs à miroirs, caractérisé en ce que : - on insère des maquettes numériques tridimensionnelles adaptées au véhicule, dans la scène de rétro vision construite à partir des caméras, et 10 - on construit une scène de réalité augmentée, en superposant les maquettes en trois dimensions, à la scène construite à partir des caméras. 2. Procédé de rétro vision par caméras selon la revendication 1, caractérisé en ce qu'il comprend les étapes 15 suivantes : - acquisition d'un flux d'images tridimensionnelles par les caméras, sélection et cadrage du point de vue du conducteur, construction de la scène de réalité augmentée, affichage en trois dimensions sur des écrans de 20 restitution. 3. Procédé de rétro vision par caméras selon la revendication 1 ou 2, caractérisé en ce qu'on superpose à l'image un masque diminuant la transparence de celle-ci dans la zone concernée. 25 4. Dispositif de rétro vision par caméras pour la mise en oeuvre du procédé selon la revendications 1 2, ou 3, caractérisé en ce qu'il comprend : - un ensemble de caméras de rétro vision 1, disposées par paires, 30 - un masque logiciel, statique ou dynamique, spécifique à chaque jeu de caméra, et - au moins un écran de restitution. 5. Dispositif de rétro vision selon la revendication 4, caractérisé en ce que l'écran de restitution est auto-35 stéréoscopique. -9- 6. Dispositif de rétro vision par caméras selon la revendication 4 ou 5, caractérisé en ce qu'il comprend une interface de paramétrage pour l'utilisateur. 7. Dispositif de rétro vision par caméras selon la 5 revendication 4, 5 ou 6, caractérisé en ce qu'il comporte un système d'acquisition de la position des yeux du conducteur. 8. Dispositif de rétro vision par caméras selon l'une des revendications 4 à 7, caractérisé en ce qu'il comprend une paire de caméras arrière, et une paire de caméras latérales. 10