Brevet FR3048515A1 — publié le 20170908

Contexte technique L'invention s'inscrit dans le domaine de la prise de vue stéréoscopique, par exemple pour la vidéo stéréoscopique. On connait des systèmes de prise de vue stéréoscopique utilisant différentes techniques, fournissant une information de profondeur. Par exemple des systèmes utilisent un capteur d'images numériques monoscopique sensibles à la lumière visible couplé à la fois à un générateur d'impulsion infrarouge et à un capteur monoscopique d'images sensible aux ondes infra-rouge. À l'aide du temps de vol des ondes infra-rouge reflétées par les objets visualisés, les distances, pixels par pixels, de ces objets au dispositif de prise de vue sont déterminées. On utilise par exemple de l'infra- rouge, par exemple de l'infra-rouge proche, pour éviter de polluer les informations en lumière visible. L'image en lumière visible est dotée d'une carte de profondeur associée, indiquant pour chaque pixel les distances des objets visibles. Des perturbations peuvent être causées par l'environnement, tel que le soleil, ou des sources d'ondes infra-rouge comme un deuxième capteur mis en oeuvre à proximité. Alternativement, on connait des scanners envoyant des impulsions par segment en lumière visible sur la scène, qui est balayée rapidement par un système mécanique d'orientation du générateur d'impulsion. La mécanique est complexe, implique des miroirs, et est assez couteuse, encombrante et fragile. Le scanner peut être aveuglé en cas de nébulosité ambiante. On connait des systèmes utilisant une source lumineuse éclairant la scène à l'aide d'une onde de forme structurée, dont on analyse la déformation avec un capteur monoscopique. Un tel système nécessite l'utilisation d'un générateur de lumière en plus de l'appareil de prise de vue, ce qui est contraignant. Ces différents systèmes ont l'inconvénient d'être dépendants de l'envoi d'une information lumineuse dans la scène, ce qui les rend précaires. On connait aussi des systèmes stéréoscopiques utilisant deux capteurs monoscopiques disposés l'un à côté de l'autre de manière prédéfinie et à 3048515 2 partir desquels on détermine, par triangulation, une carte de profondeur. L'information de profondeur étant issue de deux capteurs, elle est qualifiée d'information de disparité. On parle aussi de cartographie de disparité. Par exemple la caméra bumblebee2 est une caméra stéréoscopique à deux 5 capteurs pour la génération d'images de disparité. Par ailleurs W02012/165717 décrit un appareil pour générer une image stéréoscopique par enregistrement d'une image pour l'oeil gauche et une image pour l'oeil droit, les deux capteurs ayant des résolutions différentes. La convergence est contrôlée et l'image de haute résolution est excisée des 10 parties les plus extérieures, et ajustée en échelle. Ces différentes technologies n'offrent pas de dispositif facile à mettre en oeuvre, robuste, qui ne soit pas couteux en énergie et vulnérable à l'environnement, et qui fournisse une image associée à une information de profondeur. 15 Définition de l'invention Pour résoudre les problèmes identifiés ci-dessus, il est proposé un appareil de prise de vue stéréoscopique comprenant un premier capteur d'images numériques, un deuxième capteur d'images numériques synchronisé avec le premier capteur, au moins un zoom optique de distance focale variable 20 associé au premier capteur ou au deuxième capteur, et des moyens pour effectuer un zoom numérique sur une image numérique provenant du deuxième capteur, l'appareil comprenant de plus des moyens pour choisir une valeur de changement d'échelle pour aligner une image à aligner provenant du premier capteur et une image à aligner provenant du deuxième capteur, et 25 des moyens pour produire une cartographie de profondeur associée à des images capturées à une même date par les premier et deuxième capteurs en utilisant des images provenant du deuxième capteur modifiées par l'application par les moyens pour effectuer un zoom numérique d'un changement d'échelle de ladite valeur de changement d'échelle, les moyens 30 pour choisir une valeur de changement d'échelle étant configurés pour être mis en oeuvre au moins lorsque la distance focale du zoom optique est modifiée, pour calibrer l'appareil de prise de vie stéréoscopique. Dans certains modes de réalisation, l'appareil de prise de vue stéréoscopique présente les caractéristiques suivantes : 3048515 3 - les moyens pour produire une cartographie de profondeur mettent en oeuvre, pour produire la cartographie, une rotation entre une image à exploiter provenant du premier capteur et une image à exploiter provenant du deuxième capteur ; 5 - les moyens pour choisir une valeur de changement d'échelle déterminent, pour choisir la valeur de changement d'échelle, au moins une rotation sur un, deux ou trois axes (préférentiellement trois axes) entre une image à aligner provenant du premier capteur et une image à aligner provenant du deuxième capteur ; 10 - les moyens pour choisir une valeur de changement d'échelle utilisent une extraction de points d'intérêt d'une image à aligner provenant du deuxième capteur dans sa forme telle que capturée par le deuxième capteur avant tout changement d'échelle, une extraction de points d'intérêts d'une image à aligner provenant du premier capteur, et un appariement des points d'intérêt 15 extraits des deux images ; - les moyens pour choisir une valeur de changement d'échelle utilisent une extraction de points d'intérêt d'une image à aligner provenant du deuxième capteur dans une forme modifiée au moins par l'application d'un changement d'échelle par les moyens pour effectuer un zoom numérique, une extraction 20 de points d'intérêts d'une image à aligner provenant du premier capteur et un appariement des points d'intérêt extraits des deux images ; - le deuxième capteur est un capteur monochrome et le premier capteur est un capteur couleur à plus haute résolution que le capteur monochrome ; - les moyens pour choisir une valeur de changement d'échelle sont configurés 25 pour être mis en oeuvre lorsque l'appareil est allumé ou réinitialisé ; - les moyens pour sélectionner une valeur de changement d'échelle mettent en oeuvre plusieurs zooms numériques avec des changements d'échelle de valeurs différentes sur ladite image numérique capturée par le deuxième capteur pour obtenir une pluralité d'images numériques modifiées, et utilisent 30 une comparaison de chacune desdites images numériques modifiées avec ladite image numérique capturée par le premier capteur ; - les moyens pour choisir une valeur de changement d'échelle mettent en oeuvre une obtention préalable d'une valeur sommaire de changement d'échelle entre ladite image numérique capturée par le premier capteur, et 3048515 4 ladite image numérique capturée par le deuxième capteur de manière synchrone, et un affinage de la valeur sommaire en une valeur affinée de changement d'échelle. Liste des figures 5 La figure 1 présente un premier mode de réalisation d'un appareil selon l'invention. La figure 2 présente un deuxième mode de réalisation d'un appareil selon l'invention. La figure 3 présente un premier mode de réalisation de fonctions mises en 10 oeuvre dans l'invention. La figure 4 présente un deuxième mode de réalisation de fonctions mises en oeuvre dans l'invention. La figure 5 présente un troisième mode de réalisation de fonctions mises en oeuvre dans l'invention. 15 Description d'un mode de réalisation En figure 1, on a représenté un appareil de prise de vue stéréoscopique 10 selon un mode de réalisation de l'invention. Il comprend un premier capteur monoscopique d'images numériques 11, polychromatique (par exemple RGB), et de haute résolution. L'appareil de prise de vue stéréoscopique 10 20 comprend un deuxième capteur monoscopique d'images numérique 12, monochromatique, et de résolution plus basse que celle du premier capteur 11. Les deux capteurs sont synchronisés temporellement par un composant (non représenté) générant et envoyant un signal d'horloge aux deux capteurs. Les deux capteurs 11 et 12 sont reliés à une unité de calcul 13, qui reçoit les 25 images sous forme de transmission électronique de données numériques. L'ensemble des éléments électriques de l'appareil 10 est alimenté par une pile 14 ou un accumulateur, ou toute source autonome d'énergie de petite taille et de faible poids. Celle-ci fournit la puissance électrique à l'unité de calcul 13. L'unité de calcul 13 est dimensionnée pour être alimentée par la pile 14. 30 L'appareil de prise de vue 10 est de préférence mobile, transportable et contenu dans un boîtier. Il ne nécessite pas d'alimentation de type secteur. Le premier capteur 11 produit des images qualifiées d'images principales, alors que le deuxième capteur 12 produit des images qualifiées d'images esclaves. 3048515 5 Les données provenant des deux capteurs 11 et 12 sont concaténées sous la forme d'une seule image comprenant les deux informations, avant d'être traitées par l'unité de calcul 13. Un exemple de concaténation peut être le suivant : Pixel du capteur principal 5 (Ym, Um ou Vm) + Pixel du capteur secondaire monochrome (Ys) = Pixel de l'image finale (Ym, Um ou Vm, Ys). L'image résultante est utilisable par un processeur qui connaitrait la façon dont sont ordonnés les pixels afin de décoder les deux images. Une manière de faire est de concaténer chaque pixel de l'image principale 10 avec le pixel de l'image esclave. Dans le cas de résolutions différentes, certains pixels de l'image principale n'ont pas de correspondants, et on complète donc avec des 0. Le pixel n de l'image finale est [ Y (px princp . n) ] [ U(px princp. n)] [Y (px esclave n)] 15 Une deuxième manière de faire est de concaténer la liste complète de pixels de l'image principale avec la liste complète de l'image esclave à la suite. L'avantage de cette méthode est qu'il n'est pas nécessaire de rajouter des 0. L'image finale se lit donc [ Y (px princ 1) [ U(px princ 1)]... [ Y (px princ n) ] [ V(px princp. n)]...... [Y (px 20 esclave 1)].. [Y (px escl. 2)].. [Y (px escl. n)] La concaténation peut être effectuée par le processeur principal 13. Dans ce cas, le processeur principal transmet directement la puissance électrique nécessaire aux deux capteurs par une piste électronique dédiée. L'un ou l'autre des capteurs numériques est muni d'un zoom optique. Dans le 25 mode de réalisation représenté, les deux capteurs numériques 11 et 12 sont munis chacun d'un zoom optique, référencé respectivement 21 et 22. La focale de l'un ou l'autre des zooms optiques peut être amenée à être modifiée, par un utilisateur agissant manuellement, ou par un processeur ou un contrôleur agissant pour régler l'appareil. Les deux focales peuvent 30 éventuellement être modifiées à une même occasion. Par ailleurs, le processeur principal 13 comprend des moyens 131 pour effectuer un zoom numérique sur une image numérique provenant du deuxième capteur 12. 304 85 15 6 Le processeur principal 13 comprend de plus des moyens 132 pour choisir une valeur de changement d'échelle pour aligner une image principale IP à aligner provenant du premier capteur et une image esclave à aligner IE provenant du deuxième capteur. 5 Le processeur principal 13 comprend de plus des moyens 133 pour produire une cartographie de profondeur associée à des images capturées à une même date par les premier et deuxième capteurs 11 et 12. Les moyens 132 pour choisir une valeur de changement d'échelle sont configurés pour être mis en oeuvre lorsque la distance focale du zoom optique 10 ou d'un des zooms optiques est modifiée. Alternativement, dans un mode de réalisation avantageux représenté en figure 2, la concaténation peut être effectuée sur un processeur secondaire déporté 15, relié aux capteurs 11 et 12, et lié au processeur principal par un câble 16 de type USB. Dans ce cas particulier, l'alimentation est transmise via 15 le câble 16 au processeur secondaire 15, qui transmet à son tour l'alimentation nécessaire aux deux capteurs 11 et 12 par une piste électronique dédiée. La concaténation des données est utilisée pour garantir la synchronisation des images des deux capteurs 11 et 12. Cela permet d'éviter à l'unité de calcul 13 20 de récupérer deux images en deux procédures différentes. En figure 3, on a représenté un premier mode de réalisation d'un traitement d'images par l'appareil de prise de vue stéréoscopique 10, et plus précisément par l'unité de calcul 13. Les images principales IP et les images esclaves IE sont fournies à l'unité de calcul 13 par les capteurs 11 et 12, par 25 exemple sous la forme concaténée évoquée ci-dessus. Un recalage du capteur secondaire 12 est effectué, en utilisant une image principale IP et l'image esclave IE correspondant temporellement. Le recalage peut aussi être effectué en utilisant plusieurs images principales IP et les images esclaves IE correspondant temporellement. 30 Le recalage du deuxième capteur (ou calibration de l'appareil stéréoscopique) consiste à déterminer des paramètres de modification des images esclaves IE afin de les aligner sur les images principales IP. 304 85 15 7 Le recalage est effectué lors de l'initialisation du système. Il peut être effectué à nouveau lorsque la distance focale d'un zoom optique associé à l'un ou l'autre des capteurs est modifiée. Les images principales IP font l'objet d'une extraction 100 de la composante 5 de luminance Y. Il s'agit là en général du premier canal de couleur de l'image principale. L'étape d'extraction 100 permet de disposer d'images principales monochromes IPM. Le traitement se poursuit par une étape 110 d'évaluation du rapport entre les focales de l'image principale monochrome IPM et de l'image esclave IE. Cette 10 étape peut être mise en oeuvre à l'aide d'une extraction de points d'intérêt, comme des coins ou des contours d'objet, ou tout autre technique, utilisant tout ou partie de l'information disponible dans les images IE et IPM. A la place de l'image IPM, l'image IP peut être utilisée pour cette étape. L'étape 110 est mise en oeuvre par les moyens 132 pour choisir une valeur de changement 15 d'échelle. Les points d'intérêt sont identifiés dans les images correspondantes (de même date) et on trouve les points correspondants, par un processus de reconnaissance et appariement. Le traitement se poursuit par une étape 120 de modification de l'image esclave IE par changement d'échelle (resize/rescaling en anglais) en utilisant 20 le rapport de focales déterminé à l'étape 110. Cette étape fournit une image esclave corrigée IEC1. IEC1 est une image esclave virtuelle qui proviendrait d'un capteur esclave ayant la même distance focale que le capteur principal 11. L'étape est mise en oeuvre par les moyens 131 pour effectuer un zoom numérique. 25 Le traitement se poursuit par une étape d'estimation 130 des différences angulaires, de préférence sur trois axes complémentaires de l'espace, entre les prises de vue, en comparant l'image esclave corrigée IEC1 et l'image principale monochrome IPM. Cette étape peut être mise en oeuvre à l'aide d'une extraction de points d'intérêt, comme des coins ou des contours d'objet, 30 ou tout autre technique, utilisant tout ou partie de l'information disponible dans les images IEC1 et IPM. A la place de l'image IPM, l'image IP peut être utilisée pour cette étape. À nouveau, les points d'intérêt sont identifiés dans les images correspondantes (de même date) et on trouve les points correspondants, par un processus de reconnaissance et appariement. 3048515 8 Le traitement se poursuit par une étape 140 de modification de l'image esclave corrigée IEC1 par application de rotations, de préférence sur trois axes complémentaires de l'espace, en utilisant les décalages angulaires déterminés à l'étape 130. Cette étape fournit une image esclave corrigée 5 IEC2. IEC2 est une image esclave virtuelle qui proviendrait d'un capteur esclave ayant la même distance focale que le capteur principal 11, et placé au même endroit. Le traitement se poursuit par une étape de génération 150 d'une carte de profondeur CP (ou carte de disparité), à partir de l'image principale 10 monochrome IPM (ou éventuellement de l'image principale originale IP) et de l'image esclave corrigée IEC2. Un exemple de mode opératoire peut être l'utilisation d'un algorithme de correspondance semi-globale par bloc, ou bien plus généralement la description dans chaque pixel de l'image principale et la recherche du pixel homologue dans l'image esclave recalée. L'étape 150 est 15 mise en oeuvre par les moyens 133 de génération d'une cartographie de profondeur. Le traitement se poursuit par une étape de génération 160 d'une image en couleur intégrant la disparité (ou profondeur) RGB-D. Cela est effectué par exemple en assemblant l'image principale IP et la carte de profondeur CP 20 dans une seule image dans un format côte à côte. En figure 4, on a représenté un deuxième mode de réalisation d'un traitement d'images par l'unité de calcul 13. Il est similaire au mode de réalisation de la figure 2, avec l'ajout, une fois l'image esclave corrigée IEC2 obtenue par correction de l'échelle et de la 25 rotation, une étape de test 145, pour vérifier si la qualité du recalage est satisfaisante au vu d'un critère d'appréciation de la qualité du recalage. Dans le cas où le recalage est jugé satisfaisant, la carte de profondeur CP est générée au cours de l'étape 150. Si le recalage n'est pas jugé satisfaisant, une étape 147 d'évaluation du 30 rapport entre les focales de l'image principale monochrome IPM et de l'image esclave corrigée IEC est mise en oeuvre de manière similaire à l'étape 110 évoquée précédemment, mais en utilisant, à la place de l'image originale esclave 1E, l'image esclave corrigée IEC2. Un processus d'affinage de la valeur de changement d'échelle à appliquer entre les images esclaves IE et 3048515 9 les images principales IP est mis en oeuvre, jusqu'à ce qu'à une itération donnée, le test 145 soit trouvé positif. En figure 5, on a représenté un troisième mode de réalisation d'un traitement d'images par l'unité de calcul 13, pour le recalage des images esclaves IE. 5 Comme précédemment, les images principales IP font l'objet d'une extraction 100 de la composante de luminance Y. L'étape d'extraction 100 permet de disposer d'images principales monochromes IPM. Le traitement comprend en parallèle des étapes de génération 220 d'une pluralité d'images esclaves corrigées IEC11, IEC12, IEC1n... générées par 10 l'application d'une pluralité de changements d'échelle différents à l'image esclave 1E, les valeurs de changement d'échelle étant choisies par exemple de manière régulière sur un intervalle de valeur numérique prédéfini. Ces étapes de génération 220 sont mises en oeuvre avec les moyens 131 pour effectuer un zoom numérique. 15 Puis, pour chacune de ces d'images esclaves corrigées IEC11, IEC12, IEC13, le traitement comprend une étape d'estimation 230 des différences angulaires, entre les prises de vue, en comparant l'image esclave corrigée IEC11, IEC12, IEC1n et l'image principale monochrome IPM. Cela peut se faire en extrayant des points d'intérêt sur chaque image, et en effectuant, pour chaque 20 paire d'images constitué d'une image esclave corrigée IEC11, ... et l'image principale IPM, une association des points d'intérêt correspondants. Comme précédemment, les points d'intérêt sont identifiés dans les images correspondantes (de même date) et on trouve les points correspondants, par un processus de reconnaissance et appariement. 25 Le traitement est complété par une évaluation de la qualité de la correction par rotation pour chacune des images IEC11, IEC12, IEC1n, Cette étape peut se faire simultanément aux étapes d'estimation 230 des différences angulaires, et vise à évaluer la qualité de la correspondance entre l'image principale IPM et chacune des images esclaves corrigées IEC11, IEC12, 30 IEC1n une rotation étant autorisée entre elles pour la correspondance. Parmi les images IEC11, IEC12... IEC1n celle étant associée à la meilleure correction est sélectionnée au cours d'une étape de sélection 240, permettant ainsi de choisir la meilleure échelle parmi la pluralité de changements 3048515 10 d'échelle utilisés précédemment. Cette étape est mise en oeuvre par les moyens 132 pour choisir une valeur de changement d'échelle. Le traitement est poursuivi par une étape d"application 245 de la rotation associée à l'image esclave corrigée IEC11, IEC12, IEC1n sélectionnée sur 5 celle-ci, pour la génération d'une image esclave corrigée IEC2. Le traitement se poursuit par une étape de génération 150 d'une carte de profondeur CP (ou carte de disparité), à partir de l'image principale monochrome IPM (ou éventuellement de l'image principale originale IP) et de l'image esclave corrigée IEC2. 10 Le traitement se poursuit encore par une étape de génération 160 d'une image en couleur intégrant la disparité (ou profondeur) RGB-D. Le capteur à haute résolution 11 détermine la texture de la cartographie de profondeur, et on privilégie donc une caméra performante, par exemple un capteur Full HD 1920x1080 px, avec une bonne netteté d'images. 15 La distance focale du zoom optique associé au premier capteur 11 est préférentiellement choisie par l'utilisateur. Celle associée au deuxième capteur 12 peut rester fixe ou peut varier. L'invention n'est pas limitée aux modes de réalisation, mais s'étend à toutes les variantes dans le cadre de la portée des revendications. REVENDICATIONS1. Appareil de prise de vue stéréoscopique (10) comprenant un premier capteur d'images numériques (11), un deuxième capteur d'images numériques (12) synchronisé avec le premier capteur (11), au moins un zoom optique (21, 22) de distance focale variable associé au premier capteur (11) ou au deuxième capteur (12), et des moyens (131) pour effectuer un zoom numérique sur une image numérique provenant du deuxième capteur (12), caractérisé en ce que l'appareil (10) comprend de plus des moyens (132) pour choisir une valeur de changement d'échelle pour aligner une image à aligner (IP) provenant du premier capteur (11) et une image à aligner (1E) provenant du deuxième capteur (12), et des moyens (133) pour produire une cartographie de profondeur associée à des images capturées à une même date par les premier (11) et deuxième (12) capteurs en utilisant des images (IEC1 ; IEC11, IEC12, ...) provenant du deuxième capteur (12) modifiées par l'application par les moyens (131) pour effectuer un zoom numérique d'un changement d'échelle (120) de ladite valeur de changement d'échelle, les moyens pour choisir une valeur de changement d'échelle (132) étant configurés pour être mis en oeuvre au moins lorsque la distance focale du zoom optique (21, 22) est modifiée, pour calibrer l'appareil de prise de vie stéréoscopique (10). 2. Appareil de prise de vue stéréoscopique selon la revendication 1, dans lequel les moyens (133) pour produire une cartographie de profondeur mettent en oeuvre, pour produire la cartographie, une rotation (140, 245) sur un, deux ou trois axes entre une image à exploiter provenant du premier capteur (11) et une image à exploiter provenant du deuxième capteur (12). 3. Appareil de prise de vue stéréoscopique selon la revendication 1 ou la revendication 2, dans lequel les moyens (132) pour choisir une valeur de changement d'échelle déterminent, pour choisir la valeur de changement 3048515 12 d'échelle, au moins une rotation (130, 230) entre une image à aligner (IP) provenant du premier capteur (11) et une image à aligner (1E) provenant du deuxième capteur (12). 5 4. Appareil de prise de vue stéréoscopique selon l'une des revendications 1 à 3, dans lequel les moyens (132) pour choisir une valeur de changement d'échelle utilisent une extraction de points d'intérêt (110) d'une image à aligner (1E) provenant du deuxième capteur (12) dans sa forme telle que capturée par le deuxième capteur (12) avant tout changement d'échelle, 10 une extraction de points d'intérêts d'une image à aligner (IP ; IPM) provenant du premier capteur (11), et un appariement des points d'intérêt extraits des deux images. 5. Appareil de prise de vue stéréoscopique selon l'une des revendications 1 à 15 4, dans lequel les moyens (132) pour choisir une valeur de changement d'échelle utilisent une extraction de points d'intérêt (147, 230) d'une image à aligner (IEC2 ; IEC11, IEC12, ...) provenant du deuxième capteur (12) dans une forme modifiée au moins par l'application d'un changement d'échelle par les moyens (131) pour effectuer un zoom numérique, une 20 extraction de points d'intérêts d'une image à aligner (IP ; IPM) provenant du premier capteur (11) et un appariement des points d'intérêt extraits des deux images. 6. Appareil de prise de vue stéréoscopique selon l'une des revendications 1 à 25 5, dans lequel le deuxième capteur (12) est un capteur monochrome et le premier capteur (11) est un capteur couleur à plus haute résolution que le capteur monochrome (12). 7. Appareil de prise de vue stéréoscopique selon l'une des revendications 1 à 30 6, dans lequel les moyens (132) pour choisir une valeur de changement d'échelle sont configurés pour être mis en oeuvre lorsque l'appareil (10) est allumé ou réinitialisé. 8. Appareil de prise de vue stéréoscopique selon l'une des revendications 1 à 7, dans lequel les moyens (132) pour sélectionner une valeur de 3048515 13 changement d'échelle mettent en oeuvre (220) plusieurs zooms numériques avec des changements d'échelle de valeurs différentes sur ladite image numérique capturée par le deuxième capteur (12) pour obtenir une pluralité d'images numériques modifiées, et utilisent une comparaison 5 de chacune desdites images numériques modifiées (IEC11, IEC12, ...) avec ladite image numérique capturée par le premier capteur (11). 9. Appareil de prise de vue stéréoscopique selon l'une des revendications 1 à 7, dans lequel les moyens pour choisir (132) une valeur de changement 10 d'échelle mettent en oeuvre une obtention préalable (110) d'une valeur sommaire de changement d'échelle entre ladite image numérique capturée par le premier capteur (11), et ladite image numérique capturée par le deuxième capteur (12) de manière synchrone, et un affinage (147) de la valeur sommaire en une valeur affinée de changement d'échelle. 15