FR 2953359 A1 20110603 FR 0958479 A 20091130 1 SYSTEME D'AIDE A LA REALISATION D'IMAGES STEREOSCOPIQUES DESCRIPTION DOMAINE TECHNIQUE ET ART ANTÉRIEUR L'invention concerne le domaine des moyens techniques de réalisation d'images multidimensionnelles appelées couramment 3D ou encore images stéréoscopiques, visant à recréer l'impression de relief propre à la vision humaine. La création de ce type d'images fait appel à des systèmes de captation d'images couplés entre eux par un système adéquat. Ces systèmes de captation d'images sont appelés de façon générique « caméras » et sont équipés de systèmes optiques, « les objectifs », qui possèdent plusieurs réglages, de réglage de la distance focale « focus » ou « mise au point », de réglage d'ouverture « iris » et éventuellement de distance focale « zoom ». Les différences d'ajustement entre les optiques des systèmes de captation provoquent des anomalies dans la perception du relief par le spectateur. On cherche à réaliser des images aussi parfaites, ou aussi bonnes, que possible lors de la prise de vue. Le risque d'erreur devient d'autant plus important du fait du nombre de paramètres à surveiller constamment. Or il n'existe pas de dispositif permettant 30 une telle surveillance, de manière aisée et économique en temps. EXPOSÉ DE L'INVENTION L'invention concerne d'abord un dispositif de traitement d'au moins deux images numériques individuelles obtenues par des moyens respectifs d'acquisition d'une image individuelle, ayant chacun une optique, ce dispositif comportant des moyens pour calculer, à partir de données d'au moins deux images numériques individuelles: - des données de zones au point de chaque moyen d'acquisition et/ou une différence entre des données de zones au point d'au moins deux moyens d'acquisition, - et/ou des données de mise au point de chaque optique et/ou une différence entre des données de mise au point d'au moins deux optiques d'au moins deux moyens d'acquisition, - et/ou des données de longueur focale (zoom) de chaque optique et/ou une différence entre des données de longueur focale de deux optiques d'au moins deux moyens d'acquisition, - et/ou des données d'ouverture (iris) de chaque optique et/ou une différence entre des données d'ouverture de deux optiques d'au moins deux moyens d'acquisition, - et/ou des données d'histogrammes d'images de chacun des moyens d'acquisition d'images numériques. Chaque image individuelle peut être obtenue par un moyen d'acquisition d'images numériques, comportant une optique et positionné dans l'espace, différemment du moyen d'acquisition d'images d'une autre image individuelle. 2 3 Des moyens de visualisation peuvent permettre d'afficher une image résultant de la combinaison des images individuelles, pour former une image dite « en trois dimensions ». Un dispositif selon l'invention peut être associé à des moyens pour assurer à un utilisateur une vision en relief. Un dispositif selon l'invention est donc notamment conçu pour être mis en oeuvre avec un 10 dispositif de réalisation d'images multidimensionnelles ou encore images stéréoscopiques, visant à recréer l'impression de relief propre à la vision humaine. L'invention concerne donc notamment un système composé de un ou plusieurs modules, permettant de : - mettre en évidence de façon univoque les zones des images en provenance de chaque caméra qui sont « au point », - et/ou diagnostiquer de façon immédiate une disparité de mise au point de chaque image, - et/ou diagnostiquer de façon immédiate des écarts d'ajustement du zoom, - et/ou diagnostiquer de façon immédiate des écarts d'ajustement d'iris. Chaque module de diagnostic peut être 25 utilisé individuellement ou en combinaison avec un ou plusieurs autres. L'invention concerne donc, notamment, un dispositif de traitement d'images numériques comportant au moins un module permettant de générer en temps réel 30 des indications graphiques pour l'appréciation de la qualité des images et de certaines disparités ou 15 20 4 anomalies pouvant survenir dans leur captation par un système de visualisation d'images en relief. Des moyens peuvent en outre être prévus pour corriger de ces anomalies, sur la base de ces indications graphiques. L'invention concerne également un dispositif d'acquisition, de traitement et de visualisation d'images, comportant : - au moins deux moyens d'acquisition d'images numériques, - des moyens pour former et visualiser une image en relief d'un objet à partir des données d'images numériques, - un dispositif de traitement de données d'images numériques selon l'invention, tel que décrit ci-dessus. Un dispositif selon l'invention peut être combiné à des moyens permettant à un observateur de visualiser des images en trois dimensions. L'invention concerne également un procédé de traitement d'images numériques, synchrones et simultanées, d'une même scène, ces images étant obtenues par au moins deux moyens d'acquisition d'images numériques, comportant chacun une optique, positionnés différemment dans l'espace, ce procédé comportant la détermination, à partir des données d'images numériques: - de données de zones au point de chaque moyen d'acquisition et/ou une différence entre des données de mise au point d'au moins deux optiques d'au moins deux moyens d'acquisition, - et/ou de données de mise au point de chaque optique et/ou une différence entre des données de mise au point d'au moins deux optiques d'au moins deux moyens d'acquisition, 5 - et/ou de données de longueur focale (zoom) de chaque optique et/ou une différence entre des données de longueur focale de deux optiques d'au moins deux moyens d'acquisition, - et/ou de données d'ouverture (iris) de chaque optique et/ou une différence entre des données d'ouverture de deux optiques d'au moins deux moyens d'acquisition, et/ou de données d'histogrammes de chaque image, - et l'affichage d'une image de la scène, et d'au moins une des données ci-dessus. Dans un tel procédé on peut ajuster une distance entre au moins deux moyens d'acquisition et/ou une position relative des axes optiques d'au moins deux moyens d'acquisition. On peut aussi procéder au réglage d'un ou plusieurs paramètres du système, pour corriger des défauts dans les données visualisées. Un procédé selon l'invention peut donc aussi comporter une correction de l'un au moins des moyens d'acquisition d'images numériques, ou de son optique, en fonction des données affichées de zones au point de chaque moyen d'acquisition et/ou de données affichées de mise au point de chaque optique et/ou de données affichées de longueur focale (zoom) de chaque optique et/ou de données affichées d'ouverture (iris) 6 de chaque optique et/ou de données affichées d'histogrammes de chaque image. BRÈVE DESCRIPTION DES DESSINS Les figures 1A et 1B représentent deux modes de réalisation de l'invention. La figure 2 représente une diffusion d'une image obtenue par un système selon l'invention. La figure 3 représente de manière plus détaillée deux caméras d'un système selon l'invention. La figure 4 représente de manière plus détaillée un écran pour diffuser une image selon l'invention. La figure 5 représente un autre mode de réalisation de l'invention. EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS Pour des raisons de simplification le présent document décrit une application à un système à deux caméras (ou, plus généralement, deux capteurs d'images, ou deux moyens d'acquisition d'images numériques). Mais l'enseignement de l'invention est généralisable sans difficulté à un système équipé de plus de deux caméras ou, plus généralement, plus de deux capteurs d'images, ou de deux moyens d'acquisition d'images numériques. D'une manière générale, ces différents moyens d'acquisition d'images numériques, en nombre n quelconque (n > 2) sont séparés physiquement les uns des autres, mais positionnés d'une manière réglable les 7 uns par rapport aux autres. Chacun d'entre eux peut produire une image individuelle d'un même objet 2 (voir figures 2, 4, 5) ou d'une même scène, les différentes images étant acquises simultanément et de manière synchronisées, chaque image dépendant notamment de la position et des caractéristiques du moyen d'acquisition d'images qui la génère. Chacune des images individuelles ainsi obtenues sera combinée avec les autres images individuelles pour composer une image ayant les caractéristiques d'une image dite tridimensionnelle ou « en relief », ou qui peut être perçue comme telle par un utilisateur. Comme illustré en figure 1A, un premier mode de réalisation de l'invention comporte deux capteurs d'images 1, 3 (par exemple des caméras) équipés de leurs optiques 10, 30 respectives. Chaque caméra permet l'acquisition d'images numériques. Ces images peuvent ensuite être traitées comme expliqué ci dessous. Les deux caméras sont associées par des moyens 5 les couplant dans l'espace, par exemple sensiblement en parallèle de sorte que leurs axes de visualisation sont parallèles entre eux. En variante, leurs axes optiques se croisent en un point C de convergence comme en figure 3. Selon un mode de réalisation, au moins une caméra, ou chaque caméra, est montée de manière rotative autour d'au moins un axe de rotation, par exemple localement perpendiculaire à une direction latérale de déplacement de cette caméra ou sensiblement confondu ou voisin de cette direction de déplacement. 8 Les moyens 5 peuvent comporter une barre, rectiligne ou incurvée, sur laquelle sont montées les caméras, par exemple de manière réglable le long de la barre, afin de pouvoir visualiser un objet 2. Dans une variante, la figure 3 représente les deux caméras 1, 3, avec un espacement d variable entre elles, mais également avec un angle a variable entre elles. Le point C représente le point de convergence des deux axes optiques des deux caméras 1, 3. Cet ajustement de l'angle peut être obtenu par des moyens d'orientation des caméras. Par conséquent, des moyens tels que les moyens 5 de la figure 1A peuvent permettre de faire varier la distance entre les deux caméras mais aussi l'angle de visée de chacune des caméras par rapport à l'autre. Des moyens sont alors prévus pour maintenir fixes les caméras dans une position déterminée une fois celle-ci atteinte. Par exemple à chaque caméra est associé un système comportant une ou plusieurs vis de blocage pour bloquer son déplacement en translation et une ou plusieurs vis de blocage pour bloquer son déplacement en rotation. En variante (figure 1B) les deux caméras peuvent être disposées selon des directions différentes en étant montées sur un bâti 5' comportant les ouvertures correspondant aux objectifs 10, 30 des caméras. Par exemple, un miroir semi transparent 15 permet à chaque caméra 1, 3 de recevoir une partie du rayonnement d'une image incidente qui se propage le long d'un axe optique 17. 9 Les deux dispositifs de captation d'image 1, 3 sont synchrones entre eux et produisent simultanément des images qui correspondent à celles qui seraient vues par l'oeil gauche et l'oeil droit d'un observateur, avec un écart et une convergence variable en fonction de l'effet désiré. Chaque image va avoir des caractéristiques qui dépendent de la position de la caméra qui la génère. Comme illustré en figure 2, on peut afficher les différentes images sur un même dispositif de visualisation, de manière à créer une impression de relief pour un spectateur. Celui-ci peut être muni de moyens délivrant un contenu différent pour son oeil droit et son oeil gauche, par exemple au travers de lunettes spécifiques 6 ou en vision directe, le cerveau humain recombinant les images pour former ce qu'il est courant d'appeler « le relief » et permettre l'appréciation des distances. Plusieurs anomalies peuvent survenir pendant la captation des images rendant l'immersion difficile pour le spectateur, voire l'expérience douloureuse dans certains cas, en tous cas au moins décourageante pour le spectateur déçu. On rappelle que l'immersion est la capacité d'un spectateur de se laisser entraîner, de croire, aux images qu'il voit comme réelles. Ou, exprimé différemment, si les images possèdent certaines caractéristiques et si certains défauts sont absents, comme les erreurs de parallaxe verticales, le cerveau du spectateur accepte de « jouer le jeu » et de représenter ou de reconstituer une image tridimensionnelle (3D) ou « en relief ». 10 Il convient donc de prendre des précautions lors de la captation des images afin qu'elles soient de qualité optimale ou de bonne qualité, permettant cette reconstitution « 3D ». Au titre des défauts possibles, il y a ceux qui pourraient résulter de disparités de réglage des objectifs 10, 30. Il peut se produire d'abord un défaut de réglage de la mise au point. Un défaut de réglage de la mise au point d'un des deux objectifs 10, 30 produit une image floue ou décalée pour un des yeux de l'observateur créant un inconfort visuel pareil à celui dû à un défaut d'accommodation d'un œil. Un autre type de défaut est un défaut de réglage de l'ouverture (iris) d'un des deux objectifs 10, 30, ce qui produit une image résultante surexposée ou sous-exposée pour un des yeux de l'observateur, provoquant un phénomène stroboscopique plus ou moins gênant en fonction de son intensité. Par ailleurs une différence d'exposition sera associée à une différence de profondeur de champ dans les deux images. Encore un autre type de défaut est un défaut de réglage de longueur focale (zoom) d'un des deux objectifs 10, 30, ce qui produit deux images de tailles différentes, rendant impossible la perception tridimensionnelle. Un dispositif selon l'invention peut comporter différents modules électroniques de traitement de l'image, associés ou non entre eux. Chaque module (ou ensemble de moyens) permet de mettre en évidence l'un des défauts sus mentionnées. 11 Certains modules peuvent utiliser des ressources communes à plusieurs modules. Comme illustré en figure 5, un boîtier 20 peut héberger un ou plusieurs de ces modules. Chaque module peut être réalisé sous forme d'un circuit électronique et/ou d'un ensemble de moyens logiciels programmés pour réaliser la fonction correspondante Les modules sont constitués par des circuits programmables type FPGA associés à des microprocesseurs ou microcontrôleurs. Le traitement peut aussi être réalisé dans des D.S.P. « digital signal processor ». Un premier module, dit de mise au point, comporte un ensemble de filtres permettant de discriminer les contours des objets qui possèdent les caractéristiques de la mise au point. Selon l'invention on utilise ces filtres dans chacune des images qui composera l'image tridimensionnelle. La résultante de la fonction de transfert FT de ces filtres est ajoutée à l'image résultante, produisant un contour coloré plus ou moins accentué sur les zones dites « au point ». Un procédé selon l'invention permet de traiter les images incidentes des deux caméras 1, 3 au travers de ces filtres et d'ajouter, aux images correspondantes à chaque oeil, les contours dans une couleur codée qui permettra la différentiation de chaque caméra. Ainsi il devient possible de juger si l'ajustement de la mise au point est effectué sur le même plan. Un deuxième module est dit « iris ». Ce module permet de récupérer des données numériques en 12 provenance des objectifs 10, 30. Les données d'ouverture de l'iris sont alors interprétées de façon graphique et font apparaître l'écart entre les deux objectifs 10, 30. Une alerte programmable permet de définir les tolérances acceptables entre les deux réglages. Un troisième module est dit «zoom». A partir des données numériques en provenance des objectifs, les données de réglage du zoom peuvent être interprétées de façon graphique et faire apparaître l'écart entre les deux objectifs. On peut ainsi identifier immédiatement lequel des objectifs serait à corriger. Une alerte programmable permet de définir les tolérances acceptables entre les deux réglages. Un quatrième module est dit « Double Histogramme » : ce module permet d'analyser statistiquement les données numériques issues des deux caméras. Ces données sont affichées simultanément l'une sur l'autre dans des couleurs codées permettant de reconnaître chaque source. Ce mode de représentation permet entre autres de pallier l'éventuelle absence de données numériques en provenance des objectifs. En figures 4 et 5 est représenté l'image d'un objet, mais également l'affichage d'un double histogramme 11. Il est également possible d'afficher des données (par exemple des données d'ouverture et/ou de mise eau point et/ou de réglage de zoom) des objectifs, dans un autre champ 13 de visualisation. Du fait de la vision simultanée des histogrammes 11, les différences de niveaux de noir de l'image, de dynamiques de l'image et de niveaux de 13 blanc de l'image sont facilement interprétées, il est également possible de diagnostiquer des erreurs de synchronisation des capteurs des caméras. Comme représenté en figure 4, un dispositif selon l'invention peut être intégré en tout ou partie dans un système de visualisation 4 tel qu'un moniteur vidéo, un projecteur, ou tout autre système de reproduction des images numériques. Mais, comme déjà expliqué ci-dessus et comme illustré en figure 5, des moyens, ou modules, de traitement d'image selon l'invention, peuvent être également intégrées dans un module 20 autonome destiné à produire une image utilisable sur un système 4 de visualisation tel que décrit précédemment. Des moyens 21, tels que des boutons de réglage permettent de corriger des défauts de l'image visualisée sur l'écran, attribuables à l'un ou l'autre des phénomènes décrits ci-dessus. Un réglage de chaque caméra est également réalisable. Autrement dit, dans un procédé selon l'invention, il est possible de corriger un ou plusieurs des réglages des caméras individuelles à partir des informations visualisées sur l'écran 4. Dans un procédé ou un dispositif selon l'invention, la détermination de données de zones au point de chaque moyen d'acquisition et/ou de données de mise au point de chaque optique et/ou de données de longueur focale (zoom) de chaque optique et/ou de données d'ouverture (iris) de chaque optique et/ou de données d'histogrammes de chaque image est réalisée : - dans un système de visualisation quelconque, tel qu'un écran, ou un moniteur, ou un 14 projecteur, par ailleurs relié aux caméras par des câbles 27; c'est le cas de la figure 4 ; - ou dans un système autonome 20 ne possédant pas de moyen de visualisation propres mais des moyens pour calculer les caractéristiques ou données indiquées ci-dessus et éventuellement pour modifier le contenu de l'image résultante. C'est le cas de la figure 5. Le système autonome 20 est relié à un moyen 4 de visualisation par des câbles 23 formant une liaison vidéo. Il est par ailleurs relié aux caméras par d'autres câbles 27. Le système 20 est autonome: il peut être déplacé dans l'espace indépendamment des caméras 1, 3 et indépendamment du moyen 4 de visualisation. La mise en oeuvre de l'invention permet d'éviter les problèmes de disparités d'ajustement entre les caméras et les objectifs en offrant une vue synthétique, simultanée et intuitive des conditions de travail des deux caméras et de leurs objectifs. L'invention assure une fiabilisation améliorée de l'image, permet de corriger des erreurs pendant un tournage d'images stéréoscopiques. Elle permet aussi d'éviter de nombreux et fastidieux essais, qui seraient sinon nécessaires.25 REVENDICATIONS1. Dispositif d'acquisition, de traitement et de visualisation d'images, comportant : - au moins deux moyens (1, 3) d'acquisition d'images numériques, synchrones et simultanées, - des moyens (4) pour former et visualiser une image en relief d'un objet (2) à partir des données d'images numériques, - des moyens (4, 20) pour calculer, à partir des données d'images numériques, et pour visualiser: - des données de zones au point de chaque moyen d'acquisition (1, 3) et/ou une différence entre des données de zones au point d'au moins deux 15 moyens d'acquisition, - et/ou des données de longueur focale (zoom) de chaque optique (10, 30) et/ou une différence entre des données de longueur focale de deux optiques (10, 30) d'au moins deux moyens d'acquisition, 20 - et/ou des données d'ouverture (iris) de chaque optique (10, 30) et/ou une différence entre des données d'ouverture de deux optiques (10, 30) d'au moins deux moyens d'acquisition, - et/ou des données d'histogrammes (11) 25 simultanés d'images de chacun des moyens (1, 3) d'acquisition d'images numériques. 2. Dispositif selon la revendication 1, comportant des moyens (5, 5') formant support commun 30 des moyens (1, 3) d'acquisition d'images numériques. 10 16 3. Dispositif selon la revendication 2, comportant en outre des moyens pour ajuster une distance entre au moins deux moyens (1, 3) d'acquisition et/ou une position relative des axes optiques d'au moins deux moyens (1, 3) d'acquisition. 4. Dispositif selon l'une des revendications 1 à 3, comportant des moyens (4, 20) pour calculer, à partir des données d'images numériques, des données de zones au point de chaque moyen d'acquisition (1, 3) et/ou une différence entre des données de zones au point d'au moins deux moyens d'acquisition, comportant au moins un filtre permettant de discriminer les contours des objets qui possèdent les caractéristiques de la mise au point. 5. Dispositif selon la revendication 4, dans lequel la résultante de la fonction de transfert FT du filtre appliqué aux deux images initiales est ajoutée à une image résultante, produisant un contour coloré plus ou moins accentué sur des zones dites « au point » d'une image tridimensionnelle. 6. Dispositif selon l'une des revendications 1 à 5, comportant en outre des moyens (6) pour assurer à un utilisateur une vision en relief. 7. Procédé de traitement d'images numériques, synchrones et simultanées, d'une même scène (2), ces images étant obtenues par au moins deux moyens (1, 3) d'acquisition d'images numériques, comportant 17 chacun une optique (10, 30), positionnés différemment dans l'espace, ce procédé comportant la détermination, à partir des données d'images numériques: - de données de zones au point de chaque moyen d'acquisition (1, 3), - et/ou de données de mise au point de chaque optique (10, 30), - et/ou de données de longueur focale (zoom) de chaque optique (10, 30), - et/ou de données d'ouverture (iris) de chaque optique (10, 30); - et/ou de données d'histogrammes (11) de chaque image, et l'affichage d'une image de la scène (2), et d'au moins une des données ci-dessus. 8. Procédé selon la revendication 7, dans lequel on ajuste une distance entre au moins deux moyens (1, 3) d'acquisition et/ou une position relative des axes optiques d'au moins deux moyens (1, 3) d'acquisition. 9. Procédé selon l'une des revendications 7 ou 8, dans lequel on corrige l'un au moins des moyens d'acquisition d'images numériques, ou son optique, en fonction des données de zones au point de chaque moyen d'acquisition et/ou de données de mise au point de chaque optique et/ou de données de longueur focale (zoom) de chaque optique et/ou de données d'ouverture (iris) de chaque optique et/ou de données d'histogrammes (11) de chaque image dans la réalisation d'images multidimensionnelles. 18 10. Procédé selon l'une des revendications 7 à 9, dans lequel la détermination de données de zones au point de chaque moyen d'acquisition et/ou de données de mise au point de chaque optique et/ou de données de longueur focale (zoom) de chaque optique (10, 30) et/ou de données d'ouverture (iris) de chaque optique (10, 30) et/ou de données d'histogrammes (11) de chaque image est réalisée : - dans un système (4) de visualisation quelconque, tel qu'un écran, ou un moniteur, ou un projecteur, qui permet en outre l'affichage de l'image de la scène (2), et d'au moins une des données ci-dessus, - ou dans un système autonome (20) ne comportant pas de moyens de visualisation mais des moyens pour calculer lesdites données et éventuellement pour modifier le contenu de l'image résultante, l'affichage d'une image de la scène, et d'au moins une des données ci-dessus, étant réalisée à l'aide de moyens de visualisation (4) auxquels le système autonome est relié par des câbles (23) formant une liaison vidéo.