Brevet FR2984665A1 — publié le 20130621

Procédé de réduction du crosstalk dans les images stéréoscopiques La présente invention concerne un procédé de réduction du crosstalk susceptible d'apparaître dans les images stéréoscopiques, et plus particulièrement dans les séquences vidéo stéréoscopiques. Elle s'applique notamment à l'amélioration du confort visuel des usagers de téléviseurs 3D et dans les salles de cinéma 3D. Le système visuel humain permet d'appréhender la profondeur d'une scène réelle en exploitant une pluralité d'indices perçus par les yeux. Certains indices visuels, fondés sur des informations perçues par un oeil à la fois, sont dits monoculaires ; d'autres indices sont dits binoculaires car ils sont fondés sur les informations perçues par les deux yeux conjointement. Parmi les indices monoculaires, on trouve par exemple la perspective, les occlusions ou la taille relative des objets. Les indices binoculaires exploitent les différences de perception entre ce qu'acquièrent l'oeil droit et l'oeil gauche. Le cerveau humain est capable de combiner tous ces indices, monoculaires et binoculaires, pour construire une représentation en trois dimensions de la scène visualisée. Les systèmes de représentations de scènes en trois dimensions tels 20 que les téléviseurs 3D ou les équipements de salles de cinéma 3D visent à reproduire au mieux les impressions visuelles que l'Homme peut percevoir avec son système de vision. Le rendu d'une scène 3D à un observateur d'écran de cinéma ou de télévision 3D dépend notamment de la qualité de reproduction des différents 25 indices de profondeur. Ainsi, une mauvaise cohérence de ces indices entraîne pour l'observateur des désagréments tels que la fatigue visuelle, des maux de tête, voire un état nauséeux. En particulier, l'indice constitué par la disparité binoculaire doit être cohérent avec les indices monoculaires ; autrement dit, il est nécessaire que 30 le système de représentation de la scène 3D permette à son usager de percevoir des informations différentes au niveau de son oeil droit et de son oeil gauche. Or, une difficulté fréquemment rencontrée dans les systèmes existants se manifeste par le phénomène de « crosstalk » visuel, parfois aussi qualifié de « diaphotie », qui se traduit par des imperfections dans le découplage des informations perçues par l'oeil droit et par l'ceil gauche. Par analogie, le crosstalk visuel est, dans le domaine de la stéréoscopie, similaire à ce que le phénomène de diaphonie est dans le domaine de la stéréophonie. Ainsi une partie des informations destinées à l'ceil droit est perçue par l'ceil gauche et une partie des informations destinées à l'ceil gauche est perçue par l'oeil droit. Les causes de ce crosstalk sont diverses et dépendent de la technologie utilisée pour représenter la scène 3D. Ces technologies sont nombreuses. Une technologie très répandue est la technologie anaglyphe, dans laquelle une ou deux des trois composantes RGB (« Red Green Blue » pour Rouge-Vert-Bleu) sont destinées à un oeil, la ou les autres composantes étant destinées à l'autre oeil, la séparation étant effectuée grâce à des lunettes pourvues d'un filtre de couleur différent pour chaque oeil. Cette technique ne requiert pas de dispositif d'affichage dédié ; toutefois, elle engendre une altération des couleurs. Certaines technologies sont basées sur l'emploi de lunettes actives. Par exemple, des lunettes actives peuvent fonctionner comme des obturateurs synchronisés avec la fréquence de défilement des images. Ces systèmes requièrent un nombre élevé d'images par seconde pour éviter les effets de scintillement ; ils peuvent notamment être employés dans les salles de cinéma numérique utilisant un projecteur de type DLP (Digital Light Processing), ou pour des écrans de type LCD (Liquid Crystal Display) ou plasma. Le découplage des informations peut également être spectral. 30 L'information transmise à l'ceil droit et à l'ceil gauche ont alors des spectres fréquentiels différents. La séparation des informations destinées à chaque oeil peut être obtenue grâce à des filtres dichroïques ou colorés présents sur des lunettes passives. Par ailleurs, des dispositifs d'affichage 3D de grande dimension sont basés sur un multiplexage spatial. Des lignes vidéo entrelacées sont affectées d'une polarisation différente, de sorte qu'un observateur muni de lunettes filtrantes peut percevoir un premier ensemble de lignes sur l'oeil gauche et un deuxième ensemble de lignes sur l'oeil droit. Certains systèmes, dits auto-stéréoscopiques, ou systèmes d'affichage multi-vues ne requièrent pas l'emploi de lunettes. Un grand nombre de ces systèmes fonctionnent sur le format « 2D + profondeur », lequel combine l'information 2D et l'information de profondeur pour créer un effet 3D. Néanmoins, quelle que soit la technologie utilisée, le phénomène de crosstalk est présent et se traduit pour l'observateur sous la forme d'une image fantôme de l'image réelle, d'où la qualification synonymique « ghosting » du phénomène de crosstalk, parfois rencontrée. En outre, plus la disparité d'un objet représenté est élevée, plus le crosstalk dont est affecté l'objet est important et donc plus l'image fantôme est visible. Une solution technique pour atténuer les effets du crosstalk a été proposée. Elle consiste à anticiper la portion de signal d'une première voie vidéo (par exemple, gauche) qui est indûment perçue par l'organe de vision adapté à percevoir une deuxième voie vidéo (dans l'exemple, droite), puis à compenser cette portion en modifiant le signal de la deuxième voie. Par exemple, si une portion a.G du signal de gauche G est perçue par l'oeil droit, cette portion a.G est soustraite du signal de droite, de sorte que le signal résultant de la somme du signal de droite altéré, et du signal issu du crosstalk soit égal au signal de droite qui aurait normalement été perçu sans crosstalk. Toutefois, cette technique ne résout que partiellement le problème car la portion de signal issu de la première voie et qui apparaît indûment sur la deuxième voie n'est pas toujours compensable par une diminution du niveau du signal de la deuxième voie. En particulier, dans une image fortement contrastée, le phénomène de crosstalk n'est pas compensable au niveau des frontières entre les zones de contraste. En effet, dans ce cas, le niveau a.G de signal issu du crosstalk est supérieur au niveau de signal dans l'image de droite. Aussi, la compensation est incomplète et un crosstalk résiduel est encore perceptible. Un but de l'invention est de réduire l'effet de crosstalk pour les combinaisons de vidéos pour lesquelles la compensation classique est trop complexe et insuffisante. A cet effet, l'invention a pour objet un procédé de réduction du crosstalk 10 apparaissant sur un système de visualisation stéréoscopique apte à afficher au moins une image en trois dimensions à partir d'un couple d'images. Ce procédé comprend au moins les étapes suivantes : déterminer les pixels de l'image du système de visualisation ayant un effet crosstalk visible ; 15 réduire l'effet de profondeur sur au moins une zone de I' image, ladite zone étant définie en fonction desdits pixels déterminés . Le procédé selon l'invention permet donc de réduire l'effet crosstalk de manière plus importante qu'en appliquant simplement une compensation tel qu'effectuée classiquement dans l'art antérieur. Les pixels détectés par le 20 procédé selon l'invention, et qui sont susceptibles de subir un crosstalk non compensable par les techniques classiques, sont notamment les pixels qui sont situés à proximité d'objets à disparité binoculaire élevée et représentés de manière fortement contrastée. En effet, les pixels correspondant à cet objet dans la première image débordent sur une zone par exemple peu 25 éclairée de la deuxième image, créant ainsi une image « fantôme » particulièrement visible de l'objet lorsqu'aucune correction n'est appliquée. Grâce au procédé selon l'invention, l'effet de crosstalk est réduit sur ces zones sensibles, par diminution de l'effet de profondeur sur ces zones.> 30 Selon un mode de réalisation, le procédé comprend une étape d'estimation de la disparité binoculaire entre les deux images du couple, et dans lequel on exécute l'étape de réduction de l'effet de profondeur sur au moins ladite zone de l' image en fonction de la disparité binoculaire de ladite zone. Cette mise en oeuvre du procédé selon l'invention permet de limiter plus efficacement l'apparition du crosstalk dans les zones dans lesquelles il se 5 manifeste le plus, c'est-à-dire les zones aux fortes disparités binoculaires. Selon une variante de l'invention, on exécute l'étape d'estimation de la disparité binoculaire seulement sur la ou les zones comprenant des pixels déterminés précédemment. 10 Cela permet de réduire la charge de calcul nécessaire à l'estimation. Selon un mode de réalisation, on applique une étape de segmentation des images en différents objets à partir de l'estimation de la disparité binoculaire, et on détermine la ou les dites zones de la première image , chaque zone 15 regroupant lesdits pixels déterminés et les pixels avoisinants appartenant au même objet défini par la segmentation . Selon un mode de réalisation, on choisit ladite zone de sorte qu'elle regroupe des pixels déterminés précédemment et les pixels voisins de ces pixels pour lequel l'écart de disparité entre ces pixels et les pixels déterminés est 20 inférieur à un seuil prédéterminé. Ce mode de réalisation permet d'étendre la zone d'application de la réduction de profondeur à l'ensemble des pixels voisins de disparité proche. La réduction de profondeur peut ainsi être appliquée de manière homogène sur la totalité de la surface d'un objet, évitant ainsi les déformations 25 anormales dues à des réductions de profondeur sur des portions d'objets. Selon un mode de réalisation l'étape de réduction de l'effet de profondeur comprend une étape de réduction des profondeurs par l'attribution d'un coefficient de réduction défini pour au moins ladite région. 30 La réduction de l'échelle des profondeurs peut, par exemple, être effectuée par calcul d'un couple d'images remplaçant le couple d'images initial. Selon un mode de réalisation, au moins ladite région correspond à l'image entière. Selon une mise en oeuvre du procédé selon l'invention, cette technique de 5 diminution de l'effet 3D peut être combinée avec la technique de réduction de l'échelle des profondeurs sur toute l'image. Selon un mode de réalisation, l'étape d'estimation comprend un calcul de différence, pixel par pixel, entre une première image du couple 10 stéréoscopique et une deuxième image dudit couple, les pixels de chacune des deux images étant associés à des valeurs pondérées par un coefficient dépendant des caractéristiques du système de visualisation stéréoscopique. Selon un mode de réalisation, on exécute un traitement de filtrage 15 morphologique après l'étape de détermination des pixels non compensables de la première image pour éliminer les pixels isolés. Par exemple, cette phase de filtrage comporte une première étape d'érosion des pixels isolés puis une seconde étape de dilatation des zones de pixels déterminés. 20 Selon un mode de réalisation, une séquence d'images synchronisées, dans lequel on applique le procédé pour au moins une image de ladite séquence. L'invention consiste également en un appareil apte à recevoir un signal 25 comprenant une vidéo stéréoscopique à diffuser sur un dispositif d'affichage. Il comprend un module de traitement configuré pour exécuter en temps réel un procédé de réduction du crosstalk sur les images contenues dans le signal entrant. Ce type de dispositif, communément désigné par l'appellation anglo-saxonne 30 « Set-top Box » et assurant des fonctions de décodage des signaux arrivant par un canal de réception pour les transmettre vers un écran, peut donc être adapté pour réduire le crosstalk affiché sur cet écran. D'autres caractéristiques apparaîtront à la lecture de la description 5 détaillée donnée à titre d'exemple et non limitative qui suit faite en regard de dessins annexés qui représentent : la figure 1, un synoptique illustrant une première mise en oeuvre du procédé selon l'invention ; la figure 2, un synoptique illustrant une deuxième mise en oeuvre du procédé 10 selon l'invention; la figure 3, un synoptique illustrant une troisième mise en oeuvre du procédé selon l'invention. La figure 1 illustre une première mise en oeuvre du procédé selon l'invention. Le procédé prend en entrée deux images L_IN, RUN 15 correspondant à un couple stéréoscopique, une première image L_IN étant destinée à l'oeil gauche d'un observateur, une seconde image R_IN étant destinée à l'oeil droit de l'observateur. Il produit en sortie des images modifiées L_OUT, R_OUT, de sorte que ces images de sortie affichées sur un système de visualisation stéréoscopique ne fassent apparaître qu'un 20 faible crosstalk pour l'observateur. Une première unité de traitement 101 permet d'estimer le crosstalk que le système d'affichage est susceptible de produire à partir des deux images d'entrée L_IN, R_IN, et une deuxième unité de traitement 102 optionnel permet de filtrer le bruit généré lors du premier traitement 101. 25 Avantageusement, une estimation de la disparité est effectuée par une unité d'estimation 103 en parallèle à partir des deux images entrantes L_IN, R_IN. Ensuite, une unité de traitement 104 de réduction de la profondeur de l'effet 3D est appliqué sur une ou plusieurs zones sélectionnées de l'image. La première unité de traitement d'estimation du crosstalk 101 peut 30 être effectué en calculant une image binaire qui est fonction de la différence, pixel par pixel, entre les deux images entrantes L_IN, R_IN pondérées par des coefficients choisis en fonction des caractéristiques du système de visualisation. Cette estimation est donc dépendante du système de visualisation. Par exemple, une différence de type « pixel_gauche » coefficient * pixel_droit » est calculée puis un seuil peut être appliqué sur chaque résultat, le terme "coefficient" dépendant des caractéristiques du système de visualisation. Par exemple, si le seuil est égal à zéro, une première valeur binaire 0 sera affectée aux pixels pour lesquels la différence est positive, et une deuxième valeur binaire 1 sera affectée aux pixels pour lesquels la différence est négative. Ce calcul permet de faire apparaître les pixels pour lesquels une simple compensation du crosstalk par une diminution du niveau de signal sur l'une des deux images n'est pas compensable. Dans l'exemple, La première unité de traitement d'estimation du crosstalk 101 produit en sortie une image binaire pour définir les pixels qui auront un crosstalk non compensable ou pas. On obtiendra des points isolés ainsi que des zones plus denses correspondantes à un vrai problème de crosstalk résiduel. Ce calcul du crosstalk peut être effectué sur les deux images indifféremment à partir de l'une d'entre elles L-R et R-L. La deuxième unité de traitement 102, permet d'éliminer les points isolés détectés comme non compensables. En effet, à l'issue du traitement d'estimation dans la première unité 101, certaines zones denses de points détectés correspondent à un véritable problème de crosstalk résiduel (c'est-à-dire non compensable par les techniques classiques) ; d'autres zones ne comportent que quelques points isolés qui ne sont pas révélateurs à eux- seuls d'un problème de crosstalk résiduel. Le filtrage effectué par le deuxième traitement dans la deuxième unité de traitement 102 permet d'ignorer ces autres zones. Par exemple, un filtrage morphologique comprenant une première étape d'érosion et une deuxième étape de dilatation permet d'éliminer les pixels isolés. Ce filtrage permet également d'agréger les pixels voisins de façon à créer une zone où le traitement sera effectué. La taille de ces zones sera estimée pour déterminer s'il y a un réel problème de crosstalk visible. A l'issue de ce traitement de filtrage, on obtient donc, dans l'exemple, une image débruitée représentant les zones de crosstalk non compensables, donc les zones dont on anticipe qu'elle engendre un problème de crosstalk pour l'observateur. L'unité d'estimation 103 de la disparité permet d'estimer la disparité des pixels de ces zones de crosstalk non compensables. Dans un mode de réalisation, Les zones de crosstalk non compensables déterminées par les traitements 101, 102 sont étendues pour intégrer les pixels de l'objet auquel appartiennent ces pixels. .En parallèle, l'estimation de la disparité va permettre de segmenter la vidéo de façon à associer les pixels non compensables aux pixels appartenant au même objet. Un algorithme de segmentation connu de l'Homme du métier peut être exécuté en utilisant les estimations de disparités calculées. Selon un mode de réalisation alternatif illustré en figure 2, la 20 disparité est estimée 103' uniquement autour des zones détectées par le premier traitement 101, ce qui permet de diminuer la charge de calcul requise. En effet, il n'est pas nécessaire de déterminer les objets représentés dans les zones de non crosstalk résiduel. L'unité de traitement 104 de réduction de l'effet 3D prend en entrée 25 les deux images initiales LIN, R_IN, ainsi que la définition des zones non compensables issues des unités du premier et second traitement 101 d'estimation du crosstalk et de filtrage 102 ainsi que les données d'estimation 103 de la disparité. L'ajustement de profondeur est effectué localement, sur la zone ou les zones déterminées à l'issue des premiers et seconds 30 traitements par les unités101 et 102 d'estimation du crosstalk. Un coefficient d'ajustement est défini pour limiter au mieux l'effet crosstalk résiduel. A l'issue du traitement de réduction de l'effet 3D, les images modifiées L OUT et R OUT forment un couple stéréoscopique bénéficiant d'un faible niveau de crosstalk, dans les zones sensibles détectées par la première unité de traitement 101. La figure 3 illustre une troisième mise en oeuvre du procédé selon l'invention. Selon cette mise en oeuvre alternative, cet ajustement est effectué sur l'image globale en fonction de la disparité estimée par l'unité 103. Dans ce cas, une image de profondeur réduite est déterminée par interpolation Alternativement la technique par translation d'image (shift en langue anglaise), connue de l'homme de l'art, peut être utilisée. L'unité de traitement de filtrage 102 effectué dans le procédé illustré en figure 1 est remplacé par une unité d'analyse statistique 105 sur les pixels non compensables détectés lors du premier traitement 101. Cette analyse statistique 105 fournit par exemple, le nombre et la répartition des pixels détectés par le premier traitement 101. Un coefficient d'ajustement est calculé en fonction du nombre et/ou de la répartition des pixels non compensables détectés et l'effet 3D est réduit proportionnellement à ce coefficient sur toute l'image. Le procédé selon l'invention peut être appliqué sur les couples d'images d'une vidéo 3D, chaque couple d'image étant traité par le procédé de réduction du crosstalk de manière à réduire le crosstalk sur la vidéo 3D. Il peut être appliqué à la réduction du crosstalk dans différents contextes d'utilisation de vidéos stéréoscopiques. Selon un premier mode de mise en oeuvre, les images composant la vidéo stéréoscopique sont modifiées par le procédé lors de la phase de production de la vidéo. Le procédé est alors exécuté sur la vidéo 3D en conservant préférablement une grande qualité des images. Le traitement de réduction de l'effet de profondeur est donc exécuté sur des machines à puissance de calcul élevée, en privilégiant la qualité à la rapidité d'exécution. Il ne tient pas compte du crosstalk effectif généré sur un écran particulier mais d'un crosstalk « générique » représentatif du crosstalk moyen obtenu sur les différentes familles d'écrans. Selon un deuxième mode de mise en oeuvre de l'invention, le procédé est exécuté sur un dispositif de réception et de décodage de signaux vidéo, dispositif parfois nommé de "Set-Top Box", ou STB. Un flux de signaux vidéo est transmis au dispositif, lequel comporte, selon l'invention, un module apte à appliquer le procédé de réduction de crosstalk sur les données décodées. Le procédé est appliqué en temps réel sur le flux vidéo, en tenant compte du système de visualisation, par exemple de l'écran, pour que la vidéo visualisée par l'utilisateur ne comporte qu'un faible crosstalk, augmentant ainsi le confort du spectateur. Avantageusement, le dispositif comporte des moyens d'activation et de désactivation de la fonction de réduction de crosstalk. REVENDICATIONS1. Procédé de réduction du crosstalk apparaissant sur un système de visualisation stéréoscopique apte à afficher au moins une image en trois 5 dimensions à partir d'un couple d'images (L_IN, R_IN), caractérisé en ce qu'il comprend au moins les étapes suivantes : - déterminer (101) les pixels de l'image du système de visualisation ayant un effet crosstalk visible ; - réduire (104) l'effet de profondeur sur au moins une zone de l' image, 10 ladite zone étant définie en fonction desdits pixels déterminés (101). 2. Procédé de réduction du crosstalk selon la revendication 1, dans lequel on exécute une étape d'estimation (103) de la disparité binoculaire entre les deux images du couple (L_IN, R_IN), et dans lequel on exécute 15 l'étape (104) de réduction de l'effet de profondeur sur au moins ladite zone de l' image en fonction de la disparité binoculaire de ladite zone. 3. Procédé de réduction du crosstalk selon la revendication 2, dans lequel on exécute l'étape d'estimation (103) de la disparité binoculaire 20 seulement sur la ou les zones comprenant des pixels déterminés (101) précédemment. 4. Procédé de réduction du crosstalk selon la revendication 2 ou 3, dans lequel on applique une étape de segmentation des images en différents 25 objets à partir de l'estimation (103) de la disparité binoculaire, et on détermine la ou les dites zones de la première image, chaque zone regroupant lesdits pixels déterminés (101) et les pixels avoisinants appartenant au même objet défini par la segmentation . 5. Procédé de réduction du crosstalk selon la revendication 4, dans lequel on choisit ladite zone de sorte qu'elle regroupe des pixels déterminés (101) précédemment et les pixels voisins de ces pixels pour lequel l'écart de disparité entre ces pixels et les pixels déterminés est inférieur à un seuil prédéterminé. 6. Procédé de réduction du crosstalk selon l'une quelconque des revendications précédentes, dans lequel l'étape (104) de réduction de l'effet de profondeur comprend une étape de réduction des profondeurs par 10 l'attribution d'un coefficient de réduction défini pour au moins ladite région. 7. Procédé de réduction du crosstalk selon la revendication 6, dans lequel au moins ladite région correspond à l'image entière. 15 8. Procédé de réduction du crosstalk selon l'une des revendications 2 à 5, dans lequel l'étape d'estimation (103) comprend un calcul de différence, pixel par pixel, entre une première image du couple stéréoscopique (L_IN, R_IN) et une deuxième image dudit couple (L_IN, R_IN), les pixels de chacune des deux images étant associés à des valeurs pondérées par un 20 coefficient dépendant des caractéristiques du système de visualisation stéréoscopique. 9. Procédé de réduction du crosstalk selon l'une quelconque des revendications précédentes, dans lequel on exécute un traitement (102) de 25 filtrage morphologique après l'étape (101) de détermination des pixels non compensables de la première image pour éliminer les pixels isolés. 10. Procédé de réduction du crosstalk dans une vidéo stéréoscopique comprenant une séquence d' d'images (L_IN, R_IN) synchronisées, dans 30 lequel on applique le procédé selon l'une quelconque des revendications précédentes pour au moins une image de ladite séquence. 11. Appareil apte à recevoir un signal comprenant une vidéo stéréoscopique à diffuser sur un dispositif d'affichage, caractérisé en ce qu'il comprend un module de traitement configuré pour exécuter en temps réel le procédé de réduction du crosstalk selon l'une quelconque des revendications précédentes sur les images contenues dans le signal entrant. 15