Brevet FR2661061A1 — publié le 19911018

PROCEDE ET DISPOSITIF DE MODIFICATION DE ZONE D'IMAGES L'invention a pour objet un procédé et un dispositif de modification d'une zone d'images successives constituant une séquence, représentant une scène évolutive, fournies par au moins une caméra. Le terme "séquence d'images" doit être interprété dans un sens large et comme désignant aussi bien le signal image (analogique ou numérique) produit en temps réel par une caméra ou une régie vidéo qu'une séquence enregistrée sur un support d'archivage inscriptible (numérique ou analogique), sur un support photographique, magnétique ou optique, sous une forme autorisant une visualisation, une restitution ou une diffusion ultérieure à une cadence équivalente à la cadence temps-réel. De façon plus précise, l'invention a pour objet un procédé et un dispositif permettant de remplacer une fraction correspondant à une région précise ou à un objet de la scène qu'on dénommera ci-dessus "zone cible", par une représentation d'une autre région précise, ou d'un autre objet, réel ou non réel, qu'on dénommera ci-dessous "patron" ou "modèle". Les domaines d'application de l'invention sont extrêmement variés. On peut citer, de façon non limitative - la publicité, le procédé permettant d'ajouter ou de remplacer des panneaux publicitaires lors des transmissions ou retransmissions de manifestations sportives ou autres ; - la production d'oeuvres audio-visuelles, notamment de fiction, le procédé permettant alors de remplacer le décor d'un tournage d'une production par un autre décor - la simulation, où le procédé permet d'insérer la représentation d'un objet réel dans un environnement constitué par une image de synthèse. On connaît déjà de nombreux procédés utilisables pour modifier une zone cible dans une image. On peut par exemple identifier la zone cible par une couleur particulière, de préférence inutilisée dans le reste de l'image pour éviter toute ambiguité. Mais ce procédé ne tient pas compte des conditions d'acquisition de l'image, par exemple des mouvements de la caméra. Le modèle ne peut en conséquence suivre l'évolution de la scène de façon satisfaisante. On sait également, en synthèse d'image, générer un modèle qu'on incruste dans une zone cible, mais à condition que la position, la focale et la mise au point ne changent pas. Ces procédés, ainsi que celui utilisant des plans superposés mis en oeuvre pour réaliser des films associant des scènes réelles et des personnages de dessins animés, ont des limitations qui excluent leur emploi ou font apparaître les truquages chaque fois que les conditions d'acquisition de l'image varient dans le temps de façon significative. L'invention vise à fournir un procédé de modification d'une zone d'images successives répondant mieux que ceux antérieurement connus aux exigences de la technique, d'une même séquence, utilisable même lorsque les conditions d'acquisition évoluent, notamment en cadrage, en focale et en mise au point, par prise en compte de cette évolution. Pour cela l'invention part de la constatation que l'incrustation de l'image du modèle doit être précédée d'une phase d'adaptation de cette image destinée à la faire exactement correspondre à la représentation de la zone cible dans l'image. L'invention propose en conséquence un procédé de modification du contenu d'une séquence d'images représentant une scène évolutive et présentant un degré élevé de corrélation entre images successives d'un même plan, les images étant représentables par une matrice de pixels, caractérisé en ce qu'on identifie une zone cible non déformable à remplacer dans la scène et on la caractérise, en position et en dimensions, par référence à des repères proches liés à la zone cible dans chaque image ; on détermine la position, par rapport auxdits repères, à donner à un modèle ou patron superposable à la zone cible, mémorisé sous forme numérique ; pour chaque image particulière, on détermine, automatiquement, par un calcul de corrélation fondé sur les repères, la transformation géométrique à faire subir au modèle pour qu'il corresponde aux variations d'aspect de la zone cible, dans toutes les images successives d'un même plan et on substitue dans l'image les pixels représentatifs du modèle aux pixels représentatifs de la zone cible. Le terme "plan" désigne une séquence d'images représentant la même scène acquise par la même caméra sans rupture temporelle ou spatiale brutale. L'invention est applicable même lorsque la scène comporte des obstacles fixes ou mobiles placés entre la caméra et la zone cible et qui peuvent s'interposer entre les deux : dans ce cas les parties de l'image correspondant à ces obstacles seront identifiées et seule sera remplacée la partie de la zone cible qui n'est pas masquée par l'obstacle. Dans tous les cas, le procédé suivant l'invention utilise la continuité spatiale et temporelle de la scène en cours d'un même plan. L'invention propose également un dispositif permettant de mettre en oeuvre le procédé ci-dessus défini, comprenant des moyens de prise de vues fournissant chaque image sous forme d'une matrice de pixels, les valeurs radiométriques (luminance et éventuellement chrominance) de chaque pixel étant sous forme numérique, caractérisé en ce qu'il comprend également - des moyens de mémorisation de repères de localisation d'une zone cible dans l'image et de représentations de la zone cible à plusieurs échelles et de mémorisation de représentations aux mêmes échelles d'un modèle ou patron superposable à la zone cible, - des moyens pour reconnaître les repères dans l'image courante et en déduire la position et les dimensions de la zone cible, et - des moyens pour déterminer automatiquement pour chaque image, par un calcul de corrélation fondé sur les repères, la transformation géométrique à faire subir au modèle pour qu'il corresponde aux variations d'aspect de la zone cible, dans toutes les images successives d'un même plan et pour substituer, dans l'image, les pixels représentatifs du modèle aux pixels représentatifs de la zone cible. L'invention sera mieux comprise à la lecture de la description qui suit, d'un mode particulier de réalisation, donné à titre d'exemple non limitatif. La description se réfère aux dessins qui l'accompagnent, dans lesquels - la figure 1 est un schéma de principe montrant une scène observée, un objet cible, un obstacle et une caméra de prise de vue, - la figure 2 est une représentation d'images de la scène à des instant successifs, - les figures 3A et 3B constituent un organigramme de principe du procédé. Le procédé suivant l'invention sera décrit dans son application à la substitution d'un modèle, constitué par un panneau publicitaire de dimensions et d'emplacement fixes, à une cible constituée par un autre panneau publicitaire. Cette application peut notamment être utilisée dans le cas d'une manifestation sportive diffusée dans plusieurs pays avec des panneaux publicitaires différents. Une étape préliminaire consiste à sélectionner et à mémoriser la cible, ou la zone d'image qui la contient, sous forme de plusieurs représentations - à des échelles différentes, dans toute la plage de variation que peut couvrir la variation de focale de la caméra de prise de vue, par exmple pour des échelles successives découlant l'une de l'autre par multiplication par racine de deux - éventuellement, en cas de cible dont l'orientation par rapport à la caméra peut varier, à des perspectives différentes. Une seconde étape préliminaire consiste soit à sélectionner le panneau "modèle" ou "patron" dans une bibliothèque gérée par un dispositif de consultation interactive de banques d'images, soit -si le modèle n'existe pas encore- à le créer, par un logiciel de type palette graphique ou à l'aide d'une caméra vidéo, puis à l'inclure dans la banque d'images sous forme d'une image numérique fixe. A partir de cette image, on crée plusieurs images dérivées, correspondant aux mêmes échelles que celles du panneau cible. La figure 1 montre, à titre d'exemple, une caméra 10, qu'on supposera à focale variable, dirigée vers une scène 12 contenant une cible 14 à remplacer, cette cible étant dans une position invariable par rapport à deux objets 16 et 18 et pouvant être partiellement ou totalement masquée par un obstacle 20. La caméra 10 est reliée à un calculateur 22, par l'intermédiaire d'un convertisseur analogique-numérique si elle ne fournit pas l'image sous forme d'une matrice de pixels identifiés chacun par un mot de plusieurs bits représentant des valeurs de luminance et éventuellement de chrominance. Le procédé suivant l'invention traite chaque plan indépendamment des autres : pour chaque plan, les images successives sont acquises par la même caméra 10 et présentent une forte corrélation spatiale et temporelle l'évolu- tion de l'image étant progressive. Comme le montre la figure 2 la zone cible 14 peut varier en dimensions, et être dans certaines images masquée par un obstacle 15 (images n0 1, 2 et 3 sur la figure 2). On extrait ensuite, par des méthodes connues faisant intervenir le calculateur 22, des informations caractéristiques du panneau cible d'une part, du panneau modèle ou patron d'autre part, pour la même échelle. Ces informations peuvent être - des éléments appartenant à la cible elle-même, tels que des éléments de contour particuliers (graphèmes dans une disposition relative invariable), points anguleux dans une disposition relative prédéterminée, répartition de couleurs comme sur une cocarde , etc. - des éléments occupant dans la scène une position invariable par rapport à la cible, entourant celle-ci et aisément identifiables à l'aide des critères ci-dessus. La caméra 10 peut être munie de moyens indiquant au calculateur les variations de paramètres liés à la caméra, tels que la focale, permettant de faciliter la mise en correspondance d'éléments caractéristiques du panneau cible et d'éléments correspondants parmi les diverses représentations du mobile, mémorisées ou obtenues par interpolation ; cependant la focale de la caméra (et éventuellement les angles de site et de gisement, donc l'orientation sous laquelle la caméra 10 acquiert le panneau cible) peut être estimée à l'aide d'un modèle mathématique. La première opération effectuée sur l'image courant par le calculateur 22 est la recherche du panneau cible 14, par recherche de la meilleure correspondance possible avec les informations caractéristiques mémorisées. Cette recherche s'effectue par des méthodes classiques de corrélation numérique. La recherche peut être simplifiée si elle tient compte des contraintes - d'évolution géométrique, - d'évolution de teintes imposées par le dispositif. Dans le cas où seules sont à prendre en compte des transformations de type "similitude géométrique", provoquées par des variations de longueur focale, il suffit d'un modèle mathématique de déformation géométrique, du genre utilisé en télédétection, par minimisation des résidus à une fonction polynomiale d'ordre un (à condition que l'optique de la caméra n'introduise pas d'abérations significatives). Dans le cas au contraire ou des modifications d'orientation interviennent, le modèle mathématique de déformation géométrique fait intervenir les modifications de forme du panneau cible sur l'image courante. Par filtrage temporel sur plusieurs images successives d'un même plan, la stabilité temporelle des modèles mathématiques, donc leur qualité, peut être estimée. On peut en conséquence choisir, parmi plusieurs modèles, celui qui représente le mieux la transformation géométrique. Une autre possibilité consiste à calculer un modèle géométrique global à partir des modèles les plus stables. Si les informations de focale et d'orientation ne sont pas fournies par des capteurs portés par la caméra, le modèle mathématique de transformation géométrique permet également d'estimer la focale et les angles. A titre d'exemple, les informations caractéristiques peuvent être, dans le cas d'une cible constituée par un panneau publicitaire rectangulaire horizontal à fond blanc et d'une caméra n'effectuant que des déplacements en site et en gisement, les quatre graphèmes consitués par les quatre coins du panneau. Elles peuvent être des marques de forme particulière sur un fond uniforme (mur, toile,...) dans le cas où le modèle ou patron doit être incrusté sur un tel fond à la restitution : la répartition des marques sera alors homothétique de celle de graphèmes particuliers de modèle ou patron. Une fois ainsi déterminé le modèle mathématique de transformation géométrique, il est en général nécessaire d'estimer la tranformation des teintes entre le panneau cible type, (image principale et représentations) et la zone qui lui correspond dans l'image courante, c' est-à-dire de calculer un modèle mathématique de transformation colorimétrique. Une telle transformation est dans la pratique inévitable, par suite des variations d'éclairement et des caractéristiques de la caméra. Le modèle mathématique est une transformation linéaire fondée sur une comparaison entre uniquement les voisinages et des points du panneau cible servant à la recherche effective de correspondance. Il faut en effet exclure les points qui risqueraient d'appartenir à un obstacle interposé (images n0 1, 2 et 3 de la figure 2). Dans ce cas encore on effectue un filtrage temporel d'estimation de stabilité permettant d'écarter l'influence du bruit inhérent à la quantification des couleurs. Toutes ces opérations apparaissent sur le trajet principal de la figure 3A et conduisent, pour chaque image, à deux modèles de transformation permettant de passer d'une représentation mémorisée de la cible à l'image effective de la zone cible. A ce stade, il est utile d'estimer la fonction de transfert de modulation, c'est-à-dire la différence de netteté entre le panneau cible de l'image courante et sa représentation mémorisée. Pour cela on compare les spectres de fréquence des images correspondantes. Cette analyse globalise le filé c'est-à-dire l'effet du mouvement, et les défauts de mise au point. On applique alors, à la représentation mémorisée du panneau cible, le modèle de transformation géométrique, puis le modèle de transformation des teintes, et enfin la fonction de transfert de modulation. Chacune de ces transformations est une transformation linéaire. On peut donc globaliser leur application. A cette étape, on dispose d'une image courante transformée de la séquence, où le panneau cible a été remplacé par la représentation du panneau cible (image du modèle de la cible préalablement généré). Les patrons de l'image courante transformée qui diffèrent de l'image courante initiale correspondent aux points de l'image courante initiale qui représentent autre chose que le panneau cible, donc à un obstacle interposé entre la caméra et le panneau, dont il sera possible de fixer la forme en vue de n'incruster que la portion du modèle ou patron correspondant à la zone non masquée (obstacle opaque) ou de modifier localement le patron avant incrustation (obstacle semi-transparent). En particulier, un obstacle mobile peut créer un effet de semi-transparence : un obstacle ajouré (filet de tennis) ou de petite taille (ballon) peut avoir le même effet. Pour traiter ce cas, le procédé suivant l'invention utilise, dans un mode particulier de réalisation, une carte de transparence fondée sur une évaluation a priori ou ajustée en fonction de la scène réelle. Par exemple on affecte aux points non masqués du panneau une transparence égale à un, et aux points correspondant aux obstacles une transparence égale à zéro. Pour les obstacles semi-transparents, ou pour les objets rapidement mobiles, on affecte au points correspondants une valeur intermédiaire. On fait l'hypothèse que, à l'échelle où la scène est observée, les obstacles non transparents sont compacts, ce qui permet de filtrer la carte de transparence par une méthode de type morphologie mathématique. La carte de transparence peut être filtrée temporellement pour les obstacles fixes ; il n'est pas possible de filtrer temporellement les obstacles rapidement mobiles. Une fois ces opérations effectuées on dispose de la totalité des informations nécessaires au remplacement du panneau cible par le panneau modèle ou patron. Ce remplacement exige successivement le traitement du panneau patron mémorisé, puis la substitution des pixels obtenus à ceux de l'image fournie par la caméra. Le traitement implique d'effectuer sur l'image du panneau patron, à l'échelle correspondant à celle utilisée pour l'identification du panneau cible, les mêmes transformations géométrique, colorimétrique et de filé ; on applique ensuite la fonction de transparence (identité en cas de transparence égale à 1, suppression en cas de valeur zéro, atténuation en cas de semi-transparence). Le résultat obtenu est incrusté dans l'image courante avant stockage ou diffusion. Le filtrage temporel peut être purement prédictif et ne tenir compte que des images passées. Il peut, à condition d'utiliser une mémoire tournante dont la capacité est de quelques images, constituant une ligne à retard, utiliser un filtrage partiellement ou totalement a posteriori ou récursif. Le filtrage temporel, s'il est utilisé, exige de détecter chaque changement de plan qui se traduit par une discontinuité de la transformation, progressive et continue dans un même plan. Les changements de plan peuvent être indiqués par un capteur équipant la régie. Mais on peut aussi -et c'est cette solution qui sera généralement adoptée- détecter de façon automatique chaque changement de plan par la discontinuité qu'il introduit dans le contenu de l'image de la scène observée. Par exemple, en cas de zoom, il y aura ré-estimation par recherche d'échelle de représentation du panneau cible qui fait le mieux correspondre la représentation avec le panneau cible dans la scène courante. Cette opération peut être effectuée par une méthode de corrélation de listes d'informations caractéristiques du type dit "branch and bound". On reprend alors le processus décrit plus haut. On compare aussi les estimations des angles de site et gisement de prise de vue, ce qui permet de reconnaître la caméra qui effectue la prise de vue du nouveau plan, à condition qu'elle n'ait pas été déplacée depuis la précédente prise de vue qu'elle a acquis. Le mode particulier de réalisation qui vient d'être décrit est bien adapté au cas d'une cible constituée par une surface plane. L'invention est également utilisable sans modification importante dans le cas d'une cible dont la surface peut être décomposée en facettes assimilables à des portions planes, ainsi que cela est fait couramment en synthèse d'images. La décomposition de la cible d'une part, et celle du patron d'autre part, en plusieurs facettes peuvent être effectuées séparément et sans aucune relation. REVENDICATIONS 1. Procédé de modification du contenu d'une séquence d'images représentant une scène évolutive et présentant un degré élevé de corrélation entre images successives d'un même plan, les images étant représentables par une matrice de pixels, caractérisé en ce que - on identifie une zone cible non déformable à remplacer dans la scène et on la caractérise, en position et en dimensions, par référence à des repères proches liés à la zone cible dans chaque image - on détermine la position, par rapport auxdits repères, à donner à un modèle ou patron superposable à la zone cible, mémorisé sous forme numérique ;; - pour chaque image particulière, on détermine, automatiquement, par un calcul de corrélation fondé sur les repères, la transformation géométrique à faire subir au modèle pour qu'il corresponde aux variations d'aspect de la zone cible, dans toutes les images successives d'un même plan et on substitue dans l'image les pixels représentatifs du modèle aux pixels représentatifs de la zone cible. 2. Procédé selon la revendication 1, caractérisé en ce qu'on détermine la position et l'orientation de la zone cible par identification de repères constitués par des éléments appartenant à la cible elle-même, tels que des éléments de contour ou une trame. 3. Procédé selon la revendication 1 ou 2, caractérisé en ce qu'on mémorise plusieurs représentations de la cible à des échelles et éventuellement des orientations différentes et du modèle aux mêmes échelles et orientations et en ce qu'on détermine la transformation géométrique optimale permettant de passer de la zone cible dans l'image courante à une des représentations afin de faire subir la tranformation correspondante à la représentation associée du modèle avant substitution. 4. Procédé selon la revendication 3, caractérisé en ce qu'on détermine également la transformation colorimétrique optimale permettant de passer de la zone cible de l'image courante à une des représentations en vue de l'imposer à la représentation associée du modèle ou patron. 5. Procédé selon la revendication 3 ou 4, caractérisé en ce qu'on détermine la tranformation géométrique et/ou colorimétrique optimale en effectuant plusieurs tranformations différentes et en comparant leurs résultats ou en ce qu'on adopte une synthèse des tranformations donnant les meilleurs résultats. 6. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'on détecte la présence d'obstacles entre l'appareil de prise de vues fournissant la séquence d'images, par comparaison entre l'image courante transformée et l'image courante et en ce qu'on substitue les pixels représentatifs du modèle uniquement dans les portions ne présentant pas de différence appréciable. 7. Procédé selon la revendication 1, caractérisé en ce qu'on effectue un filtrage temporel prédictif ou récursif sur les modèles mathématiques de transformation. 8. Dispositif de modification du contenu des images d'une séquence d'images présentant un degré élevé de corrélation entre images successives, comprenant des moyens de prise de vues fournissant chaque image sous forme d'une matrice ou pixels, les valeurs radiométriques (luminance et éventuellement chrominance) de chaque pixel étant sous forme numérique, caractérisé en ce qu'il comprend également - des moyens de mémorisation de repères de localisation d'une zone cible dans l'image et de représentations de la zone cible à plusieurs échelles et de mémorisation de représentations aux mêmes échelles d'un modèle ou patron superposable à la zone cible, - des moyens pour reconnaître les repères dans l'image courante et en déduire la position et les dimensions de la zone cible, et - des moyens pour déterminer automatiquement pour chaque image, par un calcul de corrélation fondé sur les repères, la transformation géométrique à faire subir au modèle pour qu'il corresponde aux variations d'aspect de la zone cible, dans toutes les images successives d'un même plan et pour substituer, dans l'image, les pixels représentatifs du modèle aux pixels représentatifs de la zone cible.