Brevet FR2719965A1 — publié le 19951117

Procedé et dispositif de modification d'une même zone d'une scène dans des images successives de télévision. L'invention concerne un procédé et un dispositif pour modifier une même zone dans des images de télévision successives appartenant à une même séquence ; elle concerne plus particulièrement un procédé et un dispositif permettant de remplacer, dans une séquence d'images vidéo successives d'une scène, fournies par une caméra vidéo ou un enregistreur, la représentation d'une cible nondéformable par la représentation mémorisée d'un modèle ou patron. En général, la cible sera un panneau publicitaire qu'on remplacera par une représentation adaptée d'un patron mémorisé, constitué par un autre panneau publicitaire. Un procédé et un dispositif permettant d'atteindre ce résultat sont décrits dans la demande de brevet PCT/FR 91/00296. Le procédé décrit dans ce document comporte les étapes suivantes a) on mémorise une représentation de la cible sous forme d'un ensemble de points caractéristiques (ou marques de référence) répartis dans l'image de la scène b) on reconnaît automatiquement, par un processus de reconnaissance de forme, au moins un sous-ensemble de l'ensemble de points caractéristiques dans chaque image courante de la séquence et on déduit un emplacement, une taille et une perspective estimés de la cible dans l'image courante des emplacements relatifs des points caractéristiques dans l'image courante c) on transforme géométriquement un patron mémorisé en fonction de la taille de la perspective estimée de façon à faire correspondre la représentation transformée du patron à la cible dans l'image courante et d) on insère la représentation géométriquement transformée du patron à l'image courante, à la place de la cible. Les points caractéristiques sont constitués par des particularités de lignes de contraste radiométrique et sont définis sur des voisinages. Dans le procédé tel que décrit dans le document ci-dessus, toutes les étapes sont effectuées au même emplacement et en succession, habituellement à l'emplacement de la régie de télévision, avant émission et/ou diffusion. Tous les patrons sont alors mémorisés à l'emplacement où est entièrement mis en oeuvre le procédé, et les trajets de transmission sont aussi nombreux que les types de modification. Si, en revanche, le traitement est effectué juste avant diffusion ou transmission vers un auditoire particulier, l'appareillage très complexe nécessaire pour traiter l'image doit être disponible à plusieurs emplacements et cela représente un investissement qui peut être jugé excessif. Un but de l'invention est de fournir un procédé et un dispositif répondant mieux que ceux antérieurement connus aux exigences de la pratique ; en particulier, c'est un but de l'invention que de d'arriver à une grande souplesse de mise en oeuvre. Le procédé peut notamment, dans une mise en oeuvre particulière, autoriser l'insertion du patron mémorisé, à la place de la cible, en un emplacement relais immédiatement avant que l'image ne soit offerte à un auditoire particulier, en ne mettant en oeuvre que des moyens simples à cet emplacement, constitué par exemple par une tête de réseau terrestre. Dans ce but, les étapes a) et b) ci-dessus, qui exigent un matériel et un logiciel importants, restent effectuées au site de la régie de télévision. L'image, qui peut être non modifiée, éventuellement comprimée, est transmise avec des données d'identification, qui peuvent être chiffres, donnant au moins des coordonnées de localisation de la cible, des indications concernant les obstacles (au moins si la scène est susceptible de présenter des obstacles qui masquent la cible) et, fréquemment, des paramètres d'éclairage. De telles données peuvent être transmises avec le signal représentant l'image. A un emplacement qui peut être proche de l'auditoire particulier, on récupère les données d'identification de la cible et on les utilise pour transformer un patron stocké à cet emplacement, géométriquement et éventuellement aussi en ce qui concerne les valeurs radiométriques, avant d'insérer le patron géométriquement transformé. En d'autres termes, le procédé de l'art antérieur a été fractionné en deux parties qui peuvent etre effectuées à différents emplacements et comporte des étapes additionnelles consistant à définir la cible (et éventuellement des obstacles) par des données, à transmettre les données, à les récupérer et à les utiliser pour modifier le patron et l'insérer. L'invention trouve une application particulièrement importante, mais non exclusive, dans les systèmes de télévision numériques et les systèmes de télévision qui utilisent un signal multiplexé comprenant un signal analogique d'image et un mutiplex numérique permettant de transmettre des données. Un exemple de système de ce dernier type est connu sous le nom de MAC-PAQUETS, conçu pour une diffusion sur un canal de satellite à une fréquence dthorloge de 12,5 MHz et qui a une partie numérique ayant une capacité suffisante pour transférer des données. A un emplacement proche de l'auditoire, les données sont utilisées et la diffusion ultérieure peut s'effectuer sur des canaux terrestres ayant une bande passante plus étroite (par exemple par radio ou coaxial, dont la bande passante est généralement dans le domaine de 7 à 8 MHz). L'invention est également utilisable sur des réseaux de télévision analogiques existants. Les données peuvent alors être rediffusées au cours des intervalles de suppression de trame, en utilisant les protocoles bien connus DIDON ou CEEFAX. De nombreuses possibilités de désignation des pixels à remplacer, appartenant à la représentation de la cible, existent. Par exemple, on peut substituer a ceux des pixels qui appartiennent à la cible et qui ne sont pas masqués, avant transmission, des pixels ayant une valeur radiométrique particulière et identifiable qui n'est pas trouvée à un autre emplacement de l'image. Dans ce cas, seuls de tels pixels parmi ceux du patron transformé seront substitués. I1 est également possible de transmettre des données indiquant, dans chaque ligne de balayage, le début et la fin du segment (ou des segments) à remplacer par un segment (ou des segments) correspondants de la représentation transformée du patron. I1 existe encore d'autres possibilités, telles que la transmission des coordonnées d'un nombre de points du pourtour de la représentation de la cible (ou d'un modèle mémorisé de la cible) suffisant pour l'identifier complètement. On pourra utiliser cette approche lorsque la cible a une forme simple (panneau publicitaire par exemple) et n'est jamais masquée. Le procédé de l'invention est extrêmement flexible. Comme indiqué plus haut, on peut le réaliser dans un dispositif où seules les étapes a) et b), ainsi que la génération des données nécessaires à la substitution ultérieure, sont effectuées à l'emplacement de l'évènement télévisé. Le dispositif peut aussi bien comporter, sur cet emplacement, un premier ensemble pour réaliser les étapes a) et b) et la génération des données, et des seconds ensembles recevant tous le même signal provenant du premier ensemble et effectuant des substitutions différentes avant transmission vers un réseau ou un canal respec tif. Cette dernière approche permet également d'utiliser une seule bibliothèque de patrons substituables sur le site de l'événement. Une autre possibilité encore consiste à mémoriser le signal de télévision comportant les données et à traiter l'image pour substituer le patron à la cible en temps différé, à l'aide d'un appareil qui peut encore être très simple. L'invention propose également un dispositif permettant de mettre en oeuvre le procédé ci-dessus, ainsi que les ensembles constitutifs de ce dispositif susceptibles d'être utilisés indépendamment. Le dispositif peut comprendre - un premier ensemble ayant des moyens pour stocker des marques de référence, ou points caractéristiques, identifiant une cible, des moyens pour détecter la représentation de la cible dans chacune des images de la séquence et en déduire la position, la taille et l'orien- tation de la représentation de la cible, à partir d'une recherche de la meilleure correspondance possible entre les marques de référence mémorisées et des marques de référence respectives extraites de chaque image, et des moyens pour modifier le signal de télévision en y insérant une composante de signal identifiant la position, la taille et l'orientation de la représentation de la cible et - au moins un second ensemble ayant des moyens pour recevoir le signal modifié et extraire la composante de signal du signal modifié, des moyens pour mémoriser au moins une représentation d'un patron, des moyens pour transformer géométriquement la représentation du patron de façon à la faire correspondre à la représentation respective de la cible, en utilisant l'information contenue dans ladite composante du signal et des moyens pour substituer, dans chaque image de la séquence où se trouve la cible, la représentation transformée respective du patron à la représentation de la cible. Les deux ensembles ci-dessus définis sont utilisables indépendamment l'un de l'autre. Le premier ensemble peut alimenter un enregistreur vidéo aussi bien qu'une chaîne de transmission par voie terrestre ou par satellite ; le second ensemble peut recevoir, directement ou par l'intermédiaire d'un relais, le signal provenant du premier ensemble. Mais il peut également utiliser un enregistrement, ou recevoir le signal de sortie d'un magnétoscope. Il doit être entendu que la portée du présent brevet s'étend à de tels ensembles séparés. Les caractéristiques ci-dessus ainsi que d'autres apparaîtront mieux à la lecture de la description qui suit de modes particuliers de réalisation, donnés à titre d'exemples non limitatifs. La description se réfère aux figures qui l'accompagnent, dans lesquelles - la figure 1 est une représentation schématique des composants d'un mode particulier de réalisation du dispositif - la figure 2, similaire à la figure 1, décrit un autre mode de réalisation, où un signal de télévision est entièrement traité avant transmission vers des satellites, par exemple en vue de diffusions directes - la figure 3 est un synoptique simplifié d'un mode particulier de réalisation. La figure 1 montre plusieurs caméras de télévision 10a, 10b, 10c réparties le long d'une piste pour fournir des images respectives, chacune pouvant observer une portion d'une scène globale. Habituellement chaque caméra peut se déplacer angulairement et/ou a un objectif réglable pour permettre un zoom avant ou arrière. Des cibles 12, constituées par des panneaux publicitaires, sont réparties le long de la piste. Les déplacements et/ou les changements de focale d'une caméra peut les amener à entrer dans le champ de vision de la caméra ou à en sortir. Dans ce qui suit, on supposera que les cibles seront constituées par des panneaux publicitaires en forme de quadrilatère. Cependant, ils peuvent aussi bien être constitués par des zones de la scène qui sont simplement indiquées par des marques caractéristiques aisément identifiables par reconnaissance de forme, placées sur le sol, sur un mur ou même sur des poteaux. Dans ce dernier cas, une représentation du patron sera incrustée en place de la cible virtuelle identifiée par les marques de référence. Le dispositif de la figure 1 peut être regardé comme comprenant un premier ensemble situé sur le site de production et des seconds ensembles reliés au premier par des moyens de communication par satellite. Le premier ensemble comporte des composants constitutifs habituels d'une régie 14, un calculateur 15 muni d'un moniteur vidéo 16 permettant d'afficher l'image originale pour y indiquer la cible à remplacer, par exemple à l'aide d'une souris 18. Le calculateur 15 fournit, sur la sortie 17, un signal comportant une composante vidéo et des données d'identification de la cible (position éventuellement colorimétrique). Dans un mode particulier de réalisation, le signal vidéo représente la scène telle qu'elle est vue par la caméra. Le calculateur 15 peut être suivi d'une unité de compression d'image et/ou d'embrouillage, pouvant être associée à un moniteur 21. Enfin, l'ensemble situé sur le site comporte un émetteur 21 dont le lobe de sortie constitue la voie montante vers un satellite de télécommunications 22. La plupart des fonctions du calculateur 15 sont les memes que celles décrites dans la demande de brevet PCT/FR 91/00287 (WO 91/15921) à laquelle on pourra se reporter. En conséquence, ces fonctions ne seront pas décrites de nouveau. Mais certaines des fonctions du dispositif antérieur sont omises et d'autres fonctions sont ajoutées. Dans le mode de réalisation montré en figure 3, le calculateur comporte un convertisseur analogique-numérique d'entrée 26, qui n'est nécessaire que si la caméra 10 fournit un signal vidéo analogique. Le signal numérique, qui peut par exemple être constitué de salves de mots numériques représentant chacun un pixel, est appliqué à une mémoire tampon 28 ayant une capacité au moins égale à une trame complète de télévision. Cette trame ou "field" (ou dans certains cas une image complète ou "frame") est accessible par un processeur 30, comportant un nombre élevé de processeurs de signaux travaillant en parallèle. Le processeur 30 est prévu pour identifier, dans chaque trame, une représentation d'une cible 12 à remplacer dans l'image du champ de vision 32 de la caméra. Des données identifiant la cible, constituées par exemple par un ensemble de points caractéristiques en nombre suffisant, chacun défini sur un voisinage, sont stockées dans une mémoire 32 et une ou plusieurs représentations de la cible, qu'on qualifiera de modèles de la cible, avantageusement à des échelles différentes (et éventuellement avec des perspectives différentes) sont stockées dans une mémoire 34. Les mémoires 32 et 34 peuvent constituer une seule mémoire à accès multiples. Le processeur 30 identifie une représentation complète ou partielle de la cible dans une image courante par comparaison entre l'analyse de l'image courante et l'information reçue de la mémoire 32. Pour cela, le processeur détermine s'il y a une correspondance avec au moins un sous-ensemble des points caractéristiques mémorisés. I1 sélectionne le modèle le plus proche de la cible, parmi ceux disponibles dans la mémoire 34, et le traite de façon qu'il corresponde, en taille et éventuellement en perspective, à la représentation réelle de la cible dans l'image. La représentation obtenue est envoyée à un comparateur 36, ainsi qu'une représentation de la partie correspondante de la trame ou de l'image complète, provenant de la mémoire tampon 28. Toute différence entre la représentation effective de la cible et la représentation obtenue à partir du modèle de cible mémorisé indique la présence d'un obstacle devant la cible, dans la scène tel que la voit la caméra. Le comparateur 26 fournit les données identifiant la représentation de la cible et sa partie masquée à une mémoire tampon 38. Jusque là, le dispositif suivant l'invention a une constitution et un fonctionnent similaires à ceux du dispositif suivant WO-A-9115921. Mais le dispositif comprend de plus un multiplexeur 40 qui reçoit - du convertisseur analogique-numérique 26 (ou directement de la caméra), le signal d'image représentant chaque trame ou chaque image complète - du processeur 30, des données numériques identifiant par exemple - celui des modèles de la cible, parmi ceux mémorisés dans la mémoire 34, qui est le plus proche de la représentation effective de la cible dans l'image, - des indications concernant la transformation à faire subir à ce modèle mémorisé de la cible pour qu'il corresponde exactement à la représentation effective de la cible dans l'image, - des indications sur la position de la représentation de la cible dans l'image ; - de la mémoire tampon 38, une indication des parties masquées de la cible dans la représentation effective. Comme on l'a déjà indiqué, le multiplexage de ces éléments peut être effectué par tout moyen. Le signal numérique multiplexé est adressé à l'émetteur 21 qui alimente la voie montante d'un système de transmission ou diffusion, par exemple de transmission par satellite. I1 serait également possible de laisser la portion du signal multiplexé qui représente l'image sous forme analogique, en vue de la transmission, ou de changer le format de transmission pour qu'il corresponde à un des standards actuels. Dans le mode de réalisation montré en figure 1, chacune des stations de réception d'une vioe descendante comporte un ensemble 41 interposé entre une unité de réception et de démodulation 42 et une tête de réseau 43 ou un appareil de réception 52. L'ensemble 41 comprend un démultiplexeur d'entrée 44 qui envoie le signal vidéo représentant l'image (éventuellement après conversion analogique-numérique) à un processeur de signal 46. Un autre processeur 48 reçoit les données provenant du démultiplexeur 48 et, lit, dans une mémoire 50, celle des représentations d'un patron choisi par un opérateur qui est la plus appropriée et qui est identifiée par les données. Le processeur 48 traite ensuite cette représentation pour qu'elle corresponde exactement à celle de la cible. Le processeur 48 utilise également les données reçues pour déterminer quels sont les points élémentaires d'image (pixels) qui ne doivent pas être remplacés, du fait qu'ils appartiennent à un obstacle. Le processeur 48 fournit en sortie un flot de données représentant les pixels à substituer à des pixels correspondants de l'image reçue par le processeur de signal 46. L'image modifiée par substitution, affichée sur un moniteur de télévision 52, est retransmise sur un réseau câblé ou radioélectrique. Les données peuvent de plus comporter des paramètres indiquant les conditions d'éclairage et éventuellement aussi la fonction de transfert de modulation. Des corrections appropriées sont alors indiquées par le processeur 48. Dans la variante de réalisation montrée en figure 2, au moins un second ensemble 41 est placé sur le site de production. Le second ensemble remplit les fonctions des composants 44, 46, 48 et 50 de la figure 3. L'émetteur radioélectrique 21 est remplacé par un circuit de sortie alimentant le second ensemble ou les seconds ensembles. Les différentes images modifiées, fournies par les différents seconds ensembles sont émis chacun sur une voie montante, avec des patrons différents. Dans ce cas, les récepteurs alimentés par la voie descendante peuvent avoir une constitution classique. Comme on l'a déjà indiqué, les données identifiant l'emplacement de la représentation de la cible dans chaque trame ou image peuvent prendre différentes formes. On peut utiliser les techniques de compression de données pour réduire le débit d'informations nécessaire pour identifier la représentation de la cible dans chaque image. Par exemple, après transmission de données identifiant complètement la cible dans une première image, l'information concernant les images ultérieures de la même séquence peut etre constituée seulement par des données identifiant les vecteurs mouvement de chacun des angles de la cible (au moins s 'il n'y a pas d'obstacle) et des données identifiant les changements d'éclairage. Les étapes préliminaires de mise en oeuvre du procédé peuvent être similaires à celles déjà décrites dans le document WO-A-91/15921. Si on utilise le mode de réalisation de la figure 1, des étapes supplémentaires peuvent être nécessaires, par exemple, pour transmettre préalablement par la même voie que celle utilisée ultérieurement ou par une autre (liaison téléphonique par exemple) une information concernant les divers modèles de cible stockés dans la mémoire 34 et des indications permettant à un opérateur à la station de réception de la voie descendante de sélectionner un patron susceptible d'être ajusté de façon à correspondre exactement à la cible. Les représentations des patrons peuvent elles-mêmes être téléchargées. De nombreuses autres modifications de l'invention sont possibles. Elle est par ailleurs également applicable à des procédés et à des systèmes autres que ceux décrits dans le document WO-A-91/15921. L'invention peut par exemple être appliquée à d'autres systèmes dans lesquels la représentation de la cible dans l'image ne varie que de temps à autre et où un opérateur indique manuellement, au début de chaque séquence d'images où la cible reste inchangée, les bords de la cible à remplacer. REVENDICATIONS 1. Procédé pour modifier une meme zone dans des images de télévision successives appartenant à une même séquence en remplaçant une représentation d'une cible non déformable par une représentation correspondante d'un patron mémorisé, suivant lequel a)on mémorise une représentation de la cible sous forme d'un ensemble de plusieurs points caractéristiques répartis dans l'image de la scène b) on reconnaît automatiquement, par un processus de reconnaissance de forme, au moins un sous-ensemble de l'ensemble de points caractéristiques dans chaque image courante de la séquence et on déduit des emplacements relatifs des points caractéristiques dans l'image courante, un emplacement, une taille et une perspective estimés de la cible dans l'image courante c) on transforme géométriquement un patron mémorisé en fonction de la taille de la perspective estimée de façon à faire correspondre la représentation transformée du patron à la cible dans l'image courante et d) on insère la représentation géométriquement transformée du patron à l'image courante, à la place de la cible, caractérisé en ce que, de plus bl) on génère des données définissant la cible reconnue (au cours de l'étape (b) b2) on transmet un signal de télévision représentant les images de télévision et comportant lesdites données ; et b3) on récupère les données avant de les utiliser pour mettre en oeuvre les étapes (c) et (d). 2. Dispositif pour remplacer une représentation d'une cible non déformable par une représentation correspondante d'un patron prédéterminé dans des images vidéo successives d'une séquence d'images, représenté par un signal de télévision, caractérisé en ce qu'il comprend - un premier ensemble ayant des moyens pour stocker des marques de référence, ou points caractéristiques, identifiant une cible, des moyens pour détecter la présence de la représentation de la cible dans chacune des images de la séquence et déduire la position, la taille et l'orientation de la représentation de la cible, d'une recherche de la meilleure correspondance possible entre les marques de référence mémorisées et des marques de référence respectives extraites de chaque image, et des moyens pour modifier le signal de télévision en y insérant une composante de signal identifiant la position, la taille et l'orientation de la représentation de la cible ; et - au moins un second ensemble ayant des moyens pour recevoir le signal modifié et extraire la composante de signal du signal modifié, des moyens pour mémoriser au moins une représentation d'un patron, des moyens pour transformer géométriquement la représentation du patron de façon à la faire correspondre à la représentation respective de la cible, en utilisant l'information contenue dans ladite composante du signal et des moyens pour substituer, dans chaque image de la séquence où se trouve la cible, la représentation transformée respective du patron à la représentation de la cible. 3. Ensemble de traitement d'un signal de télévision représentant des images successives d'une séquence d'images, comportant des moyens (28) pour recevoir et mémoriser des signaux d'entrée représentant des images susceptibles de contenir une représentation d'une cible (12) non déformable, des moyens (33) pour stocker des points caractéristiques ou marques de référence identifiant la cible, des moyens (30) pour détecter la présence de la représentation de la cible dans chaque image de la séquence et déduire la position, la taille et l'orienta tion de la représentation de la cible d'une recherche de la meilleure correspondance entre les marques de référence mémorisées et des marques de références respectives extraites de l'image, et des moyens pour fournir un signal de télévision de sortie dans lequel est insérée une composante de signal identifiant la position, la taille et l'orientation de la représentation de la cible dans chaque image. 4. Ensemble selon la revendication 3, caractérisé en ce que ladite composante de signal comporte des indications sur les parties de la cible masquées par un obstacle. 5. Ensemble selon la revendication 3 ou 4, caractérisé en ce que ladite composante de signal comporte de plus des données indiquant l'éclairement de l'image et éventuellement une fonction de transfert de modulations. 6. Ensemble selon la revendication 3, 4 ou 5, caractérisé en ce que ladite composante de signal contient des données numériques fournissant des coordonnées de localisation de la cible dans l'image. 7. Ensemble selon la revendication 3, 4 et 5, caractérisé en ce que la composante de signal comporte des données indiquant, dans chaque ligne de balayage de télévision, le début et la fin d'un segment ou des segments à remplacer par un segment ou des segments correspondants. 8. Ensemble selon l'une quelconque des revendications 3 à 7, caractérisé en ce que la composante de signal contient des données d' identification d'une représentation d'un patron de substitution, parmi plusieurs patrons prédéterminés, et d'indication des modifications à faire subir au patron pour qu'il corresponde à la représentation de la cible. 9. Ensemble selon la revendication 3 ou 4, caractérisé en ce que lesdits moyens pour fournir un signal de télévision de sortie sont prévus pour substi tuer, à ceux des pixels qui appartiennent à la cible et qui ne sont pas masqués, des pixels ayant une valeur radiométrique particulière et identifiable qui ne se trouve pas à un autre emplacement de l'image. 10. Ensemble selon l'une quelconque des revendications 3 à 9, caractérisé en ce que les moyens pour fournir un signal de télévision de sortie sont prévus pour fournir un signal PAL ou SECAM dans lequel ladite composante de signal est insérée dans l'intervalle de suppression trame ou pour fournir un signal MAC-PAQUET dans lequel la composante du signal est insérée dans la partie numérique. 11. Procédé pour traiter un signal de télévision afin de modifier une même zone dans des images de télévision successives représentées par le signal appartenant à une même séquence, suivant lequel a) on mémorise une représentation de la cible sous forme d'un ensemble de plusieurs points caractéristiques répartis dans l'image de la scène b) on reconnaît automatiquement, par un processus de reconnaissance de forme, au moins un sous-ensemble de l'ensemble de points caractéristiques dans chaque image courante de la séquence et on déduit, des emplacements relatifs des points caractéristiques dans l'image courante, un emplacement, une taille et une perspective estimés de la cible dans l'image courante caractérisé en ce que, de plus on génère des données définissant la forme et l'emplacement de la cible reconnue au cours de l'étape (b) et suffisantes pour estimer les transformations géométriques à faire subir à un patron mémorisé de façon à faire correspondre la représentation transformée du patron à la cible dans l'image courante et on insère les dites données dans le signal de télévision représentant les images de télévision, avant transmission du dit signal.