Brevet FR2730837A1 — publié le 19960823

La présente invention concerne un système permettant l'insertion en temps réel ou différé de panneaux publicitaires ou informationnels virtuels dans des émissions télévisées, où la présence d'annonceurs publicitaires est fréquente (événements sportifs par exemple). Les grands événements télévisuels représentent un support publicitaire majeur pour l'ensemble des annonceurs. L'exploitation des espaces publicitaires constitue une des retombées essentielles pour les propriétaires des droits de diffusion de ces événements. Jusqu'à présent, les espaces alloués sont des espaces physiques (panneaux, écrans, banderoles, etc. ). Aujourd'hui le traitement informatique de l'image permet de virtualiser ces panneaux, c'est à dire d'insérer informatiquement à des endroits déterminés dans l'image, tout en respectant les mouvements de caméras (travelling, zoom. etc ..), des panneaux publicitaires virtuels. L'intérêt d'une telle approche est multiple * il est possible, lors d'une diffusion internationale, de personnaliser la diffusion suivant chaque pays diffuseur et sa législation. La gestion de l'espace est totalement flexible. Il est ainsi possible de multiplier le nombre d'annonceurs sur un même panneau en partageant cet espace virtuel. * La dynamique des messages elle-même (et donc leur impact publicitaire) peut être grandement améliorée (couleur, animation, évolution). La chaîne de production d'un événement télévisé va de la caméra, jusqu'à la station de diffusion, en passant par la régie. Dans les systèmes existant d'insertion de publicité virtuelle, le traitement s'effectue au travers de mécanismes algorithmiques de reconnaissance de forme, après que l'image ait été saisie par des caméras. Une telle approche nécessite des systèmes matériels dédiés de traitement informatique de l'image (hardware spécialisé), et des logiciels de reconnaissance de forme très sophistiqués et gourmand en ressources informatiques. L'efficacité de tels systèmes (ils ne sont pas encore à cette date opérationnels en temps réel), comme leur coût, est aujourd'hui victime de leur lourdeur. La vraie difficulté de ce type de système est donc d'effectuer en temps réel et à moindre coût ces insertions virtuelles de qualité. Le système selon l'invention permet d'apporter une solution à ce problème. L'innovation est ici de remonter vers l'amont de la chaîne de production de l'image, c'est à dire jusqu'à la caméra. Le système selon l'invention est constitué de plusieurs sous-systèmes communiquants, s'insérant dans la chaîne de production de l'image. A -LE SOUS-SYSTEME DE CAMERAS (référence dessin 1): Au lieu de caméras standards , le système utilise des caméras particulières dotées d'un système du type contrôle de mouvements (en anglais motion control ). Ce genre de système permet de caractériser de manière extrêmement précise, les mouvements et les opérations de la dite caméra (mouvements, travelling, rotation. zoom, etc ..). Ceci signifie qu'à chaque instant, l'état de la caméra - c'est à dire sa position dans l'espace, et le réglage de son système optique - est connu de manière déterministe et codable mathématiquement. Ces caméras peuvent aussi être dotées de capacités télémétriques. Grâce à un tel système, on peut - à partir du moment où l'on a calé au départ, à la manière d'un géomètre, chaque caméra sur un repère spatial fixe déterminé du site de l'événement sportif - connaître à chaque instant la position dans ou par rapport à l'image de ce repère spatial, position qui peut être caractérisée par des coordonnées spatiales (X,Y,Z). Le sous-système caméra pourra être utilisé directement pour effectuer ce calage. De la même manière. on est à même de connaître à chaque instant la position (et donc les coordonnées relative dans l'image) de tout objet visible dans le champ de chacune des caméra dont on aura caractérisé au départ les coordonnées spatiales dans ce même repère. Les objets auxquels nous pensons, sont évidemment les panneaux - où les emplacements de panneaux virtuels - dans lesquels l'insertion vidéo devra être faite. Ces panneaux correspondent donc à des espaces, et/ou même à des objets dont la forme peut être caractérisée par des coordonnées spatiales d'un certain nombre de ses points et d'autres quantités mathématiques (longueur. largeur, etc..). * La texture de ces objets peut si nécessaire être conçue pour faciliter le processus d'insertion vidéo (par exemple, avec des fonds bleu). Mais les panneaux réels peuvent cependant parfaitement contenir des messages propres, sans que cela gène le processus d'insertion. Dans ce dernier cas, ie contenu réel des panneaux dans les conditions optiques de leur calage dans le repère spatial du site peut être acquis puis stocké (par exemple au niveau du sous-système d'insertion ), afin de faciliter le processus d'insertion final. B - LE SOUS-SYSTEME DE CONTROLE DES CAMERAS (référence dessin 2) t Les caméras dotées du mécanisme de contrôle de mouvements sont reliées à un calculateur exploitant un processus informatique agissant comme le moniteur de l'ensemble des caméras. II est donc à même à chaque instant de connaître l'état de chaque caméra et partant la position de leur repères spatiaux respectifs dans les images qu'elles transmettent, et par-là même de tout objet positionné dans ces repères. * C'est donc grâce à ce sous-système que d'une part est d'abord effectué le calage des caméras et que sont déterminées les coordonnées des panneaux, et que d'autre part est calculée à chaque instant la position des panneaux dans le champ de chaque caméra. C - LE SOUS-SYSTEME D'INSERTION (référence dessin 3): t Ce sous-système est lui aussi constitué d'un ou de plusieurs calculateur(s) exploitant un processus informatique dont la tâche est d'opérer les insertions en temps réel sur la base, d'une part des images transmises par les caméras (au travers si nécessaire de la régie vidéo), et d'autre part des informations transmises par les sous-système de contrôle des caméras - à savoir les coordonnées dans les images des panneaux à insérer, ainsi que d'autres informations (comme l'identité de la caméra, noms des objets, etc..), et d'autres informations locales. * Ce(s) sous-système(s) possède(net) par ailleurs d'autres informations à la fois liées aux objets, aux contenus réels de ces objets, aux contenus prévus, aux conditions d'incrustations, bref toute l'information caractérisant le cahier des charges de l'exploitation publicitaire de l'événement (contenu, horaires et fréquences, annonceurs, etc..). C'est sur la base de ces deux types d'informations que le(s) sous-système(s) d'insertion procède(nt) au vol à l'incrustation finale. Cette incrustation s'effectue de manière à respecter tant les déformations géométriques des panneaux dans l'image (perspective par exemple) que tout obstacle s'interposant entre la caméra et le panneau (par exemple un joueur). * Il peut y avoir autant de sous-systèmes d'insertion que de territoires de diffusion différents D - LA REGIE IMAGE FINALE (référence dessin 4): Que l'insertion soit faite en amont ou en aval de celle-ci, les images sont à la disposition de la régie image finale, c'est à dire du réalisateur qui exécute sa tâche comme il l'aurait fait à partir d'images produites par un système standard. Le phénomène d'incrustation est donc transparent aux yeux du réalisateur. Remarque I : Le système tel qu'il est décrit ci-dessus permet d'effectuer les insertions publicitaires en amont de toute opération de diffusion. Il peut cependant parfaitement être réarchitecturé pour permettre à un ou plusieurs diffuseurs nationaux d'effectuer eux mêmes en local leurs propres incrustations avant d'opérer la diffusion des images finales sur leur propre territoire.Dans ce cas, le système fonctionne de la manière suivante * le sous-système caméra fonctionne de la même manière que précédemment, le sous système de contrôle consolide les informations provenant du sous-système caméra, * les images plus les dites informations sont transmises par des systèmes de télécommunication (par exemple satellitaires) et distribuées vers les stations réceptrices de chaque diffuseur national, Celui-ci dispose alors de toutes les informations nécessaires, et les transmet à son propre sous-système d'insertion qui, sur la base de son propre cahier des charges , opérera ses propres insertions au vol, Et pourra ensuite confier ses images à sa propre réalisation avant de les diffuser sur son territoire. Remarque 2 : Les deux processus informatiques de contrôle des caméras et d'insertion au vol peuvent être exploités par le même calculateur. Tel qu'il est décrit, le système proposé permet donc d'effectuer en temps réel de manière efficace et économique I'identification des panneaux leur suivi dans l'image de chaque caméra e I'insertion du panneaux virtuels en respectant les obstacles éventuels Les dessins annexés illustrent l'invention. La planche 1/3 illustre à titre d'exemple le fonctionnement du système proposé dans le cas où la régie vidéo est située en aval du sous-système d'insertion. La planche 2/3 illustre à titre d'exemple le fonctionnement du système proposé dans le cas où la régie vidéo est située en amont du sous-système d'insertion La planche 3/3 illustre à titre d'exemple le fonctionnement du système proposé dans le cas ou le(s) sous-système(s) d'insertion est(sont) distant(s). REVENDICATIONS I. Système d'insertion en temps réel de panneaux publicitaires ou informationnels virtuels dans des images d'événements télévisuels caractérisé en ce qu'il consiste en l'intégration: (a) d'un sous-système de caméras (I) chacune dotée du système dit de contrôle de mouvement permettant de caractériser mathématiquement les mouvements de la caméra ainsi que l'état de son optique (I'état de la caméra), voire la distance des objets (télémétrie). (b) d'un sous-système calculateur (2) exploitant un processus informatique de contrôle du sous-système de caméras ayant à connaître en temps réel de l'état de chaque caméra et permettant dans un premier temps le calage de chaque caméra sur un repère spatial fixe, ainsi que la caractérisation spatiale par rapport à ce repère de chaque panneau visible dans le champs de chaque caméra, et dans un deuxième temps de pouvoir calculer en temps réel la position dans l'image de chaque caméra - quel que soit son état - de tout objet qui aurait été caractérisé dans la phase précédente. (c) d'un (ou de plusieurs) sous-système(s) calculateur (3) exploitant un processus informatique dit d'insertion au vol qui, sur la base des images transmise par le sous système de caméra, des informations centralisées et/ou calculées par le sous-système de contrôle, et du cahier des charges publicitaire résultant du contrat entre le propriétaire/diffuseur des images et les annonceurs, insére(nt) les panneaux virtuels prévus dans les zones de l'image correspondant aux panneaux de support publicitaires. (d) d'une régie image finale standard permettant la réalisation en vue de diffusion. 2 -Système selon la revendication I caractérisé en ce que le sous-système de caméras est en permanence sous le contrôle du sous-système de contrôle des caméras auquel il est connecte. 3-Système selon la revendication I et 2 caractérisé en ce que le(s) sous-système(s) d'insertion au vol est(sont) en permanence connecté(s) au sous-système de caméra qui lui(leur) transmet les images (éventuellement via la régie video), ainsi qu'au sous système de contrôle qui lui(leur) transmet les informations spatiales nécessaires aux opérations d'insertion. 4 - Système selon les revendications précédentes caractérisé en ce que le(s) sous-système(s) d'insertion au vol est(sont) connecté(s) en permanence à la régie image finale. 5 - Système selon l'une quelconque des revendications précédentes, caractérisé en ce que le(s) sous-système(s) d'insertion au vol peu(ven)t être en un(des) lieu(x) distant(s) des sous-systèmes caméras, contrôle et régie finale, et à qui les informations temps réel nécessaires sont envoyées par des moyens de télécommunication, en vue d'effectuer les insertions sur la base de cahier des charges propres, avant diffusion des images sur ce(s) territoire(s) distant(s). 6-Système selon l'une quelconque des revendication précédentes caractérisé en ce que le couple sous-système d'insertion au vol/régie image peut être reproduit à l'identique architecture dans des lieux ou territoires de diffusion différents sur lesquels seraient effectuées la réalisation finale ainsi que les insertions sur la base de cahier des charges propres avant diffusion des images.