Brevet FR2758429A1 — publié le 19980717

La présente invention concerne le domaine des retransmissions sportives télévisuelles. L'invention concerne plus particulièrement un procédé de production d'une séquence filmée d'une activité sportive comportant un terrain d'évolution sur lequel évolue au moins une personne physique, notamment un joueur ou un concurrent, et un objet mobile, notamment un ballon. L'invention trouve plus particulièrement à s'appliquer aux retransmissions de rencontres de sports collectifs, notamment de football, mais elle n'est nullement limitée à ce type de rencontres et peut aussi concerner d'autres sports individuels tels que par exemple le tennis, ou l'athlétisme. Les retransmissions télédiffusées de rencontres sportives, à caractère national ou international, rencontrent un sucés croissant auprès des téléspectateurs et font à cet égard l'objet de négociations commerciales importantes relatives aux droits de retransmission et aux diffusions publicitaires qui les accompagnent. Paradoxalement, le contenu des retransmissions, audelà du simple déroulement de l'action sportive en cours, a très peu évolué, notamment en ce qui concerne les compléments des images, c'est à dire ce que l'on peut qualifier d'une manière générale de commentaire(s). En effet, la retransmission classique d'une rencontre de football, qu'il s'agisse d'une retransmission en direct ou en différé, se résume à la diffusion d'images réelles filmées accompagnées d'un commentaire sonore généralement prononcé et enregistré en direct par un ou plusieurs commentateurs. Quelles que soient les qualités des commentateurs, professionnels de la télévision, du milieu sportif et/ou du journalisme, leurs prestations sont similaires à celles d'une diffusion radiophonique, c'est à dire qu'ils ne sont en général pas en situation technique d'apporter d'autres commentaires que ceux résultant de leur propre vision, analyse et compréhension de la phase de jeu en cours, leur perception de cette phase de jeu étant en général double, c'est à dire qu'ils peuvent en prendre connaissance instantanément en direct, si ils sont présents dans l'enceinte sportive dans laquelle se déroule la rencontre, et parallèlement sur un écran ou moniteur vidéo qui leur restitue les images réelles filmées qui sont diffusées à l'intention des téléspectateurs. Afin d'améliorer le commentaire, et notamment afin d'enrichir son contenu technique relatif à l'analyse du jeu, il a déjà été proposé d'adjoindre aux commentateurs des assistants qui effectuent des analyses statistiques de certains aspects du jeu et qui mettent leurs résultats à la disposition du réalisateur responsable de la diffusion de la rencontre et/ou des commentateurs. Ces compléments peuvent être mis en images, c'est-àdire qu'ils font l'objet de la réalisation de "panneaux" informatifs qui sont insérés en cours de diffusion, le plus généralement pendant des temps morts au cours desquels ces panneaux sont à leur tour commentés oralement. Par ailleurs, la complexité des règles de jeu, notamment des sports collectifs tels que le football, le rugby, le basketball, etc., rend nécessaire d'enrichir les retransmissions télévisées de compléments qui permettent d'illustrer à l'image la mise en oeuvre des règles assurée par un ou plusieurs arbitres, et ceci dans le but d'améliorer l'éducation des spectateurs et du public en vue notamment de promouvoir un comportement fair-play et serein du public lors des rencontres. On sait par ailleurs que la formation des sportifs en vue de l'amélioration de leurs performances et de la qualité du jeu sportif, fait de plus en plus appel à l'utilisation d'enregistrements télévisuels, qu'ils s'agissent de rencontres officielles précédentes ou de séquences d'entraînements, qui sont à leur tour commentés par les responsables de la formation et notamment par l'entraîneur. Dans cette tâche, et malgré sa compétence et sa culture technique et tactique, I'entraîneur se trouve confronté aux mêmes difficultés que le commentateur des retransmissions publiques, c'est à dire qu'ils ne dispose pas d'outils de commentaire visuel des images réelles filmées autre que des panneaux et des tableaux indépendants de l'image diffusée. L'invention a pour but de remédier à ces inconvénients en proposant un nouveau procédé de production d'une séquence filmée qui permette d'assortir sa diffusion d'un commentaire visuel en trois dimensions et en temps réel. Dans ce but, I'invention propose un procédé de production d'une séquence filmée d'une activité sportive comportant un terrain d'évolution sur lequel évolue au moins une personne physique, notamment un joueur ou un concurrent, et un objet mobile, notamment un ballon, caractérisé en ce qu'il consiste à - filmer en temps réel une séquence de déroulement de l'activité sportive au moyen d'un réseau de caméras dont chacune est équipée d'un système générateur de données représentatives de sa position dans l'espace par rapport à un repère fixe lié au terrain, de ses mouvements, de sa mise au point optique et d'un signal d'horloge; - acquérir en temps réel la position instantanée de chaque personne évoluant sur le terrain et de l'objet mobile par analyse, au moyen d'une unité informatique, des images vidéo filmées par ledit réseau de caméras; - produire cycliquement une matrice de données numériques représentatives de la position de chaque personne et de l'objet mobile dans ledit repère et mémoriser les matrices successives dans une unité informatique de traitement; - construire au moins un élément visuel virtuel, notamment en trois dimensions, d'information et/ou de commentaire au moyen d'une unité informatique de production d'éléments visuels en fonction desdites données - synchroniser le réseau de caméras et les unités informatiques; et - fabriquer une image vidéo à partir d'une image vidéo filmée et dudit élément virtuel construit en l'insérant dans l'image vidéo filmée de manière à permettre la diffusion, en temps réel ou en différé, d'une séquence filmée de l'activité sportive comportant ledit élément visuel virtuel d'information et/ou de commentaire. Selon d'autres caractéristiques du procédé selon l'invention - L'étape de construction de l'élément virtuel consiste à - effectuer une analyse et un traitement desdites données pour calculer des informations représentatives de l'évolution dans le temps d'une personne ou de l'objet mobile (vitesse-accélération-trajectoire-mobilité-etc.) ; et - construire une représentation virtuelle de ces informations destinée à être insérée - L'étape de construction de l'élément virtuel consiste à - effectuer une analyse et un traitement desdites données pour calculer des positions relatives des personnes et/ou de l'objet mobile par rapport au terrain d'évolution ; et - construire un objet visuel virtuel "fixe" associé auxdites positions relatives (cône de tir-position d'un murangle de vue) et destiné à être inséré - L'étape de construction de l'élément virtuel consiste à - effectuer une analyse et un traitement desdites données pour déterminer l'évolution dans le temps d'au moins une personne et/ou de l'objet mobile ; et - associer un élément virtuel de structure connue à ladite personne ou à l'élément mobile pour construire un objet virtuel à insérer mobile lors du déroulement de la séquence - L'étape de construction de l'élément virtuel consiste à - effectuer une analyse et un traitement desdites données pour calculer des informations statistiques relatives au déroulement de l'activité sportive et/ou à l'évolution et aux déplacements des personnes et de l'objet mobile ; et - construire une représentation virtuelle de ces informations destinées à être insérée - L'étape d'acquisition en temps réel de la position instantanée de chaque personne évoluant sur le terrain consiste à acquérir la position de ces personnes dans un repère à au moins deux dimensions correspondant aux dimensions du terrain d'évolution - L'étape d'acquisition en temps réel de la position instantanée de l'objet mobile consiste à acquérir la position de cet objet dans un repère à trois dimensions dont deux correspondant aux dimensions du terrain d'évolution - que l'étape d'acquisition en temps réel de la position instantanée de l'objet mobile consiste à filmer l'objet mobile au moyen de deux caméras appartenant audit réseau de caméras; - le procédé comporte une étape additionnelle consistant fabriquer une séquence d'images vidéo virtuelles à partir des éléments virtuels construits de manière à permettre la diffusion en différé de cette séquence d'images vidéo virtuelles en association avec la diffusion de ladite séquence filmée. L'invention propose aussi une installation pour la mise en oeuvre du procédé selon l'invention, caractérisée en ce qu'elle comporte - un réseau de caméras dont chacune est équipée d'un système générateur de données représentatives de sa position dans l'espace par rapport à un repère fixe lié au terrain, de ses mouvements, de sa mise au point optique et d'un signal d'horloge; - une unité informatique d'acquisition en temps réel de la position instantanée de chaque personne évoluant sur le terrain et de l'objet; - une unité informatique pour produire cycliquement une matrice de données numériques représentatives de la position de chaque personne et de l'objet mobile dans ledit repère et mémoriser les matrices; - une unité informatique pour construire au moins un élément visuel virtuel d'information et/ou de commentaire en fonction desdites données - des moyens pour synchroniser le réseau de caméras et les unités informatiques; et - des moyens pour fabriquer une image vidéo à partir d'une image vidéo filmée et dudit élément virtuel construit. D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui va suivre pour la compréhension de laquelle on pourra se reporter aux dessins annexés dans lesquels les figures 1 à 7 sont des schémas illustrant des exemples d'éléments virtuels insérés en application du procédé selon l'invention. La description qui va suivre, faite à titre d'exemple non limitatif, est relative à la retransmission télévisée d'une rencontre de football. Une telle rencontre se déroule sur un terrain de jeu, en plein air ou dans une enceinte fermée, sur lequel évoluent deux équipes de onze joueurs chacune, un arbitre de terrain et deux arbitres assistants appelés juges de touche, soit vingt cinq personnes physiques en mouvement, et un ballon mobile qui constitue l'objet mobile au sens de l'invention. Les vingt-cinq acteurs personnes physiques évoluent globalement dans deux dimensions, c'est à dire dans le plan du terrain qui est défini, dans un repère cartésien orthonormé par deux axes horizontaux perpendiculaires X et Y, correspondant par exemple à une ligne latérale délimitant le terrain, dite ligne de touche, et à une ligne transversale dite ligne de but. Les évolutions réduites en hauteur des joueurs peuvent être négligées dans le cas du football ou par exemple du rugby, mais être importantes et prises en compte dans le cadre du procédé selon l'invention pour d'autres sports tels que le basket-ball ou le volley-ball. Au contraire, le ballon évolue en permanence en trois dimensions sur le terrain, c'est à dire que la connaissance de sa position nécessite de connaître ses coordonnées [x,y,z] dans un repère à trois dimensions qui est constitué du repère X, Y dans lequel peuvent être déterminées les positions des joueurs et des arbitres, complété par un axe vertical concourant Z dont l'origine correspond par exemple au sol. On peut ainsi définir un repère géométrique fixe par rapport au terrain. La réalisation d'une séquence filmée de l'action sportive fait traditionnellement appel à plusieurs caméras vidéo qui sont généralement implantées autour du terrain, en altitude et/ou au niveau du sol, les caméras pouvant être fixes ou mobiles et étant de plus à focale variable. Cet agencement connu permet au réalisateur de choisir parmi plusieurs images disponibles simultanément celle qui est diffusée instantanément, notamment en fonction du déroulement du jeu. Le procédé selon l'invention propose d'utiliser un réseau de caméras vidéo qui sont d'un type particulier mais qui sont les caméras qui permettent la capture classique des images vidéo réelles utilisées pour la réalisation classique de la séquence filmée, c'est à dire qu'il n'est en aucune manière fait appel à un réseau particulier et supplémentaire de caméras pour l'acquisition en temps réel de la position instantanée des acteurs sur le terrain et du ballon. Les caméras utilisées sont particulières au sens de l'invention car chacune d'entre elle comporte un système générateur de données représentatives de sa position dans l'espace du terrain, c'est à dire par rapport au repère mentionné précédemment, des mouvements de la caméra, et de sa mise au point, c'est à dire de la distance focale de son système optique. Grâce à l'utilisation de telles caméras dites "motion control", et après une étape d'initialisation de chaque caméra dans le repère, il est possible d'utiliser chaque image de chaque caméra pour en analyser le contenu en vue d'acquérir en temps réel, à partir de l'ensemble des images fournies simultanément par les caméras du réseau, la position instantanée x,y de chaque acteur et du ballon x,y,z. A titre de complément, chaque caméra peut être munie de moyens télémétries. Chaque caméra peut être de type analogique, les images étant ensuite numérisées, ou être des caméras numériques. La notion de simultanéité en vue de l'analyse des images nécessite bien entendu que les caméras du réseau soient synchronisées, c'est à dire que chacune d'entre elles génère un signai d'horloge. On est ainsi en mesure de connaître à chaque instant la position dans l'image d'une caméra de chaque acteur et/ou du ballon et d'associer à cette position un triplet, ou un doublet de coordonnées x, y, z. Grâce à l'agencement des caméras en réseau et coordonnées, une unité informatique faisant partie de l'installation pour la mise en oeuvre du procédé selon l'invention permet de produire cycliquement une matrice de données numériques mathématiques qui sont représentatives de la position de chaque acteur et du ballon. Cette méthode de capture des coordonnées spatiales est particulièrement avantageuse car elle utilise les mêmes caméras que celles utilisées pour la réalisation des images réelles et elle ne nécessite pas d'implanter des émetteurs radiofréquence sur les acteurs et sur le ballon, émetteurs qui ne sont pas admis dans les règlements sur l'équipement des joueurs et qui imposent de plus de disposer sur chaque terrain d'un réseau de récepteurs radiofréquence. Du fait du cycle vingt-quatre images par seconde utilisé en vidéo, il peut être produit une nouvelle matrice vingt-quatre fois par seconde. Les moyens d'analyse des images vidéo des caméras du réseau sont de type(s) connus(s) tels que par exemple ceux commercialisés par la Société HYMATOM. Selon la technique la plus courante, on numérise les images et on les analyse ensuite pixel par pixel, analyse qui, outre la détermination des coordonnées recherchées, est ensuite utilisée lors de la phase d'insertion des éléments virtuels. Selon un autre procédé, et si l'on connaît parfaitement les paramètres optiques de conception et de mise au point des caméras utilisées, on réalise une analyse photogrammétrique de chaque image, sans passer par une étape de numérisation, c'est-à-dire en mettant en oeuvre les principes de la stéréophotographie. Dans ce cas, il n'est pas nécessaire de disposer d'un grand nombre de caméras croisées, une ou deux caméras pouvant permettre de reconstituer les coordonnées tridimensionnelles de tous les points caractéristiques de chaque image vidéo, notamment en utilisant le signal vidéo de base pour la retransmission dit signal "broadcast". Pour faciliter l'acquisition de la position du mobile constitué par le ballon, il peut par exemple être fait appel à deux caméras croisées affectées à la poursuite du ballon et de son environnement immédiat, cette capture étant manuelle ou automatisée. Les moyens d'analyse d'images pour la détermination des coordonnées des acteurs peuvent par exemple comporter un calculateur d'analyse d'images en temps réel pour chaque joueur, I'ensemble des calculateurs étant géré par un module de centralisation qui gère notamment le passage d'un joueur d'une caméra à l'autre, qui gère les conflits tels que les occlusions et les collisions, automatiquement ou avec l'aide d'un assistant personne physique. Le traitement par calcul en temps réel nécessite que l'unité informatique soit synchronisée avec le réseau de caméras elles-mêmes synchronisées. A partir desdites matrices de données il est possible de construire au moins un élément virtuel d'information ou de commentaire au moyen d'une unité informatique de production d'éléments visuels, elle aussi synchronisée. Cet élément virtuel et visuel de commentaire, notamment en trois dimensions, est destiné à être inséré dans les images vidéo réelles filmées de manière à permettre la diffusion en temps réel ou en différé d'une séquence filmée comportant l'élément de commentaire inséré. L'insertion de l'élément virtuel en vue de la fabrication des images vidéo "augmentées" destinées à être diffusées est effectuée par des moyens informatiques connus comportant au moins un calculateur exploitant un programme d'insertion en temps réel. On donnera maintenant des exemples des éléments virtuels destinés à être insérés en vue de constituer un commentaire visuel de l'action sportive. A partir des données spatio-temporelles préalablement déterminées, il est par exemple possible de calculer les trajectoires du ballon et des joueurs, de construire une représentation virtuelle de ces trajectoires et de les insérer dans les images comme cela est schématisé à la figure 1 sur laquelle on a représenté la trajectoire globale du ballon B au sol et en l'air, d'un but à l'autre. La séquence d'images comportant l'insertion de trajectoire du ballon est diffusée en léger différé. Elle peut aussi être agrémentée de représentations virtuelles en trois dimensions telles que des "murs" M qui représentent par exemple le niveau auquel se situe le premier attaquant ou le dernier défenseur, ces éléments virtuels étant liés au joueur correspondant, c'est à dire que leur insertion en temps réel est "dynamique" en ce qu'à chaque instant de la séquence commentée par les éléments virtuels, ces derniers sont recalculés et insérés. A la figure 2, on a représenté l'insertion d'une représentation en volume d'un "cône" virtuel de l'espace de tir dont dispose un joueur au moment de sa frappe en direction du but. Cette représentation pourrait être complété de données calculées telles que la distance du joueur par rapport au but, la distance et le temps de course du joueur avant la frappe, etc. Les figures 3,4 et 5 montrent d'autre angles de prises de vues agrémentées d'un cône virtuel de tir avec par exemple l'ajout de la trajectoire du ballon. La représentation illustrée à la figure 6 montre l'utilisation d'un mur virtuel pour l'illustration et le commentaire de la règle du hors-jeu, le mur M étant "accroché" au dernier défenseur et se déplaçant avec ce dernier. L'ensemble des données obtenues à partir de la capture en temps réel et l'analyse des images filmées permet l'insertion de nombreux autres éléments de commentaires. On peut par exemple insérer le nom de chaque joueur à côté de son image (voir figure 7). On peut à tout instant associer à chaque joueur des données statistiques relatives à son activité pendant la rencontre (distances parcourues, vitesse moyenne ou maximale, nombre de touches de balles, temps de possession du ballon, etc.). Ce type d'analyse statistique peut être réalisée, et ses résultats insérés globalement, pour chaque équipe. En cas d'images générales du terrain prises de haut sensiblement à la verticale du terrain, il est possible d'insérer le schéma théorique tactique de chaque équipe (placement des joueurs et modes de déplacement), ou d'insérer le schéma de jeu réel résultant d'une analyse statistique préalable des données mémorisées au cours d'une période de jeu immédiatement précédente (action de jeu, mi-temps, etc.). D'autres statistiques telles que le nombre et la précision des tirs au but peuvent aussi faire l'objet de commentaires visuels virtuels par insertion dans des images représentant le but de densités "d'impacts" dans et autour du but, agrémentées de la chronologie des tirs au but, agrémentées de la chronologie des tirs au but. On peut aussi matérialiser virtuellement, en deux ou trois dimensions l'espace dans lequel le ballon a le plus souvent circulé. Le procédé selon l'invention permet aussi la réalisation de séquences purement virtuelles du type de celles produites dans les jeux vidéo ou l'insertion d'un élément virtuel permettant par exemple de simuler un déplacement hypothétique d'un joueur par rapport à une action réelle filmée et d'inventer ainsi un scénario alternatif de la réalité. Un tel scénario permet aussi l'explication de règles de jeu complexes telles que le hors-jeu. La création de séquences de jeu virtuelles permet aussi de faire "entrer" la caméra virtuelle sur le terrain et de rediffuser une action réelle préalable d'un autre point de vue, par exemple du point de vue d'un joueur ou du ballon ou de l'arbitre. REVENDICATIONS 1. Procédé de production d'une séquence filmée d'une activité sportive comportant un terrain d'évolution sur lequel évolue au moins une personne physique, notamment un joueur (J) ou un concurrent, et un objet mobile, notamment un ballon (B), caractérisé en ce qu'il consiste à - filmer en temps réel une séquence de déroulement de l'activité sportive au moyen d'un réseau de caméras dont chacune est équipée d'un système générateur de données représentatives de sa position dans l'espace par rapport à un repère fixe (X, Y, Z) lié au terrain, de ses mouvements, de sa mise au point optique et d'un signal d'horloge; - acquérir en temps réel la position instantanée de chaque personne (x, y) évoluant sur le terrain et de l'objet mobile (x, y, z) par analyse, au moyen d'une unité informatique, des images vidéo filmées par ledit réseau de caméras; - produire cycliquement une matrice de données numériques représentatives de la position de chaque personne et de l'objet mobile dans ledit repère et mémoriser les matrices successives dans une unité informatique de traitement; - construire au moins un élément visuel virtuel (M, C) d'information et/ou de commentaire au moyen d'une unité informatique de production d'éléments visuels en fonction desdites données - synchroniser le réseau de caméras et les unités informatiques; et - fabriquer une image vidéo à partir d'une image vidéo filmée et dudit élément virtuel construit en l'insérant dans l'image vidéo filmée de manière à permettre la diffusion, en temps réel ou en différé, d'une séquence filmée de l'activité sportive comportant ledit élément visuel virtuel d'information et/ou de commentaire. 2. Procédé de production selon la revendication 1, caractérisé en ce que l'étape de construction de l'élément virtuel consiste à - effectuer une analyse et un traitement desdites données pour calculer des informations représentatives de l'évolution dans le temps d'une personne ou de l'objet mobile (vitesse-accélération-trajectoire-mobilité-etc.) ; et - construire une représentation virtuelle de ces informations destinée à être insérée. 3. Procédé de production selon la revendication 1, caractérisé en ce que l'étape de construction de l'élément virtuel consiste à - effectuer une analyse et un traitement desdites données pour calculer des positions relatives des personnes et/ou de l'objet mobile par rapport au terrain d'évolution ; et - construire un objet visuel virtuel "fixe" associé auxdites positions relatives (cône de tir-position d'un murangle de vue) et destiné à être inséré. 4. Procédé de production selon la revendication 1, caractérisé en ce que l'étape de construction de l'élément virtuel consiste à - effectuer une analyse et un traitement desdites données pour déterminer l'évolution dans le temps d'au moins une personne et/ou de l'objet mobile ; et - associer un élément virtuel de structure connue à ladite personne ou à l'élément mobile pour construire un objet virtuel à insérer mobile lors du déroulement de la séquence. 5. Procédé de production selon la revendication 1, caractérisé en ce que l'étape de construction de l'élément virtuel consiste à - effectuer une analyse et un traitement desdites données pour calculer des informations statistiques relatives au déroulement de l'activité sportive et/ou à l'évolution et aux déplacements des personnes et de l'objet mobile ; et - construire une représentation virtuelle de ces informations destinées à être insérée. 6. Procédé de production selon l'une quelconque des revendications précédentes, caractérisé en ce que l'étape d'acquisition en temps réel de la position instantanée de chaque personne évoluant sur le terrain consiste à acquérir la position de ces personnes dans un repère à au moins deux dimensions (X, Y) correspondant aux dimensions du terrain d'évolution. 7. Procédé de production selon l'une quelconque des revendications précédentes, caractérisé en ce que l'étape d'acquisition en temps réel de la position instantanée de l'objet mobile consiste à acquérir la position de cet objet dans un repère à trois dimensions (X, Y, Z) dont deux correspondant aux dimensions du terrain d'évolution. 8. Procédé de production selon la revendication précédente, caractérisé en ce que l'étape d'acquisition en temps réel de la position instantanée de l'objet mobile consiste à filmer l'objet mobile au moyen de deux caméras appartenant audit réseau de caméras. 9. Procédé de production selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comporte une étape additionnelle consistant fabriquer une séquence d'images vidéo virtuelles à partir des éléments virtuels construits de manière à permettre la diffusion en différé de cette séquence d'images vidéo virtuelles en association avec la diffusion de ladite séquence filmée. 10. Installation pour la mise en oeuvre du procédé selon l'une quelconque des revendications précédentes, caractérisée en ce qu'elle comporte - un réseau de caméras dont chacune est équipée d'un système générateur de données représentatives de sa position dans l'espace par rapport à un repère fixe lié au terrain, de ses mouvements, de sa mise au point optique et d'un signal d'horloge; - une unité informatique d'acquisition en temps réel de la position instantanée de chaque personne évoluant sur le terrain et de l'objet; - une unité informatique pour produire cycliquement une matrice de données numériques représentatives de la position de chaque personne et de l'objet mobile dans ledit repère et mémoriser les matrices; - une unité informatique pour construire au moins un élément visuel virtuel d'information et/ou de commentaire en fonction desdites données - des moyens pour synchroniser le réseau de caméras et les unités informatiques; et - des moyens pour fabriquer une image vidéo à partir d'une image vidéo filmée et dudit élément virtuel construit.