Brevet FR2854527A1 — publié le 20041105

L'invention concerne un dispositif, une méthode et un système d'affichage graphique. L'invention concerne plus particulièrement l'affichage de données vidéo représentatives d'un événement se déroulant en temps réel sur un terminal ayant des capacités graphiques limitées. En effet, de nombreux terminaux possèdent des capacités graphiques limitées mais sont de plus en plus utilisés par des utilisateurs différents, comme par exemple des téléphones mobiles, des assistants personnels (type PDA) et même des ordinateurs ne présentant pas encore des capacités d'affichage vidéo de la même qualité que les téléviseurs. Il est donc important de pouvoir reproduire sur ces écrans l'information attendue par les utilisateurs. De plus, dans le cas d'évènements tels des matchs sportifs, bien souvent le droit à l'image n'appartient pas aux joueurs ni aux clubs sportifs mais sont vendues à des diffuseurs. Un affichage synthétique de la vidéo permettrait donc aux clubs de diffuser une information réduite permettant aux utilisateurs ayant des terminaux simples en terme d'affichage, de visualiser les moments importants d'un programme. De plus, un tel affichage a également des fins pédagogiques et permet aux joueurs et à leurs entraîneurs d'analyser un match. On connaît des systèmes permettant un affichage synthétique de positions de voiliers lors de courses. De tels systèmes sont basés sur des systèmes GPS. Chaque voilier est équipé d'une balise Argos et donc repérable par GPS. Les positions sont donc reçues et retransmises régulièrement au dispositif d'affichage qui affiche alors une carte représentative de la course, chaque bateau étant identifié par un petit logo ou une couleur particulière. Par contre, un tel système nécessite d'équiper les bateaux pour qu'ils deviennent actifs et signalent leur position. Dans des rencontres sportives où les joueurs peuvent subir un nombre de chocs importants, il est peu souhaitable de les équiper d'éléments fragiles ou d'éléments pouvant devenir blessants en cas de chutes ou de chocs. L'invention propose donc un dispositif permettant de palier à au moins certains des inconvénients précédents. A cet effet, l'invention propose un dispositif d'affichage possédant des capacités graphiques simples, de données visuelles représentatives d'un événement se passant en temps réel et capturé sous la forme de données vidéo. Selon l'invention, le dispositif comporte : - des moyens de réception de paramètres représentatifs dudit évènement extraits des données vidéo capturées, - des moyens de mettre à jour, sur le dispositif d'affichage, un affichage synthétique dudit événement en fonction desdits paramètres. Le dispositif d'affichage affiche des informations concernant un événement de façon synthétique. Le dispositif permet de visualiser un événement se déroulant en direct, non pas sous forme de données vidéos mais sous forme de données synthétiques reproduisant les moments importants de l'événement. L'invention s'adresse particulièrement à des appareils disposant de capacités graphiques réduites et peut par exemple être utilisée à des fins pédagogiques pour étudier l'événement pour lequel des données vidéo complètes ne seraient pas indispensables. De plus, elle peut également s'appliquer à des événements sportifs pour lesquels les droits à l'image sont souvent vendus et donc inexploitables par les clubs de sport. Un dispositif selon l'invention possède alors les moyens d'afficher suffisamment d'information pour analyser ou visualiser l'événement. L'invention concerne également un système d'affichage, sur au moins un terminal graphique possédant des capacités graphiques simples, de données visuelles représentatives d'un événement se passant en temps réel, caractérisé en ce qu'il comporte - une pluralité de caméras destinées à capturer les images de l'événement se passant en temps réel, - des moyens d'analyser les images capturées par lesdites caméras, - des moyens d'extraire, à partir des images capturées, de paramètres représentatifs de l'événement, - des moyens de transmettre audit terminal graphique, lesdits paramètres, - des moyens de mettre à jour, sur ledit terminal graphique, un affichage synthétique dudit événement en fonction desdits paramètres. L'invention est également relative à une méthode d'affichage sur un terminal graphique possédant des capacités graphiques simples, de données visuelles représentatives d'un événement se passant en temps réel et capturé sous la forme de données vidéo, ladite méthode étant caractérisé en ce qu'elle comporte les étapes de - réception de paramètres représentatifs dudit évènement extraits des données vidéo capturées, - mise à jour, sur le dispositif d'affichage, d'un affichage synthétique dudit événement en fonction desdits paramètres L'invention sera mieux comprise et illustrée au moyen d'exemples de modes de réalisation et de mise en oeuvre avantageux, nullement limitatifs, en référence aux figures annexées sur lesquelles :- la figure 1 représente une vue d'un terrain de football et des caméras, - la figure 2 représente un mode de réalisation d'un système comportant un dispositif selon l'invention. - la figure 3 représente une vue de l'affichage synthétique sur un dispositif selon l'invention. La description suivante est basée sur un événement sportif et plus particulièrement sur un match de football mais peut s'appliquer à d'autres types d'évènements, sportifs ou non. La figure 1 représente un terrain de football 5 autour duquel sont disposées quatre caméras 1, 2, 3, 4. Le nombre de caméras est donné à titre illustratif. Les caméras permettent une visualisation complète du terrain, des joueurs j1 à j8, du ballon 6 et de l'arbitre 7 et permettent donc de capturer tous les moments importants du match. Les caméras 1, 2, 3, 4 ont des positions connues autour du terrain 5. Elles peuvent être fixes ou alors mobiles autour d'un axe et dans ce cas commandées par un opérateur. Les caméras couvrent l'ensemble du terrain. Chaque caméra est calibrée au préalable suivant certains paramètres, dont notamment l'angle et la focale, ces derniers étant intégrés au processus de traitement d'image pour permettre l'identification des objets présents dans le champ de la caméra. Parmi les objets intéressants dans un match de football, il y a notamment le déplacement des joueurs j1 à j8, du ballon 6 et de l'arbitre 7. La figure 2 représente un système comportant plusieurs dispositifs 10, 11 et 12 selon l'invention ainsi qu'un système selon l'invention. Les caméras 1, 2, 3 et 4 transmettent les images vidéo du match de football se déroulant comme indiqué sur la figure 1 à un dispositif de traitement d'images 7. Le module 7 reçoit les données vidéo des caméras avant de les retransmettre à un module 9 d'édition des données. Le découpage représenté en figure 2 est un découpage en blocs fonctionnels qui peuvent être physiquement regroupés dans un même dispositif ou séparés dans des dispositifs disjoints. Le module 7 de traitement d'images a pour but, après analyse en temps réel des données vidéo dont il dispose, de positionner chaque objet présent sur le terrain, par exemple les joueurs, l'arbitre et le ballon, et d'y associer un ensemble d'informations synthétiques. Parmi les informations synthétiques, on peut citer : - l'instant d'analyse, - l'identifiant de l'objet, - les positions/coordonnées en absolu de l'objet dans le champ d'analyse ou les positions/coordonnées en relatif par rapport à la dernière transmission. Les informations synthétiques générées et mises à jour régulièrement concernent principalement les informations dynamiques du match de football. Les informations comme la représentation du terrain, des buts, le nombre de joueurs, sont transmises au démarrage de l'application sur les dispositifs 10, 11 et 12. Ces informations sont ensuite conservées par les dispositifs 10, 11 et 12 qui les mettent à jour avec les informations synthétiques. Ces informations peuvent être également conservées par le module 9, ce qui permet de les rejouer plus tard en réponse à une requête d'un utilisateur. Dans d'autres modes de réalisation, il peut être envisagé de transmettre à chaque mise à jour, toutes les informations, y compris les informations ne présentant aucun changement d'une mise à jour à l'autre. Ceci est cependant pénalisant en terme de débit sur le réseau 13. Pour obtenir les informations concernant l'identifiant de l'objet ainsi que les positions ou coordonnées des éléments intéressants pour l'utilisateur, on effectue tout d'abord une détection des objets dans l'image vidéo. Afin de détecter les joueurs et l'arbitre, on peut effectuer une détection de visages par des méthodes connues et notamment en utilisant par exemple la méthode décrite dans l'article de Ming-Hsuan Yang, David J. Kriegman et Narendra Ahuja, Detecting faces in images: a survey , publié par l'IEEE dans le volume transaction 24 n[deg]1 en 2002. D'autres méthodes peuvent être utilisées se basant sur des approches modèles cherchant à définir de manière simple l'objet recherché, en terme de silhouette, couleur, variation de lumière, texture, ou se basant sur des approches apparence reposant quant à elles sur des méthodes de décisions (ou classificateurs) non paramétriques telles que les réseaux de neurones ou se basant sur des méthodes combinant les deux approches. Lorsque les visages sont détectés, on associe à ce visage le nom du joueur ou/et son numéro de maillot. Afin de procéder à l'identification du joueur, on analyse différents éléments qui peuvent permettre de l'identifier. En effet, à partir de l'analyse du visage, il est difficile d'identifier le joueur, cela demandant des précisions de détection très fines. Par contre, le joueur peut être identifié en faisant une analyse de ses vêtements qui comportent différents éléments d'identification et notamment : - son nom, généralement inscrit au dos du maillot, - son numéro, inscrit sur le maillot ou sur le short, - la couleur de son maillot qui permet de savoir, une fois le numéro analysé, à quelle équipe appartient le joueur, - la publicité sur son maillot, qui permet également de savoir à quelle équipe appartient le joueur. Différentes méthodes d'analyse de l'image peuvent être utilisées pour détecter ces informations et notamment des méthodes connues d'analyse de la couleur, de la forme pour la détection du numéro ou de la publicité. Il est ainsi possible d'identifier chaque joueur sur le terrain ainsi que l'arbitre. Ce dernier pouvant être identifié en appliquant également des techniques de détection de couleur, son maillot est généralement noir ou ne porte pas de numéro. On détecte le ballon en faisant une détection de contours et de couleur. Les positions des joueurs, du ballon, et de l'arbitre sont identifiées. Les positions des différentes entités d'intérêt sont reconstruites par triangulation. Pour ce faire, il est nécessaire que l'entité (joueur, ballon, arbitre) à reconstruire apparaisse dans au moins deux images. La première étape de la reconstruction consiste à repérer dans les images la position en deux dimensions (2D) dans l'image de l'entité a reconstruire (si elle existe). Un algorithme de mise en correspondance classique utilisant les informations de couleur, texture et contours peut être utilisé. Une fois cette mise en correspondance effectuée une triangulation en trois dimensions (3D) classique peut être effectuée aux conditions suivantes : L'entité apparaît dans au moins deux images, Les paramètres intrinsèques (focale, taille d'un pixel, angle entre les axes des pixels, position de la projection du centre optique) sont connus, Les paramètres extrinsèques (position 3D de la caméra) sont connus, Si l'entité à reconstruire est d'intérêt ; c'est-à-dire qu'elle fait partie des entités à afficher, la première condition peut être considérée comme vérifiée.Les deux conditions suivantes sont remplies moyennant l'utilisation de caméras initialement étalonnées (paramètres intrinsèques et extrinsèques connus) puis transmettant à l'unité de traitement les variations de zoom et éventuellement de position 3D de la caméra par rapport à l'état initial (ces données sont transmises par la plupart des caméras actuelles sous forme de métadonnées associées au flux vidéo, le tout encapsulé au moyen de la norme MXF). Ces étapes de mise en correspondance et de triangulation sont répétées pour chaque entité dont on cherche la position. Les informations de position pour chaque élément caractéristique du match de football sont associées à une information de temps à laquelle correspond la position. Les positions de plusieurs éléments caractéristiques peuvent également être associées à une même information de temps. Les données synthétiques 8 sont alors transmises au module 9 d'édition des données. Le module 9 met en forme les informations synthétiques générées par le module 7 de façon à ce que ces données soient comprises par les terminaux de réception 10, 11 et 12. Les informations synthétiques de position telles que décrites précédemment sont des informations absolues. Dans un autre mode de réalisation, il est également possible de générer des informations de positions relatives par rapport aux informations précédemment envoyées. Ces informations de position relatives correspondent alors plutôt à des informations de déplacement qu'à des informations de position. Selon ce mode préféré de réalisation, les données sont formatées au format XTML et le protocole utilisé pour la transmission est le protocole http (acronyme anglais de HyperText Transfer Protocol ). Le module 9 d'édition des données comprend également des moyens de stockage et des moyens de transmission afin de transmettre les informations synthétiques reformatées, appelées également paramètres, vers un réseau de diffusion 13. Le module 9 permet également de stocker les informations transmises en temps réel aux différents terminaux. Ceci est particulièrement avantageux lorsque le dispositif selon l'invention est utilisé dans un but pédagogique, afin par exemple d'étudier les trajectoires des joueurs sur le terrain, la vitesse de déplacement. Les informations étant archivées de façon centrale sur le module 9, elles peuvent être ensuite rediffusées à la demande à tout terminal les réclamant, de façon payante ou gratuite. A cet effet, le module 9 peut être muni d'un lecteur de disque dur ou de DVD ou tout autre moyen de stockage. Le module 9 effectue une synthèse des informations synthétiques qu'il reçoit et les combine éventuellement avec des informations précédemment mémorisées ou disponibles par ailleurs afin de générer des informations de type textuel pour les transmettre avec les informations synthétiques aux terminaux 10, 11 et 12. Parmi ces informations textuelles, il est possible de faire des synthèses des actions importantes qui se sont déroulées et notamment, parmi une liste non exhaustive, le nombre de buts, le nombre de coup-francs, le nombre de tirs manqués, de passes réussies, de kilomètres parcourus, de buts marqués, le nombre de cartons rouges ou jaunes reçus, le nombre de fautes sanctionnées, le nombre de pénalités oubliées. Parmi ces informations textuelles, il est également possible de transmettre des informations sur les joueurs, telles la nationalité, les clubs fréquentés, l'âge, des informations sur le palmarès des saisons précédentes, les statistiques de la saison. Les informations synthétiques sont transmises aux terminaux 10, 11 et 12 à intervalle régulier ou semi-régulier, ou en fonction des informations synthétiques à transmettre. Par exemple, lorsqu'il y a un but, il est important de retransmettre rapidement l'information synthétique correspondante. Selon ce mode de réalisation, les informations synthétiques sont transmises toutes les 6 secondes, ceci permet de donner une sensation de continuité à l'utilisateur. Selon d'autres modes de réalisation, il est envisageable de transmettre de 1 à 25 images par seconde. Le module 9 d'édition des données est connecté de façon préférentielle à un réseau 13 de type IP signifiant protocole Internet par les liens 13. Le réseau 13 peut également être un réseau de type satellite, terrestre ou numérique, comme par exemple DVB (acronyme anglais de Digital Video Broadcast ), dans ce dernier cas, le module 9 est relié au réseau par l'intermédiaire du lien 15. Il est également possible dans d'autres modes de réalisation d'utiliser le protocole http, véhiculé sur le lien 16. Il est également possible, dans d'autres modes de réalisation, d'utiliser un protocole de transmission par paquets comme illustré ci-après qui illustre la faible quantité de données à transmettre dans le cas d'une transmission par paquets. Chaque paquet transmis est transmis selon l'une des grammaires suivantes : Soit ::= TAG_FIN_PAQUET ou :: chacun de ces termes constitutifs étant constitué selon la grammaire suivante Pour un match de Football chaque paquet pourra donc être constitué d'au plus 4 octets pour le temps (absolu), 88 octets pour les 22 joueurs, 9 octets pour les 3 arbitres, 3 octets pour le ballon, et 1 octet pour la fin de paquet ou le nombre des positions, soit un total de 105 octets. Ces données peuvent être comprimées si l'on raisonne en codage bits plutôt que frontières d'octets. Dans le cadre d'une transmission des données au format XML la syntaxe des données transmises pourra correspondre à la grammaire décrite dans l'exemple suivant : Les dispositifs 10, 11 et 12 possèdent des capacités graphiques simples. Par capacité graphique simple, on peut entendre que les dispositifs 10, 11 et 12 ne sont pas capables de jouer de la vidéo. Ceci signifie que l'invention s'adresse principalement à des terminaux de type PDA, ordinateurs personnels ou téléphones portables mais pas exclusivement à ces terminaux. Elle peut bien entendu s'adresser également à des terminaux possédant des capacités graphiques larges, dont la capacité totale n'est pas nécessaire pour mettre en u̇vre l'invention. Les dispositifs 10, 11 et 12 possèdent des interfaces appropriées leur permettant de lire les données venant du réseau 13. Dans le mode préféré de réalisation, les dispositifs 10, 11 et 12 possèdent des navigateurs permettant de se connecter à internet. Lorsque le réseau 13 est un réseau de type Internet, les dispositifs 10, 11 et 12 sont équipés de moyen de réception possédant une interface IP leur permettant de comprendre le protocole internet. Les dispositifs 10, 11 et 12 reçoivent, sous forme de paramètres, les informations représentatives permettant de mettre à jour un affichage synthétique du match de football en fonction des paramètres. Un exemple des informations visualisées sur les dispositifs 10, 11 et 12 est représenté en figure 3. Une partie de l'écran est dédiée aux informations graphiques de l'affichage synthétique du match de football. Une autre partie de l'écran est dédiée aux informations de type textuel. Les informations de type textuel peuvent être également visualisées sous forme d'hyperlien lorsque l'on sélectionne, au moyen d'un curseur ou d'une souris, un joueur ou tout autre élément du terrain. Lors de la première réception, les informations synthétiques contiennent des informations complètes sur le terrain, une position absolue des joueurs, du ballon et de l'arbitre sur le terrain. Lors des réceptions suivantes, les dispositifs 10, 11 et 12 affichent les positions des joueurs, du ballon et de l'arbitre par interpolation linéaire entre deux positions successives pour chaque point. Dans d'autres modes de réalisation, les dispositifs 10, 11 et 12 affichent les positions des joueurs, du ballon et de l'arbitre par une interpolation gaussienne entre quatre positions successives pour chaque point. Lorsque la position d'un joueur n'est pas rafraîchie depuis un certain temps, parce qu'il n'a pas bougé ou parce qu'il est hors du champ des caméras, les dispositifs 10, 11 et 12 font disparaître lentement le joueur de l'écran, sa couleur représentative se fondant alors avec celle du terrain. Le joueur réapparaît lorsque les dispositifs 10, 11 et 12 reçoivent à nouveau des informations synthétiques le concernant. Les affichages synthétiques peuvent être constitués de points de 3 couleurs différentes permettant de distinguer les 2 équipes et le ballon, ou de disques de 3 couleurs différentes incluant les numéros des maillots des 2 équipes plus un plot différent pour le ballon, ou des seuls numéros des joueurs affichés en 2 couleurs plus un plot distinguant le ballon, ou des représentations en trois dimensions plus fidèles des joueurs et de leurs maillots ainsi que du ballon. Revendications 1. Dispositif (10, 11, 12) d'affichage possédant des capacités graphiques simples, de données visuelles représentatives d'un événement se passant en temps réel et capturé sous la forme de données vidéo, caractérisé en ce qu'il comporte des moyens de réception de paramètres représentatifs dudit évènement extraits des données vidéo capturées, des moyens de mettre à jour, sur le dispositif (10 ,11, 12) d'affichage, un affichage synthétique dudit événement en fonction desdits paramètres. 2. Dispositif selon la revendication 1 caractérisé en ce que les moyens de mettre à jour un affichage synthétique dudit événement sont prévus pour mettre à jour ledit affichage à chaque réception de nouveaux paramètres. 3. Dispositif selon l'une des revendications précédentes caractérisé en ce que les moyens de mettre à jour un affichage synthétique dudit événement sont prévus pour mettre à jour ledit affichage à intervalle de temps régulier. 4. Dispositif selon l'une des revendications précédentes caractérisé en ce que les moyens de réception de paramètres représentatifs dudit événement sont adaptés à recevoir des informations textuelles résumant les principaux faits de l'événement depuis son début. 5. Système d'affichage, sur au moins un dispositif selon la revendication 1 caractérisé en ce qu'il comporte une pluralité (1, 2, 3, 4) de caméras destinées à capturer les images de l'événement se passant en temps réel, des moyens (7) d'analyser les images capturées par lesdites caméras, des moyens (7, 9) d'extraire, à partir des images capturées, des paramètres représentatifs de l'événement, des moyens (14, 15, 16) de transmettre audit dispositif selon la revendication 1, lesdits paramètres, 6. Système d'affichage selon la revendication 5 caractérisé en ce que les moyens (7) d'analyser les images capturées comportent des moyens de détection de couleur, de texture et de contour. 7. Système selon l'une des revendications 5 ou 6 caractérisé en ce qu'il comporte des moyens (9) de stockage desdits paramètres. 8. Système selon l'une des revendications 5 à 7 caractérisé en ce que lesdits paramètres sont constitués d'entités d'intérêt à afficher et de paramètres de position desdites entités d'intérêt à afficher. 9. Système selon l'une des revendications 5 à 8 caractérisé en ce que les moyens de transmettre audit dispositif selon la revendication 1 lesdits paramètres sont adaptés à transmettre une seule fois lesdites entités d'intérêt et à intervalle régulier les paramètres de position associés audites entités. 10. Méthode d'affichage sur un terminal- _graphique possédant des capacités graphiques simples, de données visuelles représentatives d'un événement se passant en temps réel et capturé sous la forme de données vidéo, ladite méthode étant caractérisée en ce qu'elle comporte les étapes de réception de paramètres représentatifs dudit évènement extraits des données vidéo capturées, mise à jour, sur le dispositif d'affichage, d'un affichage synthétique dudit événement en fonction desdits paramètres.