Brevet FR3092195A1 — publié le 20200731

Description Titre de l'invention : Procédé et dispositif d'affichage de données pour le suivi d'un évènement Domaine technique [0001] Le domaine de l'invention est celui du traitement de données numériques. [0002] Plus précisément, l'invention concerne un procédé et dispositif d'affichage de données pour le suivi d'un évènement. [0003] L'invention trouve notamment des applications pour le suivi en direct d'un évènement sportif, tel qu'un match de football, de rugby, de basketball, de tennis, etc., dans une tribune d'un équipement sportif tel qu'un stade ou une salle. L'invention trouve également des applications dans le domaine du divertissement, par exemple pour le suivi d'un jeu, d'un spectacle vivant ou d'un concert. Technique antérieure [0004] Il est connu de l'art antérieur des techniques permettant de suivre un évènement en affichant notamment en temps réel des données, telles que des statistiques liées à un individu ou à un groupe de individus participant(s) à l'évènement, comme par exemple le nombre de buts marqués par un joueur au cours d'un match de football, le nombre d'aces ou de fautes directes d'un joueur au cours d'un match de tennis, le taux de réussite des tirs à trois points d'un joueur au cours d'un match de basketball, etc. [0005] De telles données s'affichent généralement sur un écran de l'équipement dans lequel se déroule l'évènement. [0006] L'inconvénient majeur de ces techniques est qu'elles sont peu intuitives pour un individu suivant l'évènement depuis une tribune de l'équipement. En outre, ces techniques ont tendance à détourner l'attention de l'individu qui doit tourner sa tête pour regarder un écran de l'équipement. [0007] Aucun des systèmes actuels ne permet de répondre simultanément à tous les besoins requis, à savoir de proposer une technique qui permette à un individu de suivre un évènement en affichant de manière intuitive des données associées à des acteurs de l'évènement sans détourner l'attention de l'individu. Exposé de l'invention [0008] La présente invention vise à remédier à tout ou partie des inconvénients de l'état de la technique cités ci-dessus. [0009] À cet effet, l'invention vise un procédé de réalité augmentée, comprenant des étapes de : - acquisition d'une pluralité d'images par un dispositif d'acquisition d'images couvrant au moins en partie un espace, l'espace présentant au moins deux amers, le 2 dispositif d'acquisition d'images étant associé à un repère bidimensionnel, dit repère de l'image, le dispositif d'acquisition d'images étant compris dans un dispositif électronique portable comprenant également un écran ; - détection d'au moins deux amers de l'espace dans au moins une image, l'espace étant associé à un repère tridimensionnel, dit repère de l'espace ; - détermination d'une position et d'une orientation tridimensionnelles de l'espace par rapport au dispositif d'acquisition d'images grâce aux amers détectés ; - réception de la position instantanée, dans le repère dc l'espace, d'un élément mobile se déplaçant dans l'espace ; - calcul de la position de l'élément mobile dans le repère de l'image à partir des paramètres de transformation entre le repère de l'espace et le repère de l'image, lesdits paramètres de transformation étant calculés à partir de la position et de l'orientation tridimensionnelle de l'espace par rapport au dispositif d'acquisition d'images ; - affichage d'au moins une image acquise sur l'écran ; - superposition sur l'image affichée à l'écran d'au moins une incrustation à une distance prédéterminée par rapport à la position de l'élément mobile dans le repère de l' image. [0010] Ainsi, en connaissant la transformation entre le repère de l'espace et le repère de l'image, il est possible d'afficher des données associées audit élément mobile participant à un évènement vivant tel qu'un match dc sport, un spectacle ou un concert, dans l'incrustation s'affichant à proximité de l'image de l'élément mobile sur l'écran retransmettant l'image acquise par le dispositif d'acquisition d'images [0011] L'espace peut comprendre par exemple un terrain d'un match ou un plateau d'une salle de spectacle. L'espace est généralement délimité afin de permettre à des spectateurs de suivre l'évènement vivant se déroulant dans l'espace, par exemple depuis au moins une tribune à proximité du terrain ou du plateau. [0012] L'élément mobile est généralement un acteur participant à l'évènement vivant, tel qu'un joueur participant à un match d'un sport se déroulant sur le terrain, un acteur d'un spectacle ou un musicien d'un concert. L'élément mobile peut également être un accessoire tel qu'un accessoire de jeu disputé par des joueurs au cours d'un match. Un accessoire de jeu est généralement un ballon, une balle, un palet ou un volant. [0013] 11 convient de souligner que l'incrustation permet d'afficher une donnée, une image statique ou animée, une vidéo, ou tout autre élément permettant d'agrémenter l'image de l'évènement affichée à l'écran. [0014] Les paramètres de transformation entre le repère de l'espace qui est tridimensionnel et le repère de l'image qui est bidimensionnel sont généralement calculés à partir de la position tridimensionnelle de l'espace par rapport au dispositif d'acquisition d'images et à partir de l'orientation tridimensionnelle de l'espace par rapport au dispositif 3 d'acquisition d'images qui peut être une caméra. [0015] Il convient de souligner que le dispositif d'acquisition d'images peut être représenté dans le repère de l'espace. Cette représentation comprend généralement les coordonnées tridimensionnelles du dispositif d'acquisition d'images dans le repère de l'espace et les trois angles permettant d'orienter le dispositif d'acquisition d'images dans le repère de l'espace. [0016] La transformation entre le repère de l'espace et le repère de l'image comprend géné- ralement au moins une translation, au moins une rotation et une projection. [0017] Il convient de souligner que la détermination de la position et de l'orientation tridi- mensionnelles de l'espace par rapport au dispositif d'acquisition d'images, dans un repère associé au dispositif d'acquisition d'images ou directement dans le repère de l'espace, est effectuée en détectant des amers dans une image couvrant au moins partiellement l'espace et non en utilisant une caméra à profondeur de champ. En effet, compte-tenu de la distance généralement très importante entre le dispositif d'acquisition d'images et l'espace, une caméra à profondeur de champ ne serait pas adaptée car induisant trop d'imprécisions dans la position et l'orientation de l'espace. [0018] Avantageusement, un amer est choisi parmi : - une ligne d'un marquage d'un terrain ou d'un plateau compris dans l'espace ; - un arc de cercle d'un marquage d'un terrain ou d'un plateau compris dans l'espace ; - une intersection entre deux lignes d'un marquage d'un terrain ou d'un plateau compris dans l'espace ; - un élément se dressant sensiblement perpendiculairement par rapport à la surface d'un terrain ou d'un plateau compris dans l'espace ; - un élément caractéristique d'une structure entourant la surface d'un terrain ou d'un plateau compris dans l'espace ; - un logo ; - un marqueur. [0019] Préférentiellement, quatre amers sont détectés et utilisés pour déterminer la position et l'orientation tridimensionnelles de l'espace par rapport au dispositif d'acquisition d'images. [0020] Dans des modes de réalisation particuliers de l'invention, le procédé de réalité augmentée comprend également des étapes de : - acquisition d'un mouvement instantané du dispositif d'acquisition d'images, en rotation et en translation par rapport à l'espace ; - mise à jour de la position et de l'orientation du terrain de sport par rapport au dispositif d'acquisition d'images à partir de la position et de l'orientation précédentes de l'espace par rapport au dispositif d'acquisition d'images et du mouvement instantané du dispositif d'acquisition d'images. [0021] Ainsi, les incrustations des données dans les images affichées à l'écran sont plus stables. En outre, ces étapes supplémentaires permettent d'obtenir un procédé de réalité augmentée moins consommateur en temps de calcul et donc en énergie électrique. En effet, une fois que la position et l'orientation tridimensionnelles de l'espace par rapport au dispositif d'acquisition d'images sont connues, il est aisé de les mettre à jour en connaissant les mouvements du dispositif d'acquisition d'images. Une méthode pouvant être utilisée pour évaluer ces mouvements est par exemple du type SLAM (acronyme du terme anglais « Sinuilianeous Localization And Mapping »). [0022] Dans des modes de réalisation particuliers de l'invention, l'étape de détermination de la position et de l'orientation tridimensionnelles de l'espace par rapport au dispositif d'acquisition d'images comprend une sous-étape de génération de paramètres d'un algorithme informatique d'apprentissage automatique à partir d'une pluralité d'images enregistrées dans une hase de données, chaque image de la hase de données représentant tout ou partie d'un espace dont la position et l'orientation par rapport au dispositif d'acquisition d'images ayant acquis ladite image sont connues. [0023] Ainsi, la détermination de la position et de l'orientation tridimensionnelles du terrain par rapport au dispositif d'acquisition d'images peut être effectué rapidement et de manière précise en utilisant les paramètres générés aux images acquises afin de déterminer la position et de l'orientation tridimensionnelles de l'espace. [0024] Dans des modes de réalisation particuliers de l'invention, l'étape de détermination d'une position et d'une orientation tridimensionnelles de l'espace par rapport au dispositif d'acquisition d'images comprend une sous-étape de superposition d'un modèle tridimensionnel de l'espace sur au moins une des images acquises par le dispositif d'acquisition d'images. [0025] Ainsi, le repère de l'espace peut être positionné et orienté dans l'espace virtuel par rapport au dispositif d'acquisition d'images. [0026] Dans des modes de réalisation particuliers de l'invention, le procédé de réalité augmentée comprend également une étape de correction de la position instantanée de l'élément mobile en fonction d'une vitesse instantanée de l'élément mobile et/ou d'une accélération instantanée de l'élément mobile. [0027] Ainsi, il est possible d'améliorer la position de l'incrustation dans les images, notamment lors d'une latence importante entre l'acquisition de l'image et l'affichage de celle-ci. En effet, l'utilisation de la vitesse instantanée de l'élément mobile et/ou de l'accélération instantanée de ce denier permet de prédire une position de l'élément mobile dans un intervalle de temps proche. [0028] Dans des modes de réalisation particuliers de l'invention, la superposition de l'incrustation sur l'image affichée à l'écran d'au moins une donnée associée audit élément mobile est effectuée en temps réel. [0029] Il convient de souligner que la ou les données incrustées dans l'image sont géné- ralement transmise(s) par un fournisseur de données. [0030] Avantageusement, l'incrustation comprend au moins une donnée choisie parmi : - un nom d'un joueur ; - une statistique associée au joueur, telle qu'un nomhre de buts, un nombre d'essai, un nombre de paniers, un nomhre de points marqués, un nombre de passes réussies ; - un nom d'une équipe ; - un positionnement d'un groupe de joueurs par rapport à d'autres joueurs ; - une formation de l'équipe ou d'un groupe de joueur ; - une distance entre un point du terrain et un joueur ; - une distance entre deux points du terrain ; et/ou un élément graphique tel qu'un cercle, un carré ou un triangle ; et/ou une image fixe ou animée ; et/ou une vidéo. [0031] Une animation peut par exemple être liée à la célébration d'un marquage au score pendant un match. [0032] L'invention vise également un dispositif électronique portable comprenant une caméra et un écran, mettant en oeuvre le procédé de réalité augmentée selon l'un quelconque des modes de réalisation précédents. [0033] Le dispositif électronique portable comprend également généralement un processeur et une mémoire informatique stockant les instructions d'un programme informatique mettant en oeuvre le procédé de réalité augmentée. [0034] Préférentiellement, le dispositif électronique portable est un téléphone portable in- telligent, également connu sous le terme anglais « smartphone », une lunette de réalité augmentée ou un casque de réalité augmentée. [0035] Le dispositif électronique portable peut comprendre une monture et un écran monté sur la monture qui est destinée à être portée sur le visage d'un individu. [0036] En d'autres termes, le dispositif électronique portable peut comprendre tout moyen de reproduction d'une image pouvant s'afficher devant un oeil d'un individu, y compris une lentille de contact permettant de reproduire une image. [0037] Dans des modes de réalisation particuliers de l'invention, le dispositif électronique portable comprend également au moins un accéléromètre et/ou un gyroscope. [0038] Ainsi, le dispositif comprend des moyens pour évaluer les mouvements de translation et de rotation de la caméra par rapport à l'espace. [0039] Il convient de souligner qu'une partie du procédé potinait être mis en oeuvre par un serveur distant, notamment les étapes de : - détection d'au moins deux amers du terrain dans au moins une image, l'espace étant associé à un repère tridimensionnel, dit repère de l'espace ; et de 6 - détermination d'une position et d'une orientation tridimensionnelles de l'espace par rapport au dispositif d'acquisition d'images grâce aux amers détectés. [0040] Auquel cas, l'étape de mise à jour de la position et l'orientation tridimensionnelles de l'espace en fonction en fonction de l'évaluation des mouvements de la caméra par rapport à l'espace est mise en oeuvre par le dispositif électronique portable. Brève description des dessins [0041] D'autres avantages, buts et caractéristiques particulières de la présente invention res- sortiront de la description non limitative qui suit d'au moins un mode de réalisation particulier des dispositifs et procédés objets de la présente invention, en regard des dessins annexés, dans lesquels : [0042] [fig.1] la figure 1 est un schéma synoptique d'un procédé de réalité augmentée selon l' invention ; [0043] [fig.2] la figure 2 est une vue d'un dispositif électronique portable mettant en oeuvre le procédé de réalité augmentée de la figure 1. [0044] DESCRIPTION DÉTAILLÉE DE MODES DE RÉ ALISATION DE L'INVENTION [0045] La présente description est donnée à titre non limitatif, chaque caractéristique d'un mode de réalisation pouvant être combinée à toute autre caractéristique de tout autre mode de réalisation de manière avantageuse. [0046] On note, dès à présent, que les figures ne sont pas à l'échelle. [0047] Exemple d'un mode de mise de réalisation particulier de l'invention [0048] La figure 1 illustre un schéma synoptique d'un procédé 100 de réalité augmentée selon l'invention mise en oeuvre par un dispositif électronique portable 200 illustré en figure 2. [0049] Lc dispositif électronique portable 200 est ici un téléphone portable intelligent tenu par un individu (non représenté) installé dans une tribune d'un espace 202 qui est une salle où se déroule un match de basketball entre deux équipes comprenant chacune cinq joueurs 230. Les deux équipes se disputent un accessoire de jeu qui est un ballon de basketball (non représenté). Le match se déroule sur un terrain 220 de basketball, comprenant un marquage 221. La salle 202 correspond dans le cas présent à un espace, l'espace comprenant le terrain 220 et des structures telles que la tribune et deux paniers 203 de basket (un seul représenté sur la figure 2). [0050] L'individu utilise dans le présent exemple le téléphone portable 200 et voit sur un écran 250 du téléphone portable 200 l'image acquise en temps réel acquise par un dispositif 210 d'acquisition d'images qui est une caméra. La caméra 210 capte ici une 7 partie de l'espace 202, comprenant notamment une partie du terrain 220 de baskethall. Dans la situation illustrée en figure 2, les joueurs 230 des deux équipes sont situées dans une moitié de terrain, l'une des deux équipes, représentées par les rayures horizontales est en train d'attaquer tandis que l'autre équipe, représentée par les rayures verticales est en train de défendre, c'est-à-dire d'empêcher les joueurs 230, de l'équipe en position d'attaque d'envoyer le ballon de basketball dans le panier 203 de basketball. [0051] Le procédé 100 comprend ainsi une première étape 110 d'acquisition d'une pluralité d'images par la caméra. Il convient de souligner que les images acquises forment généralement un flux vidéo. [0052] Dans le champ de la caméra 210, quatre amers 222 sont détectés au cours de la deuxième étape 120 du procédé. Les quatre amers 222 sont un coin 2221 du terrain, le panier 203 de baskethall, un arc de cercle 2223 représentant la ligne des trois points et un arc de cercle 2224 entourant une ligne de lancers francs. Il convient de souligner que le coin 222,, l'arc de cercle 2223 et l'arc de cercle 2224 font partie du marquage 221 du terrain de baskethall. [0053] Grâce aux amers détectés dans l'espace 202, une position et une orientation tridimen- sionnelles de l'espace 202 par rapport à la caméra 210 sont déterminées au cours d'une troisième étape 130 du procédé de réalité augmentée. [0054] La détermination de la position et de l'orientation tridimensionnelles peut être effectuée soit en superposant sur l'image un modèle de l'espace 202 grâces aux amers 222, soit en utilisant des paramètres d'un algorithme informatique d'apprentissage automatique également appelée par le terme anglais « machine learning ». [0055] Le modèle de l'espace 202 comprend généralement un modèle du terrain 220 et du marquage 221, voire un modèle d'éléments singuliers pouvant faire office d'amers comme par exemple les paniers 203 de basketball. Pour superposer les amers 222 détectés dans l'image et les amers présents dans le modèle, une méthode d'homographie ou une méthode de type « Perspective-n-Point » peut être utilisée. [0056] Lorsque un algorithme d'apprentissage automatique est utilisée, le procédé comprend généralement une étape supplémentaire de génération de paramètres de l'algorithme à partir d'images de l'espace 202 enregistrées préalablement dans une base de données, chaque image étant enregistrée avec la position et l'orientation tridimensionnelles d'un dispositif d'acquisition d'images ayant acquis ladite image. Cette étape d'apprentissage, nécessitant beaucoup temps de calcul, est généralement effectuée par un serveur distant. Il convient de souligner que cette étape d'apprentissage est généralement effectuée qu'une seule fois. [0057] Par ailleurs, la position de l'espace 202 par rapport à la caméra 210 est généralement calculée dans un repère qui est associé soit à la caméra 210 soit à l'espace 202. Le 8 passage du repère de la caméra au repère de l'espace est généralement effectué facilement par une translation et une rotation, ces deux repères étant tridimensionnels. [0058] Des paramètres de transformation entre le repère de l'espace et un repère bidi- mensionnel associé à la caméra 210, dit repère de l'image, sont calculés pour transformer les coordonnées obtenues dans le repère de l'espace dans le repère dès images obtenues par la caméra 210. Il convient de souligner que le repère de l'image est distinct du repère de la caméra dans le sens où le repère de l'image est un repère bidimensionnel et le repère de la caméra un repère tridimensionnel. Généralement, une projection permet de passer du repère de la caméra au repère de l'image. [0059] La position instantanée, d'un élément mobile 235 dans le repère de l'espace est ensuite reçue au cours de la quatrième étape 140 du procédé 100 de réalité augmentée. L'élément mobile 235 est ici un des cinq joueurs 230 d'une des deux équipes s'affrontant au cours du match de basketball. L'élément mobile peut également être l'accessoire de jeu disputé par les deux équipes, à savoir le ballon de basketball (non représenté sur la figure 2). [0060] Un calcul de la position de l'élément mobile 235 dans le repère de l'image est effectué au cours de la cinquième étape 150 du procédé 100 de réalité augmentée. [0061] Dès lors où la position de l'élément mobile 235 est connue dans le repère de l'image, il est possible de superposer sur l'image affichée à l'écran 250 une incrustation 240 à proximité de la position de l'élément mobile au cours d'une sixième étape 160 du procédé 100. Généralement, la position de l'incrustation 240 est effectuée à une distance prédéterminée de la position instantanée de l'élément mobile 235 dans l'image. Dans le présent exemple non limitatif de l'invention, l'incrustation 240 est superposée verticalement par rapport à la position de l'élément mobile 235 de telle sorte qu'elle apparaisse au-dessus de l'élément mobile 235 sur l'image affichée. [0062] Il convient de souligner qu'il est possible, comme sur la figure 2, de répéter les étapes 140 à 160 afin afficher des incrustations 240 pour une pluralité d'éléments mobiles présents dans l'espace 202, ici pour les cinq joueurs 230, de l'équipe qui est en phase d'attaque. [0063] L'incrustation 240 pour chaque joueur 230, peut comprendre une ou plusieurs données, comme le nom du joueur et le nombre de points marqués depuis le début du match. Toute autre données statistiques utiles au suivi du match peuvent être affichées avec ce procédé 100. L'incrustation 240 peut également comprendre une animation s'affichant dès que l'élément mobile 235 a marqué au score, en envoyant le ballon dans le panier de basketball de l'équipe adverse. [0064] Ainsi l'individu se trouvant dans une tribune peut voir le match de basketball tout en consultant les données des joueurs 2301 sur l'écran de son téléphone 200. Il convient de souligner que l'image affichée sur l'écran 250 de son téléphone 200 peut avanta- 9 geusement se superposer sur le terrain vu par l'individu, de telle sorte que l'individu peut suivre le match sans perte d'attention. En outre, l'individu n'est pas obligé de tourner la tête pour regarder un écran (non représenté dans la figure 2) présent dans la salle 202. [0065] En outre, les données s'affichant directement à proximité des joueurs 230, le suivi est plus intuitif. En utilisant l'écran 250, généralement tactile, l'individu peut également sélectionner le type de données qu'il souhaite regarder, telle qu'une statistique particulière d'un joueur. [0066] Il convient de souligner que l'incrustation des données au cours du procédé 100 est avantageusement effectuée en temps réel par rapport à l'image acquise. En d'autres termes, le temps de calcul entre l'acquisition de et l'affichage de celle-ci avec la ou les incrustation(s) 240 est effectué dans un laps de temps très court, généralement inférieur à une milliseconde, de telle sorte que l'individu puisse voir les images acquises de l'évènement quasiment simultanément avec une vision directe de l' évènement. [0067] A cet effet, les étapes 120 et 130, gourmandes en temps de calcul, peuvent être avan- tageusement effectuées sur un serveur distant (non représenté sur la figure 2). Au moins une image acquise est ainsi transmise au serveur distant par l'intermédiaire de moyens de télécommunication (non représentés sur la figure 2) inclus dans le téléphone 200. [0068] A partir de la position et de l'orientation tridimensionnelles du terrain par rapport à la caméra 210 calculées par le serveur (listant pour une image donnée, le procédé 100 met à jour cette position et cette orientation en fonction des mouvements de la caméra 210 dans l'espace tridimensionnel au cours d'une étape 170 remplaçant les étapes 120 et 130, en utilisant par exemple une méthode SLAM (acronyme du terme anglais « Simultaneous Localization And Mapping »). [0069] Ces mouvements sont par exemple acquis par un accéléromètre trois axes 260 compris dans le téléphone 200 au cours d'une étape 175 effectuée préalablement à l'étape 170. [0070] Ainsi, le temps de calcul étant plus rapide, l'affichage des données associées aux joueurs est plus stable par rapport à la position instantanée des éléments mobiles 230. [0071] Également dans le but d'améliorer la position de l'incrustation 240 des données, notamment afin de donner l'impression que l'élément mobile 235 est suivi par le procédé 100, le procédé 100 peut comprendre une étape optionnelle 180 comprise avant l'étape 160 afin de corriger la position instantanée de l'élément mobile 230 dans le repère de l'espace en fonction d'une vitesse instantanée et/ou d'une accélération instantanée de l'élément mobile 230. Cette vitesse instantanée et cette accélération instantanée, fournies par exemple avec les données associées aux éléments mobiles ou calculées à partir de positions instantanées successives, permettent de prédire la position de l'élément mobile 230 dans un court intervalle de temps. [0072] Cette étape 180 permet notamment de pallier à des latences pouvant intervenir dans la transmission des données au téléphone 200. 11 [Revendication 1] [Revendication 2]