Brevet FR2806924A1 — publié le 20011005

SYSTEME DE DETECTION ET VALIDATION DU FRANCHISSEMENT D'UNE LIGNE DE BUTS OU DE PAR UN BALLON OU UNE BALLE DESCRIPTION L'invention concerne un système de détection et de validation du franchissement d'une ligne de buts ou de jeu par un ballon ou une balle qui fournit à l'arbitre, en temps réel, l'information lui permettant de rendre son verdict en toute sérénité. L'objectif est de concevoir un système permettant d'une part la détection automatique et objective d'un ballon entrant dans une cage de buts (plan de buts) dans le cas du football par exemple ou franchissant une ligne de jeu (impact au sol dans le cas du tennis par exemple et d'autre part la fourniture visualisations tridimensionnelles des phases importantes ,du jeu et ceci sous des points de vue entièrement nouveaux et originaux par l'utilisation des techniques modernes de traitement des images et de vision ordinateur. En général, tout système de vision constitué d'un ensemble de capteurs (par exemple des caméras) et système informatique chargé d'effectuer l'acquisition des images ainsi les divers traitements appliqués à ces images permettant la prise de décision. Le système informatique est constitué généralement d'un matériel et d'un logiciel. Le matériel doit réagir suffisamment rapidement pour traiter l'information à une cadence nécessaire à l'application, le logiciel est chargé de piloter le système afin traiter l'information en provenance des capteurs (traitement des images prise de décision). Le système de détection et de validation du franchissement d'une ligne de buts ou de jeu par un ballon ou une balle, selon l'invention, est du genre mettant en oeuvre un ensemble de caméras transmettant les informations visualisées à un calculateur et un procédé de détection, d'analyse et de traitement bien spécifique desdites informations. Le procédé en question se caractérise en ce qu'il consiste essentiellement: a) au moyen de caméras de surveillance visualisant la zone attenante à la ligne concernée, notamment la surface de réparation d'un terrain de football, à détecter la présence du ballon dans ladite zone et à envoyer au calculateur l'information relative à son mouvement de manière à en calculer la trajectoire; b) au moyen de caméras de ligne visualisant la ligne concernée, notamment le plan de buts dans le cas d'une cage de football, à détecter la présence du ballon dans ledit plan, à envoyer dans mémoire "FIFO" du calculateur l'information visualisée et à ne déclencher le transfert de ladite information et son traitement par ledit calculateur que lorsque la trajectoire du ballon, donnée par caméras de surveillance et déterminée par le calculateur, converge vers ledit plan de buts. Le système en question se caractérise également en ce que - les caméras de surveillance sont placees en hauteur (par exemple sur les côtés ou derrière la cage) de manière à donner une vue générale de la partie du terrain attenante à la ligne surveillée; - les caméras de ligne sont placées à 1 intérieur des montants et/ou de la barre transversale dans le cas d'une cage de buts. Les caractéristiques et les avantages l'invention vont apparaître plus clairement à la lecture de la description détaillée qui suit d'au moins un mode de réalisation préféré de celle-ci donné à titre d'exemple non limitatif et représenté aux dessins annexes. Sur ces dessins - la figure 1 est une vue schématique d' cage équipée de deux caméras de ligne de buts; - la figure 2 est une vue schématique d' cage associée à deux caméras de surveillance de surface de réparation; - la figure 3 est une vue de principe de detection du passage du ballon dans le plan de buts en projection sur la ligne de buts; - la figure 4 est une vue schématique d'un court de tennis équipé de caméras de lignes de jeu. Le système de détection et de validation du franchissement d'une ligne de buts (1) ou de jeu (2) par un ballon (3) ou une balle, représenté aux figures, est du genre mettant en oeuvre un ensemble de caméras (4,7,8) transmettant les informations visualisées (11) à un calculateur (6) et un procédé de détection, d'analyse et de traitement bien spécifique des- dites informations. Le procédé en question consiste essentiellement a) au moyen de caméras de surveillance (4) visualisant la zone attenante à la ligne concernée, notamment la surface de réparation (S) d'un terrain de football (figures 1 et 2), à détecter la présence du ballon dans ladite zone et à envoyer au calculateur (6) l'information relative à son mouvement de maniere à en calculer la trajectoire; b) au moyen de caméras de ligne (7) visualisant la ligne concernée, notamment le plan de buts (9) d'une cage de football, à detecter la présence du ballon dans ledit plan, à envoyer dans la mémoire "FIFO" du calculateur l'information visualisée (11) et à déclencher le transfert de ladite information et son traitement par ledit calculateur lorsque la trajectoire ballon, donnée par les caméras de surveillance (4) et déterminée par le calculateur, converge vers ledit plan de buts (9). Les caméras de surveillance permettent de réduire de manière importante les capacités mémoire nécessaires car elles mettent en fonctionnement le traitement des images en provenance des caméras de ligne dans une fenêtre temporelle bien spécifique qui correspond à une probabilité d'impact élevée. Le traitement de l'information (11) transmise par les caméras de ligne (7) consiste à effectuer a) une analyse statistique du ballon par rapport à la ligne buts de manière à en déterminer le franchissement; b) une analyse dynamique de tous les corps en mouvement dans ladite zone de manière à localiser le ballon en fonction des objets la scène observée sachant que le mouvement du ballon est rapide par rapport à celui des joueurs; c) une analyse statique et dynamique en stéréovision manière à permettre la localisation tridimensionnelle du ballon dans le plan de buts de la cage avec sauvegarde/archivage des séquences d'images. Le traitement de l'information contenue dans le calculateur consiste à déterminer si le ballon a franchi la ligne de buts de manière à faire parvenir à au moins un arbitre (10) un signal codé (16) indiquant le franchissement ou le non-franchissement de la ligne. Le signal (16) envoyé à l'arbitre peut être un signal vidéo donnant l'image du ballon et de la ligne ayant servie au diagnostic. Le franchissement de la ligne (1) est soumis à une analyse détaillée. La figure 3 donne les diverses étapes du franchissement selon la flêche (F) donnant le sens d'introduction. Dans la position (B) du ballon (3), il n'y a pas franchissement de la ligne buts et le but est refusé. Seule la position (A) du ballon (3) conduit ' un diagnostic positif (ballon détaché de la ligne). Selon diverses réalisations du système selon l'invention - les caméras de surveillance (4) sont placées en hauteur de manière à donner vue générale de la partie du terrain attenante à la ligne surveillée, les caméras de ligne de buts (7) sont placées à l'intérieur des montants (12) et/ou de la barre transversale (13) de la cage; - les modules de transmission (14) des informations (11) au calculateur sont également placés à l'intérieur des montants (12) et/ou de la barre transversale (13); - les caméras (7) sont du type matriciel et visualisent egalement les zones situées de chaque côté du plan de but (9). Dans le cas d'un court de tennis (figure 4), les caméras de lignes de jeu , sont placées de manière à visaliser lesdites lignes longitudina lement d'un côté ou des deux côtés du court. On peut ainsi visualiser les lignes de côté (jeu simple ou double), les lignes de fond de court et les lignes de service au moyen caméras (8) positionnées pour ne pas gêner les joueurs. Les caméras destinées à visualiser la ligne médiane sont encastrées dans le à la hauteur du filet (17). Le diagnostic établi par le calculateur est transmis à au moins un arbitre qui dispose d'un décodeur (15) visualisant ledit diagnostic. L'analyse effectuée se place dans un cadre de traitement séquences d'images couleur temporelles d'environnements non structurés (la couleur étant choisie pour des raisons de fiabilité des étapes de segmentation d'image). Les étapes de traitement sont les suivantes - Extraction des indices visuels pertinents des images frontales contours, régions,etc. - Mise en correspondance d'une part entre les images d'une même séquence et d'autre part entre les couples stéréoscopiques. Ces mises en correspon dance vont permettre l'estimation du mouvement du ballon ou des joueurs s'approchant des buts, mais vont aussi servir à la réalisation de recons truction tridimensionnelle des actions et à l'interpolation d'images intermédiaires (disposant de deux points de vue différents d-'une même scène, il possible de synthétiser des images qui auraient été prises sous des angles de vue intermédiaires et différents de ceux des caméras). - Extraction d'informations pertinentes des images provenant de la cage de buts : exemple des primitives de type contour vont permettre détecter des formes circulaires (ballon en projection perspective partiel lement occulté). - Extraction des formes circulaires de chacune des images des caméras. - Des primitives de type région peuvent être utilisées afin de lever les ambiguités des segmentations, en examinant par exemple, les intensites lumineuses des images à l'intérieur des zones sélectionnées à l'aide de contours - Détection et suivi du ballon au cours du temps. Prise de décision ballon a franchi le plan délimité par les montants. - Les divers traitements effectués à partir de toutes les sources d'information, vont permettre d'accéder aussi à l'information tridimen sionnelle les séquences essentielles du match : c'est à dire qu'elles vont permettre non seulement de visualiser des séquences sous les angles de vue caméras (frontales et buts) qui sont déjà différents du point de vue de l'arbitre, mais aussi de calculer des points de vue virtuels intermédiaires par rapport à ces caméras. Le nombre de points de vue virtuels augmente avec le nombre de caméras disponible. Ces reconstruc tions tridimensionnelles des séquenses importantes du match pourront être réalisées à postériori et diffusées à l'aide d'outils Multi-Médias. Le système question est donc bien un système d'aide à la décision de l'arbitre Il incorpore directement des capteurs au coeur de l'action permettant de détecter un but. I1 permet aussi une couverture des actions de jeu dans la surface de réparation plus importante que ce qu'elle est actuellement avec les seuls arbitres de terrain. Il permet donc une détection plus aisée des fautes des joueurs (hors-jeu simple). La décision finale, propriété incontournable de l'autorité de l'arbitre est rendue impartiale et incontestable. Bien entendu, l'invention n'est pas limitée aux modes de réalisation décrits et représentés pour lesquels on pourra prévoir d'autres variantes, en particulier dans - le type et le nombre de caméras de surveillance ou de lignes utilisees ainsi que leur emplacement sur le terrain ou sur le court; - le type liaison (filaire ou radio) entre les caméras (avec ou intégration module de transmission) et le calculateur; - le type (visuel ou sonore) et le nombre de décodeurs mis à la disposi tions des arbitres; - le type d'application : football, tennis ou autre sport; sans pour celà sortir du cadre de l'invention. REVENDICATIONS 1- Procédé de détection et validation du franchissement d'une ligne de buts (1) ou de jeu (2) par un ballon (3) ou une balle, du genre mettant en oeuvre un ensemble de caméras (4,7,8) transmettant les informations visualisées à un calculateur (6); caractérisé en ce qu'il consiste essentiellement a) au moyen de caméras de surveillance (4) visualisant la zone attenante à la ligne concernée, notamment la surface de réparation (5) d'un terrain de football, détecter la présence du ballon dans ladite zone et à envoyer au calculateur (6) l'information relative à son mouvement de manière à en calculer la trajectoire; b) au moyen de caméras de ligne (7) visualisant la ligne concernée, notamment le plan de buts (9) dans le cas d'une cage de football, à détecter la présence du ballon dans ledit plan, à envoyer dans la mémoire "FIFO" du calculateur l'information visualisée (11) et à déclencher le transfert de ladite information et son traitement par ledit calculateur que lorsque la trajectoire du ballon, donnée par les caméras de surveillance (4) et déterminée par le calculateur, converge vers ledit plan de but (9). 2- Procédé, selon la revendication 1, caractérisé en ce que le traitement de l'information (11) transmise par les caméras de ligne (7) consiste à effectuer a) une analyse statistique du ballon par rapport à la ligne de buts de manière à en déterminer le franchissement; b) une analyse dynamique de tous les corps en mouvement dans ladite zone de manière à localiser le ballon en fonction des objets de la scène observée sachant que le mouvement du ballon est rapide par rapport à celui des joueurs; c) une analyse statique et dynamique en stéréovision de manière à permettre la localisation tridimensionnelle du ballon dans le plan de la cage de buts avec sauvegarde des séquences d'images. 3- Procédé, selon la revendication 2, caractérisé en ce que le traitement de l'information contenue dans le calculateur consiste à déterminer si le ballon a franchi la ligne de buts de manière à faire parvenir à au moins un arbitre 10) un signal codé (16) indiquant le franchissement ou le non franchissement de ladite ligne. 4- Procédé, selon l'une quelconque des revendications 1 à 3, caractérisé en ce qu'il consiste à utiliser, par au moins un arbitre (10), un décodeur (15) visualisant le diagnostic établi par le calculateur. 5- Dispositif pour la mise en #uvre du procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que le signal (16) envoyé à l'arbitre est un signal vidéo donnant l'image du ballon et de la ligne de buts ayant servie au diagnostic. 6- Dispositif, selon la revendication 5, caractérisé en ce que les caméras de surveillance (4) sont placées en hauteur de manière à donner une vue générale de la partie du terrain attenante à la ligne surveillée. 7- Dispositif, selon la revendication 5, caractérisé en ce que, dans le cas d'un terrain de football, les caméras de ligne de buts 7) sont placées à l'intérieur des montants (12 et/ou de la barre transversale (13) de la cage. 8- Dispositif, selon la revendication 5, caractérisé en ce que modules de transmission (14) des informations (11) au calculateur sont également placées à l'intérieur des montants (12) et/ou de la barre transversale (13). - Dispositif, selon la revendication 5, caractérisé en ce que les caméras (7) sont du type matriciel et visualisent également les zones situées de chaque côté du plan de buts (9). 10- Dispositif, selon la revendication 5, caractérisé en ce que, dans le cas d'un court de tennis, les caméras de lignes de jeu (8) sont placées de manière à visualiser lesdites lignes longitudinalement d'un côté ou des deux côtés du court.