Brevet FR2734072A1 — publié le 19961115

Etat de la technique La présente invention concerne un procédé de loca- lisation des points d'un objet mobile, notamment d'un véhicule dans une séquence d'images vidéo. Elle concerne également un dispositif pour la mise en oeuvre d'un tel procédé. La poursuite automatique d'objets mobiles est une condition fondamentale pour tous les systèmes de surveillance de circulation reposant sur le principe vidéo (automatique) et qui surveillent des zones de scènes. Selon ces systèmes on n'utilise pas d'obturateur ou de boucle optique qui n'exploite que des informations d'image très limitées comme par exemple une ligne de balayage. On veut identifier sans équivoque la po- sition d'un objet dans plusieurs images successives pour pou- voir détecter de manière quantitative le mouvement spatial de l'objet et pour ne plus avoir à exploiter plusieurs fois l'objet. Pour cela on modélise en général la forme de l'objet à observer comme un rectangle, une ellipse, un parallélogramme, un trapèze ou un polygone, et on mesure le mouvement de cette surface géométrique. On rencontre une difficulté particulière dans la poursuite de l'objet lorsque plusieurs objets se chevauchent partiellement ou complètement. Dans des situations réelles, on cherche à minimiser dès le départ la probabilité de l'occurrence de telles situations critiques en choisissant des positions d'observation qui n'entraînent pratiquement pas de chevauchement des images observées. En pratique cela consiste à placer les caméras dans une position très élevée, de 15 mètres et plus. On a ainsi des angles de visée très raides. L'inconvénient de cette solution réside dans les coûts d'installation importants, entraînés par des moyens construc- tifs particuliers, la rigidité de l'utilisation, la mauvaise visibilité d'observation lorsque la portée est faible (par exemple en cas de brouillard) et une perte accentuée de l'information de hauteur de l'objet observé à cause de l'angle de visée défavorable pour saisir la hauteur. Avantages de l'invention La présente invention a pour but de remédier à ces inconvénients et se propose notamment de simplifier les procé- dés de poursuite de véhicules, de les accélérer et de les amé- liorer. Les procédés de reconnaissance de masques, usuels, selon lesquels on génère des masques objets binaires pour dis- tinguer les objets, et les algorithmes de recherche pour dis- tinguer les objets, présentant des difficultés car les objets ne peuvent plus être résolus en cas de chevauchement les uns par rapport aux autres, et les frontières des objets peuvent parfois ne pas être trouvées ou ne l'être que d'une manière très imprécise. Les antennes qui dépassent du contour du véhicule et génèrent le cas échéant des modèles parasites, ainsi que les ombres et les reflets qui ne se produisent que brièvement, se répercutent de manière particulièrement gênante. Un autre problème est que la recherche d'un objet peut demander beaucoup de temps car plusieurs objets peuvent se trouver dans la plage globale de l'image. Les problèmes évoqués ci-dessus sont diminués ou éliminés par le procédé selon l'invention. A cet effet, l'invention concerne un procédé de lo- calisation des points d'un objet mobile, notamment d'un véhi- cule dans une séquence d'images vidéo, caractérisé en ce qu'au moins un point de l'objet est poursuivi dans un certain nombre d'images vidéo et, pour les images vidéo, on définit chaque fois la position verticale du point de l'objet sur l'écran vi- déo et l'instant de l'observation, en partant des valeurs mesu- rées dans les images vidéo et/ou en partant des coefficients géométriques mesurés et/ou connus, notamment la hauteur d'une caméra vidéo au-dessus d'une chaussée, la distance focale de la caméra et l'angle d'inclinaison de la caméra par rapport à la trajectoire, on définit les paramètres d'un modèle de mouvement pour le mouvement vertical du point sur l'écran vidéo, et on fait une prévision de la position verticale future du point de l'objet sur l'écran vidéo à partir du modèle de mouvement. Suivant d'autres caractéristiques avantageuses du procédé: - on compare la position prévue du point de l'objet sur l'écran vidéo à la position effectivement mesurée et, en cas de dif- férence dépassant une valeur prédéterminée, on rejette comme défectueuse la position effectivement mesurée, - partant du modèle de mouvement, on fait une prévision de l'instant auquel le point de l'objet sera caché par un autre objet, - partant du modèle de mouvement, on fixe une plage de recher- che indiquant dans quelle zone sur l'écran vidéo on peut trouver de manière prévisible, le point de l'objet, - le modèle de mouvement pour le mouvement vertical du point (3) de l'objet (2) sur l'écran vidéo a la forme suivante: a y' (t') - + b t' + c a et dans cette formule y' représente la composante verticale des coordonnées du point de l'objet sur le plaquette de dé- tection vidéo, t' est une coordonnée de temps et a, b, c, sont les paramètres du modèle de mouvement, - les paramètres a, c, sont définis par un calcul par régres- sion à partir des valeurs définies à l'aide des images vidéo, et on prévoit la condition selon laquelle le défaut du modèle de mouvement est minimum, - on définit le paramètre b selon la formule: b = f À tan(a) à partir des coefficients géométriques de la distance focale f de la caméra et de l'angle d'inclinaison a de la caméra par rapport à la chaussée, l'objet est un véhicule qui se déplace sur une chaussée et, comme points du véhicule pour la localisation de l'objet, on choisit un point caractéristique de l'arête avant du véhicule et un autre point caractéristique de l'arête arrière du véhi- cule, - comme point caractéristique de l'arête avant du véhicule, on choisit un point de l'arête avant du toit, - comme point caractéristique de l'arête arrière du véhicule, on suit un point du pare-chocs arrière du véhicule ou un point des pneumatiques arrière du véhicule. L'invention concerne également un dispositif pour la mise en oeuvre du procédé, ce dispositif étant caractérisé en ce qu'il comprend une caméra vidéo et un système d'exploitation d'images, la caméra vidéo étant située à une certaine hauteur au-dessus de la chaussée avec un certain angle d'inclinaison par rapport à la chaussée, notamment dans la di-10 rection de circulation, de façon que la limite avant d'un véhi- cule qui passe, soit l'arête avant du toit. Le dispositif est avantageux car il permet de choi- sir l'angle de visée de la caméra vidéo pour que le bord avant du toit apparaisse comme limite avant des véhicules qui pas- sent, si bien que cette arête peut être facilement suivie dans un certain nombre d'images vidéo sans nécessiter une exploita- tion longue de l'image. Description des dessins La présente invention sera décrite ci-après de ma- nière plus détaillée à l'aide des dessins annexés dans les- quels: - la figure 1 montre un véhicule observé par une caméra vidéo, - la figure 2 montre la projection de la scène ob- servée sur l'image vidéo. Selon la figure 1, un véhicule 2 circule sur une chaussée à vitesse constante v. Le mouvement du véhicule est observé par une caméra vidéo 1, immobile (stationnaire). La figure 2 montre la projection de la scène ainsi observée (coordonnées y de la scène) sur l'image vidéo 4 (coordonnées d'images y'). Description de l'invention Pour simplifier la modélisation du mouvement, on fixe les conditions limites suivantes: 1. La caméra regarde les véhicules par l'arrière. 2. Les véhicules se déplacent dans un plan (la chaussée est mo- délisée sous la forme d'un plan). 3. Les véhicules se déplacent à vitesse constante. 4. La caméra regarde dans la direction de déplacement des véhi- cules. Dans de telles conditions limites on peut déduire un modèle mathématique du mouvement, qui se traite facilement. Les différences par rapport aux hypothèses dans les scènes réelles conduisent à des défauts de modélisation de mouvement plus ou moins grands. La figure 1 montre une vue simplifiée de la situa- tion résultant de la modélisation du mouvement des véhicules observés. Sur la scène esquissée se trouve un objet (véhicule) de hauteur hf se déplaçant à vitesse constante v dans le plan y-z du système de coordonnées de la caméra. La caméra se trouve à une hauteur hc au-dessus de la chaussée et présente un angle d'inclinaison a par rapport à la chaussée. Le but est de modé- liser l'arête du véhicule représentée à la figure 1 par un point 3 (vue de côté) correspondant au coin supérieur droit du véhicule. Au moment (instant t = O0) auquel le véhicule pénètre dans le demi-espace droit de la caméra, cette arête est à la distance yo dans la direction y du système de coordonnées de la20 scène (l'origine de ces systèmes de coordonnées est au foyer de la caméra). On démontre mathématiquement que le mouvement de cette arête dans la direction y est donné par la relation sui- vante y(t) = y0 + sin()JJIvllt (1) Par la géométrie analytique on peut définir la re- lation fonctionnelle dans le plan de l'écran image à deux di- mensions (système de coordonnées x' - y') de l'image formée par la caméra (projection sur la plaquette de détection de la camé- ra) (voir également la figure 2). On en déduit l'équation de mouvement suivante: y' (t) - Ycoso)It + f. tan() (2) cos alvt Dans cette équation, y' représente la composante verticale dans le système de coordonnées sur la plaquette de capteur vidéo à deux dimensions; f représente la distance fo- cale de l'optique de la caméra. Qualitativement on décrit le mouvement par la relation suivante a y' (t) = - + b (3) t f Yo (4) i a cos ()I b = f tan () (5) On rencontre alors deux problèmes pour fixer quan- titativement l'équation de mouvement (la détermination des pa- ramètres a, b est déjà fixée par la géométrie de la scène): d'une part, la vitesse v du véhicule est inconnue selon l'observation de l'image vidéo; par ailleurs on ne connaît pas l'instant observé (intervalle de temps jusqu'à l'instant t = O, qui définit l'entrée dans le demi- espace droit de la caméra) car l'entrée dans ce demi-espace droit de la caméra ne peut être observé à cause de l'angle de visée limité de la caméra. C'est pourquoi on introduit une nouvelle échelle des temps t', décalée de la différence de retard td par rapport à l'échelle de temps t (td est le temps qui s'écoule entre l'entrée dans le demi-espace droit de la caméra et la première observation du véhicule dans l'image vidéo). On en déduit la description du mouvement par l'équation suivante: a y'(t') - + b. (6) t' + td Une autre analyse mathématique du problème non re- produite ici conduit à la considération que les paramètres a et td sont liés par une relation linéaire. Il en résulte la des- cription définitive du mouvement:30 a y'(t') + b, (7) t' + c -a Dans cette formule on a un coefficient c qu'il faut définir. L'équation du mouvement est le point de départ de tou- tes les autres considérations. Pour définir les paramètres a et c on a plusieurs possibilités: 1. Dans le cas le plus simple on mesure deux positions y' (t') à deux instants différents t'. On substitue les deux valeurs de mesure dans l'équation 7, on obtient ainsi deux équations à deux inconnues. 2. Le paramètre c se définit à partir d'une mesure y'(t' = O) (le point observé apparaît la première fois dans l'image de la caméra) en développant des considérations géométriques selon la formule suivante: ( c = -- cos2(a). tan() + cot"x +)+ Y'max Y' f FE a X( f2 + (Y'max)2.sin(à + È) sin(cO cos(a) l) sin(a) + c (a)I L +ta {O + arcta {fj j (8) est l'angle d'ouverture de la caméra (cet angle est mesuré par rapport à l'axe optique de la caméra) et Y'max est la demi-extension verticale de la plaquette du capteur vidéo. A partir d'une seconde mesure, on peut calculer a en utilisant l'équation 7 ou, à partir de plusieurs mesures, en utilisant la régression mathématique (précision plus grande). 3. Les paramètres a et c peuvent se définir à partir de plu- sieurs mesures y' (t') à différents instants pour minimiser les erreurs de modélisation du mouvement en procédant par régression mathématique. Le résultat de ces calculs est une modélisation plus ou moins exacte du comportement du mouvement du véhicule sur l'écran image dans la direction verticale (équation 7). Le cas échéant on obtient de la même manière un modèle de mouve- ment pour le mouvement horizontal. Procédure regroupée pour le modèle de mouvement (en utilisant l'exemple de l'arête avant du véhicule). 1. On mesure la hauteur hc de la caméra, l'angle d'inclinaison a de la caméra et la distance focale f de la caméra. 2. On suit un point au niveau de l'arête avant (référence 3 aux figures 1 et 2) du véhicule dans plusieurs images vidéo. On définit pour chaque mesure i la position verticale Y'i et l'instant de mesure t'i. 3. Lorsque les mesures sont effectuées (au moins deux mesures sont nécessaires; plus on utilise de mesures et plus précis sera le modèle du mouvement), on définit les paramètres a et c selon l'équation de mouvement selon les procédés indiqués ci-dessus. Ce procédé s'applique à n'importe quel point du vé- hicule. On suit la position du point dans plusieurs images vi- déo, on établit le modèle de mouvement selon le procédé décrit et on obtient comme résultat une équation (équation 7) décri- vant exactement le mouvement du véhicule sur l'écran image. Cette équation du mouvement peut s'utiliser plusieurs fois pour améliorer le procédé de poursuite (dans le cas d'une position choisie de la caméra, la description du mouvement du véhicule se fait de manière avantageuse surtout avec l'arête avant et l'arête arrière du véhicule): 1. Si l'on modélise avec le procédé décrit, le mouvement de l'arête avant et de l'arête arrière, on peut évaluer à par- tir de l'équation de mouvement obtenue, les positions futu- res de l'objet à tout instant. On peut ainsi prévoir le moment o deux objets risquent de se cacher. 2. Lorsque deux objets se sont cachés réciproquement, à partir du modèle de mouvement (cela doit naturellement être calculé avant le chevauchement) on peut évaluer les positions de l'arête avant ou de l'arête arrière cachée. 3. Si l'on mesure la position de l'arête avant ou de l'arête arrière d'un véhicule dans une image (par un algorithme de recherche approprié) on peut, après un calcul préalable du modèle de mouvement, faire une évaluation de plausibilité. Si la prévision de la position de l'arête du véhicule selon le modèle diffère trop fortement de la position mesurée, il faut considérer la mesure comme défectueuse. Dans ce cas on rejette la mesure et on la remplace par la valeur prédite selon le modèle. 4. A l'aide du modèle de mouvement, on peut prévoir les posi- tions futures des arêtes du véhicule. On peut utiliser ces prévisions pour limiter la plage de recherche appliquée par le procédé de recherche servant à trouver la position exacte de l'objet. Cela permet d'accélérer considérablement la dé- finition de la position de l'objet. R E V E N D I C A T IONS 1 ) Procédé de localisation des points d'un objet mobile, no- tamment d'un véhicule dans une séquence d'images vidéo, caractérisé en ce que au moins un point (3) de l'objet (2) est poursuivi dans un cer- tain nombre d'images vidéo et, pour les images vidéo, on défi- nit chaque fois la position verticale du point (3) de l'objet (2) sur l'écran vidéo et l'instant de l'observation, en partant des valeurs mesurées dans les images vidéo et/ou en partant des coefficients géométriques mesurés et/ou connus, notamment la hauteur (hc) d'une caméra vidéo (1) au-dessus d'une chaussée, la distance focale (f) de la caméra et l'angle d'inclinaison (a) de la caméra (1) par rapport à la trajectoire, on définit les paramètres (a, b, c) d'un modèle de mouvement pour le mou- vement vertical du point (3) sur l'écran vidéo, et on fait une prévision de la position verticale future du point (3) de l'objet (2) sur l'écran vidéo à partir du modèle de mouvement. 2 ) Procédé selon la revendication 1, caractérisé en ce que on compare la position prévue du point (3) de l'objet (2) sur l'écran vidéo, à la position effectivement mesurée et, en cas de différence dépassant une valeur prédéterminée, on rejette comme défectueuse la position effectivement mesurée. 3 ) Procédé selon les revendications 1 ou 2, caractérisé en ce que partant du modèle de mouvement, on fait une prévision de l'instant auquel le point (3) de l'objet (2) sera caché par un autre objet. 4 ) Procédé selon l'une quelconque des revendications 1 ou 3, caractérisé en ce que partant du modèle de mouvement, on fixe une plage de recherche indiquant dans quelle zone sur l'écran vidéo on peut trouver de manière prévisible, le point (3) de l'objet (2). ) Procédé selon l'une des revendications précédentes, Il caractérisé en ce que le modèle de mouvement pour le mouvement vertical du point (3) de l'objet (2) sur l'écran vidéo a la forme suivante: a y' (t') = + b t' + c a et dans cette formule y' représente la composante verticale des coordonnées du point (3) de l'objet (2) sur le plaquette de dé- tection vidéo, t' est une coordonnée de temps et a, b, c, sont les paramètres du modèle de mouvement. 6 ) Procédé selon la revendication 5, caractérisé en ce que les paramètres a, c, sont définis par un calcul par régression à partir des valeurs définies à l'aide des images vidéo, et on prévoit la condition selon laquelle le défaut du modèle de mou- vement est minimum. 7 ) Procédé selon les revendications 5 ou 6, caractérisé en ce que on définit le paramètre b selon la formule: b = f tan(ax) à partir des coefficients géométriques de la distance focale f de la caméra et de l'angle d'inclinaison a de la caméra par rapport à la chaussée. ) Procédé selon l'une quelconque des revendications précéden- tes, caractérisé en ce que l'objet (2) est un véhicule qui se déplace sur une chaussée et, comme points du véhicule pour la localisation de l'objet, on choisit un point caractéristique de l'arête avant du véhicule et un autre point caractéristique de l'arête arrière du véhi- cule. 9 ) Procédé selon la revendication 8, caractérisé en ce que comme point caractéristique de l'arête avant du véhicule, on choisit un point de l'arête avant du toit. ) Procédé selon l'une quelconque des revendications 8 ou 9, caractérisé en ce que comme point caractéristique de l'arête arrière du véhicule, on suit un point du pare-chocs arrière du véhicule ou un point des pneumatiques arrière du véhicule. 11 ) Dispositif pour la mise en oeuvre du procédé selon l'une des revendications précédentes, caractérisé en ce que il comprend une caméra vidéo (1) et un système d'exploitation d'images, la caméra vidéo étant située à une certaine hauteur (hc) au-dessus de la chaussée avec un certain angle d'inclinaison (a) par rapport à la chaussée, notamment dans la direction de circulation, de façon que la limite avant d'un vé-20 hicule qui passe, soit l'arête avant du toit.