Brevet FR2803417A1 — publié le 20010706

PROCEDE ET DISPOSITIF DE LOCALISATION D'UN VEHICULE SUR LA ROUTE La présente invention concerne un procédé et un dispositif de localisation d'un véhicule sur la route, par rapport à des repères passifs présents le long de la chaussée, tels que des marquages au sol des lignes blanches. Pour améliorer la sécurité active des automobiles, des systèmes d'aide à la conduite sont mis au point, dans le but de délivrer au conducteur des informations concernant la situation du véhicule, en particulier sa localisation par rapport à la route, et l'état de l'environnement dynamique constitué par d'autres véhicules évoluant à proximité et par d'éventuels obstacles. Ils doivent également compléter les capacités perceptives du conducteur, en limitant les angles morts et en l'informant sur l'évolution des autres véhicules dans son environnement immédiat. Actuellement, il existe des systèmes d'aide à la conduite par localisation du véhicule, utilisant la détection de lignes de marquage au sol par caméra frontale. D'autres assurant la fonction d'anti-patinage utilisent un capteur d'angle du type gyroscope ou accéléromètres pour détecter l'angle de lacet du véhicule sans avoir l'angle absolu par rapport au repère fixe de la route. Les systèmes d'aide à la conduite par détection d'obstacles utilisent un radar optique ou "hyper fréquence" frontal, ou bien une caméra montée sur un rétroviseur latéral du véhicule. Le brevet européen EP 0 591 743, au nom de GILARDINI, décrit un dispositif de détection des positions relatives du véhicule et de celui qui le double par une caméra de type CCD - Charge Coupled Device -, intégrée dans le rétroviseur latéral du véhicule. Le principe de détection est basé sur les mouvements dans une bande d'image de rétrovision acquise par la caméra de rétrovision. Ce dispositif est associé à un signal d'alarme, sonore ou visuel, destiné à alerter le conducteur en cas de danger. Dans l'article "Functions and devices of Mitsubishi Active Safety AVS" de Tetsushi Mimuro and Co de Mitsubishi Motors (Japon), dans IEEE Intelligent Vehicle "96 Symposium", page 248-253, Tokyo, le véhicule prototype comporte un système de détection des véhicules qui le dépassent grâce à deux caméras implantées verticalement au niveau de la portière du conducteur. La détection de la présence d'un véhicule, dans la voie adjacente à celle de circulation du véhicule équipé, est obtenue par découpage de l'espace de rétrovision latérale en neuf régions d'analyse, suivi de segmentation et de détection de mouvement, dans chaque région élémentaire. Ce dispositif ne permet pas d'estimer précisément la vitesse relative d'un éventuel obstacle mais simplement de détecter sa présence. En outre, la détection est réalisée dans une zone assez restreinte, ce qui permet simplement d'annuler l'angle mort, mais pas d'anticiper le mouvement d'obstacles potentiels. Pour pallier ces inconvénients, l'invention propose un procédé de localisation d'un véhicule, par rapport à l'axe de la route balisée par des bandes blanches, utilisant au moins une caméra de rétrovision par mise en correspondance entre un modèle de la route, élaboré à partir d'une séquence d'images successives de rétrovision de la route, et les images de cette même route captées par une ou plusieurs caméras, placés notamment au niveau des rétroviseurs latéraux du véhicule. Pour cela, un premier objet de l'invention est un procédé de localisation d'un véhicule par rapport à une route balisée par des marquages au sol, caractérisé en ce qu'il comporte les étapes suivantes - acquisition d'images de rétrovision par au moins une caméra observant la scène routière située à l'arrière du véhicule ; - constitution d'un modèle de route, calculé à partir d'une séquence d'images de rétrovision successives ; - mise en correspondance du modèle de la route avec les images réelles de rétrovision de cette même route, par projection du modèle dans le plan image ; - détermination de la position D et de l'orientation du véhicule par calcul du maximum d'une fonction d'évaluation de cette correspondance entre le modèle réactualisé de route et la route réelle. Selon une autre caractéristique, le calcul du maximum de la fonction d'évaluation de la correspondance entre le modèle de route et la route réelle comporte simultanément, d'une part le calcul d'une première estimation de la position et de l'orientation du véhicule par rapport à l'axe de la route, et d'autre part la réactualisation permanente du modèle de la route en fonction de l'acquisition de nouvelles images de rétrovision de la scène routière observée par la caméra, consistant à éliminer les points les plus éloignés du véhicule qui apparaissent au centre de l'image et à ajouter de nouveaux points proches de sa périphérie. Un autre objet de l'invention est un dispositif de mise en oeuvre du procédé, caractérisé en ce qu'il est constitué de - au moins une caméra de rétrovision, dont l'angle de visée et la hauteur par rapport au plan de la route sont supposés constants ; - des capteurs proprioceptifs indiquent l'état du véhicule, intégrant au moins un capteur de la vitesse de déplacement longitudinal du véhicule ; - un calculateur électronique, recevant des informations de la caméra et du capteur de vitesse, pour traiter les images issues de la caméra par le procédé de maximisation de la fonction d'évaluation ; - une interface de visualisation pour le conducteur du véhicule. D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de l'exposé du procédé et de la description d'un exemple de réalisation du dispositif de mise en oeuvre, illustrés par les figures suivantes qui sont - les figures la et lb deux images d'antévision successives ; - les figures 2a et 2b . deux images de rétrovision successives ; - la figure 3. une image de rétrovision avec projection d'un modèle de la route ; - la figure 3b . une représentation d'une fonction d'évaluation de la ressemblance entre un modèle de la route et une image réelle ; - la figure 4a : une image de rétrovision d'une route ; - la figure 4b . une reconstitution du modèle de la route précédente ; - la figure 5a une évolution du maximum de la fonction d'estimation, au cours d'une séquence d'images ; - les figures 5b à 5e une évolution des quatre paramètres de la fonction d'estimation, en valeurs réelles et estimées. L'originalité du procédé réside dans l'observation de la scène située à l'arrière du véhicule équipé du dispositif, ce qui permet de disposer d'informations plus précises concernant la scène observée. Lors d'une séquence d'images successives, visant la scène se déroulant à l'avant d'un véhicule circulant en marche avant, les objets observés 1 et 2 se déplacent dans chaque image successive en partant du point de fuite 3 pour se diriger vers la périphérie 4, comme le montrent les figures la et lb. Les nouvelles informations apparaissant dans l'image suivante sont situées à proximité du point de fuite 3, dans une zone 30 contenant très peu de pixels. Par contre, sur une séquence d'images de rétrovision, le mouvement apparent des objets observés 1 et 2 se déroule en sens inverse, la portion nouvelle 40 dans chaque image se situant sur les bords, comme le montrent les figures 2a et 2b. Ces nouvelles zones apparaissant dans les images successives de la séquence de rétrovision étant situées à proximité du véhicule, elles contiennent un nombre élevé de pixels, de sorte que les mesures extraites de ces zones sont beaucoup plus précises. Le procédé de localisation du véhicule sur la route, c'est-à-dire la mesure de sa position et de son orientation par rapport à l'axe de la route, utilise un modèle de la route établi à partir d'une séquence d'images de rétrovision successives. Le modèle est un ensemble de points sensés représenter les lignes blanches délimitant les voies de circulation sur la chaussée, ces marques horizontales peintes sur la chaussée étant l'unique référence utilisable pour connaître la position du véhicule en l'absence de capteurs qui permettraient de connaître son comportement dynamique. De plus, concernant la surveillance de l'environnement dans le but d'y détecter des obstacles éventuels, cette connaissance des marquages au sol permet de réduire l'analyse des mouvements dans l'image aux seules voies de circulation des véhicules, notamment dans le but d'une implantation des procédures de calcul en temps réel dans les véhicules. On considère que les différents paramètres optiques et géométriques sont connus a priori pour toutes les caméras, afin de calculer la position exacte de la projection d'un point réel de la scène dans chacune des images. Ces paramètres sont par exemple, la distance focale, l'angle de visée de la caméra par rapport au plan de la route, qui est considéré comme constant et déterminé lors de la phase de calibrage de la caméra sur le véhicule. C'est aussi la hauteur de la caméra par rapport au plan de la route, qui est considérée comme constante de sorte que le centre optique de la caméra se déplace dans un plan parallèle à la route. Les mouvements de la caméra sont donc définis par trois degrés de liberté, deux translations orthogonales et parallèles au plan de la route et une rotation autour d'un axe perpendiculaire au plan de la route. La direction de l'axe optique de la caméra est supposée toujours proche de celle de l'axe de la route afin de justifier le terme de "rétrovision". Le procédé selon l'invention consiste à rechercher la meilleure mise en correspondance entre le modèle de la route et les images prises par la caméra. on désigne par M(k-1) le modèle de la route calculé, par un calculateur électronique embarqué sur le véhicule, au moment de l'acquisition par la caméra de l'image I(k) de la séquence. Les caractéristiques du modèle M(k-1) sont définies dans le référentiel de la route à partir de l'analyse des images de la séquence jusqu'à l'acquisition de l'image I(k-1). La projection du modèle M(k-1) dans l'image I(k) est déterminée en fonction des paramètres optiques connus de la caméra et de la position estimée de la voiture sur les voies de circulation. Si le modèle se projette exactement sur les lignes blanches visualisées sur l'image, alors la position du véhicule utilisée dans les calculs est considérée comme la meilleure estimation possible de la position réelle. La qualité de la correspondance ou de la coïncidence entre les marquages du modèle M(k-1) projetés sur l'image I(k) et ceux de l'image réelle acquise est mesurée par une fonction d'évaluation de la ressemblance, qui est maximale quand le modèle calculé décrit bien la réalité. La détermination de la position et de l'orientation du véhicule sur la route revient alors à un problème de recherche du maximum de cette fonction d'évaluation. Afin de garantir une convergence rapide de cette recherche du maximum de la fonction d'évaluation, le procédé consiste à rechercher une estimation de la position D et de l'orientation y obtenue avec le modèle M(k-1) de la route, qui doit être réactualisé pour être projeté sur de l'image courante I(k) de rang k. Cette réactualisation permanente consiste à éliminer les points les plus éloignés du véhicule qui apparaissent au centre de l'image et à ajouter de nouveaux points proches de sa périphérie. La détermination de la fonction d'évaluation E de la ressemblance entre le modèle de la route et l'image réelle consiste à projeter tous les N points qui définissent le tracé des bandes blanches dans le modèle M(k-1) sur les bandes blanches de l'image réelle I(k), pour définir la fonction d'évaluation Eim =#D (k) , @V (k) , M(k)4 ÈI(k), I(k-1),...I(k-n), M(k-1)@ où la fonction f fait intervenir les N + 1 dernières images de la séquence analysée, utilisées pour améliorer l'adéquation du modèle M(k-1) projeté dans l'image I(k). Pour réduire l'encombrement mémoire et le temps de calcul, la fonction f peut ne dépendre que de l'image la plus récente I(k). Dans un cas particulier, l'adéquation est évaluée par un opérateur de convolution où (xlim, Ylim) est la projection du point réel sur le plan image et où Cim (xlm, ylim) est l'énergie d'un point dans l'image, soit la convolution entre l'intensité du point et la largeur de la bande blanche sur l'image. Selon un exemple d'application non limitatif de l'invention représenté sur la figure 3a, le procédé peut être basé sur une image de rétrovision, prise donc à l'arrière d'un véhicule équipé d'une caméra, montrant une chaussée 5 à deux voies de circulation 6 et 7, séparées par une bande blanche centrale Bc continue et délimitées chacune à l'extérieur par une bande blanche dont l'une Bg est dite de gauche et l'autre Bd est dite de droite. Sur cette image sont projetés les points 8 calculés du modèle et associés aux bandes gauche et centrale de la route, pour un couple de paramètres (D, yJ). La figure 3b est la représentation de la fonction E d'évaluation correspondante pour tous les couples possibles de paramètres (D, y). Elle est maximale quand les points projetés coïncident exactement avec le milieu des bandes blanches sur l'image. Concernant la réactualisation récursive du modèle de la route, afin d'obtenir le modèle M(k) qui sera utilisé quand les N + 1 images I (k-n) , ... I (k-1) , I (k) de la séquence seront disponibles, il faut ajouter de nouveaux points pour signaler les parties de bandes blanches qui entrent dans le champ de la caméra par le bas de l'image quand le véhicule avance. L'ordonnée de ces nouveaux points dans le plan de l'image est déterminée à partir de la vitesse V du véhicule et du temps séparant deux acquisitions d'images successives. Leurs abscisses dépendent essentiellement de la position D et de l'orientation y du véhicule, ainsi que de la géométrie de la chaussée. Pour cette réactualisation, il faut déterminer la fonction d'évaluation dépendant des paramètres de position D et d'orientation y du véhicule sur la route d'une part, et de paramètres définissant le modèle de la chaussée d'autre part. L'expression de cette fonction d'évaluation globale E(D, qi, M(k)) est la suivante E(D,VI,M(k) )-P1*Eim+P2*Epre+P3*Emod avec P1+P2+P3 - 1 Le premier terme Eim permet de quantifier l'adéquation du modèle aux images, c'est-à-dire la qualité de mise en correspondance du modèle calculé de l'image avec l'image réelle, comme cela a été décrit auparavant. Le deuxième terme Epre pemet l'évaluation de la qualité de prédiction du nouveau modèle réactualisé M(k) par rapport au modèle M(k-1). Ce terme est maximum lorsque les nouveaux points ajoutés au modèle correspondent précisément à ceux qui ont été prédits en supposant que le mouvement du véhicule est uniforme. Le troisième terme Emod permet l'évaluation de la cohérence du modèle avec des contraintes géométriques connues a priori, telles que la stabilité de la largeur de la chaussée, reconstruites à partir des itérations successives du procédé. L'ajustement des coefficients de pondération pl, p2 et p3, dont la somme est égale à 1, permet de moduler l'importance relative que l'on donne à l'adéquation entre les données des images réelles et le modèle, à la qualité de prédiction du modèle et aux connaissances a priori sur la géométrie de la chaussée. Dans un exemple particulier, on considère uniquement les positions latérales xc(k)et xg(k) sur la chaussée des nouveaux points calculés représentant les bandes blanches centrale et gauche respectivement du modèle M(k), et la fonction d'évaluation est alors de la forme E@ D, 1V, xc (k) , xg (k) }-Pl*Eimf D, y) P2*Epre@ [xc(k-1)], xg(k-1), xc(k), xg(k)) + P3*Emod@xc(k), xg(k), L} avec L, la largeur de la voie comprise entre les deux bandes de la chaussée, connue a priori puisque normalisée. La recherche du maximum de la fonction d'évaluation peut utiliser la méthode de descente du gradient conjugué, qui garantit une convergence sûre vers le maximum recherché. La figure 4. est une image prise de la scène routière par une caméra fixée sur le véhicule et tournée vers l'arrière. La scène est composée d'une route 5 à deux voies de circulation 6 et 7 séparées par une bande blanche centrale Bc et délimitées latéralement l'une par une bande blanche droite Bd et l'autre par une bande blanche gauche Bg. La figure 4b est une reconstruction du modèle de la route. Les deux séries parallèles de dix points symbolisés par des croix, représentent le modèle de la route initialisé, une série pour la ligne blanche de gauche Bg et une pour la ligne blanche centrale Bc. Les deux séries de dix-huit points calculés dans une séquence, pour réactualiser le modèle de la route et symbolisés par des ronds noirs, sont très proches des centres des lignes dont le tracé réel est symbolisé par des étoiles. La trajectoire du véhicule, déterminée par le paramètre de position D(k), est projetée sur ce modèle de la route et symbolisé par des ronds blancs. Les figures 5b à 5e permettent de comparer les valeurs réelles des paramètres construisant la séquence d'image, symbolisées par des croix, aux valeurs estimées, symbolisées par des segments de droite, calculées par ce procédé d'optimisation de la fonction d'évaluation E. La figure 5a représente l'évolution, au cours des dix-huit points de la séquence, du maximum de la fonction d'évaluation. La figure 5b représente l'évolution de la position D(k) du véhicule, en mètres, et la figure 5c l'évolution de son orientation 14l (k) en degrés. Les figures 5d et 5e représentent l'évolution des positions latérales xc et xg des nouveaux points de la bande centrale et de la bande gauche introduits dans le modèle de la route. Le dispositif de mise en oeuvre de ce procédé de localisation et d'orientation du véhicule, embarqué sur le véhicule, est constitué d'au moins une caméra de rétrovision, de type vidéo, CCD ou équivalent, destinée à délivrer des images de la route sur laquelle circule le véhicule, avec ses marquages au sol. L'angle de visée de la caméra par rapport au plan de la route est supposé constant, ainsi que la hauteur de la caméra, par rapport au plan de la route. Le centre optique de la caméra se déplace donc dans un plan parallèle à la route, et sa direction est supposée toujours proche de l'axe de la route, ce qui justifie le terme de rétrovision. Le dispositif comporte également un capteur de la vitesse de déplacement du véhicule qui fournit, avec la caméra, les informations de base nécessaires à un calculateur électronique embarqué pour acquérir les images issues de la caméra et pour les traiter par le procédé de maximisation de la fonction d'évaluation décrit précédemment. I1 peut alors délivrer la position instantanée du véhicule à une interface de visualisation, qui va renseigner le conducteur en vue d'améliorer sa sécurité de conduite. Ainsi, ce procédé d'optimisation de la fonction d'évaluation permet de localiser le véhicule sur la chaussée et de réactualiser simultanément le modèle de la route. R E V E N D I C A T I O N S 1. Procédé de localisation d'un véhicule par rapport à une route balisée par des marquages au sol, caractérisé en ce qu'il comporte les étapes suivantes - acquisition d'images de rétrovision par au moins une caméra observant la scène routière située à l'arrière du véhicule ; - constitution d'un modèle de route, calculé à partir d'une séquence d'images de rétrovision successives ; - mise en correspondance du modèle de la route avec les images réelles de rétrovision de cette même route, par projection du modèle dans le plan image ; - détermination de la position (D) et de l'orientation du véhicule par calcul du maximum d'une fonction d'évaluation de cette correspondance entre le modèle réactualisé de la route et la route réelle. 2. Procédé de localisation d'un véhicule selon la revendication 1, caractérisé en ce que le calcul du maximum de la fonction d'évaluation de la correspondance entre le modèle de route et la route réelle comporte simultanément, d'une part le calcul d'une estimation de la position et de l'orientation du véhicule par rapport à l'axe de la route, et d'autre part la réactualisation permanente du modèle de la route en fonction de l'acquisition de nouvelles images de rétrovision de la scène routière observée par la caméra, consistant à éliminer les points les plus éloignés du véhicule qui apparaissent au centre de l'image et à ajouter de nouveaux points proches de sa périphérie. 3. Procédé de localisation d'un véhicule selon la revendication 2, caractérisé en ce que le calcul d'une estimation de la position (D) et de l'orientation du véhicule par rapport à l'axe de la route consiste à projeter les N points qui définissent le tracé des marquages au sol dans le modèle M(k-1) sur les marquages de l'image réelle I(k) de rang k, pour définir une fonction d'évaluation Eim=@D(k) , @JJ(k) , M (k) @= f@I(k), I(k-1), ...I(k-n), M(k-1)@ où la fonction f fait intervenir les N + 1 dernières images de la séquence analysée, utilisées pour améliorer l'adéquation du modèle M(k-1) projeté dans l'image I(k). 4. Procédé de localisation d'un véhicule selon les revendications 2 et 3, caractérisé en ce que la réactualisation récursive du modèle de la route consiste à déterminer la fonction d'évaluation de la correspondance entre le modèle de la route et la route réelle, dépendant des paramètres de position (D) et d'orientation (qr) du véhicule par rapport à l'axe de la route d'une part, et de paramètres définissant le modèle de la chaussée d'autre part, s'exprimant par la somme de trois termes EfD, W, xc (k) , xg (k) }-P1*Eim@D, y) + P2*Epre{ [Xc (k-1) ] , xg (k-1) , Xc (k) , Xg (k)) + P3*EmodlXc (k) , xg (k) , L) avec L, la largeur de la voie comprise entre les deux bandes de la chaussée, - le premier terme Eim permettant de quantifier l'adéquation du modèle aux images, c'est-à-dire la qualité de mise en correspondance du modèle calculé de l'image avec l'image réelle, - le deuxième terme Epre permettant l'évaluation de la qualité de prédiction du nouveau modèle réactualisé M(k) par rapport au modèle M(k-1), - le troisième terme Emod permettant l'évaluation de la cohérence du modèle avec des contraintes géométriques connues a priori, telles que la stabilité de la largeur de la chaussée, reconstruites à partir des itérations successives du procédé. 5. Dispositif de mise en oeuvre du procédé selon la revendication 3, caractérisé en ce que la fonction d'évaluation est de la forme où (x-i., ylim) est la projection du point réel sur le plan image et où cim (xlm, ylim) est l'énergie d'un point dans l'image, soit la convolution entre l'intensité du point et la largeur de la bande blanche sur l'image. 6. Dispositif de mise en oeuvre du procédé selon l'une des revendications 1 à 5, embarqué sur le véhicule, caractérisé en ce qu'il est constitué de - au moins une caméra de rétrovision, dont l'angle de visée et la hauteur par rapport au plan de la route sont supposés constants ; - un capteur de la vitesse de déplacement du véhicule ; - un calculateur électronique, recevant des informations de la caméra et du capteur de vitesse, pour traiter les images issues de la caméra par le procédé de maximisation de la fonction d'évaluation ; - une interface de visualisation pour le conducteur du véhicule.