Brevet FR2938227A1 — publié le 20100514

PROCEDE DE DETECTION D'OBSTACLES DEPUIS UN VEHICULE AUTOMOBILE. La présente invention concerne un procédé de détection d'obstacles depuis un véhicule automobile. Le domaine de l'invention est, d'une façon générale, celui de la détection d'obstacles pour un véhicule automobile ; ce domaine constitue un des éléments clés et les plus étudiés dans le cadre des systèmes avancés d'aides à la conduite mis en oeuvre depuis une quinzaine d'années au sein de différents projets de recherche, notamment chez les constructeurs et équipementiers automobiles. Pour réaliser une détection d'obstacles depuis un véhicule automobile, de nombreuses solutions ont été envisagées et utilisées, essentiellement basées sur des technologies radar, lidar, ultrasons pour les obstacles proches et à basse vitesse, et également sur des procédés faisant intervenir des dispositifs de type caméras. Les capteurs de type radar et lidar, typiquement utilisés en application à détection lointaine comme l'ACC (pour Autonomous Cruise Control en langue anglaise) par exemple, fournissent directement une information de position et parfois de vitesse 3D des objets présents dans la scène. Cette information permet de segmenter les différents objets présents et de leur attribuer des informations utiles comme leur position, éventuellement leur vitesse, avec leurs coordonnées réelles en trois dimensions, par rapport au véhicule équipé du capteur considéré, et par rapport à un repère fixe, si la position du véhicule est bien déterminée dans ce repère. Mais de tels capteurs n'offrent pas de champ de large, et leur positionnement angulaire n'est jamais très précis. Par ailleurs, de tels capteurs n'apportent aucune information sur l'environnement routier, telle que la position de véhicule sur sa voie, le nombre de voies, la trajectoire de la route, la classification des cibles, la possibilité de reconnaître des éléments de l'infrastructure tels que les panneaux... Par ailleurs, de tels capteurs longue portée à champ étroit ne peuvent discerner suffisamment tôt les scénarios dits de cut-in, où un véhicule provenant d'une autre voie de circulation que celle du véhicule porteur vient s'intercaler devant celui-ci, et le conducteur doit savoir que la tâche de gérer un tel scénario lui incombe. Les méthodes de détection d'obstacles utilisant des caméras embarquées à bord du véhicule permettent de répondre à ces attentes, qui ne sont pas satisfaites par les radars ou lidars. Les méthodes utilisables pour la détection d'obstacles par caméra se regroupent en trois catégories principales : la reconnaissance de forme en deux dimensions, la récupération de l'information trois dimensions par une interprétation du mouvement en monovision - c'est-à-dire du mouvement perçu par une unique caméra -, et la triangulation en stéréovision. Cette dernière catégorie fait intervenir nécessairement au moins deux caméras, et elle est donc particulièrement coûteuse ; la reconnaissance de forme en deux dimensions ne donne pas de résultats satisfaisants en termes de détection d'obstacles. Le procédé selon l'invention s'inscrit donc dans le contexte de l'utilisation du mouvement en monovision. L'utilisation du mouvement pour la détection d'obstacle à bord d'un véhicule en mouvement peut se 30 distinguer en deux grands groupes de méthodes : - les méthodes où l'on cherche à segmenter différents objets selon leur mouvement apparent dans l'image identifiée par recouvrement de zones entre images ; - les méthodes où l'on identifie localement le 35 mouvement, on obtient alors des vecteurs locaux et dispersés de mouvement, qu'il s'agit alors de regrouper lors d'une phase de segmentation selon différents critères d'association. Un des principaux problèmes de l'utilisation du mouvement, que ce soit par les méthodes du premier ou deuxième groupe, réside dans l'ambiguïté du facteur d'échelle : un objet proche avec une faible vitesse relative, génèrera les mêmes vecteurs de mouvement qu'un objet lointain ayant le véhicule porteur, 10 la caméra. Une méthodeune forte vitesse relative avec c'est-à-dire le véhicule équipé courante est de considérer la de le déplacement de la route devant le véhicule. Connaissant la hauteur de la caméra par rapport à la route, il est possible de s'affranchir de cette ambiguïté et de 15 vérifier si les points visualisés dans une zone supposée correspondre à la route vérifient bien les équations régissant son déplacement par rapport à la caméra, en faisant l'hypothèse que le mouvement de la caméra et sa position exacte peuvent être connus, et que la route 20 forme un plan devant le véhicule. Grâce à cette méthode, il est possible de détecter toutes les surfaces qui ne vérifient pas un mouvement de points appartenant au plan de la route et immobiles. Cette méthode fonctionne relativement correctement pour 25 les obstacles placés devant le véhicule : si des points appartenant à la zone supposée être la route ne vérifient pas son déplacement, alors on conclut à la présence d'un obstacle vers lequel se dirige le véhicule porteur. Mais cela n'est que partiellement vrai : des ombres 30 provenant d'autres véhicules sur des voies adjacentes, projetées devant le véhicule en soleil latéral, génèreront des fausses alertes. Cette méthode pose en revanche de réels problèmes de détection pour les obstacles présents au niveau d'un des côtés du véhicule 35 porteur. En effet, si les objets fixes sortant du plan de la route, placés sur le côté en dehors de la trajectoire du véhicule ne peuvent être considérés comme des obstacles (il peut s'agir par exemple de murs bordant la route, de bâtiments, de panneaux, d'arbres...), il n'en n'est pas de même pour les objets mobiles, dont la dynamique peut effectivement constituer danger pour le véhicule porteur. Pour distinguer ces objets fixes de ces objets mobiles, le seul moyen est de connaître leur distance au véhicule pour s'affranchir du facteur d'échelle et pour déterminer correctement leur vitesse. Cette tâche peut s'avérer extrêmement difficile pour des objets éloignés dont les formes sont très diverses. L'objet de l'invention propose une solution aux problèmes qui viennent d'être exposés. Dans l'invention, on utilise une unique caméra, disposée dans une zone essuyée. L'information fournie par la caméra est une image en deux dimensions, résultant généralement d'une projection de type perspective du monde réel en trois dimensions sur un plan. L'image ne renseigne donc pas directement sur les attributs trois dimensions des objets présents dans la scène, ce qui a pour conséquence de requérir l'utilisation de techniques différentes pour les segmenter et éventuellement pour fournir une information sur les attributs tridimensionnels desdits objets. Ainsi, dans l'invention, on propose d'exploiter plusieurs images successives et d'établir une cartographie du flot optique dans la scène visualisée pour segmenter les obstacles offrant un certain comportement par rapport au véhicule porteur. D'une manière générale, on définit le flot optique comme un champ de projections des vecteurs de vélocité dans une image, permettant de passer d'une image à l'autre au sein d'une séquence Les véhicules dépassant ou croisant la trajectoire du véhicule porteur sont ainsi détectés. Cela inclue des scénarios dont la dangerosité en ACC est bien établie : les scénarios de cut-in. Cela inclut également les scénarios de croisement en intersection par exemple, à fort indice accidentogène. A ce titre, on propose, dans l'invention, de ne considérer que les objets dont la trajectoire est orientée vers celle du véhicule porteur. On traite ainsi préférentiellement et de manière très efficace (taux et rapidité détection, nombre de fausses alertes), des situations accidentogènes pour le véhicule telles que les scénarios de cut-in et la détection d'obstacle en intersection. La méthode selon l'invention se rapporte au deuxième groupe mentionné plus haut fonctionnant sur le flot optique local et dispersé, dans laquelle on ne récupère des vecteurs vitesse qu'en des points relativement isolés les uns des autres. Selon l'invention, on applique une méthode originale de segmentation d'objets afin de déterminer de manière efficace l'ensemble des objets constituant effectivement un obstacle. L'invention concerne ainsi essentiellement un procédé de détection d'obstacles depuis un véhicule automobile circulant sur une voie donnée, ledit véhicule automobile étant équipé notamment d'une caméra capturant une succession d'images d'une scène de route se déroulant devant le véhicule, caractérisé en ce que le procédé comporte les différentes étapes consistant à : - sélectionner des points d'intérêt sur une première image acquise ; - calculer, par rapport à une image précédant la première image acquise, un vecteur vitesse associé à 30 chaque point d'intérêt sélectionné ; - conserver uniquement les vecteurs vitesses orientés vers le centre de l'image suivante ; magnifier chaque zone de la première image acquise correspondant à l'origine des vecteurs vitesses 35 conservés pour constituer des zones d'intérêt ; réaliser une moyenne temporelle, sur plusieurs images consécutives suivantes, des zones d'intérêt constituées ; - identifier des blobs à contour fermés parmi les zones d'intérêt constituées moyennées temporellement ; - assimiler les blobs identifiés à des obstacles pour le véhicule considéré. Outre les caractéristiques principales qui viennent d'être mentionnées dans le paragraphe précédent, le procédé selon l'invention peut présenter une ou plusieurs caractéristiques supplémentaires parmi les suivantes : - le procédé comporte l'étape supplémentaire, préalablement à l'étape consistant à assimiler les blobs identifiés à des obstacles pour le véhicule considéré, consistant à réaliser une sélection parmi les blobs identifiés en ne retenant, pour l'étape d'assimilation des blobs à des obstacles, que les blobs remplissant au moins une des trois conditions de qualification suivantes . - la base du blob considéré se situe à une distance latérale inférieure à la largeur de la voie adjacente à la voie sur laquelle circule le véhicule, notamment lorsque le véhicule circule sur une autoroute ; - le blob considéré ne présente pas de forme allongée s'étendant selon un axe parallèle à la voie sur laquelle circule le véhicule donnée en étant situé à une distance du véhicule voisine d'un multiple de la largeur de la voie de circulation ; - le blob considéré présente une taille compatible avec 30 celle d'un véhicule automobile. - le procédé comporte l'étape supplémentaire, préalablement à l'étape consistant à assimiler les blobs identifiés à des obstacles pour le véhicule considéré, consistant à réaliser une sélection parmi les blobs 35 identifiés en ne retenant, pour l'étape d'assimilation des blobs à des obstacles, que les blobs remplissant les trois conditions de qualification. - les images acquises sont des images noir et blanc, ou sont des images couleurs dont seule la composante de luminance est conservée. - le procédé comporte l'étape supplémentaire 5 consistant à réaliser un filtrage du gradient vertical et horizontal. - l'étape consistant à sélectionner des points d'intérêt sur une première image acquise est réalisée sur une zone de la première image acquise englobant la route 10 et une partie au-dessus de l'horizon. - l'étape consistant à calculer le vecteur vitesse associé à chaque point d'intérêt sélectionné comporte l'opération consistant à déduire d'une composante horizontale dudit vecteur vitesse la vitesse de lacet du 15 véhicule. La présente invention se rapporte également à un véhicule automobile apte à mettre en oeuvre le procédé selon l'invention. L'invention sera mieux comprise, et d'autres buts, 20 caractéristiques, détails et avantages de celle-ci apparaîtront plus clairement dans la description explicative qui va suivre faite en référence au dessin schématique annexé donné uniquement à titre d'exemple illustrant un mode de réalisation de l'invention, et dans 25 lesquels : - la figure 1, unique, est un organigramme d'un exemple de mise en oeuvre du procédé selon l'invention ; La figure 1 représente schématiquement une succession d'étape illustrant un exemple de mise en oeuvre 30 du procédé selon l'invention. Dans une première étape 101, une image initiale est acquise par une caméra de type monochrome ou de type couleur. L'image est envoyée à un processeur de calcul du véhicule porteur. En cas d'image couleur de type RGB 35 reçue par le processeur de calcul, une opération de codage est réalisée pour transformer l'image en image de type YUV. Seule la composante de luminance Y est alors conservée. Dans une deuxième étape 102, un dispositif de calcul du véhicule porteur réalise un filtrage du gradient, avantageusement vertical et horizontal, ces deux directions étant traitées par des filtres basiques et peu coûteux en calcul. Avantageusement, on ne conserve que la somme des valeurs absolues est conservée. Seuls les contours dans l'image sont ainsi conservés, sans différencier les gradients positifs des gradients négatifs. L'image ainsi acquise est mémorisée et conservée dans un module de mémoire du véhicule porteur. Dans une étape suivant 103, un dispositif réalise la sélection, dans une zone déterminée de l'image englobant la route et une partie au dessus de l'horizon, des points d'intérêt comportant localement des contours orientés selon deux axes principaux. Les points d'intérêt sont des points remarquables, définis sur un voisinage de plusieurs pixels, qui comportent par exemple deux contours principaux ; leur mouvement d'une image à l'autre peut ainsi être déterminé. A titre d'exemple de méthode de détermination de points d'intérêt, on peut citer la méthode de Harris, qui permet la détection de coins. La partie au-dessus de l'horizon prise en compte est celle qui contient tous les ponts de l'image susceptibles d'appartenir à un obstacle. Les axes principaux sont les axes qui maximisent l'inertie des points de l'image par rapport à ces axes. Dans une étape suivante 104, un dispositif réalise le calcul, en chacun des points d'intérêt, du vecteur déplacement par rapport à leur position dans l'image précédente. On obtient ainsi un champ de vecteurs vitesse. En faisant l'hypothèse que l'éclairement extérieur est constant, on suppose que le déplacement de la tache lumineuse dans l'image correspond à un mouvement réel des objets visualisés dans la scène. Travailler sur des images de gradient améliore la validité de cette hypothèse. En effet, d'une image à l'autre, les conditions d'éclairement et le réglage de la caméra peuvent varier ; les modifications des points apparaissant dans l'image suivante ne sont alors pas dues à un mouvement réel des objets visualisés ; un risque d'erreur apparait ici. Ce risque d'erreur disparait en utilisant des images de gradient. Dans une étape suivante 105, un moyen de mesure exploitant l'image, ou un capteur de type vitesse de lacet permet de déterminer la vitesse de rotation du véhicule autour de son axe vertical - cette vitesse étant désignée par l'expression "vitesse de lacet". La composante horizontale résultante de la vitesse de lacet est déduite des vecteurs vitesse précédemment identifiés. On évite ainsi les fausses alertes ou les non détections dans les parties en courbe de la route Dans une étape suivante 106, on effectue une première sélection de vecteurs vitesse, dits vecteurs vitesse d'intérêt, en ne conservant que les vecteurs orientés vers le centre de l'image. On constitue, dans une étape suivante 107, une image stockée dans un appareil de mémorisation avec l'origine de ces vecteurs vitesse sélectionnés magnifiée plusieurs fois : l'origine des vecteurs vitesse sélectionnés est grossie pour devenir une tache beaucoup plus importante dans l'image. L'image stockée est donc constituée des points d'origine des vecteurs vitesse grossis plusieurs fois, pour former une tache large dans l'image, et correspondant à des vecteurs vitesse. Une telle image permet alors de segmenter une zone homogène et complète, qui correspond à l'image d'un obstacle qui se dirige vers le centre de l'image, donc à un obstacle qui se dirige vers le véhicule dans la réalité. Dans une étape suivante 108, une moyenne mobile temporelle est effectuée avec la nouvelle image générée précédemment et une autre image moyenne temporelle précédemment stockée. On stocke alors la nouvelle image moyenne. Cette nouvelle image moyenne présente une densification des zones où les vecteurs vitesses éparses ont été sélectionnés. En effet, en réalisant une moyenne mobile temporelle, on additionne au cours du temps les images successives de la partie se déplaçant vers le centre de l'image, les images les plus anciennes étant éliminées progressivement ; cette partie constitue alors une zone encore plus homogène, de taille plus importante que ne l'est l'objet correspondant dans la réalité. Dans une étape suivante 109, on procède à la segmentation et à l'analyse de tous les blobs à contours fermés générés par les opérations précédentes. Par blob, on désigne, de manière classique dans le domaine du traitement d'images, une forme relativement homogène qui peut être isolée par segmentation et caractérisée par sa forme, sa taille, son orientation principale ou autre... L'opération d'analyse consiste notamment à éliminer les fausses alertes, ou fausses cibles, qui ont pu être générées, notamment sur les structures répétitives de l'environnement. Ainsi, les marquages rapprochés au sol, les barrières d'autoroute à structure répétitive sont susceptibles de générer de fausses alertes. Ces structures longent généralement la route. Des critères sur leur forme - allongée -, leur position, leur orientation dans l'image permettent de les éliminer. Par ailleurs, les objets segmentés dont la base se situe à une distance latérale supérieure à la voie adjacente peuvent être aussi éliminés dans le cas autoroutier. Enfin, des critères sur la taille des blobs en fonction de leur distance longitudinale au véhicule, estimée à partir de la position de leur base, éventuellement en connaissant le tangage de la caméra qui peut par ailleurs être estimé, vont permettre d'éliminer les dernières fausses cibles. Les cibles générées sur l'image moyennée temporellement forment alors des zones d'intérêt pour affiner la localisation dans l'image des cibles réelles. Dans l'exemple considéré, la localisation est réalisée, dans une étape 110 suivante, par une analyse d'histogramme de position des vecteurs vitesses sélectionnés sur leur orientation à l'intérieur des cibles générées. L'utilisation d'un histogramme permet essentiellement l'élimination de points marginaux. Avantageusement, dans une étape suivante 111, des conditions supplémentaires sur la taille et position des cibles permettent d'éliminer les fausses alertes éventuelles. On obtient ainsi les objets segmentés se rapprochant du centre de l'image, et qui correspondent effectivement à des obstacles. Le procédé selon l'invention permet ainsi de localiser précisément la position et la taille dans l'image de tout objet qui se dirige vers le centre de l'image, et éventuellement de le suivre. Avantageusement, le système est rendu robuste aux changements de luminosité dus à une variation de la lumière ou à un changement de réglage du contrôle automatique de gain de la caméra en se servant des images de gradient. REVENDICATIONS1. Procédé de détection d'obstacles depuis un véhicule automobile circulant sur une voie donnée, ledit véhicule automobile étant équipé notamment d'une caméra capturant (101) une succession d'images d'une scène de route se déroulant devant le véhicule, caractérisé en ce que le procédé comporte les différentes étapes consistant à . - sélectionner (103) des points d'intérêt sur une première image acquise ; - calculer (104), par rapport à une image précédant la première image acquise, un vecteur vitesse associé à chaque point d'intérêt sélectionné ; - conserver (106) uniquement les vecteurs vitesses orientés vers le centre de l'image suivante ; - magnifier (107) chaque zone de la première image acquise correspondant à l'origine des vecteurs vitesses conservés pour constituer des zones d'intérêt ; 20 réaliser une moyenne temporelle (108), sur plusieurs images consécutives suivantes, des zones d'intérêt constituées ; - identifier (109) des blobs à contour fermés parmi les zones d'intérêt constituées moyennées 25 temporellement ; - assimiler (111) les blobs identifiés à des obstacles pour le véhicule considéré. 2. Procédé selon la revendication précédente caractérisé en ce qu'il comporte l'étape supplémentaire, 30 préalablement à l'étape consistant à assimiler les blobs identifiés à des obstacles pour le véhicule considéré, consistant à réaliser une sélection parmi les blobs identifiés en ne retenant, pour l'étape d'assimilation des blobs à des obstacles, que les blobs remplissant au 35 moins une des trois conditions de qualification suivantes . 15- la base du blob considéré se situe à une distance latérale inférieure à la largeur de la voie adjacente à la voie sur laquelle circule le véhicule, notamment lorsque le véhicule circule sur une autoroute ; - le blob considéré ne présente pas de forme allongée s'étendant selon un axe parallèle à la voie sur laquelle circule le véhicule donnée en étant situé à une distance du véhicule voisine d'un multiple de la largeur de la voie de circulation ; - le blob considéré présente une taille compatible avec celle d'un véhicule automobile. 3. Procédé selon la revendication précédente caractérisé en ce qu'il comporte l'étape supplémentaire, préalablement à l'étape consistant à assimiler les blobs identifiés à des obstacles pour le véhicule considéré, consistant à réaliser une sélection parmi les blobs identifiés en ne retenant, pour l'étape d'assimilation des blobs à des obstacles, que les blobs remplissant les trois conditions de qualification. 4. Procédé selon l'une au moins des revendications précédentes caractérisé en ce que les images acquises sont des images noir et blanc, ou sont des images couleurs dont seule la composante de luminance est conservée. 5. Procédé selon la revendication précédente caractérisé en ce qu'il comporte l'étape supplémentaire consistant à réaliser (102) un filtrage du gradient vertical et horizontal. 6. Procédé selon l'une au moins des revendications précédentes caractérisé en ce que l'étape consistant à sélectionner des points d'intérêt sur une première image acquise est réalisée sur une zone de la première image acquise englobant la route et une partie au-dessus de l'horizon. 7. Procédé selon l'une au moins des revendications précédentes caractérisé en ce que l'étape consistant à calculer le vecteur vitesse associé à chaque pointd'intérêt sélectionné comporte l'opération (105) consistant à déduire d'une composante horizontale dudit vecteur vitesse la vitesse de lacet du véhicule. 8. Véhicule automobile apte à mettre en oeuvre le 5 procédé selon l'une au moins des revendications précédentes.