Brevet FR3024256A1 — publié le 20160129

DETECTION DE FEUX TRICOLORES A PARTIR D'IMAGES La présente invention concerne de manière générale le domaine des véhicules automobiles, et plus précisément un procédé et un système embarqué permettant de détecter, à partir du traitement d'images captées par au moins une caméra, la présence et l'état des feux tricolores rencontrés sur la route. Il est connu d'équiper certains véhicules automobiles avec des systèmes d'aide à la conduite utilisant différents capteurs pour détecter 10 notamment les lignes de marquage routier, les obstacles, les autres véhicules, ou encore les panneaux de signalisation, et en particulier les feux tricolores. La détection et le suivi de l'état d'un feu tricolore sont particulièrement importants pour les véhicules dits autonomes pour que le système puisse anticiper des phases de freinage à l'approche d'un carrefour lorsqu'un feu 15 tricolore est sur le point de passer au rouge, et permettre un redémarrage du véhicule lorsque ce même feu tricolore repasse à nouveau au vert. Certains systèmes embarqués développés par différents constructeurs automobiles se montrent de plus en plus complets et capables de communiquer avec les autres véhicules présents sur la route mais aussi avec 20 les infrastructures publiques, comme les feux tricolores. Ces systèmes, connus sous la dénomination anglo-saxonne « Vehicle-to-X » ou « Car-to-X » (la lettre X représentant soit un autre véhicule, soit une infrastructure publique), utilisent un réseau de communication sans fil (par exemple GSM, ou W-LAN) pour échanger des informations avec les infrastructures routières (feux, 25 passages à niveau, travaux, etc.), et dialoguer en continu et en temps réel via ce réseau sans fil de façon à permettre au conducteur d'être averti de dangers avant même de les apercevoir, voire à permettre un véritable pilotage automatique avec des stratégies de décélération, d'accélération, d'arrêt et de redémarrage ne nécessitant plus l'intervention du conducteur. Un tel système 30 est par exemple décrit dans le document WO 2013/186379. Ces systèmes sont néanmoins très coûteux, et ne sont pas encore opérationnels puisqu'il est nécessaire d'équiper auparavant toutes les infrastructures publiques de moyens de communication. 3024256 2 D'autres systèmes déjà en série sur certains véhicules utilisent les images captées par une caméra frontale, de préférence localisée à un endroit du véhicule qui correspond le mieux à ce que le conducteur voit, par exemple centrée au niveau du pare-brise à l'intérieur de l'habitacle. Différents 5 traitements sur les images captées permettent ainsi de détecter des panneaux de signalisation, par exemple de limitation ou de fin de limitation de vitesse, des marquages au sol, ou la présence d'autres véhicules roulant devant ou arrivant en direction inverse. Ces traitements sont ensuite utilisés pour différentes applications d'assistance à la conduite, telles que l'alerte en cas de 10 franchissement de lignes, le basculement automatique des feux de route et des feux de croisement, le freinage d'urgence ou la régulation de la vitesse de conduite. Il est également connu, par exemple du document WO 2011/026584, d'utiliser cette caméra frontale pour détecter l'état d'un feu tricolore. 15 La figure la illustre schématiquement un exemple de scène routière pour un véhicule automobile 1 se déplaçant sur une route 2 et arrivant à une intersection 3. Le véhicule 1 est muni d'une caméra frontale (non représentée). Pour garantir que le système pourra détecter suffisamment à l'avance la présence des feux tricolores, en particulier du feu 4 situé à 20 l'intersection, et du feu 5 situé après l'intersection, la caméra utilisée présente un cône de vision 6 avec un angle d'ouverture horizontale sensiblement égal à 40°. Un telle caméra est ainsi capable de détecter les feux situés à environ 100 mètres au-devant du véhicule 1. Dans l'exemple de la figure la, les deux feux tricolores 4 et 5 sont à l'état « Rouge », comme représenté par le 25 premier cercle noir des trois cercles représentatifs des trois états rouge/orange/vert d'un feu tricolore classique. Par un traitement adapté des images captées dans le cône de vision 6, le système embarqué sur le véhicule pourra donc détecter non seulement la présence du feu tricolore 4, mais également son état, et commander ici une décélération progressive et donc 30 confortable pour les occupants du véhicule, jusqu'à l'arrêt total du véhicule. Le véhicule 1 se retrouve alors dans la situation représentée schématiquement sur la figure lb. On constate alors que le feu tricolore 4 n'est plus dans le cône de vision 6 de la caméra, de sorte que le véhicule n'est pas renseigné sur un 3024256 3 passage au « vert » du feu tricolore. En d'autres termes, dans cette situation, il est impossible pour le système d'aide à la conduite de savoir à quel moment il doit commander le redémarrage du véhicule. La présente invention a pour but de pallier cette limitation en 5 proposant une solution qui soit toujours dans le domaine du traitement d'images captées par caméras embarquées. Ce but est atteint selon l'invention qui a pour objet un procédé de détection de la présence et de l'état d'un feu tricolore sur une scène routière à partir du traitement d'images capturées par au moins une caméra embarquée sur un véhicule automobile, caractérisé en ce qu'un même feu tricolore est détecté et suivi à partir d'images capturées par une première caméra frontale et à partir d'images capturées par au moins une caméra de vision parmi une pluralité de caméras de vision d'un système de vision périphérique embarqué. On garantit ainsi de pouvoir prendre une décision appropriée 15 suffisamment tôt en fonction de l'état d'un feu tricolore, en particulier une décision anticipée de décélération puis d'arrêt à la hauteur du feu tricolore si le feu est passé dans un état rouge, suivie d'une décision de redémarrage lorsque le feu tricolore passe à nouveau au vert. Selon d'autres caractéristiques additionnelles possibles : 20 - le procédé comporte de préférence successivement une première étape de détection et de suivi de l'état d'un premier feu tricolore à partir d'images capturées uniquement à partir de ladite première caméra frontale ; une deuxième étape de détection et de suivi de l'état d'un deuxième feu tricolore à partir d'images capturées uniquement à partir de ladite au moins 25 une caméra de vision ; et une étape de corrélation des détections du premier feu tricolore et du deuxième feu tricolore pour déduire que le premier feu tricolore et le deuxième feu tricolore constituent un seul et même feu tricolore ; - la deuxième étape peut n'être déclenchée que lorsqu'un premier feu 30 tricolore détecté et traqué à partir d'images issues de la caméra frontale est sur le point de quitter le champ de vision de la caméra frontale ; - la deuxième étape peut n'être déclenchée que lorsqu'un premier feu tricolore détecté et traqué à partir d'images issues de la caméra frontale est 3024256 4 en outre dans un état rouge. O évite ainsi avantageusement un traitement inutile si le feu détecté par la caméra frontale était vert, et qu'il n'est pas alors nécessaire de s'arrêter à sa hauteur. 5 La présente invention a également pour objet un système de détection pour la mise en oeuvre du procédé précité, comportant : - une première caméra frontale embarquée sur un véhicule automobile ; - un premier module de traitement des images capturées par ladite 10 première caméra frontale, apte à détecter la présence et l'état d'un feu tricolore ; - un système de vision périphérique comprenant une pluralité de caméras de vision embarquées sur ledit véhicule et un écran d'affichage apte à recréer une image périphérique de l'environnement du véhicule automobile à 15 partir des images capturées par ladite pluralité de caméras ; et - un deuxième module de traitement des images capturées par au moins une des caméras de vision parmi ladite pluralité de caméras de vision, le deuxième module de traitement étant apte à détecter la présence et l'état du même feu tricolore que celui détecté par le premier module de traitement. 20 La caméra frontale est de préférence une caméra d'ouverture horizontale de l'ordre de 40°. Elle peut être positionnée notamment sensiblement centrée horizontalement au niveau du pare-brise à l'intérieur de l'habitacle. 25 Les caméras de vision sont des caméras grand angle (typiquement de l'ordre de 180°) situées traditionnellement dans le pare-chocs avant, sur les rétroviseurs externes du véhicule et sur le pare-chocs arrière. Les caméras de vision qui seront utilisées dans le cadre de l'invention seront donc la caméra du pare-chocs avant et/ou l'une des caméras de rétroviseurs. 30 L'invention et ses différents avantages seront mieux compris au vu de la description suivante, faite en référence aux figures annexées, dans lesquelles : 3024256 5 - les figures la et lb, déjà décrites, illustrent schématiquement une situation particulière d'une scène routière montrant les limitations des systèmes existant basés sur l'utilisation d'une caméra frontale ; 5 - la figure 2 représente schématiquement la même situation routière que la figure lb, dans le cas d'un véhicule équipé d'un système de détection conforme à la présente invention; - la figure 3 donne un synoptique simplifié d'un exemple de procédé mis en oeuvre par un système selon l'invention pour la détection des feux 10 tricolores. La présente invention repose sur le fait que les véhicules automobiles autonomes ou quasi-autonomes sont généralement prévus pour être équipés d'autres capteurs que la caméra frontale, ces capteurs étant dédiés à d'autres fonctionnalités. Parmi ces autres fonctionnalités, on connaît en particulier des systèmes dits « vision périphérique » qui permettent d'assister le conducteur lors de manoeuvres à basse vitesse, typiquement pour l'aide au parking ou une manoeuvre en marche arrière. Pour ce faire, un écran situé au niveau du tableau de bord dans l'habitacle du véhicule est utilisé pour afficher différentes vues, dont une vue d'ensemble plongeante périphérique (« bird's eye view » en terminologie anglo-saxonne). Cela est rendu possible grâce à l'utilisation de plusieurs caméras embarquées sur le véhicule, typiquement une caméra au niveau du pare-chocs avant, une caméra au niveau de chaque rétroviseur extérieur droite et gauche, et une caméra de recul au niveau du pare-chocs arrière. Chacune de ces caméras de vision sont des caméras grand angle, avec typiquement un cône de vision de l'ordre de 180°. Les images captées par ces différentes caméras sont traitées par le système de vision périphérique pour recréer sur 360° une vision complète de l'entourage du véhicule. La figure 2 illustre le cas d'un véhicule automobile 1 muni de la caméra frontale décrite ci-avant, de préférence une caméra couleur, et des caméras de vision permettant d'offrir la vision périphérique, dans la même situation de scène routière que celle décrite dans les figures la et lb. Pour ne pas surcharger inutilement la figure, les caméras de vision n'ont pas été 3024256 6 représentées, ni les cônes de vision associés à chacune de ces caméras. Seule la zone de vision périphérique 7 recréée à partir des images captées par les différentes caméras de vision a été représentée schématiquement sur la figure 2. On note que dans ce cas, le feu de signalisation 4 est présent dans cette 5 zone de vision périphérique 7. Conformément à l'invention, on prévoit de rajouter dans le module de traitement d'images associé au système de vision périphérique un traitement d'images similaire à celui utilisé par le module de traitement d'images associé au système de détection de feux tricolores pour permettre la détection des 10 feux tricolores et de leur changement d'état par les deux systèmes, selon la distance à laquelle le véhicule 1 se trouve par rapport à ces feux. La figure 3 illustre différentes étapes mises en oeuvres dans un procédé de détection des feux tricolores conforme à l'invention : En particulier, la caméra frontale capture les images de la scène 15 routière située à l'avant du véhicule 1, lors d'une étape S1. Ces images sont fournies à un module de traitement d'images du système de détection des feux tricolores. Différents traitements connus peuvent mis en oeuvre par ce module. Par exemple, un traitement peut consister à détecter des cercles dans l'image capturée, puis à comparer à des modèles connus. Une fois un feu 20 tricolore détecté, on fait un suivi de ce feu, par exemple en utilisant des filtrages connus de type filtrage de Kalman (étape S2). Quel que soit le traitement utilisé, chaque feu tricolore présent dans le cône de vision 5, ainsi que son état (rouge/orange/vert) est détecté et sa distance par rapport au véhicule 1 est estimée de manière à contrôler si nécessaire les phases de 25 décélération voire d'arrêt du véhicule. Par ailleurs, les caméras de vision périphérique capturent également différentes images dans leur champ de vision respectif (étape S3). Ces images sont également fournies à un module de traitement d'images dédié à la fonctionnalité de vision périphérique, pour l'affichage de vues sur un écran faisant face au conducteur. Le module de 30 traitement est apte en outre, lors d'une étape S4, à effectuer un traitement d'images similaire à celui réalisé lors de l'étape S2, pour la détection et le suivi des feux tricolores et de leur état, complété de préférence par des corrections 3024256 7 de distorsions. Les résultats des traitements issus de ces deux étapes S2 et S4 sont ensuite fusionnés et corrélés en temps réel (étape S5), de façon à garantir qu'un même feu tricolore et son état puissent être détectés puis traqués, d'abord à une distance suffisamment importante, de l'ordre de 100 5 mètres, par le système lié à la caméra frontale, puis par certaines des caméras de vision associées au système de vision périphérique, en particulier la caméra de vision avant et/ou l'une ou l'autre des caméras latérales situées dans les rétroviseurs. Différentes stratégies peuvent alors être mises en oeuvre : On peut en particulier prévoir que les caméras de vision prennent le 10 relais dans le cadre du traitement pour la détection des feux uniquement lorsqu'un feu tricolore détecté et traqué à partir d'images issues de la caméra frontale est sur le point de quitter le champ de vision de la caméra frontale. Il est en effet possible, connaissant la vitesse de déplacement du véhicule, la distance estimée à laquelle se situe un feu tricolore détecté par la caméra 15 frontale, et les paramètres de calibration de la caméra frontales, d'estimer à partir de quand cette caméra frontale ne sera plus apte à voir ce feu. En variante, on peut prévoir que les caméras de vision prennent le relais pour la détection et le suivi d'un feu tricolore uniquement si ce dernier est passé au rouge alors qu'il était encore dans le champ de vision de la caméra frontale. 20 En effet, dans ce cas, la détection du passage à l'état « Rouge » impliquera nécessairement une phase de décélération fonction de la distance estimée du feu pour permettre un arrêt à hauteur de ce feu, et les caméras de vision doivent être alors opérationnelles pour permettre de détecter un nouveau passage au vert de ce même feu, et par suite, un redémarrage du véhicule. 25 Quelle que soit la stratégie adoptée, le suivi d'un même feu tricolore par l'un et/ou l'autre des systèmes est rendu possible par la connaissance des paramètres intrinsèques et extrinsèques des différentes caméras, comme leur position, leur orientation, leur angle d'ouverture, qui permettent de passer du repère image de chaque caméra au repère du monde réel, et par la 30 connaissance des paramètres odométriques (vitesse de déplacement, accélération) du véhicule connus par ailleurs. REVENDICATIONS1. Procédé de détection de la présence et de l'état d'un feu tricolore sur une scène routière à partir du traitement d'images capturées par au moins une caméra embarquée sur un véhicule automobile, caractérisé en ce qu'un même feu tricolore est détecté et suivi à partir d'images capturées par une première caméra frontale et à partir d'images capturées par au moins une caméra de vision parmi une pluralité de caméras de vision d'un système de vision périphérique embarqué. 2. Procédé de détection selon la revendication 1, caractérisé en ce qu'il comporte successivement: une première étape (S2) de détection et de suivi de l'état d'un premier feu tricolore à partir d'images capturées uniquement à partir de ladite première caméra frontale ; une deuxième étape (S4) de détection et de suivi de l'état d'un deuxième feu tricolore à partir d'images capturées uniquement à partir de ladite au moins une caméra de vision ; une étape (S5) de corrélation des détections du premier feu tricolore et du deuxième feu tricolore pour déduire que le premier feu tricolore et le deuxième feu tricolore constituent un seul et même feu tricolore. 3. Procédé de détection selon la revendication 2, caractérisé en ce que la deuxième étape n'est déclenchée que lorsqu'un premier feu tricolore détecté et traqué à partir d'images issues de la caméra frontale est sur le point de quitter le champ de vision de la caméra frontale. 4. Procédé de détection selon la revendication 3, caractérisé en ce que la deuxième étape n'est déclenchée que lorsqu'un premier feu tricolore détecté et traqué à partir d'images issues de la caméra frontale est en outre dans un état rouge. 5. Système pour la mise en oeuvre du procédé selon l'une quelconque des revendications 1 à 4, comportant : 3024256 9 une première caméra frontale embarquée sur un véhicule automobile ; un premier module de traitement des images capturées par ladite première caméra frontale, apte à détecter la présence et l'état d'un feu tricolore ; 5 - un système de vision périphérique comprenant une pluralité de caméras de vision embarquées sur ledit véhicule et un écran d'affichage apte à recréer une image périphérique de l'environnement du véhicule automobile à partir des images capturées par ladite pluralité de caméras ; et 10 - un deuxième module de traitement des images capturées par au moins une des caméras de vision parmi ladite pluralité de caméras de vision, le deuxième module de traitement étant apte à détecter la présence et l'état du même feu tricolore que celui détecté par le premier module de traitement. 15 6. Système selon la revendication 5, caractérisé en ce que la caméra frontale est une caméra d'ouverture horizontale de l'ordre de 40°. 7. Système selon l'une quelconque des revendications 5 ou 6, caractérisé en ce que la caméra frontale est positionnée sensiblement centrée horizontalement au niveau du pare-brise à l'intérieur de l'habitacle. 20 8. Système selon l'une quelconque des revendications 5 à 7, caractérisé en ce que ladite au moins une des caméras de vision est une caméra grand angle située à l'avant du véhicule ou sur l'un des côtés du véhicule. 9. Système selon la revendication 8, caractérisé en ce que la caméra 25 grand angle est dans le pare-chocs avant du véhicule. 10. Système selon la revendication 8, caractérisé en ce que la caméra grand angle est sur un rétroviseur extérieur du véhicule.