Brevet FR3062944A1 — publié le 20180817

L'invention se rapporte au domaine de l'assistance à la conduite automobile et concerne plus précisément un procédé de détection de faux-positifs relatifs un feu de signalisation à partir d'un flux vidéo d'images capturées par une caméra embarquée dans un véhicule automobile. L'invention permet de réduire le nombre de fausses détections d'un feu de signalisation afin de permettre une meilleure assistance au conducteur. De nos jours, les véhicules automobiles utilisent de manière connue des systèmes d'aide à la conduite afin d'assister le conducteur dans ses manoeuvres, rendant ainsi la conduite plus aisée et sécurisée. Un tel système d'aide à la conduite utilise une caméra, par exemple montée dans la partie haute du pare-brise, qui filme l'avant du véhicule et fournit les images à un calculateur qui les exploite. Une fonction connue d'un tel système d'aide à la conduite consiste à détecter les feux de signalisation, notamment pour informer le conducteur lorsqu'un feu de 15 signalisation est rouge et lui permettre ainsi de stopper le véhicule. Cette fonction est réalisée de manière connue à l'aide d'un algorithme de traitement d'images. Un tel algorithme peut générer des erreurs de détection de plusieurs types : par exemple, soit un feu de signalisation n'est pas détecté, soit une mauvaise couleur du feu est détectée, soit une détection se produit alors qu'aucun feu de 20 signalisation n'est présent dans le champ de la caméra du véhicule, ce dernier type d'erreur étant alors appelé « faux-positif ». Afin d'éviter de prévenir le conducteur de manière inopportune d'un feu inexistant, il est donc nécessaire de réduire au maximum le nombre de faux-positifs. Dans une solution existante, le traitement des images pour la détection des 25 feux de signalisation consistent à segmenter les images afin de détecter les zones lumineuses, à réaliser un suivi de ces zones au fil des images et à classifier les images afin de détecter les feux de signalisation et d'éliminer les faux-positifs. La segmentation consiste à partitionner l'image en régions pouvant être de différentes tailles, où chaque région est homogène selon la couleur des pixels. La segmentation permet ainsi d'identifier 30 les zones lumineuses présentes dans les images, notamment celles pouvant correspondre à un feu de signalisation. Le suivi consiste à associer d'une image à la suivante les régions détectées correspondant à un même objet lumineux. La classification consiste, pour chaque zone lumineuse identifiée dans une image, à lancer un algorithme d'apprentissage automatique entraîné au préalable à reconnaître si une région contient un 35 feu de signalisation ou non. 3062944 2 Cette solution ne permet toutefois pas d'éliminer suffisamment de faux-positifs, ce qui peut entrainer un fonctionnement erroné du système d'assistance à la conduite et présenter un risque pour la sécurité des occupants du véhicule. Il existe donc le besoin d'une solution permettant d'éliminer davantage de 5 faux-positifs lors de la détection de feux de signalisation et plus généralement de tout objet que l'on souhaite détecter dans le champ de la caméra afin d'améliorer l'assistance à la conduite du véhicule. A cette fin, la présente invention a tout d'abord pour objet un procédé de détection de faux-positifs relatifs à un feu de signalisation à partir d'un flux vidéo d'images 10 capturées par une caméra embarquée dans un véhicule automobile, ledit feu de signalisation étant configuré pour basculer entre plusieurs états, chaque état étant caractérisé par au moins une zone colorée représentative d'une signalisation. Le procédé est remarquable en ce qu'il comprend une étape de filtrage des images, selon une liste prédéterminée de critères de filtrage relatifs aux états du feu de signalisation, à partir d'un historique prédéterminé de la couleur des pixels de la zone colorée représentant un objet lumineux détecté dans le flux vidéo d'images afin de détecter les faux-positifs. Le procédé selon l'invention peut avantageusement être appliqué sur des images ayant subies une classification avec une méthode de l'art antérieure. Etant donné que la classification est réalisée image par image, elle ne tient pas compte de l'historique des images et notamment de l'évolution des couleurs des objets lumineux détectés. L'utilisation de critères de filtrage basés sur l'historique des images, notamment des zones colorées détectées, permet ainsi d'éliminer les détections erronées de manière rapide et efficace. Plus précisément, en se basant sur l'évolution des séquences de couleur détectées dans les images, le procédé selon l'invention permet de réduire le nombre de fausses détections sur la présence et/ou l'état d'un feu de signalisation afin de permettre une assistance efficace au conducteur. De préférence, le procédé comprend une étape préliminaire de détection d'un objet lumineux dans le flux vidéo d'images. De préférence encore, le procédé comprend une étape préliminaire de détermination de l'historique de la couleur des pixels de la zone colorée représentant un objet lumineux détecté dans le flux vidéo d'images. Avantageusement, la détermination de l'historique comprend, pour chaque image successive du flux vidéo d'images, la détermination et le stockage de la couleur 35 (teinte) des pixels de la zone colorée représentant un objet lumineux détecté ladite image. 3062944 3 De manière préférée, la détermination de la couleur des pixels de la zone colorée représentant un objet lumineux détecté comprend un lissage de la couleur dans le temps. Ce lissage permet de limiter le bruit sur la détection de la couleur. Avantageusement, le lissage de la couleur est réalisé à partir d'un nombre 5 prédéterminé d'images précédant ladite image dans le flux vidéo d'images. Cela permet de déterminer la couleur la plus probable d'un feu de signalisation à partir de l'historique des couleurs détectées pour ce feu. De préférence, le lissage de l'image est réalisé à partir d'au moins les 10 images précédentes afin d'avoir une probabilité satisfaisante. 10 De préférence encore, au moins l'un des critères porte sur la détermination d'une séquence relative à un état vert ou rouge de l'objet lumineux. Avantageusement, l'un des critères porte sur la durée d'un état jaune ou jaune-rouge de l'objet lumineux, le filtrage sur ledit critère consistant à vérifier si un état jaune ou jaune-rouge de l'objet lumineux est actif pendant une durée supérieure à un 15 premier seuil prédéterminé. Avantageusement, l'un des critères porte sur la persistance de la couleur rouge sur une distance de roulage du véhicule supérieure à une distance prédéterminée. Avantageusement, l'un des critères porte sur la transition entre la couleur verte et la couleur rouge de l'objet lumineux, le filtrage sur ledit critère consistant à vérifier 20 que la couleur verte apparait pendant une séquence d'un nombre d'images supérieur à un premier seuil prédéterminé puis que la couleur rouge apparait pendant une séquence d'un nombre d'images supérieur à un deuxième seuil prédéterminé. Avantageusement, l'un des critères porte sur l'observation d'un objet lumineux clignotant de rouge à rouge-jaune. 25 Avantageusement, l'un des critères porte sur la durée d'un état vert de l'objet lumineux, le filtrage consistant à vérifier si un état vert de l'objet lumineux est actif pendant une durée inférieure à un deuxième seuil prédéterminé. Avantageusement, l'un des critères porte sur la répétition de séquences de couleur correspondant à la couleur verte alternant avec d'autres états. 30 L'invention concerne également un véhicule automobile comprenant une caméra, configurée pour capturer un flux vidéo d'images représentant l'environnement du véhicule, et un calculateur configuré pour exploiter ledit flux vidéo d'images afin de détecter un feu de signalisation, ledit feu de signalisation étant configuré pour basculer entre plusieurs états, chaque état étant caractérisé par au moins une zone colorée représentative d'une signalisation. Le véhicule est remarquable en ce que le calculateur est configuré pour filtrer les images, selon une liste prédéterminée de critères de filtrage relatifs aux états du feu 3062944 4 de signalisation, à partir d'un historique prédéterminé de la couleur des pixels de la zone colorée représentant un objet lumineux détecté dans le flux vidéo d'images afin de détecter les faux-positifs. De préférence, le calculateur est configuré pour déterminer et stocker, pour 5 chaque image successive du flux vidéo d'images, la couleur des pixels de la zone colorée représentant un objet lumineux détecté ladite image. De préférence encore, le calculateur est configuré lisser ladite couleur avant filtrage. D'autres caractéristiques et avantages de l'invention apparaîtront lors de la 10 description qui suit faite en regard des figures annexées données à titre d'exemples non limitatifs et dans lesquelles des références identiques sont données à des objets semblables. La figure 1 illustre schématiquement une forme de réalisation d'un véhicule automobile selon l'invention. 15 La figure 2 illustre schématiquement un mode de réalisation du procédé selon l'invention. On a représenté schématiquement à la figure 1 un véhicule automobile selon l'invention. Le véhicule 1 comprend une caméra 10 vidéo embarquée et un calculateur 20 embarqué relié par un lien de communication Ll à ladite caméra 10. 20 La caméra 10 est de préférence montée sur la partie supérieure du pare-brise avant 1A du véhicule 1. La caméra est configurée pour capturer un flux vidéo d'images représentant l'environnement du véhicule 1 et le fournir au calculateur 20. Le calculateur 20 est configuré pour exploiter le flux vidéo d'images délivré par la caméra 10 afin de détecter les feux de signalisation 3 situés dans le champ 2 de la 25 caméra 10. Chaque feu de signalisation 3 est configuré pour basculer entre plusieurs états, chaque état étant caractérisé par au moins une zone colorée représentative d'une signalisation. Par exemple, un feu de signalisation 3 tricolore est configuré pour basculer successivement entre un état vert, un état jaune et un état rouge, voire un état jaune- 30 rouge afin de réguler le trafic de véhicules. Par exemple encore, un feu de signalisation 3 clignotant alternera entre un état jaune et un état éteint. L'invention sera décrite ci-après en référence à ces types de feux de signalisation 3 mais on notera qu'elle s'applique mutatis mutandis à tout autre type de feu de signalisation. 35 Le calculateur 20 est configuré pour déterminer, pour chaque image dans lequel un objet lumineux a été détecté, la couleur des pixels représentant la zone colorée 3062944 5 correspondant à l'objet lumineux détecté (ou les zones colorées dans le cas d'un objet multicolore, par exemple jaune-rouge). Dans cet exemple préféré, le calculateur 20 est configuré pour lisser ladite couleur en se basant sur son historique de couleur déterminé dans les images précédant 5 l'image courante, par exemple les 10 dernières images. Ce lissage consiste à définir la couleur la plus probable des pixels représentant l'objet lumineux détecté en se basant sur l'historique de détection de la couleur pour cet objet. Il prend en compte les performances de l'algorithme de détection de la couleur. Par exemple, la couleur jaune peut être plus compliquée à détecter 10 correctement que le vert et le rouge. Ainsi, les conditions pour considérer la couleur jaune comme étant la plus probable peuvent être plus flexibles que pour les couleurs rouges et vertes. Ce lissage est réalisé en réalisant le suivi de l'objet lumineux au fil des images. Le calculateur 20 est aussi configuré pour stocker la ou les valeurs de couleur (c'est-à-dire la teinte) déterminées pour chaque image dans une zone mémoire (non 15 représentée) afin de constituer un historique représentant l'évolution de la couleur de la zone colorée dans le temps. L'historique de couleur se construit ainsi au fil des images successives dans lesquelles un objet lumineux a été détecté. Le calculateur 20 est également configuré pour réaliser un filtrage des images à partir de l'historique et selon une liste prédéterminée de critères de filtrage relatifs aux 20 états du feu de signalisation 3 afin de détecter les faux-positifs comme cela sera décrit ci-après. L'invention va maintenant être décrite dans sa mise en oeuvre en référence à la figure 2. Tout d'abord, dans une étape El, la caméra 10 capture un flux vidéo d'images 25 par exemple lorsque le véhicule 1 circule sur une route 2A. Ce flux d'images est envoyé en temps réel au calculateur 20 qui l'exploite afin de détecter, dans une étape E2, tout feu de signalisation 3 situé dans le champ 2 de la caméra et qui apparaitrait donc sur les images capturées. Dans un mode de réalisation, cette détection peut être réalisée en segmentant 30 les images capturées, en réalisant un suivi de l'objet lumineux détecté dans les images segmentées et en leur appliquant un algorithme de classification. De manière générale, la segmentation consiste à partitionner l'image en régions, où chaque région est homogène au sens d'un critère donné, par exemple la forme, la couleur, la texture, etc. En l'espèce la détection d'un feu de signalisation 3 est 35 réalisée en regroupant les pixels par couleur, une région de pixels lumineux correspondant à un objet lumineux qui peut notamment être un feu de signalisation 3. 3062944 6 Le suivi consiste à associer d'une image sur l'autre les régions détectées correspondant à un même objet. La classification consiste, pour chaque région segmentée, à lancer un algorithme d'apprentissage automatique entraîné à reconnaître si une région contient un 5 feu de signalisation ou non. De préférence, cet algorithme d'apprentissage automatique est entrainé au préalable, par exemple avant la commercialisation du véhicule ou lors d'une maintenance. Pour la détection de feux de signalisation 3, la classification peut être améliorée par un apprentissage en temps réel réalisé au fil des images afin d'améliorer la précision des classes (voire de créer de nouvelles classes) et détecter davantage de faux- 10 positifs. Lorsqu'un feu de signalisation 3 a été détecté, le calculateur 20 construit, à partir d'une pluralité d'images successives, un historique représentant l'évolution de la couleur de la zone colorée dans le temps (étape E3). Pour ce faire, le calculateur 20 détermine, pour chaque image dans lequel un 15 feu de signalisation 3 a été détecté, la couleur des pixels représentant la zone colorée du feu de signalisation 3 détecté (ou les zones colorées dans le cas par exemple d'un feu jaune-rouge) puis stocke cette valeur de couleur dans une zone mémoire du calculateur 20 afin de constituer l'historique. L'historique de couleur se construit ainsi au fil des images successives dans lesquelles un objet lumineux a été détecté. 20 Dans un mode de réalisation préféré, les couleurs sont stockées dans l'historique sous la forme de séquences de couleur. Par exemple, si l'objet détecté est rouge depuis vingt images et a été auparavant vert pendant trente-cinq images, l'historique contient deux séquences de couleur, la séquence rouge actuelle qui dure depuis vingt images et par exemple vingt-cinq mètres parcouru par le véhicule 1 et la 25 séquence précédente verte qui a duré trente-cinq images acquise pendant 100 m parcourus par le véhicule 1. De préférence, la détermination de la couleur comprend préalablement un lissage basé sur la couleur des pixels représentant l'objet lumineux dans les images précédant l'image courante, par exemple les dix dernières images. 30 Une fois l'historique construit ou mis à jour, le calculateur 20 réalise, dans une étape E4, un filtrage des images à partir des données de l'historique et selon une liste prédéterminée de critères de filtrage relatifs aux états du feu de signalisation 3 afin de détecter les faux-positifs. Ce filtrage est réalisé de manière continue et permet d'observer la variation de 35 la couleur de l'objet lumineux détecté dans les images par séquences de couleur (vert, jaune/jaune-rouge, rouge). 3062944 7 Le filtrage est réalisé à partir d'une liste prédéterminée de critères de filtrage appliquée à l'historique de séquences de couleurs de l'objet détecté. Un exemple préféré d'une liste de critères de filtrage va maintenant être donnée ci-après en référence à un feu de signalisation 3 tricolore (vert, jaune, rouge). 5 Dans cet exemple, six critères de filtrage sont utilisés. Ces critères portent notamment sur la durée et la rémanence des couleurs verte et rouge. De préférence, ces critères sont appliqués successivement dans l'ordre suivant. Tout d'abord, le premier critère porte sur la durée d'un état jaune ou jaune-rouge du feu. Le filtrage consiste ici à vérifier si un état jaune ou jaune-rouge du feu est 10 actif pendant une durée supérieure à un premier seuil prédéterminé, par exemple 10 secondes. Si le seuil est dépassé, on considère que les feux détectés ne correspondent pas à un état d'un feu de signalisation, l'état jaune ou jaune-rouge étant temporaire (passage au feu vert ou au feu rouge ou bien feu clignotant). Dans ce cas, les détections, qui peuvent par exemple correspondre à un lampadaire, sont considérées comme un 15 faux-positif et ne sont pas exploités pour l'assistance à la conduite. Le deuxième critère porte sur la persistance de la couleur rouge. Lorsque le feu de signalisation 3 reste rouge alors que le véhicule 1 a parcouru une distance prédéterminée, par exemple 200 mètres, on considère que l'objet détecté est un faux-positif (probablement le feu arrière d'un autre véhicule que l'on suit pendant une longue 20 distance) car on considère que le calculateur 20 ne peut pas détecter un feu de signalisation 3 à une distance supérieure à la distance prédéterminée. On notera ici que la distance parcourue par le véhicule 1 est une donnée qui peut aisément être collectée par le calculateur 20 et qui peut être stockée dans la zone mémoire du calculateur 20 pour chaque séquence de couleur de l'historique (par exemple, une séquence de couleur 25 verte détectée dans cinquante images capturées pendant que le véhicule 1 parcourait vingt mètres). Le troisième critère porte sur la transition entre la couleur verte et la couleur rouge. Dans ce cas, lorsque la couleur verte apparait pendant une séquence d'un nombre d'images supérieur à un premier seuil prédéterminé, par exemple dix images, puis que la 30 couleur rouge apparait pendant une séquence d'un nombre d'images supérieur à un deuxième seuil prédéterminé, par exemple cinq images, on considère qu'une transition entre le vert et le rouge est avéré, ce qui indique la présence d'un faux-positif puisque une telle transition n'existe pas en réalité (on passe toujours par le jaune). Le quatrième critère porte sur l'observation d'un feu clignotant de rouge à 35 rouge-jaune. Ainsi, lorsque l'on observe une alternance de séquences rouge et rouge-jaune, on en déduit que le feu est rouge ou rouge-jaune clignotant et correspond à un feu clignotant rouge (freinage) ou jaune (indicateur de direction) d'un autre véhicule (en 3062944 8 assumant par exemple que la feu rouge de la voiture reste allumé et que le jaune clignote). On considère alors dans ce cas que l'on est en présence d'un faux-positif. Le cinquième critère porte sur la durée d'un état vert du feu. Le filtrage consiste ici à vérifier si un état vert du feu est actif pendant une durée inférieure à un 5 deuxième seuil prédéterminé, par exemple dix secondes. Ainsi, si on détecte une séquence d'images dans laquelle le feu est vert pour une courte période, on considère que le feu détecté ne correspond pas à un état du feu de signalisation et que l'on est en présence d'un faux-positif. Enfin, le sixième critère porte sur la répétition de séquences correspondant à 10 la couleur verte alternant avec d'autres couleurs (par exemple vert - rouge - vert). Dans ce cas, on considère là encore que l'objet détecté est un faux-positif. De préférence, le procédé peut comprendre un suivi de l'objet lumineux après qu'il ait été détecté comme étant un faux-positif afin d'annuler cette détection dans le cas où la couleur de l'objet ne remplisse plus les critères de filtrage de la liste et éviter ainsi 15 les cas de fausse détection de faux-positif. Le procédé selon l'invention permet de détecter les faux-positifs de manière rapide et fiable en appliquant une succession de critères aux séquences de couleur relatifs à un objet lumineux détecté sur les images, ces séquences de couleur étant déterminées à partir d'une pluralité d'images successives. Les critères utilisés permettent 20 ainsi d'indiquer une vraisemblance entre un objet lumineux détecté et un feu de signalisation, notamment selon son fonctionnement. REVENDICATIONS1. Procédé de détection de faux-positifs relatifs à un feu de signalisation (3) à partir d'un flux vidéo d'images capturées par une caméra (10) embarquée dans un véhicule (1) automobile, ledit feu de signalisation (3) étant configuré pour basculer entre plusieurs états, chaque état étant caractérisé par au moins une zone colorée représentative d'une signalisation, ledit procédé étant caractérisé en ce qu'il comprend une étape de filtrage (E4) des images, selon une liste prédéterminée de critères de filtrage relatifs aux états du feu de signalisation (3), à partir d'un historique prédéterminé de la couleur des pixels de la zone colorée représentant un objet lumineux détecté dans le flux vidéo d'images afin de détecter les faux-positifs. 2. Procédé selon la revendication 1, comprenant une étape préliminaire de détection (E2) d'un objet lumineux dans le flux vidéo d'images. 3. Procédé selon l'une des revendications précédentes, comprenant une étape préliminaire de détermination (E3) de l'historique de la couleur des pixels de la zone colorée représentant un objet lumineux détecté dans le flux vidéo d'images. 4. Procédé selon la revendication précédente, dans lequel la détermination (E3) de l'historique comprend, pour chaque image successive du flux vidéo d'images, la détermination et le stockage de la couleur des pixels de la zone colorée représentant un objet lumineux détecté ladite image. 5. Procédé selon la revendication précédente, dans lequel la détermination de la 20 couleur des pixels de la zone colorée représentant un objet lumineux détecté comprend un lissage de la couleur dans le temps. 6. Procédé selon la revendication précédente, dans lequel le lissage de la couleur est réalisé à partir d'un nombre prédéterminé d'images précédant ladite image dans le flux vidéo d'images. 25 7. Procédé selon la revendication précédente, dans lequel le lissage de l'image est réalisé à partir d'au moins les dix images précédentes. 8. Procédé selon l'une des revendications précédentes, dans lequel la liste prédéterminée de critères de filtrage comprend au moins l'un des critères suivants : - un critère portant sur la détermination d'une séquence de couleur relative à un 30 état vert ou rouge de l'objet lumineux, - un critère portant sur la durée d'un état jaune ou jaune-rouge de l'objet lumineux, le filtrage sur ledit critère consistant à vérifier si un état jaune ou jaune-rouge de 3062944 10 l'objet lumineux est actif pendant une durée supérieure à un premier seuil prédéterminé, - un critère portant sur la persistance de la couleur rouge sur une distance de roulage du véhicule (1) supérieure à une distance prédéterminée, 5 - un critère portant sur la transition entre la couleur verte et la couleur rouge de l'objet lumineux, le filtrage sur ledit critère consistant à vérifier que la couleur verte apparait pendant une séquence d'un nombre d'images supérieur à un premier seuil prédéterminé puis que la couleur rouge apparait pendant une séquence d'un nombre d'images supérieur à un deuxième seuil prédéterminé, 10 - un critère portant sur l'observation d'un objet lumineux clignotant de rouge à rouge-jaune, - un critère portant sur la durée d'un état vert de l'objet lumineux, le filtrage consistant à vérifier si un état vert de l'objet lumineux est actif pendant une durée inférieure à un deuxième seuil prédéterminé, 15 - un critère portant sur la répétition de séquences de couleur correspondant à la couleur verte alternant avec d'autres états. 9. Véhicule automobile comprenant une caméra (10), configurée pour capturer un flux vidéo d'images représentant l'environnement du véhicule (1), et un calculateur (20) configuré pour exploiter ledit flux vidéo d'images afin de détecter un feu de signalisation (3), ledit feu de signalisation (3) étant configuré pour basculer entre plusieurs états, chaque état étant caractérisé par au moins une zone colorée représentative d'une signalisation, ledit véhicule (1) étant caractérisé en ce que le calculateur (20) est configuré pour filtrer les images, selon une liste prédéterminée de critères de filtrage relatifs aux états du feu de signalisation (3), à partir d'un historique prédéterminé de la couleur des pixels de la zone colorée représentant un objet lumineux détecté dans le flux vidéo d'images afin de détecter les faux-positifs. 10. Véhicule selon la revendication précédente, dans lequel le calculateur est configuré pour déterminer et stocker, pour chaque image successive du flux vidéo d'images, la couleur des pixels de la zone colorée représentant un objet lumineux détecté 30 ladite image.