Brevet FR3054672A1 — publié le 20180202

PROCEDE ET SYSTEME D'ASSOCIATION DE DON N EES DE DETECTI ON ET DE SUI VI D'OBJETS MOBI LE POUR VEHI CULE AUTOMOBI LE La présente invention concerne de manière générale le domaine des 5 véhicules automobiles, et plus précisément un procédé et un système d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion. Il est connu d'équiper certains véhicules automobiles avec des systèmes d'aide à la conduite utilisant différents capteurs pour détecter 10 différents objets situés dans l'environnement du véhicule en vue de permettre aux conducteurs et/ou aux systèmes d'aide à la conduite d'adapter la conduite à la situation. Les objets à détecter peuvent être, selon les applications recherchées, des obstacles sur la route, tels que des piétons ou d'autres véhicules, ou toute 15 information relative à la route empruntée, telle que les lignes de marquage routier, la reconnaissance des panneaux de signalisation ou des feux tricolores. On s'intéresse dans la suite plus particulièrement à la détection d'objets mobiles (piétons ou véhicule de tout type). Tout système de détection utilisé pour l'assistance à la conduite 20 comporte classiquement au moins un capteur apte à détecter des objets dans l'environnement du véhicule, typiquement à l'avant, à l'arrière ou sur un côté du véhicule dans une zone d'observation donnée, ainsi qu'un module de traitement associé à ce capteur. Le module de traitement est apte à délivrer au moins une information relative à chaque objet détecté, typiquement la 25 position (coordonnées cartésiennes ou distance associée à un angle) de cet objet par rapport au véhicule. Certains modules de traitement permettent en outre, à partir de traitements d'images capturées par une caméra, une classification de l'objet détecté, par exemple pour identifier la présence d'un piéton, ou de véhicules susceptibles de présenter un danger. Dans la suite, on 30 appelle « détecteur d'objets » l'ensemble formé par un capteur d'une technologie donnée et de son module de traitement associé. Différentes technologies de capteurs (caméra, radar, lidar, capteur laser, capteur à ultrasons) peuvent être utilisées en fonction des besoins. 3054672 2 Les détecteurs d'objets précités présentent néanmoins l'inconvénient d'être peu précis dans certains types de mesures. Ainsi, un système de détection utilisant une caméra ne permet pas des mesures très précises en distance, contrairement au radar. A l'inverse, le radar est moins précis en angle qu'une caméra. Par ailleurs, les capteurs actifs (radar, lidar, laser) sont précis en position mais pas en classification. En particulier pour le lidar et le laser, l'imprécision en classification est due au fait qu'ils essayent de reconstituer un objet à partir de la distribution géométrique des faisceaux réfléchis. Pour garantir une perception fiable de l'environnement du véhicule, il est ainsi connu d'utiliser plusieurs détecteurs d'objets de technologies différentes, et de fusionner les données issues de ces différents détecteurs. Cette fusion multi-capteurs dite de « haut niveau », décrite par exemple dans l'article intitulé « A multi-sensor fusion system for moving 15 object detection and tracking in urban driving environments » (Cho et al., 2014 IEEE International Conference on robotics & automation (ICRA) Hong Kong Convention and exhibition Center - May 31-June 7, 2014), comprend essentiellement les trois étapes suivantes: - une étape d'association consistant à déterminer si deux objets 20 détectés par deux détecteurs différents correspondent ou non à un même objet ; - une étape de fusion/reconstruction de l'objet en combinant les objets associés à l'étape précédente. - une étape de suivi (ou tracking) des différents objets. 25 Pour illustrer la problématique de la fusion dite de haut niveau, la figure 1 représente une configuration de situation routière avec un véhicule automobile léquipé de plusieurs détecteurs d'objets de technologie différente, ici d'un premier détecteur R, par exemple utilisant un capteur radar placé à l'avant du véhicule automobile 1, et d'un second détecteur L, utilisant par 30 exemple un capteur lidar placé sur le pare-brise du véhicule automobile 1. La figure 1 représente schématiquement les objets mobiles détectés respectivement par les détecteurs L et R. Les objets détectés, tels qu'issus des différents détecteurs, se présentent sous la forme de boites englobantes, ici 3054672 3 des rectangles. Les boîtes en traits pleins correspondent aux objets détectés par le détecteur R alors que les boîtes en traits pointillés correspondent aux objets détectés par le détecteur L. Ainsi, dans l'exemple représenté : - le détecteur d'objets R a détecté la présence de quatre objets 5 mobiles référencés 01 02 03 et O. R' R' R R' - le détecteur d'objets L a détecté la présence de deux objets mobiles 2 référencés 0L et O. ' Les indices R et L utilisés dans les notations identifient le détecteur responsable de la détection d'objets. 10 Chaque boîte englobante correspond à un objet tel qu'il a été détecté par le détecteur considéré, avec notamment des informations estimées concernant sa position relative par rapport au véhicule automobile 1, ses dimensions, sa vitesse relative et éventuellement, selon le type de détecteur utilisé, d'autres attributs comme sa classe (type d'objets). Sur la figure 1, on a également représenté les ellipses d'incertitude autour de la position de chaque objet détecté, ou ellipses de covariance, la position étant modélisée par une distribution Gaussienne 2D dont les paramètres (écarts-types) sont données par les fournisseurs des capteurs. Ainsi, à titre d'exemple, l'ellipse E3R correspond à l'incertitude en position de l'objet 03R détecté par le détecteur R. Le but de l'étape précitée d'association est de déterminer quels sont, parmi les objets issus de la liste d'objets { 01R, 02R, 03R , 04R} délivrée par le détecteur R et les objets issus de la liste d'objets { 01L, 02L} délivrée par le détecteur L, les objets qui correspondent en fait à un seul et même obstacle mobile. En d'autres termes, l'étape d'association consiste à coupler ou apparier les objets provenant des deux listes, selon des critères de ressemblance, de sorte que les données des objets ainsi appariés pourront être fusionnées pour reconstruire un objet plus proche de la réalité. 3054672 4 Les algorithmes actuels se basent sur la position des boîtes englobantes et sur les zones de recouvrement des ellipses d'incertitudes pour décider si deux boîtes peuvent être ou non associées. Typiquement, les positions des objets sont modélisées par une distribution gaussienne à deux 5 dimensions, centrée sur un point particulier, par exemple le centre des boîtes englobantes ou, comme représenté sur la figure 1, le milieu du segment de la boîte le plus proche du véhicule 1. Deux objets détectés par deux détecteurs différents sont ensuite appariés si les ellipses d'incertitudes associées se recouvrent le plus. Chaque objet apparié est enlevé de la liste d'objet, et 10 l'algorithme est reconduit de façon itérative sur les listes d'objets restants. L'inconvénient de ce type d'algorithme est qu'il ne permet pas de résoudre les conflits lorsqu'un objet d'une liste peut être apparié à deux objets de l'autre liste. Par exemple, dans le cas de la figure 1, on pourrait considérer que l'objet 03R pourrait être apparié soit à l'objet 01L, soit à l'objet 02L, 15 compte tenu des distances similaires séparant ces objets, et des 1 3 3 2 recouvrements similaires des ellipses ELet ER d'une part, et ER et EL d'autre part. La présente invention a pour but de pallier les inconvénients des algorithmes de fusion de haut niveau jusqu'ici utilisés. 20 Pour ce faire, l'invention a pour objet un procédé d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion, lesdites données étant issues d'un premier détecteur d'objets et d'un deuxième détecteur d'objets équipant un véhicule automobile, sous forme d'une première liste et d'une deuxième liste d'objets détectés, le procédé étant 25 caractérisé en ce qu'il comprend les étapes suivantes : - construction d'un graphe biparti initial entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant une étape de création de 3054672 5 liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d'affectation d'un poids à chaque liaison créée ; - détermination d'un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe 5 biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble. Selon d'autres particularités possibles : - chaque objet détecté étant associé d'une part, à au moins un 10 attribut représentatif d'une vitesse relative entre le véhicule automobile et l'objet détecté, et d'autre part à une ellipse d'incertitude de détection, une liaison est créée dans ledit graphe biparti initial entre un premier sommet correspondant à un premier objet de la première liste et un deuxième sommet correspondant à un deuxième objet de la deuxième liste de préférence en 15 fonction d'une comparaison entre les attributs correspondants représentatifs des vitesses relatives et des ellipses d'incertitudes correspondantes; - ladite liaison peut notamment être créée si les ellipses d'incertitudes correspondantes se recouvrent et si une différence entre les attributs correspondant représentatifs des vitesses relatives est inférieure à une valeur 20 seuil prédéterminée ; - ladite valeur seuil est avantageusement prédéterminée en fonction de la vitesse relative associée au premier objet; - l'étape de création d'une liaison entre ledit premier sommet et ledit deuxième objet peut prendre en compte également au moins un autre attribut 25 des objets détectés correspondants, tel qu'une classification des objets ou un sens de déplacement ; - pour chaque liaison créée dans le graphe biparti initial entre un premier sommet et un deuxième sommet, le poids associé correspond de préférence à une différence entre les vitesses relatives associées au premier 30 objet et au deuxième objet. L'invention a également pour objet un système d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion, lesdites données étant issues d'un premier détecteur d'objets et d'un 3054672 6 deuxième détecteur d'objets équipant un véhicule automobile, sous forme d'une première liste et d'une deuxième liste d'objets détectés, le système étant caractérisé en ce qu'il comporte des moyens aptes à : - construire un graphe biparti initial entre un premier ensemble et un 5 deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant la création de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et 10 d'affectation d'un poids à chaque liaison créée ; - déterminer un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement 15 premier ensemble. Les deux détecteurs peuvent être de technologies différentes, chacun desdits détecteurs utilise un capteur choisi dans le groupe comprenant un capteur de vision, un radar, un lidar. 20 L'invention et les différents avantages qu'elle procure seront mieux compris au vu de la description suivante, faite en référence aux figures annexées, dans lesquelles : - la figure 1 déjà décrite ci-avant, représente schématiquement une situation routière et les résultats de détection d'obstacles obtenus avec un 25 véhicule automobile équipé de deux détecteurs de technologies différentes ; - la figure 2, illustre des étapes susceptibles d'être réalisées dans un procédé d'association de données conforme à l'invention; - les figures 3a et 3b illustrent schématiquement un graphe biparti initial et un graphe simple final obtenu selon les principes de l'invention pour 30 la situation routière de la figure 1; - la figure 4 illustre, sous forme de synoptique simplifié, un exemple de système d'association de données conforme à l'invention. 3054672 7 Le principe sur lequel est fondée l'invention est celui de la modélisation du problème de l'association des objets provenant d'au moins deux détecteurs par la théorie des graphes. La figure 2 illustre schématiquement des étapes possibles pour une 5 telle modélisation : Chaque détecteur R ou L fournit, lors d'une étape préalable 100, sa propre liste d'objets détectés qui correspond à un ensemble fini d'objets. Plus précisément, le détecteur L délivre une liste de n objets, que l'on peut représenter mathématiquement par l'ensemble { OiL} pour lequel i est un 10 entier variant de 1 à n. De manière similaire, le détecteur R délivre une liste de m objets, que l'on peut représenter mathématiquement par l'ensemble OR} pour lequel j est un entier variant de 1 à m. Les deux listes ne comprennent pas forcément le même nombre d'objets, et l'on supposera dans la suite que l'entier n est inférieur ou égal à l'entier m. 15 Chaque objet détecté est associé d'une part, à au moins un attribut représentatif d'une vitesse relative entre le véhicule automobile et l'objet détecté, et d'autre part à une ellipse d'incertitude de détection. Ainsi, le détecteur L fournit également un ensemble de n ellipses d'incertitude que l'on peut représenter mathématiquement par { EL} , et un 20 ensemble de n vitesses relatives dont la représentation mathématique est .{ V } De façon similaire, on note { OR} l'ensemble des m ellipses 01L. d'incertitude associé aux objets détectés par le détecteur R, et { V } 0) l'ensemble des m vitesses relatives correspondant à ces mêmes objets. Pour illustrer ce principe dans le cadre de la configuration routière de 25 la figure 1, le détecteur L délivre l'ensemble de deux objets { OL1,2T} et le 1 2 3 4 détecteur R délivre l'ensemble de quatre objets { OR, OR, OR , OR} . Une première étape 110 du procédé d'association selon l'invention consiste à construire un graphe biparti initial entre les deux ensembles 3054672 8 d'objets détectés dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets détectés par le détecteur L, et les sommets du deuxième ensemble du graphe biparti correspondent aux objets détectés par le détecteur R. La construction de ce graphe initial nécessite également la 5 création de liaisons entre les sommets du premier ensemble et ceux du second ensemble, ainsi que l'affection d'un poids ou coût à chaque liaison créée. L'étape 111 de création de liaisons consiste à rechercher, pour chaque objet ou sommet du premier ensemble, les candidats possibles, en termes de ressemblance, dans les sommets du deuxième ensemble. 10 Dans une implémentation préférée de l'invention, un objet du deuxième ensemble est candidat pour être apparié à un objet du premier ensemble si et seulement si : - il y a intersection de son ellipse d'incertitude avec l'ellipse d'incertitude de l'objet du premier ensemble ; et 15 - les vitesses relatives associées aux objets sont proches. Ceci peut se traduire mathématiquement par les expressions suivantes : V j e [1, ki] : EL n EiR 0 et 20 V-V REVENDICATIONS1. Procédé d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion, lesdites données étant issues d'un premier détecteur (R) d'objets et d'un deuxième détecteur (L) d'objets équipant un véhicule automobile (1), sous forme d'une première liste et d'une deuxième liste d'objets détectés, le procédé étant caractérisé en ce qu'il comprend les étapes suivantes : - construction (110) d'un graphe biparti initial (4) entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant une étape (111) de création de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d'affectation (112) d'un poids à chaque liaison créée ; - détermination (120) d'un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial (4) pour obtenir un graphe biparti final simple (5) dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble. 2. Procédé selon la revendication 1, caractérisé en ce que chaque objet détecté étant associé d'une part, à au moins un attribut représentatif d'une vitesse relative entre le véhicule automobile (1) et l'objet détecté, et d'autre part à une ellipse d'incertitude de détection, une liaison est créée (111) dans ledit graphe biparti initial entre un premier sommet correspondant à un premier objet de la première liste et un deuxième sommet correspondant à un deuxième objet de la deuxième liste en fonction d'une comparaison entre les attributs correspondants représentatifs des vitesses relatives et des ellipses d'incertitudes correspondantes. 3054672 13 3. Procédé selon la revendication 2, caractérisé en ce que ladite liaison est créée si les ellipses d'incertitudes correspondantes se recouvrent et si une différence entre les attributs correspondant représentatifs des vitesses relatives est inférieure à une valeur seuil prédéterminée. 5 4. Procédé selon la revendication 3, caractérisé en ce que ladite valeur seuil est prédéterminée en fonction de la vitesse relative associée au premier objet. 5. Procédé selon l'une quelconque des revendications 2 à 4, caractérisé en ce que l'étape (111) de création d'une liaison entre ledit premier 10 sommet et ledit deuxième objet prend en compte également au moins un autre attribut des objets détectés correspondants, tel qu'une classification des objets ou un sens de déplacement. 6. Procédé selon l'une quelconque des revendications 2 à 5, caractérisé en ce que, pour chaque liaison créée dans le graphe biparti initial entre un 15 premier sommet et un deuxième sommet, le poids associé correspond à une différence entre les vitesses relatives associées au premier objet et au deuxième objet. 7. Système (6) d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion, lesdites données étant issues d'un 20 premier détecteur (R) d'objets et d'un deuxième détecteur (L) d'objets équipant un véhicule automobile (1), sous forme d'une première liste et d'une deuxième liste d'objets détectés, le système étant caractérisé en ce qu'il comporte des moyens (7, 70, 71) aptes à : - construire un graphe biparti initial (4) entre un premier ensemble et 25 un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant la création de liaisons entre sommets du premier ensemble et sommets du 30 deuxième ensemble et d'affectation d'un poids à chaque liaison créée ; 3054672 14 - déterminer un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple (5) dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, 5 respectivement premier ensemble. 8. Système selon la revendication 7, caractérisé en ce que lesdits au moins deux détecteurs sont de technologies différentes. 9. Système selon l'une quelconque des revendications 7 ou 8, caractérisé en ce que chacun desdits détecteurs utilise un capteur choisi dans le 10 groupe comprenant un capteur de vision, un radar, un lidar.