Brevet FR3054673A1 — publié le 20180202

FUSI ON DE DONNEES DE DETECTI ON ET DE SUI VI D'OBJETS POUR VEHI CULE AUTOMOBI LE La présente invention concerne de manière générale le domaine des 5 véhicules automobiles, et plus précisément un procédé et un système de fusion de données de détection et de suivi d'objets, embarqué sur un véhicule autom obile. Il est connu d'équiper certains véhicules automobiles avec des systèmes d'aide à la conduite utilisant différents capteurs pour détecter 10 différents objets situés dans l'environnement du véhicule en vue de permettre aux conducteurs et/ou aux systèmes d'aide à la conduite d'adapter la conduite à la situation. Les objets à détecter peuvent être, selon les applications recherchées, des obstacles sur la route, tels que des piétons ou d'autres véhicules, ou toute 15 information relative à la route empruntée, telle que les lignes de marquage routier, la reconnaissance des panneaux de signalisation ou des feux tricolores. On s'intéresse dans la suite plus particulièrement à la détection d'objets mobiles (piétons ou véhicule de tout type). Tout système de détection utilisé pour l'assistance à la conduite 20 comporte classiquement au moins un capteur apte à détecter des objets dans l'environnement du véhicule, typiquement à l'avant, à l'arrière ou sur un côté du véhicule dans une zone d'observation donnée, ainsi qu'un module de traitement associé à ce capteur. Le module de traitement est apte à délivrer au moins une information relative à chaque objet détecté, typiquement la 25 position (coordonnées cartésiennes ou distance associée à un angle) de cet objet par rapport au véhicule. Certains modules de traitement permettent en outre, à partir de traitements d'images capturées par une caméra, une classification de l'objet détecté, par exemple pour identifier la présence d'un piéton, ou de véhicules susceptibles de présenter un danger. Dans la suite, on 30 appelle « détecteur d'objets » l'ensemble formé par un capteur d'une technologie donnée et de son module de traitement associé. Différentes technologies de capteurs (caméra, radar, lidar, capteur laser, capteur à ultrasons) peuvent être utilisées en fonction des besoins. 3054673 2 Les détecteurs d'objets précités présentent néanmoins l'inconvénient d'être peu précis dans certains types de mesures. Ainsi, un système de détection utilisant une caméra ne permet pas des mesures très précises en distance, contrairement au radar. A l'inverse, le radar est moins précis en angle qu'une caméra. Par ailleurs, les capteurs actifs (radar, lidar, laser) sont précis en position mais pas en classification. En particulier pour le lidar et le laser, l'imprécision en classification est due au fait qu'ils essayent de reconstituer un objet à partir de la distribution géométrique des faisceaux réfléchis. Pour garantir une perception fiable de l'environnement du véhicule, il est ainsi connu d'utiliser plusieurs détecteurs d'objets de technologie différentes, et de fusionner les données issues de ces différents détecteurs. Cette fusion multi-capteurs dite de « haut niveau », décrite par exemple dans l'article intitulé « A multi-sensor fusion system for moving 15 object detection and tracking in urban driving environments » (Cho et al., 2014 IEEE International Conference on robotics & automation (ICRA) Hong Kong Convention and exhibition Center - May 31-June 7, 2014), comprend essentiellement les trois étapes classiques suivantes: - une étape d'association consistant à déterminer si deux objets 20 détectés par deux détecteurs différents correspondent ou non à un même objet ; - une étape de fusion/reconstruction de l'objet en combinant les objets associés à l'étape précédente. - une étape de suivi (ou tracking) des différents objets. 25 Pour illustrer la problématique de la fusion dite de haut niveau, la figure 1 représente une situation routière réelle avec un véhicule automobile 1 équipé de plusieurs détecteurs d'objets de technologie différente, ici d'un premier détecteur S1, par exemple utilisant une caméra placée à l'avant du véhicule automobile 1, et d'un second détecteur S2, utilisant par exemple un 30 capteur lidar placé sur le rétroviseur droit du véhicule automobile 1. Un obstacle 2, typiquement un autre véhicule automobile est présent sur l'avant droite du véhicule automobile 1. La figure lb représente schématiquement, 3054673 3 pour cette situation routière réelle, les objets Oc et Os détectés 1 2 respectivement par les détecteurs S1 et S2. Comme on le voit sur la figure lb, les objets détectés, tels qu'issus des différents détecteurs, se présentent sous la forme de boites englobantes, ici des rectangles. Chaque boîte englobante 5 correspond à un objet tel qu'il a été détecté par le détecteur considéré, avec notamment des informations estimées concernant sa position relative par rapport au véhicule automobile 1, ses dimensions, et éventuellement, selon le type de détecteur utilisé, d'autres attributs comme sa classe (type d'objet), sa vitesse et son accélération relatives. 10 Le but de l'étape précitée d'association est de déterminer que les objets Oc et Os correspondent en fait à un seul et même objet (le véhicule 1 2 tiers 2), de sorte que les données de ces deux objets pourront être fusionnées pour reconstruire un objet plus proche de la réalité. Les algorithmes actuels se basent tous sur la position des centres des boîtes englobantes pour décider si deux boîtes peuvent être ou non associées. Typiquement, les objets issus de deux détecteurs seront associés à un seul et même objet si les distances séparant les centres des boîtes englobantes représentatives de ces objets sont inférieures à un certain seuil prédéterminé. En d'autres termes, pour les algorithmes actuels, le centre de la boîte englobante constitue le point de référence de l'objet et cette représentation de la position de l'objet est adoptée tout au long des étapes de la fusion (association, estimation d'état et suivi). Or, les centres des boîtes englobantes sont généralement estimés en déterminant le milieu du segment formé par les milieux de deux côtés opposés 25 de chaque boîte englobante. Néanmoins, comme cela a été indiqué précédemment, selon les types de capteurs utilisés, les boîtes englobantes obtenues peuvent souffrir d'imprécisions au niveau de leur taille, de sorte que la détermination de leur centre reste assez imprécise. 30 La présente invention a pour but de pallier les inconvénients des algorithmes de fusion de haut niveau jusqu'ici utilisés. 3054673 4 Pour ce faire, l'invention a pour objet un procédé de fusion de données issues d'au moins deux détecteurs d'objets équipant un véhicule automobile, chaque détecteur étant apte à délivrer une boîte englobante représentative d'un objet détecté par ledit détecteur dans l'environnement immédiat dudit 5 véhicule automobile, ledit procédé comportant une étape d'association des boîtes englobantes délivrées par chacun desdits au moins deux détecteurs d'objets représentatives d'un même objet détecté en fonction de leur position relative, et une étape de fusion des boîtes englobantes associées en une seule boîte englobante résultante, caractérisé en ce que l'étape d'association 10 comporte, pour chaque boîte englobante, une étape de détermination de côtés de la boîte englobante qui sont directement visibles par le détecteur d'objets ayant délivré ladite boîte englobante. Selon d'autres particularités possibles : - chaque boîte englobante étant définie par une représentation en 15 deux dimensions sous la forme d'un quadrilatère à angles droits, à quatre sommets et quatre segments reliant les sommets, l'étape de détermination de côtés de la boîte englobante qui sont visibles comporte une étape d'identification des sommets du quadrilatère qui sont directement visibles par le détecteur d'objets ayant délivré ladite boîte englobante ; 20 - l'étape de détermination comporte en outre une étape de détermination des segments directement visibles du quadrilatère, dont les extrémités sont des sommets identifiés comme directement visibles ; - l'étape d'association est alors basée de préférence sur une estimation d'une distance séparant des milieux de segments directement visibles pour au 25 moins deux boîtes englobantes susceptibles d'être représentatives d'un même objet détecté. L'invention a également pour objet un système de fusion de données issues d'au moins deux détecteurs d'objets équipant un véhicule automobile, chaque détecteur étant apte à délivrer une boîte englobante représentative 30 d'un objet détecté par ledit détecteur dans l'environnement immédiat dudit 3054673 5 véhicule automobile, ledit système comportant des moyens d'association des boîtes englobantes délivrées par chacun desdits au moins deux détecteurs d'objets représentatives d'un même objet détecté en fonction de leur position relative, et des moyens de fusion des boîtes englobantes associées en une 5 seule boîte englobante résultante, caractérisé en ce que les moyens d'association comportent des moyens de détermination, pour chaque boîte englobante, de côtés de la boîte englobante qui sont directement visibles par le détecteur d'objets ayant délivré ladite boîte englobante. Lesdits au moins deux détecteurs peuvent être de technologies 10 différentes, chacun desdits détecteurs utilise un capteur choisi dans le groupe comprenant un capteur de vision, un radar, un lidar. L'invention et les différents avantages qu'elle procure seront mieux compris au vu de la description suivante, faite en référence aux figures 15 annexées, dans lesquelles : - les figures la et lb déjà décrites ci-avant, représentent schématiquement respectivement une situation routière réelle et les résultats de détection d'obstacle obtenus avec un véhicule automobile équipé de deux détecteurs de technologies différentes. 20 - la figure 2, illustre schématiquement le principe de l'invention pour la situation routière de la figure la; - la figure 3 donne une représentation géométrique pour illustrer la détermination d'un côté visible d'un objet détecté par un détecteur d'objet, conformément à l'invention ; - la figure 4 illustre, sous forme de synoptique simplifié, un exemple de système de fusion de données conforme à l'invention. La présente invention est fondée sur le fait que, quelle que soit la nature du détecteur utilisé, la mesure la plus précise liée à ce détecteur 30 correspond toujours à la partie d'un objet qui a été vue par le détecteur. 3054673 6 Ainsi : - pour les détecteurs dont le capteur associé est placé à l'avant du véhicule automobile 1, les parties visibles d'un obstacle potentiel sont généralement la partie arrière de l'obstacle (s'il s'agit d'un obstacle que l'on 5 suit), voire une partie latérale ; - pour les détecteurs dont le capteur associé est placé sur un côté du véhicule automobile, les parties visibles d'un obstacle potentiel sont généralement la partie latérale de l'obstacle, voire éventuellement la partie arrière ou la partie avant de l'obstacle (selon la position relative de l'obstacle 10 par rapport au véhicule 1). A titre d'exemple illustratif, la figure 2 montre, pour la situation routière réelle donnée en figure la, que le seul côté de l'objet 0 détecté par le détecteur S1 qui est visible par ce détecteur S1 est le côté latéral gauche 15 Ci, et que le seul côté de l'objet et Os détecté par le détecteur S2 qui est 2 visible par ce détecteur S2 est le côté latéral gauche 02. Ainsi, au lieu de déterminer le centre des boîtes englobantes issues de chaque détecteur, l'invention consiste à déterminer les côtés des boîtes qui sont visibles par les détecteurs qui les ont générées. 20 La figure 3 montre que cette détermination relève d'un simple calcul géom étrique. Sur cette figure, le véhicule automobile 1 est équipé, à des fins de simplification pour la démonstration, d'un unique détecteur d'objet représenté 25 ici par le point S situé par exemple sur le rétroviseur droit du véhicule automobile. Deux quadrilatères ABCD d'une part, et EFGH d'autre part, représentent les limites de deux boîtes englobantes correspondant à deux objets distincts qui ont été détectés par le détecteur d'objet S. Comme on peut le déduire instinctivement sur la figure 3 : - seul le segment AD correspond à un côté visible de l'objet considéré pour le détecteur S ; 3054673 7 - les segments EF et EH correspondent tous deux à des côtés visibles pour le détecteur S. Pour déterminer par le calcul les segments visibles, il suffit de tracer les droites qui relient chaque sommet de l'objet détecté au détecteur qui l'a 5 détecté. Un sommet est visible si et seulement si la droite ne rencontre aucun point appartenant au quadrilatère entre le détecteur et le sommet. Un segment de l'objet est visible si les deux sommets qui le délimitent sont visibles. Pour le quadrilatère ABCD de la figure 3, on a : 10 jAs[ n OAB[ u ]Bc[u ]cc[u IAD') = 0 ]Bs[ n 0AB[ u ]Bc[ u ]Cp[u ]ADD = {m} 0 ]cs[n OAB[ u ]13c[ u ]cciu IAD') = {N} = 0 ps[ n aAB[ u ]Bc[ u ]cD[ u ]AD') = 0 A et D sont des sommets visibles. B et C sont des sommets cachés. Donc [AD] est le côté visible par le détecteur de l'objet ABCD. Un raisonnement similaire sur le quadrilatère EFGH permet de 15 déterminer que les sommets E, F et H sont des sommets visibles, et que par conséquent, les côtés visibles sont les segments [EF]et [EH]. Une fois que l'on a déterminé les différents segments visibles, l'étape d'association s'effectue en comparant les positions relatives de ces segments. 20 Pour simplifier au maximum les calculs, on peut se limiter avantageusement à déterminer les milieux des segments visibles, de façon à fonder une décision d'association de deux boites englobantes sur une estimation de la distance séparant deux milieux de segments visibles pour ces deux boîtes. Les milieux des segments visibles serviront ensuite à l'estimation du milieu du segment 25 visible de l'objet fusionné et sa boîte englobante déduite à partir de ce point. Le procédé tel qu'il vient d'être décrit est particulièrement avantageux dans le cadre de la fusion multi-capteurs utilisant des capteurs de technologies différentes. Néanmoins, il peut également être appliqué dans les cas où les capteurs sont de même nature. 3054673 8 La figure 4 résume sous forme de synoptique simplifiée différentes composantes possibles d'un système 3 de fusion multi capteurs équipant un véhicule automobile, selon l'invention. Le système 3 reçoit dans l'exemple pris les objets détectés d'une part par un premier détecteur d'objets Si (objets 5 Oie ), et d'autre part par un second détecteur d'objets S2 (objets Ois ). Les 2 détecteurs peuvent être, comme représenté sur la figure 4, des composantes externes au système 3, utilisées par exemple pour d'autres fonctionnalités d'assistance à la conduite. En variante, les détecteurs d'objets font partie intégrante du système de fusion. 10 Les références 4, 5 et 6 sur la figure 4 illustrent les modules de traitement de données associés à chaque étape d'un processus classique de fusion de données à haut niveau. Ainsi, le système 3 comporte des moyens 4 chargés de l'association des boîtes englobantes délivrées par les différents détecteurs, des moyens 5 chargés de la fusion des boîtes englobantes qui ont 15 été associées (ou estimation d'état), et des moyens 6 aptes à assurer le suivi des boîtes englobantes. Conformément aux principes de l'invention, l'association de deux boîtes englobantes issues de chacun des deux détecteurs repose sur la détermination préalable, par des moyens référencés 40, des côtés de chaque 20 boîte englobante qui sont directement visibles par le détecteur d'objets ayant délivré ladite boîte englobante. Une fois que les côtés visibles des boîtes englobantes ont été déterminés, un module 41 effectue ou non les associations, de préférence en estimant les distances séparant deux milieux de côtés visibles de deux boîtes 25 englobantes issues de chaque détecteur. REVENDICATIONS1. Procédé de fusion de données issues d'au moins deux détecteurs (S1, S2; S) d'objets équipant un véhicule automobile (1), chaque détecteur étant apte à délivrer une boîte englobante (Oc , Os ) représentative 1 2 d'un objet détecté par ledit détecteur (Si, S2) dans l'environnement immédiat dudit véhicule automobile (1), ledit procédé comportant une étape d'association des boîtes englobantes (Oc , Os ) délivrées par 1 2 chacun desdits au moins deux détecteurs (Si, S2; S) d'objets représentatives d'un même objet détecté en fonction de leur position relative, et une étape de fusion des boîtes englobantes (Oc , Os ) 1 2 associées en une seule boîte englobante résultante, caractérisé en ce que l'étape d'association comporte, pour chaque boîte englobante, une étape de détermination de côtés (Ci, C2) de la boîte englobante qui sont directement visibles par le détecteur (Si, S2; S) d'objets ayant délivré ladite boîte englobante. 2. Procédé selon la revendication 1, caractérisé en ce que, chaque boîte englobante étant définie par une représentation en deux dimensions sous la forme d'un quadrilatère à angles droits, à quatre sommets et quatre segments reliant les sommets, l'étape de détermination de côtés (Ci, C2) de la boîte englobante qui sont visibles comporte une étape d'identification des sommets du quadrilatère qui sont directement visibles par le détecteur (Si, S2 ; S) d'objets ayant délivré ladite boîte englobante. 3. Procédé selon la revendication 2, caractérisé en ce que l'étape de détermination comporte en outre une étape de détermination des segments directement visibles du quadrilatère, dont les extrémités sont des sommets identifiés comme directement visibles. 3054673 10 4. Procédé selon la revendication 3, caractérisé en ce que l'étape d'association est basée sur une estimation d'une distance séparant des milieux de segments directement visibles pour au moins deux boîtes englobantes (Oc , $(1) ) susceptibles d'être représentatives d'un 1 2 5 même objet détecté. 5. Système (3) de fusion de données issues d'au moins deux détecteurs (Si, S2; S) d'objets équipant un véhicule automobile (1), chaque détecteur étant apte à délivrer une boîte englobante (Oc , Os ) 1 2 représentative d'un objet détecté par ledit détecteur (Si, S2) dans 10 l'environnement immédiat dudit véhicule automobile (1), ledit système comportant des moyens (4) d'association des boîtes englobantes (Oc , OS ) délivrées par chacun desdits au moins deux détecteurs (Si, S2; 2 S) d'objets représentatives d'un même objet détecté en fonction de leur position relative, et des moyens (5) de fusion des boîtes 15 englobantes (Oc , $(1) ) associées en une seule boîte englobante 1 2 résultante, caractérisé en ce que les moyens (4) d'association comportent des moyens (40) de détermination, pour chaque boîte englobante, de côtés (Ci, C2) de la boîte englobante qui sont directement visibles par le détecteur (Si, S2; S) d'objets ayant délivré 20 ladite boîte englobante. 6. Système selon la revendication 5, caractérisé en ce que lesdits au moins deux détecteurs sont de technologies différentes. 7. Système selon l'une quelconque des revendications 5 ou 6, caractérisé en ce que chacun desdits détecteurs utilise un capteur choisi dans le 25 groupe comprenant un capteur de vision, un radar, un lidar.