Brevet FR3051274A1 — publié le 20171117

SYSTEME D'ASSI STANCE A LA CONDUITE AVEC DETERMI NATI ON DE LI GN ES DE MARQUAGE ROUTI ER A L'AVANT D'UN VEHI CULE AUTOMOBI LE La présente invention concerne de manière générale les véhicules automobiles équipés de systèmes automatiques et/ou semi-automatiques d'assistance à la conduite, et plus précisément les systèmes nécessitant la détection des lignes de marquage routier présentes à l'avant d'un véhicule automobile lorsque celui-ci se déplace. De nombreux systèmes d'aide à la conduite sont aujourd'hui proposés dans le but d'améliorer les conditions de sécurité de circulation. Parmi les fonctionnalités possibles, on connait notamment des systèmes d'avertissement de sortie de voie ou de franchissement involontaire de lignes (« Lane Departure Warning » en terminologie anglo-saxonne) permettant d'alerter le conducteur dès lors que le véhicule automobile est sur le point de dévier de sa trajectoire, typiquement de la voie de roulage sur laquelle il se trouve. D'autres systèmes, connus sous la terminologie anglo-saxonne de « Lane Keeping Assistance Systems » vont même plus loin en permettant au véhicule de maintenir automatiquement sa trajectoire à l'intérieur de sa voie de roulage. Tous ces systèmes reposent sur l'utilisation d'une caméra placée à l'avant du véhicule, par exemple au niveau du pare-brise ou du pare-chocs avant, voire de deux caméras situées sur les côtés avant du véhicule, par exemple au niveau des rétroviseurs. Un traitement en temps réel des images capturées par la ou les caméras permet d'extraire, par différents algorithmes de reconnaissance, les lignes de marquage au sol à l'avant du véhicule, et d'estimer par suite la distance du véhicule à ces lignes de marquage. En fonction des paramètres d'odométrie du véhicule (vitesse, accélération...), il est possible d'anticiper une déviation de trajectoire voire un franchissement de lignes, et d'agir en conséquence (alerte et/ou correction automatique de trajectoire). Or, l'obligation d'utiliser une ou plusieurs caméras frontales dédiées uniquement à la détection des lignes de marquage, souvent en sus d'autres capteurs déjà présents sur le véhicule et assignés à d'autres fonctionnalités 3051274 2 d'assistance, tels que des radars ou des lidars, est un frein au développement de tels systèmes en termes de coût. Par ailleurs, la plupart des véhicules automobiles sont à présent équipés d'une caméra arrière qui peut être utilisée dans plusieurs 5 fonctionnalités de sécurité comme l'assistance au parking, la détection de piétons ou d'obstacles lors d'une manoeuvre en marche arrière, etc... Le document US 8, 385, 600 décrit un système dans lequel une caméra placée à l'arrière d'un véhicule capture des images et les transmet en temps réel à un système de détection du type de route (figure 2 du document 10 US 8, 385, 600) apte à déterminer notamment le type de lignes de marquage au sol et le franchissement d'une ligne de marquage. Le système de détection du type de route transmet ses données à un autre système apte à estimer notamment la voie de roulage empruntée par le véhicule (figure 3 du document US 8, 385, 600). Un tel système n'est cependant pas utilisable pour 15 les fonctionnalités vues ci-dessus de maintien automatique du véhicule dans la voie de roulage et/ou d'alerte du conducteur en cas de risque de franchissement de ligne involontaire. En effet, de telles fonctionnalités nécessitent de connaitre les lignes de marquage situées à l'avant du véhicule, de manière à pouvoir anticiper sur un possible franchissement involontaire de 20 ligne ou contrôler le maintien de la trajectoire du véhicule dans sa voie de roulage. La présente invention a pour objectif de proposer un procédé et un système de détection de lignes de marquage délimitant une voie de roulage du 25 véhicule sur la base d'images capturées par une caméra arrière qui soient aussi performants, en termes notamment d'anticipation, qu'un procédé et système utilisant une caméra à l'avant du véhicule, de manière à permettre une fonctionnalité de maintien de trajectoire dans une voie de roulage et/ou d'alerte au franchissement involontaire de lignes. 30 Pour ce faire, la présente invention a pour objet un procédé d'assistance à la conduite pour un véhicule automobile se déplaçant sur une voie de roulage, comportant une étape de détermination de lignes de 3051274 3 marquage à l'avant du véhicule automobile délimitant ladite voie de roulage et une étape d'estimation d'une distance séparant le véhicule automobile desdites lignes de marquage à l'avant du véhicule automobile, caractérisé en ce que l'étape de détermination des lignes de marquage à l'avant du véhicule 5 automobile comporte une sous-étape d'extraction de lignes de marquage à l'arrière du véhicule automobile à partir d'images capturées par une caméra située à l'arrière du véhicule automobile, et une sous-étape de modélisation des lignes de marquage à l'avant à partir des lignes de marquage extraites à l'arrière du véhicule automobile. 10 Selon d'autres aspects possibles du procédé : - la sous-étape d'extraction de lignes de marquage à l'arrière du véhicule automobile est de préférence suivie d'une sous-étape de détermination d'un rayon de courbure des lignes de marquage extraites à 15 l'arrière ; - la sous-étape de modélisation des lignes de marquage à l'avant peut alors comporter l'estimation d'une pluralité de rayons de courbure possibles pour les lignes de marquage à l'avant, à partir dudit rayon de courbure déterminé ; 20 - ladite pluralité de rayons de courbure possibles pour les lignes de marquage à l'avant sont en outre de préférence fonction d'un paramètre représentatif du type de route, déduit par exemple des images capturées par la caméra arrière. 25 L'invention a également pour objet un système d'assistance à la conduite pour un véhicule automobile se déplaçant sur une voie de roulage, comportant des moyens de détermination de lignes de marquage à l'avant du véhicule automobile délimitant ladite voie de roulage et des moyens d'estimation d'une distance séparant le véhicule automobile desdites lignes de 30 marquage à l'avant du véhicule automobile, caractérisé en ce que les moyens de détermination des lignes de marquage à l'avant du véhicule automobile comportent un calculateur apte à extraire des lignes de marquage à l'arrière du véhicule automobile à partir d'images capturées par une caméra située à 3051274 4 l'arrière du véhicule automobile, et à modéliser les lignes de marquage à l'avant à partir des lignes de marquage extraites à l'arrière du véhicule automobile. 5 L'invention et les différents avantages qu'elle procure seront mieux compris au vu de la description suivante, faite en référence aux figures annexées, dans lesquelles : - la figure 1 représente, une première situation de roulage d'un véhicule automobile équipé d'un système selon l'invention ; 10 - la figure 2 illustre des étapes susceptibles d'être mises en oeuvre dans un procédé d'assistance à la conduite conforme à l'invention ; - la figure 3 illustre les principes du procédé selon l'invention dans le cadre de la première situation de roulage de la figure 1 ; - la figure 4 illustre une deuxième situation de roulage ; 15 - les figures 5 à 7 illustrent les résultats de différentes étapes d'un mode de réalisation préféré d'un procédé d'assistance à la conduite, particulièrement adapté à la deuxième situation de roulage. Dans la suite de la description, et à moins qu'il n'en soit disposé 20 autrement, les éléments communs à l'ensemble des figures portent les mêmes références. La figure 1 illustre schématiquement un véhicule automobile 1 se déplaçant sur une voie de roulage 2 dans la direction représentée par la flèche F. La voie de roulage est délimitée de part et d'autre du véhicule automobile 1 25 par deux lignes de marquage au sol, ici deux lignes continues 3, 4. Le véhicule automobile 1 est équipé d'une caméra 5 embarquée à l'arrière, par exemple fixée sur le pare-chocs arrière. La caméra 5 est de préférence du même type que celle généralement utilisée pour l'assistance lors d'une manoeuvre de recul, avec un grand angle d'observation, proche de 180 degrés, comme 30 représenté par la partie hachurée sur la figure 1. Dans un mode de réalisation préférée, le système détecte les lignes de marquage à partir des images obtenues par une caméra placée à l'arrière du véhicule. A l'instant T, un modèle de voie est estimé à l'arrière du véhicule, qui 3051274 5 comprend notamment le type du marquage, la distance du véhicule au marquage de chaque côté, et un modèle local d'évolution du marquage (rayon de courbure, modèle polynomiale, etc). Sachant que le modèle de voie ne change pas abruptement dans le temps, le système génère une série 5 d'hypothèses sur le modèle de voie à l'avant du véhicule, à partir du modèle estimé pour l'arrière du véhicule. A l'instant T+3,T, une partie de la voie qui était à l'avant du véhicule commence à être visible dans le champ de vue de la caméra placé à l'arrière du véhicule. Une détection de marquages localisée sur cette zone de l'image permet de comparer les hypothèses générées dans 10 l'étape précédente et de choisir celle qui s'ajuste le mieux. Ceci permet de mieux anticiper les changements de courbure de la voie. Dans les différentes configurations de roulage qui vont être illustrées dans les figures 3 à 7, pour une meilleure compréhension de l'invention, les 15 conventions d'écriture suivantes seront adoptées : - 3f représente la partie de la ligne de marquage 3 située à l'avant du véhicule automobile 1; - 3r représente la partie de la ligne de marquage 3 située à l'arrière du véhicule automobile 1; 20 - 4f représente la partie de la ligne de marquage 4 située à l'avant du véhicule automobile 1; - 4r représente la partie de la ligne de marquage 4 située à l'arrière du véhicule automobile 1; - 3f représente la partie de la ligne de marquage 3 située à l'avant est 25 du véhicule automobile 1, telle que déterminée par le système de l'invention; représente la partie de la ligne de marquage 3 située à l'arrière - 3rest du véhicule automobile 1, telle que déterminée par le système de l'invention; - 4f représente la partie de la ligne de marquage 4 située à l'avant est du véhicule automobile 1, telle que déterminée par le système de l'invention; 3051274 6 représente la partie de la ligne de marquage 4 située à l'arrière - 4rest du véhicule automobile 1, telle que déterminée par le système de l'invention. La figure 2 illustre le traitement effectué par un système d'assistance à 5 la conduite conforme à la présente invention, à partir des images lm capturées par la caméra arrière 5. Le système en lui-même (non représenté) comporte au moins un calculateur embarqué associé à un module logiciel stocké dans une mémoire de stockage. Comme vu précédemment, l'assistance au maintien du véhicule 10 automobile 1 dans sa voie de roulage, ou l'alerte au risque de franchissement ligne repose essentiellement sur la mise en oeuvre d'une étape 100 de détermination de lignes de marquage 3f, 4f présentes à l'avant du véhicule automobile 1, suivie d'une étape 150 d'estimation d'une distance Dest séparant le véhicule automobile 1 desdites lignes de marquage 3f, 4f à l'avant du 15 véhicule automobile 1. Conformément à l'invention, l'étape 100 de détermination des lignes de marquage à l'avant du véhicule automobile (1) comporte : - une première sous-étape 110 lors de laquelle le calculateur va extraire, à partir des images lm fournies par la caméra arrière 5, les lignes de 20 marquage 3 , 4 telles qu'elles se présentent à l'arrière du véhicule Test l'est automobile 1. L'extraction met en oeuvre tout type d'algorithmes de reconnaissance ; - une deuxième sous-étape 140 lors de laquelle le système va modéliser les lignes de marquage 3, , 4, situées à l'avant avant à partir lest lest 25 des lignes de marquage 3 , 4 arrière qui ont été extraites à la sous- rest l'est étape . Les essais conduits par la Demanderesse ont montré que le la modélisation des lignes de marquage avant à partir de l'extraction des lignes de marquage arrière donnait de bons résultats dans les cas où le véhicule 30 automobile 1 se trouve dans une ligne droite. Cette situation de roulage est 3051274 7 illustrée sur la figure 3 qui montre, sur la partie gauche de la figure, la portion de ligne droite pour le roulage, et sur la partie droite les portions de lignes avant et arrière déterminées par le système. Comme représenté sur la figure 3, l'allure de la ligne de marquage arrière 3 telle qu'extraite par le Test 5 traitement d'images issues de la caméra arrière et l'allure de la ligne de marquage avant 3, telle que modélisée par le système sont bien conformes lest aux lignes de marquage réelles avant 3f et arrière 3r. Il en va de même pour ce qui concerne la ligne de marquage 4. Des essais concluants ont également été obtenus lorsque le véhicule 10 automobile 1 est à l'intérieur d'une courbe dont le rayon de courbure est supposée constant. En effet, dans ce cas, les portions de lignes de marquage à l'arrière du véhicule, capturées par la caméra arrière, sont courbes de sorte qu'il est possible de déterminer un rayon de courbure p sur les lignes de marquage 3 , 4 extraites à l'arrière (sous-étape 120 de la figure 2), Test l'est 15 puis de modéliser les portions avant en utilisant ce même rayon de courbure. Il existe néanmoins des situations de roulage, telles que celle représentée sur la figure 4, dans lesquelles les étapes précédemment décrites peuvent s'avérer insuffisantes. Ici, le véhicule automobile 1 s'apprête à prendre un virage sur la droite. Néanmoins, la portion arrière de la route, 20 visible à partir de la caméra arrière 5 ne présente que des portions droites de lignes de marquage arrière 3r, 4r. Le système peut extraire, à partir des images de la caméra, des lignes de marquage arrière 3 , 4 qui sont bien Test l'est conformes à la réalité, comme le montre la partie droite de la figure 4, mais risque de faire une estimation erronée, si la modélisation n'est pas assez 25 élaborée et ne se fonde que sur le rayon de courbure des lignes de marquage arrière, des lignes de marquage avant 3, , 4, . Cette estimation erronée lest lest est visible également sur la partie droite de la figure dans laquelle les lignes de marquage avant 3 , 4f modélisées sont droites, et ne sont par lest lest conséquent pas conformes aux lignes de marquage avant réelles 3f et 4f. Le 3051274 8 système d'assistance risque alors de générer une fausse alerte ou ne pas détecter un franchissement involontaire de ligne. Pour permettre de résoudre ces cas de figures particuliers, un mode de réalisation préféré du système selon l'invention comporte une étape 5 d'estimation 130 d'une pluralité de rayons de courbure possibles pour les lignes de marquage à l'avant, à partir du rayon de courbure déterminé à l'étape 120. Ainsi, au lieu de modéliser une seule ligne de marquage avant 3 , 4, le système modélise avantageusement plusieurs lignes de 'est lest marquage avant possibles. Le résultat de cette étape est illustré sur la partie 10 droite de la figure 5, où les références 3ifest ' 41fest symbolisent les faisceaux de lignes de marquage avant modélisés pour la ligne 3 et pour la ligne 4, avec plusieurs rayons de courbure possibles. Afin de limiter le nombre de lignes ainsi modélisées, on peut utiliser avantageusement des informations supplémentaires telles qu'un paramètre représentatif du type de route. Ce 15 paramètre peut par exemple être déduit à partir des images capturées par la caméra arrière 5. En variante, ce paramètre peut provenir d'un système de navigation par satellite équipant le véhicule automobile 1. Comme les étapes sont réitérées et que le véhicule 1 continue sa progression sur la voie de roulage 2, lorsqu'une nouvelle image arrive, une 20 nouvelle portion de route qui n'était pas visible depuis la caméra arrière 5 lors de l'itération précédente devient visible. Comme représenté sur la figure 6, une nouvelle ligne de marquage arrière 4 va pouvoir être extraite à partir Test du traitement de cette nouvelle image, et il va donc être possible de réduire encore le nombre de lignes de marquage avant modélisées à l'itération 25 précédente en sélectionnant la ligne avant modélisée qui correspond le mieux à la nouvelle ligne de marquage arrière extraite 4 . Cette ligne modélisée Test et sélectionnée est représentée sous la référence 4, sur la figure 7 lest (respectivement 3 pour la portion avant relative à la ligne de marquage 3). lest En comparant la partie gauche et la partie droite de la figure 7, on constate 3051274 9 que le processus itératif a permis d'affiner les hypothèses sur les rayons de courbure des portions avant des lignes de marquage, jusqu'à sélectionner une modélisation conforme à la réalité. Le système peut alors estimer la distance latérale D est entre une ligne 5 de marquage avant modélisée et un point situé à l'avant du véhicule. On peut également estimer une distance latérale entre une ligne de marquage et d'autres points spécifiques du véhicule (axe des roues avant, axe des roues arrière par exemple). Les distances ainsi estimées, combinées avec les données odométriques du véhicule automobile 1 (par exemple la vitesse du 10 véhicule et sa vitesse de lacet mesurées régulièrement par ailleurs), vont permettre au système d'anticiper un franchissement non voulu de ligne, et alerter en conséquence le conducteur et/ou contrôler le véhicule pour qu'il corrige sa trajectoire automatiquement. REVENDICATIONS1. Procédé d'assistance à la conduite pour un véhicule automobile (1) se déplaçant sur une voie de roulage (2), comportant une étape (100) de détermination de lignes de marquage (3f, 4f) à l'avant du véhicule automobile (1) délimitant ladite voie de roulage (2) et une étape (150) d'estimation d'une distance séparant le véhicule automobile (1) desdites lignes de marquage (3f, 4f) à l'avant du véhicule automobile (1), caractérisé en ce que l'étape (100) de détermination des lignes de marquage (3f, 4f) à l'avant du véhicule automobile (1) comporte une sous-étape (110) d'extraction de lignes de marquage (3 , 4 ) à Test l'est l'arrière du véhicule automobile à partir d'images capturées par une caméra (5) située à l'arrière du véhicule automobile (1), et une sous- étape (130, 140) de modélisation des lignes de marquage (3f , 4' ) Test 'est à l'avant à partir des lignes de marquage (3 , 4 ) extraites à Test l'est l'arrière du véhicule automobile (1). 2. Procédé d'assistance à la conduite selon la revendication 1, caractérisé en ce que la sous-étape (110) d'extraction de lignes de marquage (3 , 4 ) à l'arrière du véhicule automobile (1) est suivie d'une rest rest sous-étape (120) de détermination d'un rayon de courbure des lignes de marquage (3 , 4 ) extraites à l'arrière. Test l'est 3. Procédé d'assistance à la conduite selon la revendication 2, caractérisé en ce que la sous-étape (130, 140) de modélisation des lignes de marquage à l'avant comporte l'estimation (130) d'une pluralité de rayons de courbure possibles pour les lignes de marquage à l'avant, à partir dudit rayon de courbure déterminé. 4. Procédé d'assistance à la conduite selon la revendication 3, caractérisé en ce que ladite pluralité de rayons de courbure possibles pour les 3051274 11 lignes de marquage à l'avant sont en outre fonction d'un paramètre représentatif du type de route. 5. Procédé d'assistance à la conduite selon la revendication 4, caractérisé en ce que ledit paramètre est déduit des images capturées par la 5 caméra (5) arrière. 6. Système d'assistance à la conduite pour un véhicule automobile (1) se déplaçant sur une voie de roulage (2), comportant des moyens de détermination de lignes de marquage (3f, 4f) à l'avant du véhicule automobile (1) délimitant ladite voie de roulage (2) et des moyens 10 d'estimation d'une distance séparant le véhicule automobile (1) desdites lignes de marquage (3f, 4f) à l'avant du véhicule automobile (1), caractérisé en ce que les moyens de détermination des lignes de marquage (3f, 4f) à l'avant du véhicule automobile (1) comportent un calculateur apte à extraire des lignes de marquage (3 , 4 ) à Test l'est 15 l'arrière du véhicule automobile à partir d'images capturées par une caméra (5) située à l'arrière du véhicule automobile (1), et à modéliser les lignes de marquage (3 , 4 ) à l'avant à partir des lignes de lest lest marquage (3 , 4 ) extraites à l'arrière du véhicule automobile (1). Test l'est