Brevet FR3114896A1 — publié le 20220408

L’invention concerne la conduite autonome d’un véhicule terrestre à moteur, pour la génération d’une instruction de conduite à partir d’une donnée obtenue à partir d’au moins un capteur du véhicule, par exécution d’un algorithme fondé sur un apprentissage par renforcement comportant une injection de bruit. FIG. 1 Injection de bruit dans un apprentissage par renforcement pour la conduite autonome La présente invention appartient au domaine de la conduite autonome d’un véhicule terrestre à moteur, et en particulier aux algorithmes fondés sur un apprentissage par renforcement utilisés dans ce domaine. Dans le détail, il concerne une injection de bruit lors de l’apprentissage d’un agent configuré pour la conduite autonome. On entend par « véhicule terrestre à moteur » tout type de véhicule tel qu’un véhicule automobile, un cyclomoteur, une motocyclette, un robot de stockage dans un entrepôt, etc. On entend par « conduite autonome » d’un « véhicule autonome » tout procédé apte à assister la conduite du véhicule. Le procédé peut ainsi consister à diriger partiellement ou totalement le véhicule ou à apporter tout type d’aide à une personne physique conduisant le véhicule. Le procédé couvre ainsi toute conduite autonome, du niveau 0 au niveau 5 dans le barème de l’OICA, pour Organisation International des Constructeurs Automobiles. On entend par « apprentissage par renforcement » toute méthode configurée pour qu’un agent apprenne les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. On entend par « agent » tout module logiciel configuré pour effectuer une tâche de manière au moins partiellement autonome. Par exemple, un robot humanoïde, un bloc logiciel pour la régulation adaptative de vitesse ou encore un joueur artificiel d’un jeu d’échec sont des exemples d’agents. La conduite autonome fondé sur des algorithmes déterministes (pour lesquels les instructions sont toutes précisées par un développeur humain) implique un travail très important de conception (programmation). En effet, pour que chacune des situations de vie que peut rencontrer le véhicule autonome soit prise compte, il est nécessaire de coder des réactions adaptées du véhicule autonome pour chacune de ces situations de vie. Pour réduire ces contraintes de conception, il a été proposé d’utiliser l’intelligence artificielle. Les algorithmes de conduite autonome fondés sur l’intelligence artificielle fonctionnent en effet au moins partiellement de manière autonome. Cela signifie typiquement que certaines situations de vie peuvent être gérées par l’algorithme sans qu’un concepteur humain n’ait eu à programmer des réactions du véhicule autonome pour ces situations de vie. Ainsi, la conception d’un véhicule autonome est facilitée. En particulier, des algorithmes fondés sur un apprentissage par renforcement ont pu être proposés. En intelligence artificielle, plus précisément en apprentissage automatique, l'apprentissage par renforcement consiste, pour l’agent, à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. L'agent est plongé au sein d'un environnement, et prend ses décisions en fonction de son état courant. En retour, l'environnement procure à l'agent une récompense, qui peut être positive ou négative. L'agent cherche, au travers d'expériences itérées, un comportement décisionnel (appelé stratégie ou politique, et qui est une fonction associant à l'état courant l'action à exécuter) optimal, en ce sens qu'il maximise la somme des récompenses au cours du temps. Un problème des algorithmes fondés sur un apprentissage par renforcement pour la conduite autonome est lié au caractère naturel de la conduite ainsi proposée aux occupants du véhicule. En effet, lors de l’apprentissage, l’agent apprend à maximiser des récompenses et donc à adopter une conduite la plus optimale possible. Par exemple, l’agent va chercher à optimiser en temps et consommation ses trajectoires ce qui peut le conduire à s’approcher au plus proche des lignes de la route ou d’autres véhicules. La présente invention vient améliorer la situation. A cet effet un premier aspect de l’invention concerne un procédé de conduite autonome d’un véhicule terrestre à moteur, pour la génération d’une instruction de conduite à partir d’une donnée obtenue à partir d’au moins un capteur du véhicule, par exécution d’un algorithme fondé sur un apprentissage par renforcement, le procédé comportant les étapes de : réception de la donnée obtenue à partir du capteur ; génération de l’instruction de conduite à partir de la donnée obtenue par application d’un agent compris dans l’algorithme ; dans lequel, lors de l’apprentissage par renforcement, l’agent détermine une action à partir : d’une récompense correspondant à un état perçu ; et de l’état perçu auquel un bruit a été injecté, l’état perçu correspondant à une réaction d’un environnement du véhicule à une action déterminée antérieurement par l’agent. L’injection de bruit dans l’état d’entrée de l’agent, lors de son apprentissage, a notamment pour conséquence de rendre sa conduite ultérieure plus prudente. En effet, l’ajout d’états perçus bruités force l’agent à prendre des décisions plus prudentes puisqu’il ne connait pas sa position de manière exacte. Lors de la phase d’exploitation, le bruit sur les états perçus n’est plus présent, mais l’agent garde ce comportement plus prudent. Dans un mode de réalisation, le bruit injecté est un bruit gaussien. Dans un mode de réalisation particulier, le bruit gaussien comporte un faible écart-type. Ce type de bruit présente le meilleur compromis simplicité/efficacité pour l’obtention de l’effet de prudence dans la conduite de l’agent. Dans un mode de réalisation, des paramètres de l’état perçu utilisés lors de la détermination de l’action par l’agent comportent : une position du véhicule ; une vitesse du véhicule ; une position d’un objet cible à l’instant de l’état perçu ; une position de l’objet cible à un instant antérieur à l’instant de l’état perçu et correspondant à l’action déterminée antérieurement par l’agent. Dans un mode de réalisation, la conduite autonome consiste en une régulation adaptative du véhicule sur l’objet cible, qui est un autre véhicule terrestre à moteur. Un deuxième aspect de l’invention concerne un programme informatique comportant des instructions pour la mise en œuvre du procédé selon le premier de l’invention, lorsque ces instructions sont exécutées par un processeur. Un troisième aspect de l’invention concerne un dispositif de conduite autonome d’un véhicule terrestre à moteur, pour la génération d’une instruction de conduite à partir d’une donnée obtenue à partir d’au moins un capteur du véhicule, par exécution d’un algorithme fondé sur un apprentissage par renforcement, le dispositif comportant au moins une mémoire et au moins un processeur configurés pour effectuer les opérations de : réception de la donnée obtenue à partir du capteur ; génération de l’instruction de conduite à partir de la donnée obtenue par application d’un agent compris dans l’algorithme ; dans lequel, lors de l’apprentissage par renforcement, l’agent détermine une action à partir : d’une récompense correspondant à un état perçu ; et de l’état perçu auquel un bruit a été injecté, l’état perçu correspondant à une réaction d’un environnement du véhicule à une action déterminée antérieurement par l’agent. Un quatrième aspect de l’invention concerne un véhicule configuré pour comprendre le dispositif selon le troisième aspect de l’invention. D’autres caractéristiques et avantages de l’invention apparaîtront à l’examen de la description détaillée ci-après, et des dessins annexés sur lesquels : est un schéma illustrant un contexte possible de l’invention ; est un diagramme illustrant les étapes d’un procédé selon un mode de réalisation de l’invention ; est un diagramme illustrant l’apprentissage d’un agent selon un mode de réalisation de l’invention ; illustre un dispositif selon un mode de réalisation de l’invention. L’invention est décrite ci-après dans son application, non limitative, au cas d’un véhicule automobile dont la conduite autonome consiste en une régulation adaptative de vitesse. Cela signifie que le véhicule autonome régule sa vitesse de manière adaptative en fonction de son environnement (et typiquement en fonction d’un autre véhicule constituant un objet cible). D’autres applications sont également envisageables pour la présente invention, telles que pour de la reconnaissance d’image pour la conduite autonome d’un scooter ou encore pour la mise en œuvre un procédé de conduite autonome en convoi d’une pluralité de camions. La illustre le contexte exemplatif de la régulation adaptative de vitesse. Sur la , l’axe des ordonnées et des abscisses correspondent à aux coordonnées de positions d’un véhicule autonome 1, ci-après appelé égo-véhicule, mettant en œuvre l’invention et circulant sur une route à un instant t. Sur la route circule également un véhicule cible. La référence 3 correspond à la position du véhicule cible à un instant t-1 et la référence 5 à la position du véhicule cible à l’instant t. L’égo-véhicule comporte au moins un capteur (caméra, capteur ultra-son, lidar, radar ou encore antenne pour une communication véhicule à véhicule) configuré pour acquérir une donnée (image, vidéo, onde radar, etc.) utilisée pour la conduite autonome. Pour la régulation adaptative, le capteur radar acquiert par exemple une distance entre l’égo-véhicule et le véhicule cible. Ainsi, ici, la conduite autonome consiste en une régulation adaptative du véhicule sur l’objet cible, le véhicule cible, qui est un autre véhicule terrestre à moteur. La illustre un procédé selon un mode de réalisation de l’invention. A une étape 20, la donnée est acquise par le capteur. A une étape 22, une instruction de conduite est générée à partir de la donnée obtenue par application d’un agent compris dans un algorithme fondé sur un apprentissage par renforcement. Le fonctionnement de l’agent et de son apprentissage par renforcement est détaillé ci-après en référence à la . A une étape 24, l’instruction de conduite générée est appliquée à au moins un actionneur (angle volant, accélération, etc.) de l’égo-véhicule. La illustre l’apprentissage de l’agent selon un mode de réalisation de l’invention. Le principe de fonctionnement de l’apprentissage par renforcement pour la régulation adaptative de vitesse est d’apprendre à l’agent à accomplir une certaine tache (ici adapter sa vitesse au véhicule cible) par interaction avec son environnement. L’apprentissage est guidé par une fonction de récompense qui donne une idée à l’agent de la qualité de la situation dans laquelle il se trouve à l’instant t. L’objectif de l’agent est de maximiser la récompense obtenue tout au cours de l’expérience ce qui revient à apprendre une politique (=comportement) qui correspond à la tâche à accomplir. La fonction de récompense, également ci-après « récompense », est déterminée par un expert, par exemple pour valoriser certains comportement (réduction des accélérations/freinages brutaux, optimisation de la consommation en carburant, etc.). Sur la , à un instant t, l’agent 24 décide d’une action At à partir d’une récompense Rt déterminée à une étape 22 et correspondant à un état perçu St ; et de l’état perçu auquel un bruit 20 a été injecté à une étape 26, l’état perçu bruité étant référencé par Sn. L’état perçu correspondent à une réaction de l’environnement 28 du véhicule à une action déterminée antérieurement par l’agent, à un instant t-1. Ainsi, sur la , l’environnement 28 réagit à l’action At pour donner un état perçu St+1 qui fait, à l’instant t+1, l’objet d’une nouvelle détermination d’une action At+1 (non représentée) par l’agent 24. Des paramètres de l’état perçu utilisés par l’agent lors de la détermination de l’action comportent : une position de l’égo-véhicule ; une vitesse du l’égo-véhicule ; une position d’un objet cible, tel que le véhicule cible, à l’instant t de l’état perçu. Cette position est illustrée figure 1 à la référence 5 ; une position de l’objet cible à un instant antérieur t-1 à l’instant de l’état perçu et correspondant à l’action déterminée antérieurement par l’agent. Cette position est illustrée figure 1 à la référence 3. D’autres paramètres, tels qu’une accélération de l’égo-véhicule peuvent également être pris en compte. Le bruit injecté est un bruit gaussien comportant un faible écart-type. L’injection de bruit consiste, sur les paramètres d’une pluralité d’états perçus, à introduire un écart (de type gaussien à faible écart-type) par rapport aux paramètres effectivement perçus. L’adjonction de bruit selon le mode de réalisation ici exposé est particulièrement pertinent avec l’algorithme de renforcement Deep Deterministic Policy Gradient (DDPG), gradient à politique profondément déterministe en français. La complexité algorithmique de l’agent est réduite (une quinzaine de paramètres de calcul). Des essais menés avec l’algorithme DDPG montrent que l’injection de bruit à l’état perçu lors de la détermination par l’agent a pour effet de rendre la conduite de l’agent plus prudente. En particulier, lors des essais et pour un même profil de vitesse du véhicule cible, sans injection de bruit, l’agent de l’égo-véhicule franchit à de nombreuses reprises une distance de sécurité minimum avec le véhicule cible alors que, avec l’injection de bruit, l’agent ne franchit pas cette distance. La représente un exemple de dispositif D compris dans le véhicule 1. Ce dispositif D peut être utilisé en tant que dispositif centralisé en charge d’au moins certaines étapes du procédé décrit ci-avant en référence à la . Dans un mode de réalisation, il correspond à un calculateur de conduite autonome. Dans la présente invention, le dispositif D est compris dans le véhicule. Ce dispositif D peut prendre la forme d’un boitier comprenant des circuits imprimés, de tout type d’ordinateur ou encore d’un smartphone. Le dispositif D comprend une mémoire vive 1 pour stocker des instructions pour la mise en œuvre par un processeur 2 d’au moins une étape des procédés tels que décrits ci-avant. Le dispositif comporte aussi une mémoire de masse 3 pour le stockage de données destinées à être conservées après la mise en œuvre du procédé. Le dispositif D peut en outre comporter un processeur de signal numérique (DSP) 4. Ce DSP 4 reçoit des données pour mettre en forme, démoduler et amplifier, de façon connue en soi ces données. Le dispositif comporte également une interface d’entrée 5 pour la réception des données mises en œuvre par des procédés selon l’invention et une interface de sortie 6 pour la transmission des données mises en œuvre par le procédé. La présente invention ne se limite pas aux formes de réalisation décrites ci-avant à titre d’exemples ; elle s’étend à d’autres variantes. Ainsi, il a été décrit un mode de réalisation correspondant à l’application à un régulateur de vitesse adaptatif. D’autres applications, tel qu’un module de décision de changement de voie sur autoroute, sont également envisageables. Procédé de conduite autonome d’un véhicule (1) terrestre à moteur, pour la génération d’une instruction de conduite à partir d’une donnée obtenue à partir d’au moins un capteur du véhicule, par exécution d’un algorithme fondé sur un apprentissage par renforcement, le procédé comportant les étapes de : réception (20) de la donnée obtenue à partir du capteur ; génération (22) de l’instruction de conduite à partir de la donnée obtenue par application d’un agent compris dans l’algorithme ; dans lequel, lors de l’apprentissage par renforcement, l’agent détermine une action à partir : d’une récompense correspondant à un état perçu ; et de l’état perçu auquel un bruit a été injecté, l’état perçu correspondant à une réaction d’un environnement du véhicule à une action déterminée antérieurement par l’agent. Procédé selon la revendication 1, dans lequel le bruit injecté est un bruit gaussien. Procédé selon la revendication 2, dans lequel le bruit gaussien comporte un faible écart-type. Procédé selon l’une des revendications précédentes, dans lequel des paramètres de l’état perçu utilisés lors de la détermination de l’action par l’agent comportent : une position du véhicule ; une vitesse du véhicule ; une position d’un objet cible (5) à l’instant de l’état perçu ; une position de l’objet cible (3) à un instant antérieur à l’instant de l’état perçu et correspondant à l’action déterminée antérieurement par l’agent. Procédé selon la revendication 4, dans lequel la conduite autonome consiste en une régulation adaptative du véhicule en fonction de l’objet cible, qui est un autre véhicule terrestre à moteur. Programme informatique comportant des instructions pour la mise en œuvre du procédé selon l’une quelconque des revendications précédentes, lorsque ces instructions sont exécutées par un processeur (2). Dispositif (D) de conduite autonome d’un véhicule terrestre à moteur, pour la génération d’une instruction de conduite à partir d’une donnée obtenue à partir d’au moins un capteur du véhicule, par exécution d’un algorithme fondé sur un apprentissage par renforcement, le dispositif comportant au moins une mémoire et au moins un processeur configurés pour effectuer les opérations de : réception de la donnée obtenue à partir du capteur ; génération de l’instruction de conduite à partir de la donnée obtenue par application d’un agent compris dans l’algorithme ; dans lequel, lors de l’apprentissage par renforcement, l’agent détermine une action à partir : d’une récompense correspondant à un état perçu ; et de l’état perçu auquel un bruit a été injecté, l’état perçu correspondant à une réaction d’un environnement du véhicule à une action déterminée antérieurement par l’agent. Véhicule (1) configuré pour comprendre le dispositif selon la revendication 7.