Brevet FR3077666A1 — publié le 20190809

PROCÉDÉ DE CONFIGURATION AUTOMATIQUE D'UN GÉNÉRATEUR DE RÉCOMPENSES UTILISÉES PAR DES STRATÉGIES DE CONDUITE D'UN VÉHICULE À CONDUITE AUTOMATISÉE L'invention concerne les véhicules à conduite automatisée, et plus précisément la génération de récompenses représentatives du bien-fondé d'actions réalisées sur de tels véhicules et utilisées lors de mises en oeuvre de stratégies de conduite à base d'apprentissage par renforcement (ou Dans un véhicule à conduite automatisée (ou autonome), un dispositif d'assistance contrôle à chaque instant sa direction et son accélération au moyens de commandes destinées à certains organes impliqués dans ses déplacements. La détermination de ces direction et accélération définit une consigne à suivre à chaque instant où la conduite automatisée (ou autonome) est active. Comme le sait l'homme de l'art, il a été proposé de mettre en oeuvre dans un dispositif d'assistance une méthode dite « d'apprentissage par renforcement » (ou Reinforcement Learning) pour déterminer cette consigne. Cette méthode consiste à apprendre de façon automatique, à partir d'expériences enregistrées et/ou simulées en simulation numérique, ce qu'il convient de faire en différentes situations et s'appuie sur la notion de « récompense instantanée », notée r(t) et représentative du bien-fondé d'une action a(t) réalisée à un instant t. La récompense finale Q, obtenue à la fin de la réalisation d'une suite d'actions a(t), est égale à l'intégrale de toutes les récompenses (instantanées) r(t) obtenues respectivement pour toutes les actions a(t) de cette suite. Pour que cette méthode donne de bons résultats, il peut être plus efficace d'effectuer une première phase initiale d'apprentissage supervisé et donc de disposer d'une base de données contenant le plus grand nombre 2 possible de quadruplets (a(t), s(t), r(t), s(t+1)), où a(t) est la définition d'une action réalisée à un instant t avec un véhicule, s(t) est l'état de ce véhicule (défini par des paramètres d'état en cours juste avant cette action a(t)), r(t) est une récompense attribuée à cette action a(t), et s(t+1) est l'état du véhicule 5 résultant de la réalisation de cette action a(t). Afin de constituer cette base de données on doit commencer par enregistrer des premiers quadruplets, par exemple lors de tests sur route en présence d'un technicien embarqué. Plus précisément, lors de ces tests sur route, chaque fois qu'une action a(t) est réalisée à un instant t avec le véhicule, io on enregistre le quadruplet (a(t), s(t), r(t), s(t+1)), r(t) étant la récompense attribuée par le technicien embarqué. On peut également constituer cette base de données en enregistrant les mêmes paramètres (ou éléments) formant les quadruplets à partir d'une simulation de roulage, la seule différence étant que l'environnement (route, 15 circulation, voitures...) est simulé et non réel. Dans ce cas il y a toujours un conducteur humain et un technicien chargé de définir r(t) à chaque instant. Dans le cas d'un véhicule, les actions a(t) peuvent être une rotation du volant, un freinage et une accélération, lesquels peuvent être respectivement estimés en fonction de l'angle du volant, du pourcentage d'enfoncement de la 20 pédale de frein et du pourcentage d'enfoncement de la pédale d'accélérateur. Chaque récompense r(t), associée à la réalisation d'une action a(t) peut être une appréciation attribuée par le technicien et choisie, par exemple, parmi « bien », « très bien », « passable », « mal » , « très mal », « interdit », éventuellement avec des niveaux pour introduire des nuances. 25 Après les différents tests sur route ou en simulation, la base de données de quadruplets (a(t), s(t), r(t), s(t+1)) est relativement limitée du fait qu'il est impossible de réaliser sur route ou en simulation de façon exhaustive toutes les actions possibles. Dès lors, il s'avère difficile, voire illusoire, d'estimer avec pertinence pour une situation quelconque la récompense finale 30 Q associée à une suite d'actions a(t) car elle est égale à la somme des récompenses r(t) associées successivement à chacune des actions a(t) de cette suite. Dans le système de conduite autonome mettant en oeuvre un 3 apprentissage par renforcement, la récompense finale Q(t) est déterminée à chaque instant t par un réseau de neurones qui a pour entrée l'état s(t) du système. Ce réseau de neurone (ou « Q-Network ») a pour sortie une évaluation de Q(t) pour chacune des actions ai(t) possibles. Cette évaluation 5 est notée Q(s(t), ai(t)). Le système réalise alors l'action ai(t) pour laquelle Q(s(t), ai(t)) est maximale (Q(s(t), ai(t)) = Max (Q(s(t),ai(t))). Ce réseau de neurones a été entrainé par une méthode d'apprentissage par renforcement qui nécessite la connaissance de la récompense instantanée r(t) évaluée à la suite de chaque action a(t) réalisée io dans le cadre d'un roulage réel ou simulé. Une première phase d'apprentissage supervisé préliminaire peut aider cette méthode d'apprentissage par renforcement. Cet apprentissage supervisé préliminaire fait classiquement intervenir en parallèle des premier et second réseaux de neurones. Le premier réseau is de neurones est alimenté avec l'élément s(t) d'un quadruplet connu (a(t), s(t), r(t), s(t+1)) et délivre en sortie un ensemble de premières récompenses finales Q(s(t), ai(t)) pour un ensemble d'actions ai(t) pouvant être réalisées en présence de l'état s(t) et parmi lesquelles se trouve l'action a(t) du quadruplet connu. Le second réseau de neurones est alimenté avec l'élément s(t+1) de 20 ce même quadruplet connu et délivre en sortie un ensemble de secondes récompenses finales 0(s(t+1), ak(t)) pour un ensemble d'actions ak(t) pouvant être réalisées en présence de l'état s(t+1). Puis, on détermine la valeur maximale vm de toutes les secondes récompenses Q(s(t+1), ak(t)) délivrées pour le quadruplet connu et l'on 25 détermine le résultat rs de la somme de cette valeur maximale vm et de la récompense r(t) connue de ce quadruplet connu, soit rs = vm + r(t). Puis, on détermine le résultat rd de la différence entre la première récompense finale Q(s(t), a(t)) associée à l'action a(t) du quadruplet connu et le résultat rs, soit rd = Q(s(t), a(t)) - rs. Si ce dernier résultat rd est supérieur à un seuil prédéfini, on 30 modifie les valeurs de coefficients utilisés par les premier et second réseaux de neurones, en fonction de l'écart entre le résultat rd et le seuil prédéfini. On recommence alors les mêmes opérations avec un autre quadruplet connu jusqu'à ce que chaque résultat rd obtenu pour chaque quadruplet connu soit 4 systématiquement inférieur à un seuil prédéfini. Une fois que les valeurs finales des coefficients utilisés par les premier et second réseaux de neurones ont été déterminées par cette phase d'apprentissage supervisé, le premier réseau de neurones sert soit 5 opérationnellement dans le système à déterminer une action a(t) à réaliser en fonction d'un état s(t) (et l'on ne réalise alors pas d'apprentissage par renforcement), soit d'état initial au réseau de neurones (Q-network) dans le cadre de la mise en oeuvre de son apprentissage par renforcement. La méthode décrite ci-avant sera d'autant plus efficace que la phase io d'apprentissage supervisé préliminaire du premier réseau (Q-network) aura été suffisamment large pour pouvoir prétendre à proposer une action a(t) pertinente à toute entrée s(t). Ceci implique donc une base de données d'apprentissage suffisamment importante et diversifiée. On pourrait générer automatiquement des quadruplets (s(t), a(t), r(t), s(t+1)) pour compléter 15 aléatoirement ou non la base de données d'apprentissage issue des roulage réels ou en simulation, à condition de savoir définir à partir de s(t) et de a(t) la récompense instantanée r(t). Or, lorsque l'on ne sait pas, ou que l'on ne veut pas, réaliser cette définition de la récompense instantanée r(t) sous forme analytique, cette méthode ne peut plus être utilisée puisque l'on ne peut pas 20 déterminer les récompenses r(t) correspondant aux s(t) et a(t) à chaque instant. L'invention a notamment pour but d'améliorer la situation. Elle propose notamment à cet effet un procédé permettant de configurer automatiquement un dispositif de génération de récompenses r(t) 25 attribuées à des instants t à des actions a(t) permettant de conduire un véhicule à conduite automatisée pouvant prendre différents états s(t). Ce procédé de configuration se caractérise par le fait qu'il comprend une étape dans laquelle : - on alimente un réseau de neurones du dispositif, préconfiguré en 30 générateur de récompenses r(t) et configurable par des valeurs de coefficients, avec des définitions d'une action connue ac(t) et d'un état connu sc(t) du véhicule juste avant la réalisation de cette action connue ac(t), faisant partie d'un triplet connu (ac(t), sc(t), rc(t)) comprenant une 5 récompense connue rc(t) attribuée à cette action connue ac(t), afin de générer une récompense r(t), puis - on détermine le résultat rdr d'une différence entre la récompense générée r(t) et la récompense connue rc(t), puis 5 - si ce résultat rdr est supérieur à un premier seuil prédéfini on modifie les valeurs des coefficients du réseau de neurones, puis - on alimente de nouveau le réseau de neurones avec des définitions d'action connue ac(t) et d'état connu sc(t) d'autres triplets connus jusqu'à ce que chaque résultat rdr déterminé soit systématiquement inférieur à un second io seuil prédéfini. Grâce à cette configuration automatisée, on peut désormais générer des récompenses (instantanées) qui permettent à leur tour de générer un grand nombre de quadruplets (a(t), s(t), r(t), s(t+1)), dont la plus grande partie est dans la pratique impossible à construire au moyen de tests sur route et/ou is de simulation. Le procédé de configuration selon l'invention peut comporter d'autres caractéristiques qui peuvent être prises séparément ou en combinaison, et notamment : - dans son étape, on peut modifier les valeurs des coefficients du réseau de 20 neurones en fonction d'un écart entre le résultat rdr déterminé et le premier seuil prédéfini ; - dans son étape on peut déterminer des valeurs modifiées des coefficients du réseau de neurones au moyen d'une méthode d'optimisation numérique, comme par exemple et non limitativement une méthode de gradient selon la 25 plus grande pente. L'invention propose également un dispositif destiné à générer automatiquement des récompenses r(t) attribuées à des instants t à des actions a(t) permettant de conduire un véhicule à conduite automatisée pouvant prendre différents états s(t). 30 Ce dispositif de génération se caractérise par le fait qu'il comprend - un réseau de neurones préconfiguré en générateur de récompenses r(t) et configurable par des valeurs de coefficients, et générant une récompense r(t) lorsqu'il est alimenté avec des définitions d'une action connue ac(t) et 6 d'un état connu sc(t) du véhicule juste avant la réalisation de cette action connue ac(t), faisant partie d'un triplet connu (ac(t), sc(t), rc(t)) comprenant une récompense connue rc(t) attribuée à cette action connue ac(t), - des premiers moyens de calcul déterminant le résultat rdr d'une différence 5 entre cette récompense générée r(t) et cette récompense connue rc(t), et - des seconds moyens de calcul modifiant les valeurs des coefficients du réseau de neurones lorsque ce résultat rdr est supérieur à un premier seuil prédéfini, et déclenchant une nouvelle alimentation du réseau de neurones avec des définitions d'action connue ac(t) et d'état connu sc(t) d'autres io triplets connus jusqu'à ce que chaque résultat rdr déterminé soit systématiquement inférieur à un second seuil prédéfini. Le dispositif de génération selon l'invention peut comporter d'autres caractéristiques qui peuvent être prises séparément ou en combinaison, et notamment : 15 - ses seconds moyens de calcul peuvent modifier les valeurs des coefficients du réseau de neurones en fonction d'un écart entre le résultat rdr déterminé par les premiers moyens de calcul et le premier seuil prédéfini ; - ses seconds moyens de calcul peuvent déterminer des valeurs modifiées des coefficients du réseau de neurones au moyen d'une méthode 20 d'optimisation numérique, comme par exemple et non limitativement une méthode de gradient selon la plus grande pente ; - il peut comprendre des moyens de contrôle alimentant le réseau de neurones, une fois les valeurs des coefficients configurées, avec des définitions d'action a(t) et d'état s(t). 25 L'invention propose également un dispositif de production, destiné à produire des quadruplets (a(t), s(t), r(t), s(t+1)) dans chacun desquels a(t) est la définition d'une action réalisée à un instant t avec un véhicule à conduite automatisée pouvant prendre différents états s(t), s(t) et s(t+1) sont les états dudit véhicule respectivement juste avant et juste après cette action a(t)), et r(t) 30 est une récompense attribuée à cette action a(t), et comprenant : - un réseau de neurones configuré par des valeurs de coefficients et générant, lorsqu'il est alimenté avec un état s(t), un ensemble de récompenses finales Q(s(t), ai(t)) pour un ensemble d'actions ai(t) pouvant 7 être réalisées en présence de l'état s(t), et - des moyens de contrôle alimentant ce réseau de neurones avec cet état s(t) afin de déterminer une action a(t) correspondante à partir d'une récompense finale Q(s(t), a(t)) et d'une récompense r(t) attribuée à cette 5 action a(t), puis construisant un quadruplet (a(t), s(t), r(t), s(t+1)) avec cet état s(t), cette action a(t), cette récompense r(t) et un état s(t+1) du véhicule juste après la réalisation de cette action a(t). Ce dispositif de production se caractérise par le fait qu'il comprend également un dispositif de génération du type de celui présenté ci-avant et io fournissant chaque récompense r(t) attribuée à une action a(t). D'autres caractéristiques et avantages de l'invention apparaîtront à l'examen de la description détaillée ci-après, et des dessins annexés, sur lesquels : la figure 1 illustre schématiquement et fonctionnellement un ordinateur 15 comprenant un dispositif de production de quadruplets comportant un exemple de réalisation d'un dispositif de génération selon l'invention, et la figure 2 illustre schématiquement un exemple d'algorithme mettant en oeuvre un procédé de configuration selon l'invention. L'invention a notamment pour but de proposer un procédé de 20 configuration permettant de configurer automatiquement un dispositif DG de génération de récompenses r(t) attribuées à des instants t à des actions a(t) permettant de conduire un véhicule à conduite automatisée pouvant prendre différents états s(t). Il est rappelé que l'on entend ici par « véhicule à conduite automatisée 25 (ou autonome) » un véhicule pouvant être conduit, au moins de façon temporaire, de façon automatisée (ou autonome, et donc sans intervention de son conducteur), sous le contrôle d'un dispositif d'assistance pendant une phase de conduite automatisée. Dans ce qui suit, on considère, à titre d'exemple non limitatif, que le 30 véhicule est de type automobile. Il s'agit par exemple d'une voiture. Mais l'invention n'est pas limitée à ce type de véhicule. Elle concerne en effet tout type de véhicule à conduite automatisée (ou autonome), qu'il soit terrestre, circulant ou non sur des voies de circulation, maritime ou fluvial, ou aérien. 8 On a schématiquement illustré sur la figure 1 un ordinateur 0 comprenant un dispositif de production de quadruplets DP comportant un exemple de réalisation d'un dispositif de génération DG selon l'invention. Ce dispositif de production (de quadruplets) DP est destiné à produire 5 des quadruplets (a(t), s(t), r(t), s(t+1)) dans chacun desquels a(t) est la définition d'une action réalisée à un instant t avec un véhicule à conduite automatisée pouvant prendre différents états s(t), s(t) et s(t+1) sont les états du véhicule respectivement juste avant et juste après la réalisation de cette action a(t)), et r(t) est une récompense attribuée à cette action a(t) par le io dispositif de génération DG, décrit plus loin, et représentative du bien-fondé de cette action a(t). Comme illustré sur la figure 1, le dispositif de production DP comprend au moins un premier réseau de neurones R1, des moyens de contrôle MCT1 et un dispositif de génération DG. 15 Le premier réseau de neurones R1 est configuré par des valeurs de coefficients et génère, lorsqu'il est alimenté avec un état s(t), un ensemble de premières récompenses finales Q(s(t), ai(t)) pour un ensemble d'actions ai(t) pouvant être réalisées en présence de l'état s(t). Il est important de noter que le premier réseau de neurones R1 est 20 préconfiguré spécialement en tant que générateur chargé de générer des premières récompenses finales Q(s(t), ai(t)). Cette pré-configuration résulte notamment d'une phase d'apprentissage supervisé décrite plus loin. Les moyens de contrôle MCT1 sont agencés de manière à alimenter le premier réseau de neurones R1 avec un état s(t) afin de déterminer une 25 action a(t) correspondante à partir d'une première récompense finale Q(s(t), a(t)) déterminée par ce premier réseau de neurones R1 et d'une récompense (instantanée) r(t) attribuée automatiquement à cette action a(t) par le dispositif de génération DG. Ils sont aussi agencés de manière à construire un quadruplet (a(t), s(t), r(t), s(t+1)) avec cet état s(t), cette action a(t) déterminée, 30 cette récompense r(t) et un état s(t+1) du véhicule juste après la réalisation de cette action a(t). Pour que la phase d'apprentissage supervisé puisse être réalisée automatiquement, le dispositif de production DP doit également comprendre 9 un second réseau de neurones R2, des moyens d'analyse MA, des premiers moyens de calcul MC11, des deuxièmes moyens de calcul MC12, et des troisièmes moyens de calcul MC13, comme illustré sur la figure 1. Dans cette phase d'apprentissage supervisé les premier R1 et second 5 R2 réseaux de neurones fonctionnent en parallèle en étant alimentés avec des données de roulage (réelles (c'est-à-dire obtenues lors de tests sur route) ou de simulation) connues, et plus précisément des quadruplets connus (ac(t), sc(t), rc(t), sc(t+1)). Le premier réseau de neurones R1 est alimenté par les moyens de io contrôle MCT1 avec l'état connu sc(t) d'un quadruplet connu ac(t), sc(t), rc(t), sc(t+1)), et délivre en sortie un ensemble de premières récompenses finales Q(sc(t), ac(t)) pour un ensemble d'actions connues ac(t) réalisées en présence de l'état connu sc(t) et parmi lesquelles se trouve l'action connue ac(t) du quadruplet connu. 15 Le second réseau de neurones R2 est configurable par des valeurs de coefficients et génère, lorsqu'il est alimenté avec un état connu sc(t+1) par les moyens de contrôle MCT1, un ensemble de secondes récompenses finales Q(sc(t+1), ack(t)) pour un ensemble d'actions connues ack(t) réalisées par le véhicule en présence de l'état connu sc(t+1). 20 Il est important de noter que le second réseau de neurones R2 est préconfiguré spécialement en tant que générateur chargé de générer des secondes récompenses finales Q(sc(t+1), ack(t)). Les moyens d'analyse MA sont agencés de manière à déterminer la valeur maximale vm de toutes les secondes récompenses Q(sc(t+1), ack(t)) 25 générées par le second réseau de neurones R2 à partir de l'état connu sc(t+1). Les premiers moyens de calcul MC11 sont agencés de manière à déterminer le premier résultat rs de la somme de la valeur maximale vm et de la récompense connue rc(t), soit rs = vm + rc(t). Les deuxièmes moyens de calcul MC12 sont agencés de manière à 30 déterminer un second résultat rd de la différence entre la première récompense finale Q(sc(t), ac(t)) associée à l'action connue ac(t) du premier ensemble d'actions ac(t) et générée par le premier réseau de neurones R1, et le premier résultat rs, soit rd = Q(sc(t), ac(t)) - rs. 'o Les troisièmes moyens de calcul MC13 sont agencés de manière à modifier les valeurs de coefficients utilisés par les premier R1 et second R2 réseaux de neurones lorsque le second résultat rd est supérieur à un premier seuil prédéfini spi, en fonction de l'écart entre ce second résultat rd et ce 5 premier seuil prédéfini spi. Ils alimentent donc les premier R1 et second R2 réseaux de neurones en coefficients modifiés cm1. Dans la phase d'apprentissage supervisé les moyens de contrôle MCT1 alimentent successivement les premier R1 et second R2 réseaux de neurones respectivement avec des états connus sc(t) et sc(t+1) relatifs à des io mêmes actions connues ac(t) jusqu'à ce que chaque second résultat rd déterminé soit systématiquement inférieur à un second seuil prédéfini sp2. On notera que ce second seuil prédéfini sp2 n'est pas forcément égal au premier seuil prédéfini spi. De préférence sp2 est inférieur ou égal à spi. En d'autres termes, lorsque pour chaque quadruplet connu on obtient 15 systématiquement en sortie des deuxièmes moyens de calcul MC12 un second résultat (ou erreur) rd inférieur au second seuil prédéfini sp2, cela signifie que les premier R1 et second R2 réseaux de neurones sont désormais correctement préconfigurés. Par conséquent, le premier réseau de neurones R1 est désormais prêt à déterminer des actions a(t) à réaliser en fonction 20 respectivement d'états s(t) du véhicule et des récompenses r(t) associées et générées par le dispositif de génération DG une fois qu'il a été configuré. Comme évoqué précédemment, cette dernière configuration peut se faire par la mise en oeuvre d'un procédé de génération automatisée décrit ci-après. 25 Ce procédé de génération comprend une étape 10 à 60 qui peut être mise en oeuvre par le dispositif de génération DG. Ce dernier (DG) comprend, comme illustré sur la figure 1, au moins un (troisième) réseau de neurones R3, des premiers moyens de calcul MC21 et des seconds moyens de calcul MC22. 30 Le troisième réseau de neurones R3 est préconfiguré en générateur de récompenses r(t) et configurable par des valeurs de coefficients. L'étape du procédé commence par l'alimentation du troisième réseau de neurones R3 avec des définitions d'une action connue ac(t) et d'un état 11 connu sc(t) du véhicule juste avant la réalisation de cette action connue ac(t). Ces action connue ac(t) et état connu sc(t) font partie d'un triplet connu (ac(t), sc(t), rc(t)) qui comprend aussi une récompense connue rc(t) attribuée à cette action connue ac(t). Chaque triplet connu est construit à partir de données de 5 roulage réelles (c'est-à-dire obtenues lors de tests sur route) ou bien de simulation. Cette alimentation du troisième réseau de neurones R3 avec des action ac(t) et état sc(t) connus est destinée à lui faire générer une récompense r(t). Elle est, par exemple et comme illustré non limitativement, réalisée par des io moyens de contrôle MCT2 que comprend le dispositif de génération DG. Cette phase d'alimentation et de génération correspond à la sous-étape 10 de l'exemple d'algorithme de la figure 2 qui met en oeuvre le procédé de génération. Puis, l'étape du procédé se poursuit par la détermination du résultat 15 rdr de la différence entre la récompense r(t) générée par le troisième réseau de neurones R3 et la récompense connue rc(t), soit rdr = r(t) - rc(t). Cette phase de détermination correspond à la sous-étape 20 de l'algorithme de la figure 2. Elle est réalisée par les premiers moyens de calcul MC21 du dispositif de génération DG. 20 Puis, l'étape du procédé se poursuit par la modification des valeurs des coefficients du troisième réseau de neurones R3 lorsque le résultat rdr est supérieur à un premier seuil prédéfini spi'. Cela impose la réalisation d'une comparaison du résultat rdr au premier seuil prédéfini spi'. Cette phase de comparaison correspond à la sous-étape 30 de l'algorithme de la figure 2, et la 25 phase de modification correspond à la sous-étape 40 de l'algorithme de la figure 2. Ces phases de comparaison et de modification sont réalisées par les seconds moyens de calcul MC22 du dispositif de génération DG. Par exemple, on (les seconds moyens de calcul MC22) peu(ven)t modifier les valeurs des coefficients du troisième réseau de neurones R3 en 30 fonction d'un écart entre le résultat rdr (déterminé par les premiers moyens de calcul MC21) et le premier seuil prédéfini spi'. Egalement par exemple, on (les seconds moyens de calcul MC22) peu(ven)t déterminer desvaleurs modifiées des coefficients du troisième 12 réseau de neurones R3 au moyen d'une méthode d'optimisation numérique. Par exemple et non limitativement, cette méthode d'optimisation numérique peut être une méthode de gradient selon la plus grande pente. Mais d'autres méthodes d'optimisation numérique connues de l'homme de l'art peuvent être 5 utilisées, et notamment celle utilisant l'algorithme Broyden-Fletcher-Goldfarb- Shanno (ou BFGS). Si la modification est décidée, les seconds moyens de calcul MC22 alimentent le troisième réseau de neurones R3 en coefficients modifiés cm2. Puis, l'étape du procédé se poursuit par l'alimentation, de nouveau, du io troisième réseau de neurones R3 avec des définitions d'action connue ac(t) et d'état connu sc(t) d'autres triplets connus, jusqu'à ce que chaque résultat rdr (déterminé par les premiers moyens de calcul MC21) soit systématiquement inférieur à un second seuil prédéfini sp2'. On notera que ce second seuil prédéfini sp2' n'est pas forcément égal au premier seuil prédéfini spi'. De 15 préférence sp2' est inférieur ou égal à spi'. Chaque nouvelle alimentation du troisième réseau de neurones R3 avec de nouveaux état sc(t) et action ac(t) connus est réalisée par les moyens de contrôle MCT2 du dispositif de génération DG. Chaque fois qu'un nouveau triplet connu est utilisé, on réalise les 20 sous-étape 10 à 30, et lorsque la comparaison effectuée à la sous-étape 30 indique que le résultat rdr est inférieur au premier seuil prédéfini spi', on (les seconds moyens de calcul MC22) effectue(nt) dans une sous-étape 50 une autre comparaison afin de déterminer si ce même résultat rdr est inférieur au second seuil prédéfini sp2'. Si le résultat rdr est supérieur au second seuil 25 prédéfini sp2', cela signifie que la configuration du troisième réseau de neurones R3 n'est pas encore complète, et donc on retourne effectuer la sous-étape 10 avec un nouveau triplet connu. En revanche, si le résultat rdr est effectivement inférieur au second seuil prédéfini sp2', le procédé de configuration automatique du dispositif de génération DG se termine dans une 30 sous-étape 60. En d'autres termes, lorsque pour chaque triplet connu on obtient systématiquement en sortie des premiers moyens de calcul MC21 un résultat rdr (ou erreur) inférieur au premier seuil prédéfini spi', cela signifie que le 13 troisième réseau de neurones R3 est désormais correctement configuré. Par conséquent, le dispositif de génération DG est désormais prêt à déterminer des récompenses r(t) en alimentant son troisième réseau de neurones R3 avec des couples d'action a(t) et d'état s(t). Chaque alimentation du troisième 5 réseau de neurones R3 avec un tel couple d'action a(t) et d'état s(t) est réalisée par les moyens de contrôle MCT2 du dispositif de génération DG, et fournit une récompense r(t) qui est ensuite communiquée aux moyens de contrôle MCT1 du dispositif de production. On notera que dans l'exemple illustré non limitativement sur la figure 10 1, les premier R1 et second R2 réseaux de neurones et moyens d'analyse MA et moyens de calcul MC11, MC12 et MC13 associés et le dispositif de génération DG font partie d'un unique ordinateur (ou calculateur) 0, éventuellement dédié. Mais dans une première variante les premier R1 et second R2 réseaux de neurones et moyens d'analyse MA et moyens de calcul 15 MC1 1, MC12 et MC13 associés pourraient être implantés dans un premier ordinateur, et le dispositif de génération DG pourrait être implanté dans un second ordinateur communiquant avec le premier ordinateur. Dans une deuxième variante le dispositif de production DP pourrait comprendre au moins un ordinateur (ou calculateur). Dans une troisième variante le dispositif 20 de génération DG pourrait comprendre un ordinateur (ou calculateur). Par conséquent, un dispositif de génération DG peut être réalisé sous la forme de modules logiciels (ou informatiques ou encore « software ») ou bien d'une combinaison de modules logiciels et de circuits ou composants électriques ou électroniques (ou « hardware »). De même, un dispositif de 25 production DP peut être réalisé sous la forme de modules logiciels ou bien d'une combinaison de modules logiciels et de circuits ou composants électriques ou électroniques. L'invention permet avantageusement de constituer des bases de données contenant un grand nombre de quadruplets (a(t), s(t), r(t), s(t+1)), 30 dont la plus grande partie est dans la pratique impossible à construire au moyen de tests sur route et/ou de simulation, afin de permettre un apprentissage supervisé du réseau de neurones R1 (Q-network), et/ou REVENDICATIONS1. Procédé de configuration automatique d'un dispositif (DG) de génération de récompenses r(t) attribuées à des instants t à des actions a(t) permettant de conduire un véhicule à conduite automatisée pouvant prendre différents états s(t), caractérisé en ce qu'il comprend une étape (10-60) dans laquelle on alimente un réseau de neurones (R3) dudit dispositif (DG), préconfiguré en générateur de récompenses r(t) et configurable par des valeurs de coefficients, avec des définitions d'une action connue ac(t) et d'un io état connu sc(t) dudit véhicule juste avant la réalisation de cette action connue ac(t), faisant partie d'un triplet connu (ac(t), sc(t), rc(t)) comprenant une récompense connue rc(t) attribuée à ladite action connue ac(t), afin de générer une récompense r(t), puis on détermine le résultat rdr d'une différence entre ladite récompense générée r(t) et ladite récompense connue rc(t), puis si ce 15 résultat rdr est supérieur à un premier seuil prédéfini on modifie lesdites valeurs des coefficients du réseau de neurones (R3), puis on alimente de nouveau ledit réseau de neurones (R3) avec des définitions d'action connue ac(t) et d'état connu sc(t) d'autres triplets connus jusqu'à ce que chaque résultat rdr déterminé soit systématiquement inférieur à un second seuil 20 prédéfini. 2. Procédé selon la revendication 1, caractérisé en ce que dans ladite étape on modifie lesdites valeurs des coefficients du réseau de neurones (R3) en fonction d'un écart entre ledit résultat rdr déterminé et ledit premier seuil prédéfini. 25 3. Procédé selon la revendication 1 ou 2, caractérisé en ce que dans ladite étape on détermine des valeurs modifiées desdits coefficients du réseau de neurones (R3) au moyen d'une méthode d'optimisation numérique. 4. Procédé selon la revendication 3, caractérisé en ce que dans ladite étape ladite méthode d'optimisation numérique est une méthode de gradient 30 selon la plus grande pente. 5. Dispositif (DG) de génération de récompenses r(t) attribuées à des instants t à des actions a(t) permettant de conduire un véhicule à conduite automatisée pouvant prendre différents états s(t), caractérisé en ce qu'il 15 comprend i) un réseau de neurones (R3) préconfiguré en générateur de récompenses r(t) et configurable par des valeurs de coefficients, et générant une récompense r(t) lorsqu'il est alimenté avec des définitions d'une action connue ac(t) et d'un état connu sc(t) dudit véhicule juste avant la réalisation de 5 cette action connue ac(t), faisant partie d'un triplet connu (ac(t), sc(t), rc(t)) comprenant une récompense connue rc(t) attribuée à ladite action connue ac(t), ii) des premiers moyens de calcul (MC21) déterminant le résultat rdr d'une différence entre ladite récompense générée r(t) et ladite récompense connue rc(t), et iii) des seconds moyens de calcul (MC22) modifiant lesdites io valeurs des coefficients du réseau de neurones (R3) lorsque ledit résultat rdr est supérieur à un premier seuil prédéfini, et déclenchant une nouvelle alimentation dudit réseau de neurones (R3) avec des définitions d'action connue ac(t) et d'état connu sc(t) d'autres triplets connus jusqu'à ce que chaque résultat rdr déterminé soit systématiquement inférieur à un second 15 seuil prédéfini. 6. Dispositif selon la revendication 5, caractérisé en ce que lesdits seconds moyens de calcul (MC22) modifient lesdites valeurs des coefficients du réseau de neurones (R3) en fonction d'un écart entre ledit résultat rdr déterminé par lesdits premiers moyens de calcul (MC21) et ledit premier seuil 20 prédéfini. 7. Dispositif selon la revendication 5 ou 6, caractérisé en ce que lesdits seconds moyens de calcul (MC22) déterminent des valeurs modifiées desdits coefficients du réseau de neurones (R3) au moyen d'une méthode d'optimisation numérique. 25 8. Dispositif selon la revendication 7, caractérisé en ce que lesdits seconds moyens de calcul (MC22) déterminent des valeurs modifiées desdits coefficients du réseau de neurones (R3) au moyen d'une méthode de gradient selon la plus grande pente. 9. Dispositif selon l'une des revendications 5 à 8, caractérisé en ce qu'il 30 comprend des moyens de contrôle (MCT2) alimentant ledit réseau de neurones (R3), une fois lesdites valeurs des coefficients configurées, avec des définitions d'action a(t) et d'état s(t), afin qu'il génère une récompense r(t). 10. Dispositif (DP) de production de quadruplets (a(t), s(t), r(t), s(t+1)) 16 dans chacun desquels a(t) est la définition d'une action réalisée à un instant t avec un véhicule à conduite automatisée pouvant prendre différents états s(t), s(t) et s(t+1) sont les états dudit véhicule respectivement juste avant et juste après cette action a(t)), et r(t) est une récompense attribuée à cette action a(t), 5 ledit dispositif (DP) comprenant i) un réseau de neurones (R1) configuré par des valeurs de coefficients et générant, lorsqu'il est alimenté avec un état s(t), un ensemble de récompenses finales Q(s(t), ai(t)) pour un ensemble d'actions ai(t) pouvant être réalisées en présence de l'état s(t), et ii) des moyens de contrôle (MCT1) alimentant ledit réseau de neurones (R1) avec ledit état s(t) io afin de déterminer une action a(t) correspondante à partir d'une récompense finale Q(s(t), a(t)) et d'une récompense r(t) attribuée à cette action a(t), puis construisant un quadruplet (a(t), s(t), r(t), s(t+1)) avec cet état s(t), cette action a(t), cette récompense r(t) et un état s(t+1) dudit véhicule juste après la réalisation de cette action a(t), caractérisé en ce qu'il comprend en outre un 15 dispositif de génération (DG) selon l'une des revendications 5 à 9, fournissant chaque récompense r(t) attribuée à une action a(t).