Brevet FR3077666A1 (20190809)

REVENDICATIONS1. Procédé de configuration automatique d'un dispositif (DG) de génération de récompenses r(t) attribuées à des instants t à des actions a(t) permettant de conduire un véhicule à conduite automatisée pouvant prendre différents états s(t), caractérisé en ce qu'il comprend une étape (10-60) dans laquelle on alimente un réseau de neurones (R3) dudit dispositif (DG), préconfiguré en générateur de récompenses r(t) et configurable par des valeurs de coefficients, avec des définitions d'une action connue ac(t) et d'un io état connu sc(t) dudit véhicule juste avant la réalisation de cette action connue ac(t), faisant partie d'un triplet connu (ac(t), sc(t), rc(t)) comprenant une récompense connue rc(t) attribuée à ladite action connue ac(t), afin de générer une récompense r(t), puis on détermine le résultat rdr d'une différence entre ladite récompense générée r(t) et ladite récompense connue rc(t), puis si ce 15 résultat rdr est supérieur à un premier seuil prédéfini on modifie lesdites valeurs des coefficients du réseau de neurones (R3), puis on alimente de nouveau ledit réseau de neurones (R3) avec des définitions d'action connue ac(t) et d'état connu sc(t) d'autres triplets connus jusqu'à ce que chaque résultat rdr déterminé soit systématiquement inférieur à un second seuil 20 prédéfini.\n<CLM>\1\tProcédé selon la revendication 1, caractérisé en ce que dans ladite étape on modifie lesdites valeurs des coefficients du réseau de neurones (R3) en fonction d'un écart entre ledit résultat rdr déterminé et ledit premier seuil prédéfini. 25\n<CLM>\1\tProcédé selon la revendication 1 ou 2, caractérisé en ce que dans ladite étape on détermine des valeurs modifiées desdits coefficients du réseau de neurones (R3) au moyen d'une méthode d'optimisation numérique.\n<CLM>\1\tProcédé selon la revendication 3, caractérisé en ce que dans ladite étape ladite méthode d'optimisation numérique est une méthode de gradient 30 selon la plus grande pente.\n<CLM>\1\tDispositif (DG) de génération de récompenses r(t) attribuées à des instants t à des actions a(t) permettant de conduire un véhicule à conduite automatisée pouvant prendre différents états s(t), caractérisé en ce qu'il 15 comprend i) un réseau de neurones (R3) préconfiguré en générateur de récompenses r(t) et configurable par des valeurs de coefficients, et générant une récompense r(t) lorsqu'il est alimenté avec des définitions d'une action connue ac(t) et d'un état connu sc(t) dudit véhicule juste avant la réalisation de 5 cette action connue ac(t), faisant partie d'un triplet connu (ac(t), sc(t), rc(t)) comprenant une récompense connue rc(t) attribuée à ladite action connue ac(t), ii) des premiers moyens de calcul (MC21) déterminant le résultat rdr d'une différence entre ladite récompense générée r(t) et ladite récompense connue rc(t), et iii) des seconds moyens de calcul (MC22) modifiant lesdites io valeurs des coefficients du réseau de neurones (R3) lorsque ledit résultat rdr est supérieur à un premier seuil prédéfini, et déclenchant une nouvelle alimentation dudit réseau de neurones (R3) avec des définitions d'action connue ac(t) et d'état connu sc(t) d'autres triplets connus jusqu'à ce que chaque résultat rdr déterminé soit systématiquement inférieur à un second 15 seuil prédéfini.\n<CLM>\1\tDispositif selon la revendication 5, caractérisé en ce que lesdits seconds moyens de calcul (MC22) modifient lesdites valeurs des coefficients du réseau de neurones (R3) en fonction d'un écart entre ledit résultat rdr déterminé par lesdits premiers moyens de calcul (MC21) et ledit premier seuil 20 prédéfini.\n<CLM>\1\tDispositif selon la revendication 5 ou 6, caractérisé en ce que lesdits seconds moyens de calcul (MC22) déterminent des valeurs modifiées desdits coefficients du réseau de neurones (R3) au moyen d'une méthode d'optimisation numérique. 25\n<CLM>\1\tDispositif selon la revendication 7, caractérisé en ce que lesdits seconds moyens de calcul (MC22) déterminent des valeurs modifiées desdits coefficients du réseau de neurones (R3) au moyen d'une méthode de gradient selon la plus grande pente.\n<CLM>\1\tDispositif selon l'une des revendications 5 à 8, caractérisé en ce qu'il 30 comprend des moyens de contrôle (MCT2) alimentant ledit réseau de neurones (R3), une fois lesdites valeurs des coefficients configurées, avec des définitions d'action a(t) et d'état s(t), afin qu'il génère une récompense r(t).\n<CLM>\1\tDispositif (DP) de production de quadruplets (a(t), s(t), r(t), s(t+1)) 16 dans chacun desquels a(t) est la définition d'une action réalisée à un instant t avec un véhicule à conduite automatisée pouvant prendre différents états s(t), s(t) et s(t+1) sont les états dudit véhicule respectivement juste avant et juste après cette action a(t)), et r(t) est une récompense attribuée à cette action a(t), 5 ledit dispositif (DP) comprenant i) un réseau de neurones (R1) configuré par des valeurs de coefficients et générant, lorsqu'il est alimenté avec un état s(t), un ensemble de récompenses finales Q(s(t), ai(t)) pour un ensemble d'actions ai(t) pouvant être réalisées en présence de l'état s(t), et ii) des moyens de contrôle (MCT1) alimentant ledit réseau de neurones (R1) avec ledit état s(t) io afin de déterminer une action a(t) correspondante à partir d'une récompense finale Q(s(t), a(t)) et d'une récompense r(t) attribuée à cette action a(t), puis construisant un quadruplet (a(t), s(t), r(t), s(t+1)) avec cet état s(t), cette action a(t), cette récompense r(t) et un état s(t+1) dudit véhicule juste après la réalisation de cette action a(t), caractérisé en ce qu'il comprend en outre un 15 dispositif de génération (DG) selon l'une des revendications 5 à 9, fournissant chaque récompense r(t) attribuée à une action a(t).