Brevet FR3091557A1 — publié le 20200710

Description Titre de l'invention : Contrôle thermique pour moteur de véhicule Domaine technique [0001] L'invention concerne un procédé de contrôle thermique pour moteur de véhicule, et un système pour la mise en oeuvre de ce procédé. L'invention trouve une application avantageuse pour le contrôle thermique d'un moteur électrique de véhicule. Technique antérieure [0002] Le contrôle thermique précis du moteur de véhicule est avantageux selon plusieurs aspects, puisqu'il permet d'augmenter à la fois la longévité et les performances du moteur. En effet, il est connu que la chaleur entraîne une déformation des matériaux nocive pour leur durée d'utilisation. [0003] Dans le cas de moteurs électriques par exemple, ces derniers génèrent beaucoup de chaleur par effet Joule, or les composants électroniques sont sensibles aux températures trop élevées et travaillent à des températures plafonnées. L'exposition à une température non régulée empiète donc sur la longévité de ces moteurs. [0004] De la même façon, le fait de consommer de l'énergie électrique dans le contrôle thermique du moteur lorsque ce n'est pas nécessaire réduit de fait l'autonomie du véhicule. H est donc important de pouvoir optimiser le contrôle thermique du moteur afin de pouvoir maintenir le moteur dans une plage de températures acceptables, tout en limitant la consommation d'énergie électrique induite par cc contrôle thermique pour optimiser l'autonomie du véhicule. [0005] Ainsi, deux approches sont considérées aujourd'hui pour effectuer le contrôle thermique du moteur de véhicule. Elles sont mises en place dans un système thermique qui comprend un moteur, un système de refroidissement, et au moins un actionneur adapté pour faire varier une capacité de refroidissement du moteur par le dispositif de refroidissement. [0006] L'approche basée sur des règles (connue sous la terminologie anglaise « rule-based ») est la plus utilisée et consiste à s'appuyer sur un ensemble de règles prédéfinies. Elles prescrivent ainsi des actions de contrôle en fonction d'un état donné du système thermique. Cependant, cette approche est trop peu précise pour u-river à un contrôle optimal du système dans la mesure où les états du système et les règles ne sont pas assez spécifiques au système concerné. De plus, ces règles ne prennent en compte par nature qu'une quantité très réduite de paramètres. [0007] La seconde approche basée sur l'optimisation (« Optimization-based ») prend en considération les résistances thermiques des différentes parties du système ainsi que les échanges de chaleurs qui se produisent entre le moteur et le dispositif de refroi- 2 dissement du moteur, à l'aide de modèles théoriques optimisés Elle considère donc précisément un ensemble de paramètres du système. De ce fait, l'approche requiert une complète connaissance théorique du système et de ses non linéarités. Dans le cas de systèmes complexes, cette approche devient techniquement et économiquement infaisable. En effet, le système devient très compliqué à modéliser et le coût de calcul est trop élevé. De plus, il s'agirait de faire beaucoup d'investigations pour valider le modèle théorique en conditions réelles ce qui engendrerait des coûts importants. Enfin, cette approche, puisqu'elle implique de modéliser le comportement thermique d'un système thermique particulier comprenant le moteur et son système de refroidissement, ne peut pas facilement être déclinée à d'autres types de moteurs et/ou de systèmes de refroidissement. Exposé de l'invention [0008] Lc but de l'invention est donc de répondre aux problèmes posés par les deux approches présentées ci-dessus. [0009] En particulier, un but de l'invention est de proposer un procédé de contrôle thermique d'un moteur de véhicule de mise en oeuvre simplifiée par rapport à l'art antérieur, et permettant un contrôle optimisé du refroidissement du moteur. [00 I 0] Pour ce faire, l'invention a pour objet un procédé d'optimisation du contrôle thermique d'un moteur de véhicule le véhicule comprenant un dispositif de refroidissement du moteur comprenant au moins un actionneur adapté pour faire varier une capacité de refroidissement du moteur par le dispositif de refroidissement, le procédé étant mis en oeuvre par un calculateur adapté pour contrôler ledit au moins un actionneur, le procédé étant caractérisé en ce qu'il comprend l'entrainement d'un algorithme d'apprentissage par renforcement comprenant la mise en oeuvre itérative des étapes suivantes : I) déterminer au moins une action de commande d'au moins un actionneur par application d'une fonction de commande à un état courant du système thermique comprenant le moteur et le dispositif de refroidissement, et mettre en oeuvre ladite action, 2) déterminer un état modifié du système thermique après la mise en oeuvre de ladite action, 3) calculer, par la mise en oeuvre d'une fonction de récompense thermodynamique du moteur, une valeur de récompense à partir de l'état modifié du système thermique, et de ladite action, 4) mettre à jour une fonction d'estimation de la performance thermique du système à partir de l'état courant du système thermique, l'état modifié du système thermique, 3 l'action et la récompense, et 5) modifier la fonction de commande à partir de la mise à jour de la fonction d'estimation de la performance thermique du système. [0011] Dans des modes de réalisation, un bruit d'exploration est ajouté à la détermination de l'action de commande ou aux paramètres de la fonction de commande. [0012] Selon un mode de réalisation, la fonction de récompense thermodynamique du moteur est configuréc pour maximiser la valeur de récompense lorsque, à partir de l'état courant, la génération d'irréversibilités thermodynamiques engendrées par l'action est minimisée. [0013] Selon un mode de réalisation, l'état modifié du système thermique après une action comprend au moins un paramètre identifiant au moins une action précédant ladite action. [0014] Selon un mode de réalisation, la fonction de récompense thermodynamique du moteur est configuréc pour pénaliser une action lorsque l'action provoque un dépassement de la température du moteur par rapport à un seuil déterminé. [0015] Selon un mode de réalisation, la fonction de récompense thermodynamique du moteur est configuréc pour pénaliser une action lorsque l'action est mise en oeuvre alors que la température ambiante est supérieure à la température du moteur. [0016] Selon un mode de réalisation, l'état du système thermique est défini par au moins un paramètre parmi le groupe suivant : la vitesse de l'air autour du véhicule, l'état allumé ou éteint du moteur dans un futur proche, une ou plusieurs températures du moteur, une ou plusieurs valeurs d'entropie du système thermique, une ou plusieurs actions mise en oeuvre avant l'état courant. [0017] Selon un mode de réalisation, le moteur est un moteur électrique. [0018] Selon un mode de réalisation, la fonction d'estimation de la performance thermique est de la forme suivante: [0019] [Math.5] Cr (Sr, ut) = fi ± E[1:j=i1 lYir ynQn(sn, (sn)) sr, uri r+i [0020] où y est un facteur de dépréciation, ot est l'ensemble des paramètres de la fonction de commande, et n est un nombre de pas de temps additionnels pris en compte pour le calcul de la fonction d'estimation de la performance thermique. [0021] Selon un mode de réalisation, le facteur de dépréciation y est compris entre 0,8 et 1 inclus. [0022] Selon un mode de réalisation, la valeur entre deux pas de temps de l'entrainement de l'algorithme d'apprentissage par renforcement est déterminée en corrélation avec la valeur n et réciproquement. [0023] L'invention a également pour objet un produit programme d'ordinateur comprenant des instructions de code pour la mise en oeuvre du procédé décrit ci-avant quand il est mis en oeuvre par un calculateur. [0024] L'invention a également pour objet un système de contrôle thermique d'un moteur de véhicule comprenant un calculateur est adapté pour mettre en oeuvre au moins une action de commande d'au moins un actionneur par application d'une fonction de commande, ladite fonction de commande ayant été préalablement déterminée par la mise en oeuvre du procédé d'optimisation. [0025] L'invention a aussi pour objet un système de contrôle thermique d'un moteur de véhicule comprenant un calculateur adapté pour la mise en oeuvre du procédé décrit précédemment. [0026] Ainsi, en mettant en oeuvre une architecture de type acteur critique combinée à une fonction de calcul de récompense permettant d'optimiser les performances thermodynamiques du système thermique, l'invention est capable de faire du contrôle thermique sur des systèmes complexes de manière optimale pour une charge de calcul d'inférence peu onéreuse et sans besoin de résultats expérimentaux. Plus précisément, l'invention est basée sur un procédé d'apprentissage automatique par renforcement tel que divulgué par la publication Continous Control With Deep Reinforcement Learning (Lillicrap and al, 2015), plus connu sous le nom de l'algorithme DDPG, qui est une adaptation d'un algorithme connu sous le nom de Q-Lcarning pour un système de contrôle continu, le Q-Learning étant mis en oeuvre pour des systèmes discrétisés. [0027] La méthode d'entraînement d'apprentissage automatique par renforcement du système de contrôle va ainsi apprendre à contrôler le système thermique de manière efficace sans nécessité de s'appuyer sur des données expérimentales. L'invention s'adapte donc à des systèmes thermiques de différentes complexités. Brève description des figures [0028] D'autres caractéristiques, buts et avantages de l'invention ressortiront de la des- cription qui suit, qui est purement illustrative et non limitative, et qui doit être lue en regard des dessins annexés sur lesquels : Fig. 1 100291 1E2.11 présente le système thermique d'un moteur de véhicule selon un mode de réa- lisation l'invention. Fig. 2 100301 I fie.21 présente les principales étapes du procédé d'optimisation du contrôle thermique selon un mode de réalisation l'invention. Fig. 3 100311 Ifie.31 présente l'architecture acteur-critique mise en oeuvre par un calculateur conformément à un mode de réalisation de l'invention. [0032] Description détaillée d'un mode de réalisation de l'invention [0033] En référence à [fig.2], on va maintenant décrire un procédé d'optimisation de contrôle thermique d'un moteur du véhicule selon un mode de réalisation de l'invention. Ce procédé permet de piloter le refroidissement du moteur du véhicule de façon, d'une part, à maintenir le moteur du véhicule dans une plage de températures acceptables, et d'autre part, de réduire autant que possible la consommation d'énergie électrique par le système de refroidissement du véhicule. [0034] A cet égard, le procédé d'optimisation est mis en oeuvre sur un système thermique d'un moteur de véhicule 1, représenté schématiquement sur la [fig.1] comprenant un moteur 10, par exemple, mais non litnitativement, un moteur électrique, et un dispositif de refroidissement 30 du moteur, comprenant au moins un actionneur 50, adapté pour faire varier une capacité de refroidissement du moteur. [0035] Dans un mode de réalisation préféré, le moteur peut être un moteur électrique. En effet, comme les moteurs électriques ne doivent pas être soumis à des contraintes de températures trop abruptes pour la longévité et les performances des différents composants électroniques qui le composent et qu'ils imposent des contraintes supplémentaires en termes d'autonomie, l'invention trouve une application particulièrement avantageuse pour ce type de moteur. [0036] Le procédé d'optimisation est mis en oeuvre par un calculateur 20, représenté également sur [fig.1], et qui est adapté pour recevoir des informations sur l'état du moteur et du dispositif de refroidissement, ces informations étant mesurées par un ou plusieurs capteurs embarqués dans ou sur le véhicule, et pour contrôler le ou les actionneurs du dispositif de refroidissement du moteur par application d'actions de commande ut de chaque actionneur. Une action de commande d'un actionneur du dispositif de refroidissement est adaptée pour faire varier une capacité de refroidissement du dispositif de refroidissement. [0037] Concernant les informations acquises par les capteurs et reçues par le calculateur 20, elles sont des composantes de l'état du système qui sera développé plus bas. [0038] Concernant la ou les actions de commande, elles dépendent des composantes du dispositif de refroidissement, qui peut comprendre au moins l'un parmi les suivants : onduleur, batterie, pompe, vanne, grille, ventilateur, radiateur, tuyaux d'écoulements, liquide de refroidissement. En réalité, le dispositif de refroidissement peut être composé de tous types d'éléments seuls ou combinés permettant de refroidir un moteur de véhicule. L'optimisation du contrôle thermique d'un moteur de véhicule selon l'invention n'étant pas propre à un système de refroidissement, toutes les combinaisons de dispositifs de refroidissement sont considérées. [0039] Par exemple, si le dispositif de refroidissement est une pompe qui fait transiter un liquide de refroidissement vers le moteur, une action de commande ut de la pompe peut 6 être une modification du débit de la pompe. [0040] Un autre exemple est celui où le dispositif de refroidissement est une vanne ouvrant sur l'extérieur et dont l'action de commande u, consiste à ouvrir ou fermer la vanne d'un certain angle. [0041] Selon un autre mode de réalisation, une action de commande peut également consister à activer des pâles d'un ventilateur, à une vitesse déterminée, pour refroidir le moteur. [0042] Il est également possible qu'une action de commande consiste à ouvrir ou fermer une grille, selon une position parmi une pluralité de positions possibles, pour refroidir un radiateur lorsque celui-ci évacue la chaleur du moteur. [0043] L'invention n'exclut cependant pas le fait que les actions de commandes définies dans les exemples précédents peuvent être utilisées au même moment ou combinées d'une manière ou d'une autre. Ainsi, le ventilateur, la pompe, la vanne, la grille et le radiateur font partie intégrante du dispositif de refroidissement couvert par l'invention et ne sont pas considérées comme plusieurs dispositifs de refroidissement distincts. [0044] Le calculateur 20 peut donc déterminer une action de commande ut pour chacun d'une pluralité d'éléments différents d'un même dispositif de refroidissement. [0045] Pour la mise en oeuvre du procédé d'optimisation, le calculateur 20 présente avanta- geusement une architecture du type acteur-critique, décrit dans la publication Natural Actor-Critic (Jan Peters, Sethu Vijayakumar and Stefan Schaal, 2008), l'architecture du calculateur 20 étant représentée schématiquement en [fig.3]. Plus précisément, le calculateur est avantageusement configuré pour mettre en oeuvre un algorithme d'apprentissage par renforcement de type DDPG qui est un cas particulier d'algorithme basé sur une architecture acteur-critique décrit dans la publication de Lillicrap et al. citée ci-avant. Dans la suite, les mêmes notations sont employées que dans cette publication pour décrire les mêmes objets ou fonctions. [0046] Cette architecture comporte un premier bloc 21 représentant l'acteur de l'architecture acteur-critique. Ce bloc 21 du calculateur 20 reçoit l'état du système thermique st, et détermine au moins une action de commande ut à effectuer, par application d'une fonction de commande :7 à l'état st. Avantageusement, ce bloc est mis en oeuvre par un réseau de neurones artificiels implémentant la fonction de commande n. [0047] L'état du système thermique est avantageusement un vecteur comprenant plusieurs paramètres. Selon un mode de réalisation, les paramètres du vecteur d'état du système comprennent des actions de commande ut_1 ut, ut _3 ... Lit, précédant l'action de commande déterminée par le bloc 21 pour l'état st. Avantageusement, les paramètres comprennent également tout ou partie des paramètres suivants : la vitesse de l'air autour du véhicule, l'état du moteur dans un futur proche (allumé ou éteint), une ou plusieurs températures du moteur, l'entropie du système en son état courant et/ou d'au 7 moins un des états précédents. L'état du moteur dans un futur proche peut être représenté par un temps avant extinction du moteur, si une extinction du moteur est prévue ou prévisible, et à défaut à des paramètres du moteur dans un futur proche (LH t t_t') tels que, par exemple mais non limitativement, le couple du moteur ou encore à sa vitesse en tours par minute. Le véhicule peut donc comprendre un ou plusieurs capteurs de température, un ou plusieurs capteurs de vitesse de l'air, un ou plusieurs accéléromètres par exemple. Il peut en réalité comprendre un ensemble de capteurs permettant de récupérer les différentes données de navigation, lesquelles pouvant être exploitées pour déterminer l'état du système thermique. [0048] De plus, les paramètres de l'état du système thermique qui sont fonction du temps peuvent être d'une complexité d'ordre n, c'est-à-dire présenter des valeurs pour n états du système précédant l'instant t. Ainsi par exemple, un vecteur d'état du système thermique d'une complexité d'ordre 2 pourrait être le suivant : St = [T, ut, ut 1, ut 1, QBsG, BSG,i,',, V'ir] où T correspond à une ou plusieurs températures du moteur, u' ut 2 correspondent aux actions de commandes mises en oeuvre respectivement à t, t-1, et t-2, ()MG correspond à la quantité de chaleur du système thermique à l'instant t et/ou sa prévision dans un futur proche, BSGri,'ecorrespond à une prévision de l'état du moteur dans un futur proche, Vair correspond à la vitesse de l'air autour du véhicule à l'instant t et/ou sa prévision dans un futur proche. [0049] Un deuxième bloc 22 évalue l'impact de l'action de commande ut sur le système thermique et détermine le nouvel état du système st+, ainsi qu'une valeur de récompense rt+, associée à la transition d'état du système observée de l'état donné st vers l'état modifié st,I. Pour ce faire, le bloc 22 récupère les informations des différents capteurs du système thermique et évalue la récompense à attribuer à l'action de commande ut en fonction du nouvel état du système thermique, comme décrit plus en détails ci-après. Un troisième bloc 23 correspond au critique du système acteur-critique. Le bloc 23 de critique implémente et met à jour une fonction d'estimation de la performance thermique du système thermique en fonction des valeurs de récompenses déterminées par le bloc 22, cette fonction correspondant à la fonction Q de la publication citée ci-avant, et étant avantageusement mise en oeuvre par un réseau de neurones artificiels. Pour ce faire, le bloc 23 de critique comprend quatre entrées, la première étant l'action u' la deuxième étant l'état donné du système st, les troisième et quatrième entrées correspondant respectivement à la valeur de récompense rt., et au nouvel état du système stt_t après la mise en oeuvre de l'action u' Elles sont appelées P, tt_t sur la figure. Il comprend également une mémoire qui stocke l'ensemble des entrées 8 à chaque instant t. Dans la mesure où la mémoire ne peut être illimitée, les plus anciennes informations P'Et.',, sont supprimées au fur et à mesure de la mémoire du calculateur 20 grâce à un procédé de First in First Out (FIFO). [0050] L'implémentation et la mise à jour de la fonction Q d'estimation de la performance thermique du système sont décrites plus en détails ci-après. [0051] On a représenté sur la [fig.3] par un quatrième bloc 25 le fait que l'état du système modifié st+1 devient ensuite le nouvel état du système courant st, un pas de temps s'étant écoulé. [0052] En référence à la [fig.2], le procédé d'optimisation mis en oeuvre par le calculateur décrit précédemment comprend la mise en oeuvre itérative des étapes suivantes. [0053] Lors d'une première étape 110, le bloc 21 du calculateur détermine lors d'une sous- étape 111 au moins une action de commande u, d'au moins un actionneur 50 par application de la fonction de commande dans son état donné, à partir de l'état donné s, du système thermique, et met en oeuvre ladite action lors d'une sous-étape 113. [0054] Lors d'une deuxième étape 120, le bloc 22 du calculateur détermine un état modifié du système thermique après la mise en oeuvre de ladite action ut' [0055] Lors d'une troisième étape 130, le bloc 22 calcule une valeur de récompense à partir de la transition d'état du système thermique observée de l'état st vers l'état modifié et de ladite action ut' Ce calcul est mis en oeuvre par une fonction de récompense thermodynamique. [0056] Avantageusement, la fonction de récompense thermodynamique du moteur est configurée pour assigner de fortes valeurs de récompenses aux actions dans lesquelles le système thermique du moteur de véhicule 1 optimise sa performance thermique. [0057] Dans un mode de réalisation avantageux, la fonction de récompense thermo- dynamique du moteur est configurée pour maximiser la valeur de récompense lorsque, à partir d'un état donné s' la génération d'irréversibilités thermodynamiques engendrée par l'action ut est minimisée En d'autres termes, la fonction de récompense thermodynamique du moteur est également configurée pour minimiser la destruction d'exergie, c'est-à-dire d'énergie thermodynamique utile, ce qui permet notamment de minimiser l'apport d'énergie électrique de la part du moteur. [0058] Avantageusement, la fonction de récompense thermodynamique est également configurée pour pénaliser la valeur de récompense lorsque l'action de commande u, provoque un dépassement de la température du moteur à un seuil déterminé. Par exemple, si le moteur ne doit pas excéder une température de fonctionnement maximale de 70 degrés pour ne pas altérer ses performances thermiques, alors la fonction de récompense thermodynamique du moteur est configurée pour pénaliser la valeur de récompense associée à une action si cette action entraine un dépassement de cette température maximale. 9 [0059] Avantageusement, la fonction de récompense thermodynamique est également configurée pour pénaliser la valeur de récompense lorsqu'une action de commande u, est mise en oeuvre alors que la température ambiante est supérieure à la température du moteur. [0060] Dans des modes de réalisation, la fonction de récompense thermodynamique peut également pénaliser une valeur de récompense lorsque l'action de commande correspondante est mise en oeuvre alors que le moteur est éteint. [0061] Selon un exemple réalisation, la fonction de récompense thermodynamique, qui permet de calculer les valeurs de récompenses, est définie comme suit : [0062] [Math.1] r - iciSin k - h1( k2.«. ':T"? 1+e ' 1+ cr-"' 100631 où r correspond à la récompense, dSffrr correspond à la génération d'irréversibilités thermodynamiques créées par la transformation du système, BSG Lime correspond à un temps avant extinction du moteur, Li, correspond à la température du système thermique, Tm correspond à la température maximum du moteur avant de réduire ses per- formances thermiques, et Ta,'' correspond à la température ambiante autour du véhicule. 100641 La détermination des irréversibilités thermodynamiques créées par la transformation du système dépend bien entendu du système. A titre d'exemples non limitatifs, on peut calculer ces irréversibilités thermodynamiques, dans le cas du refroidissement d'un moteur électrique à la température TH, par convection naturelle avec de l'air à la température Ta, par dS,=Q',21,*( I /T,I/T',), avec Q,'.1, la quantité de chaleur transférée. Si ce refroidissement est forcé en utilisant un circuit de refroidissement muni d'une pompe, les irréversibilités thermodynamiques comprennent un terme supplémentaire représentant la dissipation de l'énergie de pompage sous forme de perte de charge : dSFQ',,,'s(1/Ta-1/T,')+A(P,'-P0,')/Ta, avec Pli, et P',' les pressions respectivement en amont et en aval de la pompe, et A un coefficient expérimental. [0065] Lors d'une quatrième étape 140, le bloc 23 associe la valeur de récompense r'_, à ladite action u,, et à la transition d'état observée de l'état donné s, vers l'état modifié s HA, et stocke cette association P - L, dans une mémoire. [0066] Lors d'une cinquième étape, 150 le bloc 23 met à jour la fonction d'estimation de la performance thermique. Pour ce faire, le bloc 23 estime d'abord la performance thermique du système à l'état courant, et pour cela il implémente d'abord la fonction Q à l'état t, à partir de la valeur de l'action u, mise en oeuvre pour l'état s' et connaissant la fonction de commande ru mise en oeuvre par le bloc 21 dans son état courant. La fonction Q calcule une espérance de la somme des récompenses futures pouvant être obtenue à partir de l'état courant s, du système, et connaissant la fonction ai, et dépréciées d'un facteur de dépréciation y, compris entre 0 et 1, et décrit plus en détails ci-après. Cette fonction peut être calculée selon l'équation (1) de la publication citée ci-avant, ou de façon récursive par l'équation de Bellman rappelée à l'équation (2) de la même publication. [0067] La mise à jour de la fonction Q est ensuite mise en oeuvre en modifiant les pa- ramètres de cette fonction (c'est-à-dire, les coefficients de pondération du réseau de neurones implémentant cette fonction) de manière à maximiser la précision de cette fonction d'estimation de la performance thermique du système. Avantageusement, cette mise à jour est réalisée en minimisant la différence entre l'implémentation de la fonction Q calculée pour l'état s' l'action u,, et l'état courant de la fonction de commande Ir, et une fonction y, définie par : [0068] [Math.2] Yt= rt-ti+ YQ(st+i, µ (st+i) 100691 Où la fonction Li est définie par la fonction de commande TE appliquée à l'état st+1, c'est-à-dire l'action u,1. 0Q désigne les paramètres de la fonction Q, c'est-à-dire la matrice de coefficients de pondération du réseau de neurones implémentant cette fonction, et y est le facteur de dépréciation compris entre 0 et 1. y, correspond donc à la récompense r', à l'instant t+1 additionnée de l'espérance de la somme des récompenses dépréciées à partir de l'état s,+1. 100701 Avantageusement, cette mise à jour est mise en oeuvre par bootstrap en prenant aléa- toirement un sous-ensemble de N transitions P,, in stockées dans la mémoire, et en calculant un yi pour chacune de ces transitions, et en minimisant l'erreur quadratique L fournie par : 100711 IMath.31 CZ L- [0072] Selon une variante de réalisation, on utilise la méthode dite du n-step return ou « Retour de n étapes », décrite par exemple dans la publication Distributed Distributional Deterministic Policy Gradients (Hoffinan and al, 2018), pour tenir compte, dans l'erreur L, des n transitions suivant chaque transition utilisée dans le calcul de l'erreur décrit ci-avant. Dans ce cas, la fonction y, devient : [0073] [Math.4] -1 yt= y' r P (s -17)(9Q) .1=1 t+J-1- Y Q(sr-Ft7 5 [0074] L'expression de la fonction d'estimation de la performance thern igue peut alors être ramenée à : 11 [0075] [Math.5] f 1 Q -7(sr, /LH + ± EV: H Yjri Y"Q"(sn, (sri s1, =1 [0076] En fonction de la valeur du facteur de dépréciation y, les récompenses postérieures à la fonction r, à un instant t sont plus ou moins prises en compte dans le calcul de la nouvelle fonction Q. [0077] Dans un mode de réalisation la sortie du réseau de neurones mis en oeuvre par le bloc 23 correspond à un scalaire correspondant au résultat de la fonction Q. Avantageusement, une couche est ajoutée au réseau de neurones avant la sortie du scalaire résultant de la fonction Q permettant d'estimer la distribution de Q, permettant en réalité de calculer l'espérance de Q selon la méthode Catcgorical divulguée par la publication Distributcd Distributional Deterministic Policy Gradients (Hoffman and al, 2018). Catcgorical permet à l'algorithme d'apprentissage de converger plus rapidement et d'avoir une meilleure efficacité dans le contrôle thermique du système. [0078] Dans un mode de réalisation, le facteur de dépréciation Y est compris entre 0,80 et 1 inclus. Avantageusement, il est compris entre 0,97 et 0,99 inclus. En effet, les systèmes thermiques étant d'une grande inertie, l'apprentissage est plus efficace en considérant très fortement la performance thermique postérieure pour calculer la nouvelle fonction d'estimation de la performance thermique. [0079] De la même façon, toujours pour considérer l'inertie thermique, l'écart entre deux pas de temps de l'algorithme d'apprentissage est important. Par exemple, le pas de temps peut être compris entre 0,1 et 2 secondes inclus. Il s'agit de faire un compromis entre un trop faible pas de temps ne considérant pas l'inertie thermique du système et un trop fort pas de temps ne permettant pas à l'algorithme (l'apprentissage de converger. La détermination du nombre d'étapes de retour n clans la méthode dite du nstep return est avantageusement adaptée pour permettre une bonne convergence de l'algorithme d'apprentissage. Dans le cas d'un trop grand nombre de valeur dans un laps de temps trop court, l'algorithme d'apprentissage peut ne pas converger. Par exemple, on peut prendre une valeur de n comprise entre 3 et 10 inclus, pour couvrir un laps de temps total (correspondant à n fois le pas de temps) compris entre 1 et 6 secondes inclus. Par exemple, le pas de temps peut être choisi égal 0,5 secondes, et n égal à 4. La valeur du pas de temps et la valeur n du n-Step Return sont donc corrélées, afin d'assurer une convergence de l'algorithme. [0080] Enfin, au cours d'une étape 160, le bloc 23 met à jour la fonction de commande du bloc 21 du calculateur à partir de la fonction d'estimation de la performance thermique. Cette étape est mise en oeuvre par une descente du gradient de J, J étant la valeur attendue de la performance thermique initiale du système, qui dépend des paramètres de la fonction de commande 3T, et définie par : 12 [0081] [Math.6] -1 Sj-E,i1j-IT[R11 100821 Où 100831 IMath.71 Rt= 1;y(1-11r(si,u1) [0084] Et où E est l'environnement. [0085] Le gradient de J est défini dans l'équation (6) de la publication de Lillierap et al. citée ci-avant. D'après l'expression du gradient de J cette descente du gradient permet la mise à jour des paramètres de la fonction de commande, en l'occurrence la matrice des coefficients de pondération du réseau de neurones mis en oeuvre par le bloc 21, de manière à maximiser la performance thermique attendue. [0086] Dans un mode de réalisation, l'étape 110 comporte une sous étape supplémentaire 112 d'ajout d'un bruit d'exploration à l'action de commande ut déterminée par le calculateur 20 lors de la sous-étape 111, ou directement aux paramètres de la fonction de commande. [0087] Par rapport à l'étape 110 ne comprenant pas cette sous étape, le bruit d'exploration ajouté permet d'obtenir une meilleure efficacité du système thermique en mettant en oeuvre un entrainement de nature exploratoire qui lui permet d'apprendre d'éventuelles actions optimisant davantage le système thermique. L'ajout du bruit d'exploration est représenté sur la [fig.3] par un bloc 24 du calculateur. Dans un mode de réalisation, le bruit d'exploration peut être un bruit blanc gaussien ou un bruit généré par un processus d'Ornstein Uhlenbeck. [0088] Dans un mode de réalisation, une fois la fonction de commande entraînée avec le procédé décrit ci-avant, la fonction de commande peut être stockée dans une mémoire et ensuite être mise en oeuvre directement par un second calculateur, distinct du premier, ce second calculateur étant embarqué dans le véhicule. Dans ce cas, le second calculateur détermine une action de commande en fonction d'un état du système thermique à l'aide de la fonction de commande déjà entraînée. Ladite fonction de commande ne peut cependant plus être mise à jour puisque le calculateur ne contient pas le procédé d'entraînement en mémoire. [0089] Dans une autre mode de réalisation, le calculateur 20 qui met en oeuvre l'entraincment dc la fonction de commande peut être un calculateur intégré dans le véhicule cible, et poursuivre la mise à jour dc la fonction de commande au fur et à mesure dc l'usage de ce véhicule. [0090] L'invention proposée permet donc de faire un contrôle optimisé du système thermique d'un moteur dc véhicule sans tenir compte de la complexité de modélisation du système pour un coût dc calcul d'inférence moindre et également pour un coût 13 économique moindre. De plus, elle est adaptable à un grand nombre de systèmes thermiques de moteur de véhicule ce qui rend l'invention flexible. 14 [Revendication 1] [Revendication 2] [Revendication 3] REVENDICATIONSProcédé d'optimisation du contrôle thermique d'un moteur de véhicule, le véhicule comprenant un dispositif de refroidissement du moteur (30) comprenant au moins un actionneur (50) adapté pour faire varier une capacité de refroidissement du moteur (10) par le dispositif de refroidissement (30), le procédé étant mis en oeuvre par un calculateur (20) adapté pour contrôler ledit au moins un actionneur (50), le procédé étant caractérisé en cc qu'il comprend l'entrainement d'un algorithme d'apprentissage par renforcement comprenant la mise en oeuvre itérative des étapes suivantes : 1) déterminer (111) au moins une action de commande (u,) d'au moins un actionneur (50) par application d'une fonction de commande à un état courant (s,) du système thermique comprenant le moteur (10) et le dispositif de refroidissement (30), et mettre en oeuvre (113) ladite action (u), 2) déterminer (120) un état modifié (s,,,) du système thermique après la mise en oeuvre de ladite action (u,), 3) calculer (130), par la mise en oeuvre d'une fonction de récompense thermodynamique du moteur, une valeur de récompense à partir de l'état modifié du système thermique, et de ladite action (u,), 4) mettre à jour (150) une fonction d'estimation de la performance thermique du système à partir de l'état courant (s,) du système thermique, l'état modifié (s'1) du système thermique, l'action (ut) et la récompense (rt+1), et 5) modifier (160) la fonction de commande à partir de la mise à jour de la fonction d'estimation de la performance thermique du système. Procédé d'optimisation du contrôle thermique selon la revendication 1, dans lequel à l'étape 1, un bruit d'exploration est ajouté (112) à la détermination de l'action de commande (u) ou aux paramètres de la fonction de commande. Procédé d'optimisation du contrôle thermique selon l'une quelconque des revendications précédentes, dans lequel la fonction de récompense thermodynamique du moteur est conligurée pour maximiser la valeur de récompense lorsque, à partir de l'état courant (st), la génération d'irréversibilités thermodynamiques engendrées par l'action (u) est minimisée 15 [Revendication 4] [Revendication 5] [Revendication 6] [Revendication 7] [Revendication 8] [Revendication 9] [Revendication 10] [Revendication 11] Procédé d'optimisation du contrôle thermique selon l'une quelconque des revendications précédentes, dans lequel l'état modifié (s,l) du système thermique après une action (u1) comprend au moins un paramètre identifiant au moins une action précédant ladite action (u1). Procédé d'optimisation du contrôle thermique selon l'une quelconque des revendications précédentes, dans lequel la fonction de récompense thermodynamique du moteur est configurée pour pénaliser une action (u, ) lorsque l'action (u1) provoque un dépassement de la température du moteur par rapport à un seuil déterminé. Procédé d'optimisation du contrôle thermique selon l'une quelconque des revendications précédentes, dans lequel la fonction de récompense thermodynamique du moteur est configurée pour pénaliser une action (u, ) lorsque l'action (u1) est mise en oeuvre alors que la température ambiante est supérieure à la température du moteur. Procédé d'optimisation du contrôle thermique selon l'une quelconque des revendications précédentes dans lequel l'état du système thermique (s,) est défini par au moins un paramètre parmi le groupe suivant : la vitesse de l'air autour du véhicule, l'état allumé ou éteint du moteur dans un futur proche, une ou plusieurs températures du moteur, une ou plusieurs valeurs d'entropie du système thermique, une ou plusieurs actions mise en oeuvre avant l'état courant. Procédé d'optimisation du contrôle thermique selon l'une quelconque des revendications précédentes caractérisé en ce que le moteur (10) est un moteur électrique. Procédé d'optimisation du contrôle thermique selon l'une quelconque des revendications précédentes caractérisé en ce que la fonction d'estimation de la performance thermique est de la forme suivante : [Math.5] Qlsr, ut) - rr-Fi+YnQn(sn, (s n)) = IYrt+5 où y est un facteur de dépréciation, n est l'ensemble des paramètres de la fonction de commande, et n est un nombre de pas de temps additionnels pris en compte pour le calcul de la fonction d'estimation de la performance thermique. Procédé d'optimisation du contrôle thermique selon la revendication 9 caractérisé en ce que le facteur de dépréciation y est compris entre 0,8 et 1 inclus. Procédé d'optimisation du contrôle thermique selon les revendications 9 16 [Revendication 12] ou 10 caractérisé en ce que la valeur entre deux pas de temps de l'entrainement de l'algorithme d'apprentissage par renforcement est déterminée en corrélation avec la valeur n et réciproquement. [Revendication 13] Produit programme d'ordinateur, comprenant des instructions de code pour la mise en oeuvre du procédé selon l'une quelconque des revendications précédentes, quand il est mis en oeuvre par un calculateur (20). Système de contrôle thermique d'un moteur de véhicule (10) comprenant un calculateur (20), adapté pour mettre en oeuvre au moins une action de commande (u) d'au moins un actionneur (50) par application d'une fonction de commande, ladite fonction de commande ayant été préalablement déterminée par la mise en oeuvre du procédé d'optimisation selon l'une quelconque des revendications 1 à 11. Système de contrôle thermique d'un moteur de véhicule, comprenant un calculateur (20), adapté pour mettre en oeuvre le procédé selon l'une quelconque des revendications 1 à 11. [Revendication 14]