Patent application EP18212472A (EP), filed 2018-12-13
Publication number: EP3499431A1
Title: ELECTRONIC DEVICE FOR PROCESSING SIGNALS WITH BUILT-IN OPTIMISATION OF ELECTRIC ENERGY CONSUMPTION AND CORRESPONDING METHOD
Abstract: Ce dispositif électronique (10) de traitement de signaux à optimisation intégrée de consommation d'énergie électrique comporte : au moins un capteur (18) et au moins un actionneur (20) ; un bloc matériel (14) de stockage d'au moins une table de correspondance (58) attribuant une valeur de qualité à chaque paire formée d'une valeur d'état mesurable par chaque capteur (18) et d'une valeur d'action réglable par chaque actionneur (20) ; un bloc matériel (12) de traitement comportant un gestionnaire (46) de consommation d'énergie électrique à moteur d'apprentissage par renforcement (48) conçu pour choisir sélectivement entre une exploitation et une exploration aléatoire dans chaque table de correspondance (58) afin de sélectionner une nouvelle action et la transmettre à chaque actionneur (20).Le moteur d'apprentissage par renforcement (48) présente un paramètre (Δ) de limitation de l'exploration aléatoire, comportant une valeur de distance exploratoire dans chaque table de correspondance (58), autour d'une valeur d'action pré-sélectionnable dans chaque table de correspondance (58).
IPC codes: G06F   1/    32            A I
G06N  99/    00            A I
G06F   1/  3206            A I
G06F   1/   324            A I
G06F   1/  3296            A I
G06N  20/    00            A I
G06N   3/    00            A I
Claims: number: 1
text: Dispositif électronique (10) de traitement de signaux à optimisation intégrée de consommation d'énergie électrique, comportant :
number: 2
text: Dispositif électronique (10) de traitement de signaux selon la revendication 1, dans lequel :
number: 3
text: Dispositif électronique (10) de traitement de signaux selon la revendication 2, dans lequel les valeurs prédéterminées possibles de l'état mesurable (s<1>, ..., s<m>) sont ordonnées dans chaque table de correspondance (58) par ordre croissant ou décroissant de valeurs scalaires prédéterminées possibles de l'une des grandeurs physiques mesurables, et les valeurs scalaires prédéterminées possibles (a<1>, ..., a<n>) portant sur chacun dudit au moins un paramètre de fonctionnement sont respectivement ordonnées dans chaque table de correspondance (58) par ordre croissant ou décroissant de leur effet sur lesdites valeurs scalaires prédéterminées possibles (s<1>, ..., s<m>) de l'une des grandeurs physiques mesurables.
number: 4
text: Dispositif électronique (10) de traitement de signaux selon la revendication 3, dans lequel les valeurs scalaires prédéterminées possibles (a<1>, ..., a<n>) portant sur chacun dudit au moins un paramètre de fonctionnement sont respectivement ordonnées dans chaque table de correspondance (58) par ordre croissant ou décroissant et ont un effet monotone sur lesdites valeurs scalaires prédéterminées possibles (s<1>, ..., s<m>) de l'une des grandeurs physiques mesurables.
number: 5
text: Dispositif électronique (10) de traitement de signaux selon l'une quelconque des revendications 1 à 4, dans lequel la valeur de distance exploratoire de chaque table de correspondance (58) est exprimée en nombre de lignes ou colonnes adjacentes dans cette table de correspondance selon que les valeurs prédéterminées possibles (a<1>, ..., a<n>) de l'action réglable dans cette table de correspondance sont ordonnées en lignes ou en colonnes.
number: 6
text: Dispositif électronique (10) de traitement de signaux selon l'une quelconque des revendications 1 à 5, dans lequel ledit au moins un capteur (22, 24, 26, 28, 30, 32) comporte au moins l'un des éléments de l'ensemble constitué de :
number: 7
text: Dispositif électronique (10) de traitement de signaux selon l'une quelconque des revendications 1 à 6, dans lequel ledit au moins un actionneur (34, 36, 38) comporte au moins l'un des éléments de l'ensemble constitué de :
number: 8
text: Procédé d'optimisation d'une consommation d'énergie électrique d'un dispositif électronique (10) de traitement de signaux, comportant les étapes suivantes :
number: 9
text: Procédé d'optimisation d'une consommation d'énergie électrique selon la revendication 8, dans lequel le paramètre (Δ) à valeur de distance exploratoire est réglable dynamiquement en cours d'exécution (124) du moteur d'apprentissage par renforcement (48) de manière à augmenter ou réduire la distance exploratoire dans chaque table de correspondance (58).
number: 10
text: Procédé d'optimisation d'une consommation d'énergie électrique selon la revendication 8 ou 9, dans lequel la valeur d'action pré-sélectionnable (a<j>) dans chaque table de correspondance (58) est associée à une valeur maximale (MAX) des valeurs de qualité mises à jour dans cette table de correspondance (58), notamment une valeur résultant de l'exploitation (114).
Office action: search_report, dated 2019-06-19
Prior art cited: ref_id: - A. MOLNOS ET AL: "Investigation of Q-learning applied to DVFS management of a System-on-Chip", IFAC-PAPERSONLINE, vol. 49, no. 5, 1 January 2016 (2016-01-01), pages 278 - 284, XP055502281, ISSN: 2405-8963, DOI: 10.1016/j.ifacol.2016.07.126
ref_type: npl
severity: background
ref_id: - MANN T A ET AL: "Scaling Up Reinforcement Learning through Targeted Exploration", AAAI-11/IAAI-11, SAN FRANCISCO, USA, AAAI, SAN FRANCISCO, CA, USA, 7 August 2011 (2011-08-07), pages 435, XP001565817, ISBN: 978-1-57735-507-6
ref_type: npl
severity: background
ref_id: - THOMAS DEAN ET AL: "Planning under time constraints in stochastic domains", ARTIFICIAL INTELLIGENCE., vol. 76, no. 1-2, 1 July 1995 (1995-07-01), NL, pages 35 - 74, XP055502978, ISSN: 0004-3702, DOI: 10.1016/0004-3702(94)00086-G
ref_type: npl
severity: background
ref_id: - A. MOLNOS ET AL, "Investigation of Q-learning applied to DVFS management of a System-on-Chip", IFAC-PAPERSONLINE, (20160101), vol. 49, no. 5, doi:10.1016/j.ifacol.2016.07.126, ISSN 2405-8963, pages 278 - 284, XP055502281 [ID] 1-10 * Abstract; page  280  - page  284; figures 2,4 *
ref_type: npl
severity: background
ref_id: - MANN T A ET AL, "Scaling Up Reinforcement Learning through Targeted Exploration", AAAI-11/IAAI-11, SAN FRANCISCO, USA, AAAI, SAN FRANCISCO, CA, USA, (20110807), ISBN 978-1-57735-507-6, page 435, XP001565817 [A] 1 * page  436  - page  438 *
ref_type: npl
severity: background
ref_id: - THOMAS DEAN ET AL, "Planning under time constraints in stochastic domains", ARTIFICIAL INTELLIGENCE., NL, (19950701), vol. 76, no. 1-2, doi:10.1016/0004-3702(94)00086-G, ISSN 0004-3702, pages 35 - 74, XP055502978 [A] 1,9 * page  40  - page  41; figure 1 *
ref_type: npl
severity: background
Final disposition: pending (2019-06-19)