Brevet FR3069682A1 — publié le 20190201

CALCULATEUR POUR RESEAU DE NEURONES IMPULSIONNEL AVEC AGREGATION MAXIMALE Domaine technique L'invention concerne de manière générale les réseaux de neurones matériels et en particulier un calculateur basé sur un réseau de neurones convolutionnel à impulsion. Les réseaux de neurones matériels comprennent des neurones interconnectés entre eux par des synapses, qui sont classiquement implémentées par des mémoires numériques. Les synapses peuvent être également implémentées par des composants résistifs dont la conductance varie en fonction de la tension appliquée à leurs bornes. Les réseaux de neurones matériels sont utilisés dans différents domaines de traitement du signal (visuel, sonore, ou autre) comme par exemple dans le domaine de la classification d'image ou de la reconnaissance d'image. Les réseaux de neurones convolutionnels correspondent à un modèle particulier de réseau de neurones matériels. Les réseaux de neurones convolutionnels ont été décrits initialement dans l'article de K. Fukushima, « Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological Cybemetics, 36(4):193-202,1980. ISSN 0340-1200. doi: 10.1007/BF00344251 ». Les réseaux de neurones convolutionnels (CNN) sont utilisés notamment dans des systèmes de classifications d'images pour accélérer la classification. Appliqués à la reconnaissance d'images, ces réseaux permettent un apprentissage des représentations intermédiaires d'objets dans les images qui sont plus petites et généralisables pour des objets similaires, ce qui facilite leur reconnaissance. Cependant, le fonctionnement intrinsèquement parallèle et la complexité des classificateurs classiques de type réseau de neurones convolutionnels limitent leur implémentation dans les systèmes embarqués, qui imposent de fortes contraintes en matière de surface et de consommation. Des solutions ont été proposées pour implémenter les réseaux de neurones matériels sur processeur graphique GPU afin d'améliorer leurs performances, comme par exemple la solution décrite dans l'article de D. C. Ciresan, U. Meier, J. Masci, L. M. Gambardella, and J. 2 Schmidhuber, « Flexible, high performance convolutional neural networks for image classification. Proceedings of the Twenty-Second International Joint Conference on Artificial Intelligence - Volume Two», IJCAI' 11, pages 1237-1242, 2011. ISBN 978-1-57735-514-4. doi: 10.5591/978-1-57735-516-8/ IJCA111-210. 5 Plusieurs implémentations matérielles de réseau convolutionnel impulsionnel ont notamment été proposées dans L. Camunas-Mesa, C. Zamarreno-Ramos, A. Linares-Barranco, A. AcostaJimenez, T. Serrano- Gotarredona, and B. Linares-Barranco. An event-driven multi-kernel convolution processor module for event-driven vision sensors. Solid-State Circuits, IEEE Journal of, 47(2):504-517, 2012. ISSN 0018-9200. doi: 10.1109/JSSC.2011.2167409. Une telle 10 implémentation de convolution utilise une mémoire numérique séparée pour stocker les coefficients des noyaux de convolution, les coefficients du noyau de la mémoire étant copiés dans l'unité de calcul (ALU) à chaque arrivée d'impulsion. Un réseau de neurones est constitué d'une ou plusieurs couches de convolution pouvant inclure des couches d'agrégation (dites « pooling » en langue anglo-saxonne). La sortie d'une couche 15 de convolution peut être connectée sur l'entrée de la couche suivante. Les couches de convolution sont constituées de neurones. Dans une couche de convolution, chaque neurone est connecté à au moins une partie (sous-matrice) de la matrice d'entrée I. Les sous-matrices ont la même taille pour une même couche données, la taille des sous matrices définissant la taille du filtre. 20 Une couche de convolution ou de « pooling » peut être constituée d'une ou plusieurs matrices de sortie (encore appelées « cartes de sortie » ou « output feature map » en langue anglo-saxonne), chaque carte de sortie pouvant être connectée à une ou plusieurs matrices d'entrée (encore appelées « cartes d'entrée »). 25 Dans un réseau de neurones, les neurones sont connectés à leur sous-matrice d'entrée I par des synapses dont le poids est réglable. La matrice K des poids synaptiques (encore appelés « coefficient de poids» ou « coefficients de convolution ») appliquée aux sous-matrices d'entrée des neurones est la même pour tous les neurones d'une même carte de sortie ("feature map" en langue anglo-saxone). Une telle matrice K est encore appelée « noyau de convolution » ou 30 « filtre » ou « matrice de convolution ». 3 Une couche de convolution peut comprendre un ou plusieurs noyaux de convolution, qui ont chacun une matrice d'entrée, qui peut être la même, mais qui ont des coefficients différents correspondant à des filtres différents. Chaque noyau de convolution dans une couche produit une carte de sortie différente de sorte que les neurones de sortie sont différents pour chaque 5 noyau. Lorsque les réseaux convolutionnels incluent des couches de "pooling" locales ou globales, ces couches de « pooling » combinent les sorties de groupe de neurones d'une ou plusieurs cartes de sortie. La combinaison des sorties peut consister par exemple à prendre la valeur maximale (« MaxPooling ») ou moyenne des sorties du groupe de neurones, pour la sortie correspondante, sur la carte de sortie de la couche de « pooling ». 10 Les couches d'agrégation maximal « Maxpooling » permettent de réduire la taille des cartes de sorties d'une couche à l'autre dans le réseau, tout en améliorant ses performances en le rendant plus tolérant à de petites déformations ou translations dans les données d'entrée. Les couches de type « MaxPooling » sont utilisées dans de nombreux réseaux de neurones dont notamment les réseaux conventionnels (CNN). 15 Le regroupement « Maxpooling » permet en outre d'augmenter drastiquement les performances dans les réseaux de neurones et de réduire le nombre de signaux à émettre. Dans le cas d'un réseau de neurones impulsionnels (dits à « Spike ») utilisant un codage fréquentiel, les couches de « MaxPooling » sont utilisées pour sélectionner les signaux de plus grandes fréquences. 20 Il existe plusieurs approches d'implémentations de cette fonction de « MaxPooling » pour réseau de neurones impulsionnel, soit en utilisant un sous-réseau soit en changeant de modèle de neurone. Dans les réalisations basées sur le changement de modèle de neurones, en considérant un neurone ayant N synapses, les implémentations utilisées pour effectuer une fonction de 25 « MaxPooling » classique nécessitent N compteurs de C bits (C étant la précision du compteur d'activité) ainsi qu'une fonction de tri, ce qui requiert de nombreuses ressources. Par exemple, dans certaines implémentations connues, la fonction de « MaxPooling » est réalisée par une fonction de type « Winner Takes All » (WTA) appliquée par zone (expression 30 anglo-saxonne signifiant littéralement « le gagnant prend tout »). Une telle solution WTA est 4 utilisée classiquement dans des calculateurs dédiés à partir d'un réseau WTA, comme décrit par exemple dans l'article « Adaptive WTA with an Analog VLSI Neuromorphic Learning Chip », IEEE Transactions on Neural Networks 18(2) (2007) de Hafliger Philip ou encore dans l'article « Biophysiologically Plausible Implementations of the Maximum Operation », Neural 5 Computation, Volume 14, Issue 12 (November 2002), de Angela J. Yu, Martin A. Giese, Tomaso A. Poggio. Dans les implémentations WTA, les neurones utilisés ont un modèle classique de type « Integrate and Fire » ou IF (expression anglo-saxonne signifiant littéralement « Intègre et Tire »), ou Leaky Integrate and Fire (LIF) (expression anglo-saxonne signifiant littéralement « Intègre et Tire à fuite »), la structure du réseau et les règles d'apprentissage constituant la 10 fonction WTA. Cependant, les réseau WTA nécessitent un processus d'apprentissage additionnel et ont une complexité matérielle trop importante. Il existe donc un besoin pour un calculateur à base d'architecture de réseau de neurones optimisé pour réaliser la fonctions d'agrégation maximale (« MaxPooling »). 15 Définition générale de l'invention L'invention vient améliorer la situation en proposant un calculateur basé sur un réseau de neurones impulsionnel, le réseau comprenant des couches de neurones, les entrées et sorties de chaque neurone étant codées par des impulsions, les impulsions d'entrée étant reçues en 20 séquence en entrée d'un neurone, chaque neurone du réseau comprenant un champ récepteur comprenant au moins une synapse. Chaque synapse est associée à une adresse de synapse. Le calculateur est configure pour calculer, pour chaque couche de neurones, la valeur de sortie de chaque neurone en réponse à au moins une impulsion d'entrée. Le réseau comprend en outre au moins une couche d'agrégation maximale (couche de « MaxPooling »), chaque couche 25 d'agrégation comprenant des neurones d'agrégation maximale, chaque neurone d'agrégation maximale étant apte à délivrer une impulsion de sortie en réponse à la réception d'une impulsion d'entrée sur la synapse de son champ récepteur la plus active (i.e. synapse du champ récepteur du neurone d'agrégation maximale ayant la fréquence est la plus élevée). Selon un aspect de l'invention, le calculateur comprend un dispositif d'activation des neurones de la 30 couche d'agrégation maximale. En réponse à une impulsion d'entrée reçue par un neurone de la couche d'agrégation maximale, le dispositif est configure pour recevoir l'adresse de la synapse associée à l'impulsion d'entrée reçue, dite adresse de synapse activée, le dispositif 5 comprenant un comparateur d'adresse configuré pour comparer l'adresse de la synapse activée avec un ensemble d'adresses de référence, comprenant au moins une adresse de référence, chaque adresse de référence étant associée à une valeur de dureté et à un neurone d'agrégation. Le dispositif est configuré pour activer un neurone de la couche d'agrégation 5 maximale si l'adresse de la synapse activée est égale à l'une des adresses de référence, et que la valeur de dureté associée à cette adresse de référence a la valeur la plus grande parmi les valeurs de dureté associées aux autres adresses de référence dudit ensemble. Dans un mode de réalisation, le dispositif peut comprendre un compteur configuré pour 10 incrémenter la valeur de dureté associé à une adresse de référence dudit ensemble d'adresses de référence d'une valeur d'incrémentation choisie, si l'adresse de référence est égale à l'adresse de synapse activée, le dispositif étant en outre configuré pour délivrer une valeur d'impulsion de sortie mise à la valeur '1' (un), en association avec l'adresse de référence. 15 Le dispositif peut en outre comprendre un comparateur de valeur de dureté pour comparer la valeur de dureté à zéro, tandis que le compteur est configuré pour décrémenter la valeur de dureté associé à une adresse de référence d'une valeur de décrémentation choisie, si l'adresse de référence de l'ensemble d'adresses de référence est distincte de l'adresse de synapse activée et si le comparateur de valeur de dureté indique que la valeur de dureté est strictement 20 supérieure à zéro. Selon certains modes de réalisation, le dispositif peut être configuré pour mettre une adresse de référence à la valeur de l'adresse de synapse activée, si l'adresse de référence est distincte de l'adresse de synapse activée et si la valeur de dureté est inférieure ou égale à '0' (zéro), le 25 dispositif étant en outre configuré pour délivrer une valeur d'impulsion de sortie à la valeur '1' (un) associée avec l'adresse de référence et mettre la valeur de dureté associée à l'adresse de référence à une valeur d'initialisation prédéfinie. Le dispositif peut être configuré pour déterminer l'adresse de la valeur de dureté ayant la valeur 30 maximale et pour délivrer en sortie du neurone de la couche d'activation maximale une valeur d'impulsion de sortie correspondant à la valeur de l'impulsion de sortie associée à l'adresse de référence correspondant à la valeur de dureté. 6 Dans un mode de réalisation, le dispositif peut comprendre au moins une mémoire d'adresses pour stocker lesdites adresses de référence, et au moins une mémoire de valeurs de dureté pour stocker les valeurs de dureté associés à chaque adresse de référence, chaque adresse de référence dans la mémoire d'adresses étant associée à une valeur de dureté dans la mémoire 5 de valeurs de dureté. Avantageusement, le dispositif peut comprendre au moins une mémoire de valeurs d'initialisation pour stocker au moins une valeur d'initialisation. 10 En particulier, le dispositif peut comprendre une valeur d'initialisation différente pour chaque adresse de référence et la mémoire de valeur d'initialisation peut comprendre une structure de donnée, chaque entrée de la structure de donnée étant configurée pour stocker une valeur d'initialisation associée à une adresse de référence . 15 Selon certains modes de réalisation, le calculateur peut être implémenté sous forme d'un circuit numérique. En variante, le calculateur peut être implémenté sous forme d'un circuit analogique. 20 Il est en outre proposé un procédé pour calculer les valeurs de sortie de neurones dans un réseau de neurones impulsionnel comprenant au moins une couche de neurones, en réponse à au moins une impulsion d'entrée, les entrées et sorties de chaque neurone étant codées par des impulsions, les impulsions d'entrée étant reçues en séquence en entrée d'un neurone, chaque neurone du réseau comprenant un champ récepteur comprenant au moins une 25 synapse, chaque synapse étant associée à une adresse de synapse, le réseau de neurones comprenant en outre au moins une couche d'agrégation maximale, chaque couche d'agrégation comprenant des neurones d'agrégation maximale, chaque neurone d'agrégation maximale étant apte à délivrer une impulsion de sortie en réponse à la réception d'une impulsion d'entrée sur la synapse de son champ récepteur la plus active. Le procédé comprend une étape d'activation 30 des neurones de la couche d'agrégation maximale. En réponse à une impulsion d'entrée reçue par un neurone de la couche d'agrégation maximale, l'étape d'activation comprend les étapes consistant à : - recevoir l'adresse de la synapse associée à l'impulsion d'entrée reçue, dite adresse de synapse activée, 7 - comparer l'adresse de la synapse activée avec un ensemble d'adresses de référence, comprenant au moins une adresse de référence, chaque adresse de référence étant associée à une valeur de dureté et à un neurone d'agrégation ; - activer un neurone de la couche d'agrégation maximale si l'adresse de la synapse activée est 5 égale à l'une des adresses de référence et que la valeur de dureté associée à cette adresse de référence a la valeur la plus grande parmi les valeurs de dureté associées aux autres adresses de référence de l'ensemble. Dans un mode de réalisation, le procédé peut comprendre les étapes consistant à: 10 - incrémenter la valeur de dureté associé à une adresse de référence dudit ensemble d'adresses de référence d'une valeur d'incrémentation choisie, si l'adresse de référence est égale à l'adresse de synapse activée, et - délivrer une valeur d'impulsion de sortie mise à la valeur '1 ' (un) pour le neurone d'agrégation maximale, en association avec l'adresse de référence. 15 Le procédé peut en outre comprendre une étape consistant à comparer la valeur de dureté à zéro, et décrémenter la valeur de dureté associée à une adresse de référence d'une valeur de décrémentation choisie, si l'adresse de référence dudit ensemble d'adresses de référence est distincte de l'adresse de synapse activée et si la valeur de dureté est strictement supérieure à 20 zéro. Dans un mode de réalisation, le procédé peut comprendre les étapes consistant à: - mettre une adresse de référence à la valeur de l'adresse de synapse activée, si l'adresse de référence est distincte de l'adresse de synapse activée et si la valeur de dureté est inférieure ou 25 égale à zéro, - délivrer une valeur d'impulsion de sortie mise à la valeur '1 ' (un) en association avec l'adresse de référence, et - mettre la valeur de dureté associée à l'adresse de référence à une valeur d'initialisation prédéfinie. 30 Le procédé peut également comprendre les étapes consistant à: - déterminer l'adresse de la valeur de dureté ayant la valeur maximale, et 8 - délivrer en sortie du neurone de la couche d'activation maximale une valeur d'impulsion de sortie correspondant à la valeur de l'impulsion de sortie associée à l'adresse de référence correspondant à la valeur de dureté. 5 L'invention permet ainsi d'approximer la fonction d'agrégation/d'union maximale (« MaxPooling »). Il en résulte un gain en mémoire et une réduction importante des ressources nécessaires pour effectuer la fonction de MaxPooling pour des impulsions positives, reçues séquentiellement, et ce, sans perte significative de performance de classification du réseau. 10 Les modes de réalisation de l'invention permettent en outre une réduction mémoire et une réduction de la complexité calculatoire et donc des ressources matérielles nécessaire pour l'implémentation de la fonction de « MaxPooling ». Certains modes de réalisation peuvent être implémentés dans une architecture numérique, sans 15 changement des accès mémoire et de la taille mémoire déjà instanciée pour le calcul de la réponse d'un neurone impulsionnel. En variante, ils peuvent être implémentés ou dans une architecture analogique. Bien que non limitée à de telles applications, l'invention a des avantages particuliers dans les 20 applications d'accélérateur de réseaux de neurone impulsionnel. Brève description des dessins D'autres caractéristiques et avantages de l'invention apparaîtront à l'aide de la description qui 25 suit et des figures des dessins annexés dans lesquels: La figure 1 représente un exemple de réseau convolutionnel incluant des couches de regroupement (« pooling »), pour la classification d'images et des perceptrons; La figure 2 est un schéma montrant une couche de convolution constituée de plusieurs 30 cartes de sortie ; La figure 3 illustre le principe de fonctionnement d'une couche de convolution dans un réseau de neurones convolutionnel ; La figure 4 est un schéma illustrant le codage impulsionnel et la propagation dans le réseau de neurones des impulsions ; 9 La figure 5 représente schématiquement un calculateur pour calculer au moins une couche de convolution et la réponse des neurones des couches d'agrégation maximale, selon certains modes de réalisation, La figure 6 représente un exemple de connexion d'un neurone d'une couche d'agrégation 5 maximale, pour un champ récepteur de taille 2*2 d'une matrice d'entrée, La figure 7 représente un schéma illustrant l'acheminement d'une impulsion d'entrée d'adresse reçue dans le champ récepteur d'un neurone d'une couche d'agrégation maximale, selon certains modes de réalisation, La figure 8A représente le dispositif de calcul d'agrégation maximale, selon un mode de 10 réalisation, La figure 8B est une représentation schématique de chaque unité d'agrégation maximale, selon un mode de réalisation, - La figure 9 illustre le procédé de déclenchement des neurones d'agrégation maximale, en réponse à une impulsion d'entrée reçue par un ou plusieurs neurones d'une couche 15 d'agrégation maximale, selon certains modes de réalisation ; - La figure 10 est un organigramme décrivant un exemple d'implémentation du procédé de déclenchement d'un neurone d'une couche d'agrégation maximale, selon un mode de réalisation ; - La figure 11 est un organigramme représentant le procédé de déclenchement d'un neurone 20 d'une couche d'agrégation maximale, selon un tel mode de réalisation utilisant une unique adresse de référence associée à un compteur de dureté et à un neurone d'une couche d'agrégation maximale ; - La figure 12 représente le dispositif de déclenchement d'un neurone d'une couche d'agrégation maximale, sous la forme d'un circuit numérique comprenant une unité de calcul 25 d'agrégation maximale, selon un mode de réalisation ; La figure 13 est un circuit analogique représentant un exemple d'implémentation du procédé de déclenchement d'un neurone d'une couche d'agrégation maximale, selon un autre mode de réalisation ; La figure 14 montre la table de correspondance pour les signaux d'entrée/sortie du dispositif 30 de déclenchement des neurones d'une couche d'agrégation maximale ; La figure 15 est une représentation sous forme d'un circuit numérique du dispositif de déclenchement de neurones d'une couche d'agrégation maximale comprenant 3 unités de déclenchement de neurones ; 10 - La figure 16 est une représentation sous forme d'un circuit numérique d'une unité de déclenchement de neurone d'une couche d'agrégation maximale. Les dessins pourront non seulement servir à mieux faire comprendre la description, mais aussi 5 contribuer à la définition de l'invention, le cas échéant. Description détaillée Pour faciliter la compréhension de certains modes de réalisation, certaines caractéristiques et 10 définitions des réseaux de neurones convolutionnels sont indiquées ci-après. Un réseau de neurones est constitué d'une ou plusieurs couches de convolution, les couches de convolution pouvant inclure une ou plusieurs couches d'agrégation (le terme « agrégation » est encore appelé « union » ou « mise en commun » ou « regroupement » comme traduction du 15 terme anglo-saxon « pooling » correspondant). Les couches peuvent être suivies par un classifieur type perceptron multicouches. La sortie d'une couche de convolution peut être connectée sur l'entrée de la couche suivante. Chaque couche de convolution prend ses entrées sur les sorties de la précédente couche. Une 20 couche de convolution donnée est composée d'un nombre de neurones. Dans une couche de convolution, chaque neurone est connecté à au moins une partie (encore appelée « sous-matrice » ou « champ récepteur ») de la matrice d'entrée. Les sous-matrices peuvent avoir la même taille pour une même couche et leur taille peut être égale à la taille du 25 filtre. Les sous-matrices peuvent être décalées les unes des autres de manière régulière et peuvent se chevaucher. Une couche de convolution traite ainsi les données des champs récepteurs des neurones. Une couche de convolution comprend une ou plusieurs matrices de sortie comprenant un 30 ensemble de neurones de sortie, chaque matrice de sortie étant connectée à une matrice d'entrée (la matrice d'entrée comprenant un ensemble de neurones d'entrée) par des synapses artificielles associées à une matrice de convolution comprenant les coefficients de poids synaptiques correspondant aux neurones de sortie de la matrice de sortie (des poids 11 synaptiques (les coefficients de poids synaptiques sont encore appelés « poids synaptiques » ou « coefficient de poids» ou «coefficients de convolution » ou « pondérations »). La valeur de sortie de chaque neurone de sortie est déterminée à partir des neurones d'entrée de la matrice d'entrée auxquels le neurone de sortie est connecté et des coefficients de poids synaptiques de 5 la matrice de convolution associée à la matrice de sortie. La valeur interne d'un neurone est ainsi déterminée par sommation des signaux arrivant au neurone, après pondération par les coefficients synaptiques, en provenance des neurones connectés, la sortie d'un neurone étant déterminée en appliquant une fonction de transfert à la valeur interne du neurone. La matrice d'entrée peut être une image de dimension quelconque. La matrice d'entrée peut 10 être par exemple une image en deux dimensions (2D), chaque pixel de l'image étant représenté par un neurone et ayant des valeurs représentées en niveau de gris, la position d'un pixel donné (neurone) étant fournie par les coordonnées XY. Pour une image en couleur, plusieurs niveaux de gris peuvent être utilisés ainsi que plusieurs matrices d'entrée. Les cordonnées d'un pixel s'exprime alors en XYZ. 15 Dans un réseau de neurones, les neurones sont connectés à leur sous-matrice d'entrée I par des synapses dont le poids est réglable. La matrice K des poids synaptiques appliquée aux sous-matrices d'entrée des neurones est la même pour tous les neurones d'une même carte de sortie ("feature map" en langue anglo-saxone). Une telle matrice K est encore appelée « noyau 20 de convolution »ou « filtre ». Le noyau de convolution étant partagé pour l'ensemble des neurones d'une même carte de sortie 0, et donc appliqué sur l'ensemble de la matrice d'entrée, il en résulte une diminution de la mémoire nécessaire pour le stockage des coefficients, ce qui optimise les performances. Par exemple pour la reconnaissance d'images, cela permet de minimiser le nombre de filtres ou de représentations intermédiaires qui codent au mieux les 25 caractéristiques de l'image et qui sont réutilisables sur toute l'image. Les coefficients d'un noyau de convolution K peuvent correspondre à des filtres classiques de traitement du signal (par exemple Gaussien, Gabor, Laplace...), ou être déterminés par apprentissage, supervisé ou non-supervisé, par exemple en utilisant un algorithme de rétro-propagation du gradient. Les coefficients des noyaux de convolution peuvent être positifs ou négatifs et sont généralement 30 normalisés entre -1 et 1. Les valeurs d'entrée et de sortie des neurones sont également normalisées entre -1 et 1. 12 Une couche de convolution peut comprendre un ou plusieurs noyaux de convolution qui ont chacun une matrice d'entrée, qui peut être la même, mais qui ont des coefficients différents correspondant à des filtres différents. 5 Chaque noyau de convolution dans une couche produit une carte de sortie différente. Les neurones de sortie sont donc différents pour chaque noyau. Les couches d'agrégation (« pooling ») combinent les sorties de groupe de neurones des couches précédentes. Les couches d'agrégation (« pooling ») permettent ainsi de compresser 10 l'information en réduisant la taille des images intermédiaires. Dans les modes de réalisations de l'invention, le réseau de neurones convolutionnel comprend au moins un couche d'agrégation maximale configurée pour combiner les sorties de la couche précédente en prenant la valeur maximale (« MaxPooling »). Le réseau de neurones convolutionnel peut comprendre d'autres couches d'agrégation (de type maximal ou d'un autre 15 type). Une couche d'agrégation maximale est associée à un procédé de discrétisation basée sur un sous-échantillonnage. Le procédé de discrétisation permet de réduire la dimensionnalité (taille spatiale) de la matrice d'entrée de la couche d'agrégation maximale, en appliquant un filtre à 20 des sous-matrices rectangulaires de la matrice d'entrée (représentant l'image d'entrée) ne se chevauchant pas, le filtre déterminant la valeur maximale de chaque sous-région et générant une matrice de sortie dans laquelle chaque élément correspond au maximum calculé pour une sous-région. 25 Le signal en sortie de chaque sous-matrice rectangulaire est défini en fonction des valeurs prises par les différents neurones (pixels) de la sous-matrice rectangulaire. Dans certains modes de réalisation, une couche d'agrégation peuvent être insérée périodiquement entre deux couches de convolution successives d'une architecture à base de 30 réseau de neurones convolutionnel CNN pour contrôler le sur-apprentissage («overfitting »). Les sous matrices rectangulaires d'une couche d'agrégation maximale peuvent être par exemple de taille 2x2 (largeur/hauteur) et avoir comme valeur de sortie la valeur maximale de la 13 sous-matrice rectangulaire d'entrée (« Max-Pool 2x2 » avec compression d'un facteur 4). La couche d'agrégation maximale correspond alors à un filtre 2x2. La Figure 1 représente un exemple de réseau convolutionnel incluant des couches d'agrégation 5 (« pooling »), pour la classification d'images. Les images représentées en bas de la figure 1 représentent un extrait des noyaux de convolution de la première couche, après un apprentissage de type rétro-propagation du gradient, sur une base d'images telle que ImageNet. Comme illustré sur la figure 2, une couche de convolution ou de « pooling » peut être constituée d'une ou plusieurs matrices de sortie 24 (encore appelées « cartes de sortie » ou « output 10 feature map » en langue anglo-saxonne), chaque carte de sortie pouvant être connectée à une ou plusieurs matrices d'entrée 21 (encore appelées « cartes d'entrée »). Comme illustré sur la figure 3, une matrice de sortie notée 0 comprend des coefficients 0, et a une taille notée (Oh, Ow). Cette matrice correspond à une matrice de neurones et les coefficients 0 correspondent aux valeurs de sortie de ces neurones, calculée à partir des entrées et des 15 poids synaptiques. Une matrice ou carte d'entrée 21 peut correspondre à une carte de sortie d'une couche précédente ou à une matrice d'entrée du réseau qui reçoit des stimuli ou une partie des stimuli à traiter. Un réseau peut être constitué d'une ou plusieurs matrices d'entrée 21. Il peut s'agir par exemple des composantes RGB, HSV, YUV ou de toute autre composante classique d'une 20 image, avec une matrice par composante. Une matrice d'entrée notée I comprend des coefficients / et a une taille notée (4, /w). Une carte de sortie 0 peut être connectée à une matrice d'entrée I par une opération de convolution, via un noyau de convolution 22 noté K (le noyau de convolution est encore appelé filtre, ou matrice de convolution), de taille (n, m) et comprenant des coefficients Km. Chaque 25 neurone de la carte de sortie 24 est connecté à une partie de la matrice d'entrée 21, cette partie étant encore appelée « sous-matrice d'entrée » ou « champ récepteur du neurone » et étant de même taille que la matrice de convolution K. La matrice de convolution K comprenant les poids synaptiques est commune pour l'ensemble des neurones de la carte de sortie 0 (les poids de la matrice K sont alors dits « poids partagés). Chaque coefficient de sortie de la matrice de sortie 30 0,,j satisfait alors la formule suivante : 14 (min (n-1,I h-i.si) min (m-1,/w-j.sj) )Ii.s1+k,j.s1+1. Kk,1 oii= g k=0 1=0 Dans la formule ci-dessus, g() désigne la fonction d'activation du neurone, tandis que s, et sj désignent les paramètres de décalage (« stride » en langue anglo-saxone) vertical et horizontal respectivement. Un tel décalage « stride » correspond au décalage entre chaque application du noyau de convolution sur la matrice d'entrée. Par exemple, si le décalage est supérieur ou égal 5 à la taille du noyau, alors il n'y a pas de chevauchement entre chaque application du noyau. Une carte de sortie 0 est connectée à une matrice d'entrée / par une opération de « pooling » qui réalise un sous-échantillonnage de la matrice d'entrée, ce qui fournit une matrice sous-échantillonnée. 10 Le sous-échantillonnage appliqué par chaque couche d'agrégation maximale « Max pooling » peut être défini par l'équation ci-dessous: min (m-1,/w-j.sj) r = g ( min (n-1,Ih-i.si) on max1=0 li.si+k,i.sj+i) Les poids synaptiques associés aux connexions dans le cas d'une couche de « pooling » sont généralement unitaires et n'apparaissent donc pas dans les formules ci-dessus. Une couche complètement connectée comprend un ensemble de neurones, chaque neurone 15 étant connecté à toutes les entrées de la couche. Chaque neurone Oj dispose de ses propres poids synaptiques W avec les entrées /, correspondantes et effectue la somme pondérée h() des coefficients d'entrée avec les poids qui est ensuite transmise à la fonction d'activation go du neurone pour obtenir la sortie du neurone : Oj = La fonction d'activation des neurones g() est généralement une fonction sigmoïde, comme par 20 exemple la fonction tanh(). Pour les couches de « pooling », la fonction d'activation peut être par exemple la fonction Identité. 15 Les poids synaptiques peuvent être déterminés par apprentissage. L'apprentissage d'un réseau de neurones consiste à trouver les valeurs optimales des poids synaptiques à partir d'une méthode d'optimisation et d'une base d'apprentissage. Il existe de nombreuses méthodes d'apprentissage tels que la méthode de rétro-propagation du gradient, le principe de base 5 consistant, à partir d'un stimulus en entrée du réseau, à calculer la sortie du réseau, la comparer à la sortie attendue (dans le cas d'un apprentissage dit supervisé) et rétro-propager un signal d'erreur dans le réseau, qui vient modifier les poids synaptiques par une méthode de descente du gradient. Dans les modes de réalisation de l'invention, le réseau de neurones est « impulsionnel », les 10 valeurs d'entrée et de sortie d'un neurone (neurone dit « neurone impulsionnel ») étant codées avec des impulsions. Un neurone impulsionnel peut être défini par au moins deux fonctions : - une fonction d'intégration qui intègre les valeurs en entrée du neurone et peut implémenter 15 une fuite. - Une fonction d'activation qui prend en paramètres les valeurs de l'intégration et fournit les valeurs de sortie du neurone. Une fonction d'activation est définie par une fonction algébrique non linéaire, paramétrée, à valeurs bornées, et ayant des variables réelles appelées « entrée » en fonction du modèle de 20 neurone utilisé. Un neurone est en outre caractérisé par la fonction d'activation go utilisée pour calculer la réponse d'un neurone (représentant la valeur interne du neurone) à un événement d'entrée, un seuil et des poids synaptiques. Une valeur d'entrée ou de sortie d'un neurone impulsionnel peut être codée par le nombre 25 d'impulsions reçues par le neurone durant une fenêtre de temps fixée (codage fréquentiel), ou par l'instant d'émission d'une impulsion reçue selon une technique de codage d'ordre de rang. Dans les réseaux de neurones impulsionnels avec codage fréquentiel, le calcul d'une somme pondérée h se fait par accumulation du coefficient du noyau de convolution à chaque arrivée d'une impulsion sur l'entrée correspondante. La fonction d'activation du neurone g peut dans ce 30 cas être remplacée par un seuil. Lorsque la valeur absolue de la somme h dépasse le seuil suite à l'arrivée d'une impulsion sur la sous-matrice d'entrée, le neurone de sortie émet une impulsion du signe de h et remet la somme pondérée h à la valeur O. Le neurone entre alors dans une 16 période dite « réfractaire » durant laquelle il ne peut plus émettre d'impulsion pendant une période fixée. Les impulsions peuvent par conséquent être positives ou négatives, selon le signe de h lors du dépassement du seuil. Une impulsion négative en entrée inverse le signe du coefficient du noyau correspondant pour l'accumulation. 5 Le modèle d'un neurone (encore appelé « modèle computationnel de neurones ») est défini par une fonction algébrique non linéaire qui permet de calculer la sortie d'un neurone à partir de la valeur interne du neurone. Cette fonction peut prendre en argument la valeur de l'intégration (représentant la valeur interne à un neurone) mais aussi, selon les modèles, le temps ou la sortie d'un compteur interne. Telle qu'utilisée ici, l'expression « intégration » désigne l'intégrale 10 selon le temps des trains d'impulsions (« spike » en langue anglo-saxone) pondérées en entrée du neurone (i.e. intégrale temporelle d'un train d'impulsions pondérées comme un peigne de Dirac par exemple). La valeur interne d'un neurone (appelée « intégration » ou « valeur d'intégration ») peut être remise à zéro lorsque le neurone se déclenche. Un neurone se « déclenche » lorsqu'il produit une impulsion en sortie. 15 Les modèles computationnels de neurones impulsionnels définissent le calcul de l'intégration temporelle de l'information. La réponse d'un neurone à une stimulation est le temps d'émission de la prochaine impulsion. Une impulsion est émise en sortie d'un neurone au moment où l'excitation du neurone dépasse le seuil. Une horloge virtuelle peut être utilisée pour temporiser 20 les émissions d'impulsions sur les neurones, les impulsions pouvant alors être considérées comme des événements datés. Il existe plusieurs types de modèles de neurone impulsionnel comme par exemple : - Le modèle de Hodgkin & Huxley (HH), qui est défini par quatre équations différentielles interdépendantes, qui décrit la dynamique temporelle du neurone par les variations de 25 concentrations ioniques (K+, Ca2+) dans différents compartiments et reproduit les principaux "modes" de fonctionnement du neurone biologique. - Le modèle lntegrate & Fire (IF) qui est décrit par une équation différentielle unique et qui modélise le circuit intégré sous la forme d'un circuit électrique comprenant un condensateur et une résistance électrique (dipôle RC). Dans ce modèle, la dynamique 30 du neurone est décrite par son potentiel de membrane et par l'intensité qui le traverse. - Des modèles liés au modèle IF tels que le modèle Leaky Integrate & Fire (LIF) ou le modèle Quadratic Integrate&Fire (01F), le modèle à conductance lntegrate & Fire (gIF) ; 17 - Le modèle Spike Response Model (SRM) qui est basé sur le comportement du neurone (modélisation phénoménologique du neurone) ; ce modèle comprend une fonction noyau fournissant la dynamique du potentiel de membrane du neurone et une fonction calculant la sommation des potentiels post-synaptiques ; 5 - Le modèle d'Izhikevich (lzhikevich, 2003) qui utilise deux équations différentielles couplées pour modéliser les flux d'ions et les dynamiques de potentiel du neurone. Un neurone impulsionnel réalise dans un premier temps l'intégrale des impulsions pondérées (avec fuite ou non selon le modèle de neurones). Les impulsions peuvent être unitaires de 10 valeur 1 ou -1 (la valeur « -1 » n'est pas toujours utilisé). Les pondérations sont définies par les coefficients du filtre (noyau de convolution). La valeur résultant de l'intégration est notée / : g (I). Classiquement, g peut prendre la forme d'une fonction sigmoïde, comme par exemple la fonction tangente hyperbolique. Les réseaux de neurones peuvent être transposés en codage impulsionnel comme illustré sur la 15 figure 4. Dans ce cas, les signaux propagés en entrée et en sortie des couches du réseau ne sont plus des valeurs numériques, mais des impulsions électriques (assimilables à des impulsions Dirac). L'information qui était codée dans la valeur des signaux (normalisé entre -1 et 1) est alors codée temporellement avec l'ordre d'arrivée des impulsions (codage par rang, ou « rank order coding ») ou avec la fréquence des impulsions. 20 Dans le cas d'un codage par rang, l'instant d'arrivée de l'impulsion est inversement proportionnel à la valeur absolue du signal à coder. Le signe de l'impulsion détermine alors le signe de la valeur du signal à coder. Dans le cas d'un codage fréquentiel, la fréquence des impulsions, comprise entre fmin et fmax, est proportionnelle à la valeur absolue du signal à coder. Le signe de l'impulsion détermine le 25 signe de la valeur du signal à coder. Par exemple, en considérant une matrice d'entrée du réseau correspondant à la composante de luminance d'une image, normalisée entre 0 et 1, un pixel (ou coefficient de la matrice) blanc, codé par une valeur 1, émettra des impulsions à une fréquence fmax, un pixel noir, codé par une valeur 0, émettra des impulsions à une fréquence fmin, tandis qu'un pixel gris, codé par une valeur x, émettra des impulsions à une fréquence 30 f = fmin + X (fmax fmin) - Le codage peut également être pseudo-fréquentiel, par exemple poissonien : dans ce cas fmax et fmin représentent des fréquences moyennes uniquement. La phase initiale des impulsions peut être aléatoire. 18 Les impulsions peuvent également provenir directement d'un capteur, tel qu'une rétine ou une cochlée artificielle, imitant le fonctionnement de leur équivalent biologique. Dans les modes de réalisation de l'invention, le réseau de neurones convolutionnel considéré est à impulsion recevant les impulsions une à une. En particulier, il peut utiliser un codage 5 fréquentiel. Les couches de « MaxPooling » sont alors utilisées pour sélectionner les signaux de plus grandes fréquences. En variante, le réseau de neurones convolutionnel peut utiliser un codage par phase. La figure 5 représente schématiquement un calculateur 100 configuré pour calculer au moins une couche de convolution d'un réseau de neurones convolutionnel avec codage impulsionnel, 10 en réponse à un événement d'entrée, le réseau de neurones convolutionnel comprenant au moins un noyau de convolution 12, le noyau de convolution comprenant des coefficients de poids. Le calculateur 100 comprend au moins un module de convolution 20 (encore appelé « bloc de convolution ») configuré pour calculer les réponses des neurones (valeur interne des neurones) de chaque couche de convolution déclenchés par un événement d'entrée, chaque 15 couche de convolution étant constituée d'une ou plusieurs cartes de sortie. La valeur interne des neurones de la couche de convolution déclenchés par un événement d'entrée. L'entré et la sortie sont des connections au système de réseaux sur puce (NOC), c'est-à-dire qu'il existe au moins une connexion du NOC utilisé pour communiqué avec le calculateur 100. 20 Le formalisme des entré sortie du système 100 est le même que pour les modules 20 c'est-à- dire des évènements constitué au minimum d'une valeur adresse. Chaque module de calcul de convolution 20 peut être configuré pour calculer la valeur interne (encore appelée « valeur d'intégration ») des neurones d'une couche de convolution qui ont 25 reçu une impulsion (événement d'entrée). Lorsque cette valeur d'intégration dépasse un seuil prédéfini, les neurones sont « déclenchés » ou « activés » et émettent un évènement de type impulsion en sortie. Le calcul d'une couche de convolution consiste ainsi à déterminer la réponse (valeur de sortie) des neurones de la couche de convolution à un événement d'entrée impulsionnel. 30 Les modules 20 de calcul de convolution peuvent être interconnectés par un système d'interconnexion 101. Dans un mode de réalisation, les modules de calcul de convolution 20 peuvent être interconnectés en utilisant un système de réseaux sur puce (NOC). Un réseau sur 19 puce permet de rediriger les événements entre les modules et/ou les entrées/sorties. Le réseau assure la connexion entre les différentes couches du réseau de neurones 1. Dans certains modes de réalisation, le réseau sur puce peut implémenter en complément une fonction de gestion des priorités et de synchronisation des événements d'entrée. 5 La suite de la description sera faite en référence à un système d'interconnexion de type réseau sur puce à titre d'exemple non limitatif. L'homme du métier comprendra cependant aisément que d'autres systèmes d'interconnexion peuvent être utilisés tels que par exemple des systèmes d'interconnexions programmables (e.g. de type FPGA), des systèmes 10 d'interconnexions à routage fixe, etc. Chaque module de calcul de convolution effectue une opération de convolution sur une ou une partie d'une couche du réseau. Chaque module de convolution 20 peut être utilisé pour calculer les réponses des neurones d'une couche de convolution associée à un noyau de convolution (« filtre »). Dans d'autres 15 modes de réalisation, chaque module de convolution 20 peut être utilisé pour calculer les réponses des neurones de plusieurs couches de convolution. Dans un autre mode de réalisation encore, lorsqu'un module de convolution 20 n'est pas adapté pour calculer toutes les réponses des neurones d'une couche de convolution donnée (i.e. Si le réseau dépasse la capacité d'un module), plusieurs modules de convolution peuvent être utilisés pour calculer les 20 réponses de cette couche de convolution. Le réseau est alors distribué dans un nombre quelconque de modules 20. Chaque module de convolution 20 peut comprendre un ou plusieurs éléments de calcul, tels que des processeurs ou des sous-calculateurs. 25 Chaque module de calcul 20 peut calculer la valeur interne d'un ou plusieurs neurones déclenchés par un événement d'entrée, en utilisant les coefficients de poids du noyau de convolution. 30 Un événement d'entrée est représenté par une impulsion arrivant sur le réseau de neurones. Un réseau de neurones à impulsions peut recevoir dans le temps un train d'impulsions, chaque impulsion pouvant déclencher un ou plusieurs neurones. 20 Une impulsion représentant un événement d'entrée est définie par une adresse d'entrée sur la couche de convolution. Telle qu'utilisée ici, « l'adresse d'entrée » d'une impulsion représente l'adresse de l'impulsion 5 émise par la couche de convolution précédente et reçue par la couche de convolution considérée (ainsi l'entrée de la couche considérée est constituée par les sortie de la couche « précédente »). Lorsque les impulsions sont transmises par un bus série, elles propagent donc avec elles au moins leur adresse d'émission. 10 Lorsqu'une impulsion, définie par une adresse d'entrée, arrive sur une couche de convolution, la connexion entre les neurones de sortie et les neurones d'entrée sur la carte d'entrée est telle que l'impulsion n'est pas reçue par tous les neurones de cette couche. Ainsi, pour une impulsion entrante donnée, il existe des neurones qui ne peuvent pas recevoir cette impulsion, en même temps. De tels neurones sont dits « indépendants ». De plus, le nombre de neurones recevant 15 une même impulsion en même temps est au plus égal à la taille du filtre de convolution associé à la couche de convolution. Ces deux propriétés sont dues à la topologie des réseaux convolutionnels. Dans certaines applications de l'invention, le calculateur 100 peut être un calculateur multi-coeur 20 à mémoires distribuées, chaque coeur pouvant être interconnecté par le système d'interconnexion 101. Les différentes couches de convolution 4 du réseau de neurones convolutionnel 1 peuvent être distribuées sur les différents modules 20. En variante, les couches de convolution 4 peuvent 25 être associées à un même module 20 en utilisant des décalages (« offsets ») en z et L et une boucle allant du module de convolution 20 vers lui-même. Pour calculer la réponse des neurones déclenchés (valeur interne d'un neurone), chaque module de convolution 2 peut utiliser un ou plusieurs modèles computationnels de neurones 30 choisi. Le modèle du neurone peut être défini lors de la programmation du système. Dans certains modes de réalisation, il peut être identique pour tous les neurones d'une couche. Chaque module de calcul 2 peut être ainsi configuré pour déterminer et délivrer en sortie des valeurs de sortie représentant les valeurs en sortie de chaque neurone indépendant de la 21 couche. La valeur de sortie calculée pour un neurone déclenché donné résulte de l'intégration des valeurs d'entrée reçues par ce neurone dans le temps, pondérée par un coefficient de poids du noyau de convolution. Cette intégration temporelle est déterminée en utilisant la fonction d'activation (encore appelée « fonction de transition ») qui dépend du modèle computationnel de 5 neurone. Chaque module de calcul 2 peuvent ainsi calculer la valeur de sortie de chaque neurone correspondant à l'intégration temporelle à l'instant t à partir de l'intégration temporelle à t-1 et du coefficient de convolution (coefficient de poids) associé à l'instant t. 10 Chaque module de calcul 2 peut être connecté à un gestionnaire de sortie pour gérer l'ordre de sortie des évènements, par exemple en mettant en oeuvre forme un système de sérialisation avec une fonction de priorisation. Le protocole série utilisé en sortie peut être quelconque, par exemple AER (acronyme pour Adresse-Event Representation) signifiant littéralement 15 « Représentation Adresse-Evénement »). Selon la représentation AER, deux neurones connectés partagent un même bus numérique multiplexé temporellement. Un événement est encodé sous forme d'une adresse (tel qu'utilisée ici, une adresse est un identifiant, c'est-à-dire un nombre qui identifie le neurone produisant l'événement) et est transmis sur le bus numérique. Côté réception, l'adresse est encore convertie en impulsions qui sont distribuées sur 20 les neurones récepteurs connectés au neurone émetteur. Le réseau de neurones convolutionnel avec codage impulsionnel 1 comprend en outre au moins une couche d'agrégation maximale (« MaxPooling ») configurée pour combiner des sorties de la couche de convolution précédente en prenant la valeur maximale. 25 Un neurone d'une couche d'agrégation maximale classique se déclenche si sa synapse la plus active (i.e. celle qui a reçu le plus d'impulsions, ou autrement dit la synapse dont la fréquence est la plus élevée) reçoit un stimulus, en comparant l'activité de ses synapses pour sélectionner la synapse la plus active. Les modes de réalisation de l'invention permettent de déterminer la 30 réponse d'un neurone d'une couche d'agrégation maximale sans qu'il soit nécessaire pour chacune des N synapses, de décompter chaque impulsion reçue et de stocker l'activité de chaque synapse. 22 Selon les modes de réalisation de l'invention, au moins un module de convolution 20 parmi les module de convolution 20 du calculateur comprend un dispositif 10 de déclenchement des neurones de chaque couche d'agrégation maximale (dit neurone d'agrégation maximale ou neurone MP), le dispositif 10 étant configuré pour déclencher (ou activer) les neurones MP de 5 chaque couche d'agrégation maximale qui ont reçu une impulsion d'entrée et déterminer la valeur de l'impulsion de sortie de chaque neurone MP en réponse à une impulsion d'entrée reçue par le neurone MP en fonction de l'adresse de la synapse du champ récepteur du neurone MP qui est activée par l'impulsion d'entrée. 10 Dans l'exemple de la figure 5, chaque module de convolution 20 comprend un dispositif 10 de déclenchement des neurones MP. Le dispositif 10 de calcul d'agrégation maximale (encore appelé ci-après « dispositif de calcul d'agrégation maximale » ou encore « dispositif d'agrégation maximale ») calcule ainsi la 15 réponse (valeur de sortie) d'un neurone MP d'une couche d'agrégation maximal à une impulsion d'entrée. Le dispositif de calcul d'agrégation maximale 10 est configuré pour ne générer un évènement de sortie que si l'adresse de l'événement d'entrée reçu par le neurone MP correspond à l'adresse 20 la plus active dans l'agrégation (« pool »). La figure 6 représente un exemple de connexion d'un neurone MP pour un champ récepteur de taille 2*2 d'une matrice d'entrée 21. 25 Chaque couche d'agrégation maximale comprend un ensemble de neurones 60 dit neurones d' « agrégation maximale » (Max Pooling) ou neurones MP. Les neurones MP d'une couche de « MaxPooling » sont reliés en entrée à N synapses 61 numérotés de 0 à N - 1. L'adresse de chaque synapse est désignée ci-après par @S. 30 En réponse à la réception d'une impulsion par une synapse d'adresse @S, le dispositif de calcul d'agrégation maximale 10 est configuré pour déterminer si l'adresse de la synapse activée correspond au moins une adresse de référence @Smax, correspondant à l'adresse de la synapse la plus active dans la couche d'agrégation maximale (@S - @Smax). Si la condition 23 est vérifiée, le dispositif 10 déclenche le neurone MP relié à la synapse d'adresse @S ayant reçu l'impulsion d'entrée. Selon les modes de réalisation de l'invention, chaque adresse @Smax de synapse la plus active 5 (encore appelée adresse de référence) peut être calculée dynamiquement à chaque fois qu'une impulsion d'entrée est reçue par une couche, pour déterminer si un neurone MP doit être déclenché. Chaque neurone MP a une adresse de sortie unique notée @out (identifiant de neurone), cette 10 adresse étant utilisée pour l'identifier lorsqu'il se déclenche. Un neurone MP d'une couche d'agrégation maximale se déclenche à la réception d'une impulsion sur sa synapse la plus active. Pour un neurone donné la relation entre l'adresse de l'impulsion 62, notée « @spike », et 15 l'adresse de la synapse (@s) activé par cette impulsion dépend du champ de réception du neurone sur la carte d'entrée comme illustré sur la figure 6. L'adresse @spike correspond à l'adresse du neurone de la couche précédente qui à émit l'impulsion, autrement dit à l'adresse du neurone d'entrée dans le champ réceptif. 20 Les modes de réalisation de l'invention permettent de déclencher un neurone MP et de déterminer la valeur de l'impulsion de sortie de neurone MP en sélectionnant la synapse la plus active d'un champ réceptif du neurone MP, sans qu'il soit nécessaire de calculer l'adresse de sortie d'un neurone déclenché @out ou la relation entre l'adresse de l'impulsion @Spike et 25 l'adresse de la synapse @S. La figure 7 représente un schéma illustrant l'acheminement d'une impulsion d'entrée d'adresse « @spike » reçue dans le champ récepteur d'un neurone MP d'adresse « @out » en activant une synapse d'adresse « @S » fonctionnement du dispositif 10 de déclenchement de neurone 30 d'agrégation maximal selon certains modes de réalisation. La figure 7 montre 3 blocs, l'ensemble des blocs recevant une impulsion d'entrée d'adresse @spike et délivrant un neurone déclenché d'adresse @out et une impulsion de sortie d'adresse @spike : 24 -@spike @S: représentant les adresses de synapse @S ayant reçu une impulsion d'entrée ; -@S @out : représentant un neurone MP ayant reçu une impulsion d'entrées ayant activé une synapse @S -@S @spike : représentant une impulsion de sortie d'un neurone MP déclenché et ayant reçu 5 une impulsion d'entrée ayant activé une synapse @S. Le dispositif 10 de calcul d'agrégation maximale est configuré pour recevoir une à une les adresses de synapse @S ayant reçu une impulsion (bloc 4 noté « @spike @S »). 10 En réponse à la réception d'une impulsion sur un neurone MP, le dispositif 10 est configuré pour déterminer au moins une adresse de la synapse la plus active (encore appelée « adresse de la synapse maximale » ou « adresse de référence ») @Smax, en maintenant une variable interne D représentant la « dureté » de la synapse maximale (dite « valeur de dureté » ou « indicateur d'activité de synapse »). La variable de dureté représente l'activité différentielle (en terme 15 d'impulsions reçues) de la synapse par rapport aux autres synapses. S'il est déterminé que l'adresse de la synapse activée @S est égale à au moins une adresse de référence @Smax, le neurone MP est déclenché et un signal d'impulsion est émis en sortie du neurone. 20 Pour une couche d'agrégation maximale entièrement connectée (« Fully Connected » ou FC), le bloc 5 noté « @spike @S » n'intervient pas car l'adresse de l'impulsion est égale à l'adresse de la synapse (@spike = @S). Pour les autres types de connexion de couche d'agrégation maximale, le bloc 5 « @spike @S » peut être représenté par la mémoire dans laquelle sont 25 stockées les poids synaptiques. Dans un tel mode de réalisation, il est avantageux que les poids synaptiques ne soient pas redondants et donc que la précision synaptique soit suffisante ( 2précision > N). Le bloc 6 « @spike @out » fournit l'adresse @out du neurone de sortie en réponse à 30 l'impulsion d'entrée d'adresse @spike . Le bloc 6 « @spike @out » peut être dépendant du type de réseau de neurones. 25 La figure 8A représente le dispositif de calcul d'agrégation maximale 10 selon un mode de réalisation. En réponse à la réception d'une impulsion d'entrée sur une synapse du champ récepteur du 5 neurone MP, le dispositif de calcul d'agrégation maximale 10 peut être configuré pour déterminer si l'adresse de la synapse reçue @S correspond à au moins une adresse de référence @Smax stockées. Chaque adresse de référence @Smax, est associée à une valeur de dureté D. S'il est déterminé que l'adresse de la synapse activée @S est égale à l'une des adresses de l'ensemble d'adresses de référence @Smaxk, et que la valeur de dureté Dk associé 10 à cette adresse de référence @Smaxk a la valeur la plus grande parmi les valeurs des compteurs de dureté associées aux autres adresses de référence de l'ensemble, le dispositif déclenche le neurone MP en émettant une impulsion de sortie Spike.t. Dans un mode de réalisation, un ensemble de P adresses de référence @Smax i peuvent être 15 stockées dans les différentes mémoires 31 (soit N mémoires 31), l'ensemble comprenant au moins deux adresse de référence (P > 1). Avantageusement, P est compris entre 1 et N-1, N désignant le nombre de synapses. Chaque adresse de référence @Smax i est associée à un compteur de dureté Di et à un neurone de couche d'agrégation maximale MP. Dans un tel mode de réalisation : 20 - les mémoires 30 peut être représentées par une structure de données telle qu'une table @Smax[] (encore appelée « table d'adresses de référence ») pour stocker les P adresses de référence @Smax i = @Smax[i] , chaque entrée de la table associée à un indice i fournissant la ième adresse de référence @Smax, - les compteurs 32 peuvent être représentés par une structure de données telle qu'une table 25 (encore appelée « table de duretés ») pour stocker les P compteurs de dureté Di, chaque entrée de la table de duretés Dll associée à un indice i fournissant la ième adresse de référence @Smax, la ième valeur de dureté Di = D[i] étant associé à la ième adresse de référence @Smax; - les mémoires 33 peuvent être représentées par une structure de données telle qu'une table 30 (encore appelée « table d'initialisation ») pour stocker N valeurs d'initialisation INITi, chaque entrée de la table d'initialisation INITH associée à un indice i fournissant la ième adresse de référence INITi = INIT[i], la ième valeur d'initialisation INITi étant associé à la ième adresse de référence @Smax i et au ième compteur de dureté D. 26 Dans un tel mode de réalisation, une impulsion de sortie peut être déterminée pour chaque adresse de référence @Smaxi. Une structure de données telle qu'une table (encore appelée « table d'impulsion de sortie ») peut être utilisée pour stocker les N valeurs d'impulsions de sortie Spikei, chaque entrée de la table d'impulsion de sortie associée à un indice i fournissant 5 la ième valeur d'impulsion de sortie Spikei = Spike[i], la ième valeur d'impulsion de sortie étant associé à la ième adresse de référence @Smaxi et au ième compteur de dureté D. Selon les modes de réalisation de l'invention, le dispositif de calcul d'agrégation maximale 10 peut comprendre : - au moins une mémoire 30 configurée pour stocker au moins une adresse de référence 10 @Smaxk de la synapse couramment la plus active. - une mémoire 32 associé à la mémoire 30 pour stocker une valeur de « dureté » Dk en association avec chaque adresse de référence @Smaxk ; la mémoire 32 représente l'intégration du neurone ; - une mémoire /N/Tk 33 configurée pour stocker la valeur d'initialisation de chaque valeur de 15 « dureté » Dk, la valeur d'initialisation étant affectée à la valeur de dureté Dk lorsque l'adresse de référence @Smaxk est modifiée. - au moins une unité d'agrégation maximale 1 configurée pour déterminer une impulsion de sortie élémentaire d'un neurone MP à une impulsion d'entrée. - un bloc de détermination d'impulsion de sortie 35 configurée pour déterminer l'impulsion de 20 sortie du neurone Spikeout en fonction des impulsions de sortie élémentaires. Dans certains modes de réalisation, le dispositif 10 peut comprendre une unité d'agrégation maximale 1 associée à chaque paire comprenant une adresse de référence @Smaxk et la valeur de dureté Dk associée. En variante, une unique unité d'agrégation maximale 1 peut être 25 utilisée. La suite de la description sera faite en référence à une unité d'agrégation maximale 1 unique associée à chaque paire comprenant une adresse de référence @Smaxk et la valeur de dureté Dk associée. En référence à la figure 8B, chaque unité d'agrégation maximale 1 peut comprendre : 30 - un comparateur d'adresse 11 configuré pour comparer l'adresse @Smaxk de référence à l'adresse @S de la synapse activée ; - un comparateur de valeur de dureté 12 configuré pour comparer la valeur de dureté D, associée à un seuil S prédéfini ; 27 - un compteur 13 configuré pour mettre à jour la valeur de dureté en fonction des résultats de comparaison retournés par les comparateurs 11 et 12 ; - un bloc de mise à jour d'adresse de référence 15 configuré pour mettre une adresse @Smaxk de référence à l'adresse @S de la synapse activée en fonction des résultats des comparaisons 5 des comparateurs 11 et 12; - un bloc de détermination d'impulsion de sortie élémentaire 16 configuré pour déterminer une valeur d'impulsion de sortie élémentaire pour la paire {@Smaxk,Dk}. Dans un mode de réalisation préféré, le seuil S utilisé par le comparateur de valeur de dureté 12 10 pour comparer la valeur de dureté D, à ce seuil a une valeur égale à zéro (S = 0). La suite de la description sera faite à référence à un seuil de comparaison S fixé à 0 pour la comparaison des valeurs de dureté, à titre d'exemple non limitatif. Le compteur 13 permet de mesurer l'activité différentielle entre la synapse qui est actuellement 15 la plus active et les autres synapses. La valeur interne du neurone MP (encore appelée « intégration du neurone »), représentée par la mémoire 32 stockant les valeurs de dureté Dk, peut être incrémentée d'une valeur d'incrément choisie a si l'adresse de la synapse activée @S correspond à une des adresses de 20 référence @Smax stockées, ou décrémentée d'une valeur de décrémentation b choisie si l'adresse de la synapse activée @S ne correspond à aucune des adresses de référence @Smax stockées, ou mise à une valeur d'initialisation INIT en fonction des résultats des comparaisons effectuées par les comparateurs 11 et 12. 25 La valeur b représente une valeur de « pénalité » tandis que la valeur a représente une valeur de « récompense ». Les valeurs a et b peuvent être identiques ou différentes. Dans un mode de réalisation, les valeurs a et/ou b représentent une valeur entière. Lorsque le dispositif d'agrégation maximale comprend plusieurs paires d'adresse de référence/valeur de dureté, les valeurs a et b appliquées pour mettre à jour les compteurs 32 peuvent être différente d'un 30 compteur 13 à l'autre. Lorsque les valeurs de pénalité/avantage a et b appliquées aux compteurs de dureté sont différentes pour tous les compteurs 13 de valeur de dureté D' le dispositif 10 peut comprendre une mémoire stockant les valeurs de pénalité/avantage sous la forme d'une structure de 28 données, telle qu'une table, chaque entrée de la table d'initialisation associée à un indice i stockant une ième paire {a,, t'i} comprenant la valeur de pénalité b, et la valeur de récompense a, associées au ième compteur de dureté D. Lorsqu'une valeur de dureté D, dans la mémoire 32 atteint la valeur zéro, le bloc de mise à jour 5 d'adresse de référence 15 peut être configure pour remplacer l'adresse de référence @Smax associée par l'adresse de la synapse activée @S et pour mettre la valeur de dureté D du compteur 13 associé (intégration du neurone) à la taille du noyau de la couche d'agrégation. Dans un exemple de réalisation, les valeurs de pénalité et de récompense a et b peuvent être égales à 1, tandis que la valeur d'initialisation INIT de la dureté peut être égale au nombre de 10 synapses P. Le bloc de détermination d'impulsion de sortie 35 peut être configure pour déterminer l'impulsion de sortie du neurone Spikeout à la valeur de l'impulsion de sortie correspondant à l'adresse `Pmax(D0' correspondant à la valeur de dureté maximale Dk, soit Spikeout = Spike [Pmax(Dk)]. 15 Dans certains mode de réalisation, certaines ou toutes les mémoires d'adresse de référence 32, de valeurs de dureté 30 et de valeurs d'initialisation 31 peuvent être incluses dans la mémoire du calculateur 100 stockant la valeur interne d'un neurone MP. La figure 9 illustre le procédé de déclenchement des neurones MP, en réponse à une impulsion d'entrée reçue par un ou plusieurs neurones d'agrégation, selon certains modes de réalisation. 20 En réponse à une impulsion d'entrée reçue par un neurone d'agrégation, le procédé de déclenchement d'un neurone MP active ou déclenche le neurone MP si l'adresse de la synapse activée @S est égale à l'une des adresses de référence @Smax, (encore notée@Smax[i] lorsque les adresses de référence sont stockées dans une table @Smax[ ]) et que la valeur de 25 dureté D, (encore notée D[i] lorsque les adresses de référence sont stockées dans une table D[ 1) associée à cette adresse de référence @Smax, a la valeur la plus grande parmi les valeurs de dureté associées aux autres adresses de référence de l'ensemble. Sinon, le neurone n'est pas activé. Le procédé peut générer un signal (impulsion de sortie Spikeout) à la couche de convolution 30 suivante, en réponse au déclenchement du neurone MP. 29 Plus précisément, à l'étape 400, l'adresse de la synapse associée à l'impulsion d'entrée reçue @S, dite adresse de synapse activée, est reçue. 5 A l'étape 402, l'adresse de la synapse activée @S est comparée avec les P adresses de l'ensemble d'adresses de référence @Smax' avec P compris entre 1 et N-1 , chaque adresse de référence @Smax, étant associée à une valeur de dureté D' et à un neurone d'agrégation. Si l'adresse de la synapse activée @S est égale à l'une des P adresses de l'ensemble 10 d'adresses de référence @Smaxk, et que la valeur de dureté Dk associé à cette adresse de référence @Smaxk a la valeur la plus grande parmi les valeurs de dureté Dk associées aux autres adresses de référence de l'ensemble (bloc 403), le neurone MP associé est déclenché et l'impulsion de sortie Spikeout est mise à la valeur de l'impulsion de sortie correspondant à l'adresse `Pmax(D0' du compteur Dk à l'étape 404, soit Spikeout = Spike [Pmax(1)0]. 15 Si la condition de l'étape 404 n'est pas vérifiée, le neurone n'est pas activé (étape 405). Dans ce cas les valeurs de dureté D, et les valeurs de dureté @Smax, peuvent être mises à jour en fonction de la comparaison de chaque valeur de dureté D, par rapport à zéro ('0'). 20 Dans certains modes de réalisation, la valeur D, de dureté associée aux adresses de référence @Smax, de l'ensemble de référence peut être décrémentée d'une valeur de décrémentation bk si l'adresse de la synapse activée @S est distincte de l'adresse de référence @Smax, et que la valeur de dureté D, est inférieure ou égale à zéro. Si l'adresse de la synapse activée ps est distincte de l'adresse de référence @Smax, et que la 25 valeur de dureté D, est strictement supérieure à zéro, l'adresse de référence @Smax, peut être mise à la valeur de la synapse activée @S (@Smax = @S ), tandis que la valeur D, de dureté D, associée aux adresses de référence @Smax, de l'ensemble de référence peut être mise à la valeur d'initialisation associée INIT, (D, = INIT,). Dans un mode de réalisation, l'étape 404 peut en outre comprendre l'incrémentation de la 30 valeur de dureté Dk associé à l'adresse de référence @Smaxk qui a la valeur la plus grande parmi les valeurs de dureté, la valeur de dureté étant incrémenté d'une valeur ak. 30 La figure 10 est un organigramme décrivant un exemple d'implémentation du procédé de déclenchement d'un neurone MP d'une couche d'agrégation Maximale, selon un mode de réalisation. A l'étape 500, une impulsion est reçue sur un neurone MP. 5 A l'étape 501, l'adresse de la synapse @S associée à l'impulsion d'entrée (adresse de la synapse activée) est reçue. A l'étape 502, l'adresse de la synapse activée @S est comparée à l'ensemble d'adresses de référence @Smax,. A l'étape 503, des paramètres booléens go,stop_in et stop_out sont initialisés à zéro. Le 10 paramètre go, dit « paramètre d'activation générale », prend la valeur un (1 '), si l'adresse de la synapse activée est déjà comprise dans la table des adresses de référence Smax[1, et la valeur zéro (`0') sinon. Les paramètres stop_in et stop_out représentent des paramètres de contrôle, encore appelés « paramètre d'inhibition », associés à chaque unité de déclenchement 1 et aptes à inhiber ou bloquer le fonctionnement d'une unité de déclenchement 1 adjacente en 15 fonction de la valeur de ces paramètres. Le paramètre stop_in est un paramètre d'entrée d'inhibition et le paramètre stop_out est un paramètre de sortie d'inhibition. De tels paramètres évitent à deux unités de déclenchement 1 d'avoir la même valeur d'adresse de référence @Smax. Ainsi, si l'un des unités de déclenchement 1 change sa valeur d'adresse de référence @Smax, elle empêche toutes les autres unités 1 situées à sa droite de changer la 20 valeur de leur adresse de référence associée @Smax en mettant le paramètre stop_out à la valeur 1 (stop_out = 1). La sauvegarde des adresses de référence @Smax fait ainsi l'objet de priorité : dans l'exemple des figures, plus une unité de déclenchement est située à gauche dans le circuit, plus elle est prioritaire pour le changement de son adresse de référence associée @Smax. 25 Pour chaque indice k allant de 1 à P (bloc 504), la valeur de sortie de l'impulsion est initialisée à zéro (`0') et le paramètre stop_in est mis à la valeur du paramètre stop_out à l'étape 505. A l'étape 506, il est déterminé si l'adresse de la synapse activée @S est différente à une adresse de référence @Smax, de l'ensemble d'adresses de référence. 31 S'il est déterminé que l'adresse de la synapse activée @S est différente des adresses de référence @Smax, de l'ensemble d'adresses de référence (bloc 506), il est déterminé à l'étape 507 si l'une des adresses de référence @Smax, est associée à un compteur de dureté D, ayant une valeur inférieure ou égale à zéro (Dk 0). 5 Pour chaque adresse de référence@Smaxk, associée à un compteur de dureté Dk ayant une valeur inférieure ou égale à zéro (Dk 0), l'adresse de référence @Smaxk est mise à la valeur de l'adresse de la synapse activée @S, associée au compteur de duretéDk, si l'adresse de la synapse activée n'est pas déjà stockée dans les mémoires 31, comme vérifié à l'étape 509 (par exemple dans la table@Smax[ ]) : @Smax[k] = @S). Dans un tel cas, l'adresse de synapse 10 activée @S n'a pas déjà été enregistrée (go = 0) par une unité de déclenchement 1 et n'est pas en cours d'enregistrement par une unité de déclenchement 1 située plus à gauche (stop_in = 0). Elle peut donc être enregistrée par une unité de déclenchement 1 comme l'adresse de référence @Smax associée à cette unité 1, si sa valeur de dureté D associée est inferieure ou égale à 0. 15 A l'étape 511, la valeur de dureté Dk associée à l'adresse de référence @Smaxk est mise à la valeur d'initialisation INIT[k] prédéfinie. A l'étape 512, la valeur de l'impulsion de sortie est mise à un (1') pour l'indice k considéré, soit Spike[k] = 1. A l'étape 513, le paramètre stop-out est mis à un (stop_out = 1). 20 S'il est déterminé à l'étape 507 que l'adresse de référence @Smax, est associée à un compteur de dureté Dk ayant une valeur strictement supérieur à zéro (Dk > 0), à l'étape 508, la valeur de dureté Dk est diminuée d'une valeur de décrémentation choisie bk. S'il est déterminé à l'étape 506 que l'adresse de la synapse activée @S est égale à l'adresse de référence @Smaxk, la valeur de l'impulsion de sortie est mise à un (1 ') pour l'indice k considéré, 25 soit Spike[k] = 1 à l'étape 515. A l'étape 516, la valeur de dureté Dkassociée à l'adresse de référence est ensuite incrémentée d'une valeur d'incrémentation ak. A l'étape 517, le paramètre booléen stop_out est mis a la valeur `stop_out OU stop_in', autrement dit : 32 - stopout = 0 si la valeur courante de stop_out est égale à zéro (`0') ET que la valeur courante de stop_in' est égale à zéro (`0') ; - stopout = 1 sinon. Les étapes 506 à 517 sont réitérées pour tous les indices k (étapes 518 et 519). 5 Lorsque que toutes les adresses de référence ont été comparées (si k = N à l'étape 518), le neurone est déclenché si le paramètre stopout est égale à un (1 '), la valeur de l'impulsion de sortie Spikeout = Spike[@max(D[ ])] étant la valeur d'impulsion associée à l'adresse @max (D[ ]) correspondant au compteur D, ayant la valeur maximal D, = maxk=i à p(0k) = max(D[ ]). L'adresse @max (D[ 1) est de taille log2(N) bits. 10 Dans un mode de réalisation particulier, une seule adresse de référence @Smax associée à un compteur de dureté D et à un neurone MP est utilisée. La figure 11 est un organigramme représentant le procédé de déclenchement d'un neurone MP d'une couche d'agrégation maximale (« Max Pooling »), selon un tel mode de réalisation utilisant une unique adresse de référence @Smax associée à un compteur de dureté D et à un 15 neurone MP. A l'étape 600, une impulsion est reçue sur un neurone MP. A l'étape 601, l'adresse de la synapse @S associée à l'impulsion d'entrée (adresse de la synapse activée) est reçue. A l'étape 602, il est déterminé si la valeur de l'impulsion d'entrée reçue (« spike ») est égale à 0 20 (spike = 0). Si la valeur de l'impulsion d'entrée reçue (« spike ») est égale à 0, il est déterminé à l'étape 603 si l'adresse @S de la synapse activée par l'impulsion d'entrée est différente de l'adresse de synapse maximale @Smax stockée en mémoire. Si l'adresse @S de la synapse activée par l'impulsion d'entrée est différente de l'adresse de 25 synapse maximale @Smax stockée en mémoire (@S ! = @Smax), à l'étape 604, il est déterminé si la valeur courante du compteur D est inférieure égale à 0 (D 0). D est de taille C (en bits) 33 Si la valeur courante du compteur D est inférieure égale à 0 (D 0), à l'étape 605, l'adresse @Smax stockée en mémoire est mise à la valeur de l'adresse de la synapse activée @S (@Smax = @S). Par ailleurs, à l'étape 606, la dureté D est initialisée à la valeur d'initialisation prédéfinie INIT. 5 A l'étape 607, la valeur de l'impulsion de sortie Spike est mise à un ('1'), soit Spike = 1. Le neurone n'est pas déclenché (bloc 608) S'il est déterminé à l'étape 604 que la valeur courante du compteur D est strictement supérieure à 0 (D > 0), la valeur de dureté D est décrémentée de la valeur b à l'étape 609. Le neurone n'est pas déclenché (bloc 608). 10 S'il est déterminé à l'étape 603 que l'adresse @S de la synapse activée est égale à l'adresse de référence @Smax (@S = @Smax), à l'étape 610, la valeur de l'impulsion « spike » en sortie du neurone MP est ensuite mise à 1 (spike = 1) et le neurone MP est déclenché (bloc 611). A l'étape 612, la valeur courante du compteur D est incrémentée de la valeur a. Le procédé de déclenchement des neurones d'une couche d'agrégation maximale (MAX - 15 Pooling) peut être implémenté sous forme logicielle et/ou matérielle, et en particulier sous la forme d'un circuit numérique ou analogique. Bien que les organigrammes des figures 9 à 11 montrent des étapes successives, l'homme du métier comprendra aisément que certaines au moins des étapes de ces figures peuvent être alternativement exécutées en parallèle ou selon un ordre différent. 20 La figure 12 représente le dispositif de déclenchement d'un neurone d'une couche d'agrégation maximale (MAX-Pooling) 10 sous la forme d'un circuit numérique, selon un exemple de réalisation avec P - 1 (une seule unité de calcul d'agrégation maximale). Le circuit comprend la mémoire d'adresse de référence 30, la mémoire stockant la valeur de 25 dureté 32 et la mémoire stockant la valeur d'initialisation 33. Le circuit 10 comprend un bloc compteur 70 configuré pour sélectionner la valeur de pénalité -b, de récompense +a, ou la valeur d'initialisation INIT et mettre à jour la valeur de dureté D 34 en fonction de la comparaison entre l'adresse de synapse activé @S et l'adresse de référence @Smax et du signe de la valeur de dureté D. Le bloc 70 comprend un multiplexeur 700 réalisant l'initialisation de la valeur de dureté D et un 5 multiplexeur 701 configure pour incrémenter ou décrémenter la valeur de dureté D. Le bloc 70 comprend en outre un comparateur 702 pour comparer la valeur de dureté D à zéro. La comparaison entre l'adresse de synapse activée @S et l'adresse de référence @Smax est réalisée avec un bloc comparateur 71 comprenant un comparateur 710. Les résultats du bloc 10 comparateur 71 permettent d'activer le bloc compteur 70 pour mettre à jour la dureté D. Des portes logique ET ainsi que OU (entre les blocs 70 et 71) permettent de mettre à jour l'impulsion de sortie (spike), le signal stop_out en fonction des résultats des comparaisons effectuées par les blocs 70, 71, des signaux d'entrée go et/ou stop_in. 15 La figure 13 est un circuit analogique représentant un exemple d'implémentation du procédé de déclenchement d'un neurone d'une couche d'agrégation maximale (MAX-Pooling) selon un autre mode de réalisation. La figure 13 est fonctionnellement similaire à la figure 12, avec un bloc de test et de mise à jour de la valeur de dureté 70 et un bloc de comparaison 71 pour comparer l'adresse de synapse 20 activé @S et l'adresse de référence @Smax. Cependant, dans la figure 13, ces blocs sont implémentés sous forme analogique (signaux analogiques). En particulier, les valeurs de pénalité/avantage a et b sont implémentées avec des résistances 802 et 803 tandis que les mémoires 30, 31 stockant @Smax, D sont implémentées par des condensateurs. La figure 14 montre la table de correspondance (« Look-Up Table » en langue anglo-saxonne) 25 correspondant aux différents signaux du circuit numérique de la figure 12 : - 'stop - in': représentant un paramètre d'entrée d'inhibition ; -Go : représentant un paramètre d'activation générale ; -« REVENDICATIONS1. Calculateur (10) basé sur un réseau de neurones impulsionnel, le réseau comprenant des couches de neurones, les entrées et sorties de chaque neurone étant codées par des impulsions, les impulsions d'entrée étant reçues en séquence en entrée d'un neurone, chaque neurone du réseau comprenant un champ récepteur comprenant au moins une synapse, chaque synapse étant associée à une adresse de synapse, le calculateur étant configuré pour calculer, pour chaque couche de neurones, la valeur de sortie de chaque neurone en réponse à au moins une impulsion d'entrée, le réseau comprenant en outre au moins une couche d'agrégation maximale, chaque couche d'agrégation comprenant des neurones d'agrégation maximale, chaque neurone d'agrégation maximale étant apte à délivrer une impulsion de sortie en réponse à la réception d'une impulsion d'entrée sur la synapse de son champ récepteur la plus active, caractérisé en ce que le calculateur comprend un dispositif d'activation des neurones de la couche d'agrégation maximale (10), et en ce que, en réponse à une impulsion d'entrée reçue par un neurone de la couche d'agrégation maximale, le dispositif est configuré pour recevoir l'adresse de la synapse associée à ladite impulsion d'entrée reçue, dite adresse de synapse activée, le dispositif comprenant un comparateur d'adresse (11) configuré pour comparer l'adresse de la synapse activée avec un ensemble d'adresses de référence, comprenant au moins une adresse de référence, chaque adresse de référence étant associée à une valeur de dureté et à un neurone d'agrégation ; le dispositif étant configuré pour activer un neurone de la couche d'agrégation maximale si l'adresse de la synapse activée est égale à l'une des adresses de référence, et que la valeur de dureté associée à cette adresse de référence a la valeur la plus grande parmi les valeurs de 25 dureté associées aux autres adresses de référence dudit ensemble. 2. Calculateur selon la revendication 1, caractérisé en ce que le dispositif (10) comprend un compteur (13) configuré pour incrémenter la valeur de dureté associé à une adresse de référence dudit ensemble d'adresses de référence d'une valeur d'incrémentation choisie, si ladite adresse de référence est égale à ladite adresse de synapse activée, le dispositif étant en 30 outre configuré pour délivrer une valeur d'impulsion de sortie mise à la valeur 1, en association avec ladite adresse de référence. 39 3. Calculateur selon la revendication 2, caractérisé en ce que le dispositif comprend un comparateur de valeur de dureté (12) pour comparer la valeur de dureté à zéro, et en ce que le compteur (13) est configuré pour décrémenter la valeur de dureté associé à une adresse de référence d'une valeur de décrémentation choisie, si ladite adresse de référence dudit ensemble 5 d'adresses de référence est distincte de ladite adresse de synapse activée et si le comparateur de valeur de dureté indique que la valeur de dureté est strictement supérieure à zéro. 4. Calculateur selon l'une des revendications 1 à 3, caractérisé en ce que le dispositif (10) est configuré pour mettre une adresse de référence à la valeur de ladite adresse de synapse 10 activée, si ladite adresse de référence est distincte de ladite adresse de synapse activée et si la valeur de dureté est inférieure ou égale à zéro, le dispositif étant en outre configuré pour délivrer une valeur d'impulsion de sortie à la valeur 1 associée avec ladite adresse de référence et mettre la valeur de dureté associée à l'adresse de référence à une valeur d'initialisation prédéfinie. 15 5. Calculateur selon l'une des revendications 2 à 4, caractérisé en ce que le dispositif (10) est configuré pour déterminer l'adresse de la valeur de dureté ayant la valeur maximale et pour délivrer en sortie du neurone de la couche d'activation maximale une valeur d'impulsion de sortie correspondant à la valeur de l'impulsion de sortie associée à l'adresse de référence 20 correspondant à ladite valeur de dureté. 6. Calculateur selon l'une des revendications précédentes, caractérisé en ce que le dispositif (10) comprend au moins une mémoire d'adresses pour stocker lesdites adresses de référence (31), et au moins une mémoire de valeurs de dureté pour stocker les valeurs de dureté associés à chaque adresse de référence (32), chaque adresse de référence dans la mémoire d'adresses étant associée à une valeur de dureté dans la mémoire de valeurs de dureté. 7. Calculateur selon la revendication 4, caractérisé en ce que le dispositif (10) comprend au moins une mémoire de valeurs d'initialisation pour stocker au moins une valeur d'initialisation (33). 8. Calculateur selon la revendication 7, caractérisé en ce que le dispositif (10) comprend une valeur d'initialisation différente pour chaque adresse de référence et en ce que ladite mémoire de valeur d'initialisation comprend une structure de donnée, chaque entrée de la structure de 40 donnée étant configurée pour stocker une valeur d'initialisation associée à une adresse de référence (33). 9. Calculateur selon l'une des revendications précédentes, caractérisé en ce que le calculateur 5 est implémenté sous forme d'un circuit numérique. 10. Calculateur selon l'une des revendications 1 à 8 précédentes, caractérisé en ce que le calculateur est implémenté sous forme d'un circuit analogique. 10 11. Procédé pour calculer les valeurs de sortie de neurones dans un réseau de neurones impulsionnel comprenant au moins une couche de neurones, en réponse à au moins une impulsion d'entrée, les entrées et sorties de chaque neurone étant codées par des impulsions, les impulsions d'entrée étant reçues par un neurone en séquence en entrée, chaque neurone du réseau comprenant un champ récepteur comprenant au moins une synapse, chaque 15 synapse étant associée à une adresse de synapse, le réseau de neurones comprenant en outre au moins une couche d'agrégation maximale, chaque couche d'agrégation comprenant des neurones d'agrégation maximale, chaque neurone d'agrégation maximale étant apte à délivrer une impulsion de sortie en réponse à la réception d'une impulsion d'entrée sur la synapse de son champ récepteur la plus active, 20 caractérisé en ce que le procédé comprend une étape d'activation des neurones de la couche d'agrégation maximale (10), et en ce que, en réponse à une impulsion d'entrée reçue par un neurone de la couche d'agrégation maximale, ladite étape d'activation comprend les étapes consistant à : - recevoir l'adresse de la synapse associée à ladite impulsion d'entrée reçue, dite adresse de 25 synapse activée, - comparer l'adresse de la synapse activée avec un ensemble d'adresses de référence, comprenant au moins une adresse de référence, chaque adresse de référence étant associée à une valeur de dureté et à un neurone d'agrégation ; - activer un neurone de la couche d'agrégation maximale si l'adresse de la synapse activée est 30 égale à l'une des adresses de référence et que la valeur de dureté associée à cette adresse de référence a la valeur la plus grande parmi les valeurs de dureté associées aux autres adresses de référence dudit ensemble. 41 12. Procédé selon la revendication 11, caractérisé en ce qu'il comprend les étapes consistant a. - incrémenter la valeur de dureté associé à une adresse de référence dudit ensemble d'adresses de référence d'une valeur d'incrémentation choisie, si ladite adresse de référence 5 est égale à ladite adresse de synapse activée, et - délivrer une valeur d'impulsion de sortie mise à la valeur 1 pour ledit neurone d'agrégation maximale, en association avec ladite adresse de référence. 13. Procédé selon la revendication 11, caractérisé en ce que le procédé comprend une étape 10 consistant à comparer la valeur de dureté à zéro, et décrémenter la valeur de dureté associée à une adresse de référence d'une valeur de décrémentation choisie, si ladite adresse de référence dudit ensemble d'adresses de référence est distincte de ladite adresse de synapse activée et si la valeur de dureté est strictement supérieure à zéro. 15 14. Procédé selon l'une des revendications 11 à 13, caractérisé en ce que le procédé comprend les étapes consistant à : - mettre une adresse de référence à la valeur de ladite adresse de synapse activée, si ladite adresse de référence est distincte de ladite adresse de synapse activée et si la valeur de dureté est inférieure ou égale à zéro, 20 - délivrer une valeur d'impulsion de sortie mise à la valeur 1 en association avec ladite adresse de référence, et - mettre la valeur de dureté associée à l'adresse de référence à une valeur d'initialisation prédéfi nie. 25 15. Procédé selon l'une des revendications 12 à 14, caractérisé en ce que le procédé comprend les étapes consistant à : - déterminer l'adresse de la valeur de dureté ayant la valeur maximale, et - délivrer en sortie du neurone de la couche d'activation maximale une valeur d'impulsion de sortie correspondant à la valeur de l'impulsion de sortie associée à l'adresse de référence 30 correspondant à ladite valeur de dureté.