FR 2639736 A1 19900601 FR 8815428 A 19881125 PROCEDE DE RETROPROPAGATION DU GRADIENT ET STRUCTURE DE RESEAU DE NEURONES Description L'invention concerne un procédé de rétropropaga- tion du gradient mis en oeuvre dans une structure de réseau de neurones en couches ainsi que la structure elle-même, munie d'un automate de traitement et de moyens de traitement, ces derniers comprenant: - des moyens de résolution pour déterminer les états de neuro- nes de sortie, - des moyens de réactualisation de coefficients synaptiques, le procédé mettant en oeuvre deux groupements de moyens de traitement. L'invention trouve son application dans les pro- blémes de classification, de reconnaissance de forme, de ca- ractères, le traitement du signal de la parole, le traitement d'images, de compression de l'information... Les neurones sont des automates élémentaires non-linéaires connectés entre eux en un réseau très dense. On considère deux types de réseaux: - les réseaux pleinement connectés dits de Hopfield - les réseaux en couches: les neurones sont regroupés en cou- ches successives, chaque neurone est connecté à tous les neurones de la couche suivante l'information passant de la couche d'entrée aux couches suivantes (couches cachées) jus- qu'à la couche de sortie. Ces systèmes sont ainsi capables d'apprendre par l'exemple ou de s'autoorganiser. Les temps de calcul très longs sur ordinateur séquentiel peuvent se réduire considé- rablement en parallélisant les opérations intervenant dans la phase d'apprentissage ou de résolution. Les algorithmes d'apprentissage se répartissent en deux classes: apprentissages locaux, o la modification d'un coefficient synaptique Cij reliant le neurone d'entrée j au neurone de sortie i ne dépend que de l'information localisée sur les neurones i et j, - les apprentissages nonlocaux, o elle dépend d'informations situées dans tout le réseau. Ce dernier apprentissage est par exemple celui de la rétropropagation du gradient dans des réseaux en couches et c'est ce qui concerne la présente invention. On connaît un procédé et une structure de ce gen- re du document "A VLSI Architecture for feedforward networks with integral back-propagation" J.J. PAULOS and P.W. HOLLIS, Neural Networks, N 1, supplement 1, p. 399, 1988. Il s'agit d'un circuit analogique/numérique qui comporte deux sous-ré- seaux, l'étape de résolution étant effectuée dans le premier sous-réseau et l'étape de rétropropagation étant effectuée dans le second sous-réseau. Il comporte également une unité de calcul (ALU) pour la mise à jour des coefficients. Les deux premières étapes sont parallélisées et la mise à jour est faite séquentiellement. La duplication de matériel pour les étapes de résolution et de rétropropagation permet de les paralléliser et ainsi de gagner un facteur de l'ordre de Nk sur le temps d'exécution (o Nk est le nombre de neurones de la couche k). Mais la mise à jour des coefficients qui reste séquentielle nécessite un temps proportionnel à Nk. Nk+l (entrée/sortie). Le problème posé par l'invention est donc d'ac- croitre la vitesse de traitement d'une telle structure en li- mitant les échanges entre les moyens de traitement et l'auto- mate de traitement. Pour cela l'invention concerne un procédé de ré- tropropagation du gradient mis en oeuvre dans une structure de réseau de neurones en couches munie d'un automate de traite- ment et de moyens de traitement, ces derniers comprenant: - des moyens de résolution pour déterminer les états de neuro- nes de sortie i à partir des états de neurones d'entrée j au cours de phases de résolution, - des moyens de réactualisation de coefficients synaptiques Cij au cours de phases d'apprentissage, le procédé mettant en oeuvre deux groupements de moyens de traitement au cours: - d'étapes de résolution opérées dans le premier groupement - et d'étapes d'apprentissage mettant en oeuvre l'algorithme de rétropropagation du gradient - avec comparaison, dans l'automate de traitement, de l'é- tat obtenu et de l'état désiré pour chaque neurone de sortie i de la dernière couche après l'étape de résolu- tion puis détermination de l'erreur 6i entre ces deux états - rétropropagation de l'erreur Ii dans le second groupe- ment, - mise à jour des coefficients synaptiques simultanément dans les deux groupements, caractérisé en ce que les erreurs finales 6i propagées dans le second groupement à l'issue de l'étape de rétropropagation du gradient et respectivement les états d'entrée Vj du premier groupement sont traités par l'automate de traitement pour dé- terminer respectivement des incréments Ai et Dj qui sont transmis respectivement au premier groupement et au deuxième groupement pour corriger simultanément et mettre à jour en pa- rallèle respectivement la matrice de coefficients synaptiques Cij chargée dans le premier groupement et la matrice de coefficients synaptiques Tji transposée de la matrice Cij (avec Tji=Cij) chargée dans le deuxième groupement, ceci étant effectué dans le premier groupement pour un neurone i en parallèle sur l'indice j tel que: Cij (nouveau) = Cij (ancien) + Ai.Vj et dans le second groupement pour un neurone j en parallèle sur l'indice i tel que: Tii (nouveau) = Tji (ancien) + Dj.bi o Ai est un incrément, relatif à chaque neurone d'indice l, incrément qui est lié aux états des neurones du second groupe- ment constitués par les erreurs 6i, o Dj est un incrément relatif à chaque neurone d'indice j, incrément qui est lié aux états des neurones du premier grou- pement, o Vj sont les composantes d'un vecteur de correction qui sont les états des neurones d'entrée j du premier groupement, et o i sont les composantes d'un vecteur de correction qui dépend des états des neurones d'entrée du deuxième groupement. Ce procédé peut être mis en oeuvre dans une struc- ture de réseaux de neurones en couches caractérisée en ce que les moyens de traitement de chaque groupement possèdent des moyens de réactualisation des coefficients synaptiques qui leur permettent de calculer puis de mettre à jour en parallèle les coefficients synaptiques Cij et Tji stockés respecti- vement dans les deux groupements à partir d'incréments Ai et Dj qui leur sont respectivement transmis par l'automate de traitement tel que les opérations de réactualisation sont effectuées dans le premier groupement pour un neurone i en parallèle sur l'indice j tel que Cij (nouveau) = Cij (ancien) + ai.Vj et dans le second groupement pour un neurone j en parallèle sur l'indice i tel que: Tji (nouveau) = Tji (ancien) + Dj. i. Ainsi pour un neurone donné i, le premier groupe- ment ne reçoit que l'incrément Ai qui est valable pour tous les coefficients synaptiques Cij relatifs à ce neurone i. Le calcul des nouveaux coefficients synaptiques Cij est donc effectué dans les moyens de traitement du premier groupement eux-mêmes en parallèle sur l'indice j et la mise à jour est effectuée également en parallèle sur j. Simultanément un mécanisme analogue s'opère dans le deuxième groupement qui reçoit l'incrément Dj qui est vala- ble pour tous les coefficients synaptiques Tji relatifs à ce neurone j. Le calcul des nouveaux coefficients synaptiques Tji est donc effectué dans les moyens de traitement du deuxième groupement en parallèle sur l'indice i et la mise à jour est effectuée également en parallèle sur i. Evidemment les deux groupements opèrent en parallèle pour ces réactuali- sations ce qui confère à la structure une grande vitesse de traitement. Il est possible de réaliser un groupement de plusieurs structures pour accroître le nombre de neurones ou la précision des coefficients synaptiques. Les moyens de traitement sont fondamentalement constitués de: - une mémoire de coefficients synaptiques Cij (respective- ment Tji) - une mémoire d'états de neurones - des moyens de résolution pour déterminer les états de i neu- rones de sortie à partir des états de j neurones d'entrée au cours de phases de résolution, - des moyens de réactualisation pour mettre à jour les coef- ficients synaptiques Cij au cours de phases d'apprentis- sage, - et des moyens d'interface pour connecter les moyens de trai- tement à l'automate de traitement. Le procédé va donc mettre en oeuvre successive- ment: - un mécanisme de résolution - un mécanisme d'apprentissage par rétropropagation du gra- dient - avec comparaison, dans l'automate de traitement, de l'état obtenu et de l'état désiré pour chaque neurone de sortie i de la dernière couche après l'étape de résolu- tion puis détermination de l'erreur i entre ces deux états, rétropropagation de l'erreur 6i dans le second groupement - mise à jour des coefficients synaptiques simultanément dans les deux groupements. Le mécanisme de résolution va consister à déter- miner les états de i neurones de sortie à partir de j neurones d'entrée sur un trajet passant par K couches successives avec une propagation vers l'avant. Ainsi le neurone j de la couche k k (k compris entre 1 et K) transmet son état Vj au neurone i de la couche k+1 pondéré par le coefficient synaptique Ci suivant l'expression: k+1 N k k Vi = f ( E Cij. Vj) (N=Nk) j=1 o f est une fonction généralement non-linéaire. Le mécanisme d'apprentissage va consister à dé- k terminer une erreur 6S entre les états obtenus et les états désirés et à faire se propager cette erreur en sens inverse du trajet précédent. Pour cela on présente à l'entrée du ré- seau un exemple à apprendre puis on effectue une étape de ré- solution. Sur la dernière couche K la sortie obtenue {vi}i est comparée à la sortie désirée {Vi}i pour calculer l'er- reur ôiR = fl[f-,(VK;)] (ei,_VKR o f-1 est la fonction précédente inverse et o fi est la dérivée de la fonction non-linéaire. Cette erreur est ensuite rétropropagée d'une couche à la couche précédente suivant l'expression: j = f1[f 1(Vj1)]J(Tj ii) (N=Nk-1). Ce mécanisme de propagation de l'erreur s'effec- tue de la même manière que le mécanisme de détermination des états de neurones dans l'étape de résolution. Le mécanisme de réactualisation va consister à tenir compte des résultats obtenus après la rétropropagation de l'erreur et à redéfinir des nouveaux coefficients synapti- ques pour un nouveau cycle complet de ces trois mécanismes. La mise à jour des coefficients s'effectue selon la règle: C1j(nouveau) = Cij(ancien) + n.6 +.v1 k k I+ kj et Tki(nouveau)= Tji (ancien) + n.6 +.v o n est un facteur de gain. Ces étapes sont locales dans chaque moyen de traitement et propagent l'information vers l'avant (résolution) ou vers l'arrière (rétropropagation de l'erreur), la mise à jour des coefficients utilise à la fois l'information amont et aval (quel que soit le sens de propaga- tion). On peut alors envisager de paralléliser les différentes étapes (de la couche k à la couche k+1 ou inversement). Ceci est effectué selon l'invention en utilisant des moyens de traitement identiques qui permettent de paralléliser aussi bien sur les entrées (indice j) que sur les sorties (i) en chargeant la matrice transposée dans le second groupement. Ce mode de calcul permet d'effectuer l'étape de mise à jour de manière homogène pour les deux sens de propagation. Il suffit de prendre +1= q.k+1 et Dk = n.Vk 1i =*1 D =.V Ces différents mécanismes vont se répartir entre les deux groupements et l'automate de traitement qui est par exemple un calculateur central (host computer en langue an- glaise). Pour un réseau de neurones organisé en K couches suc- cessives de neurones, le premier groupement comprend K-1 mo- yens de traitement et le second groupement comprend K-2 moyens de traitement identiques aux précédents mais utilisés avec des informations différentes. La manière dont les différentes étapes s'imbri- quent les unes dans les autres est la suivante: - dans le premier groupement: initialisation des coefficients synaptiques Cij dans les mémoires de coefficients synaptiques de tout le grou- pement, - dans le second groupement: initialisation de la matrice Tji transposée de la ma- trice Cij dans les mémoires de coefficients synaptiques de tout le groupement. Ces étapes d'initialisation sont faites une fois au début de l'utilisation du réseau de neurones. - Dans le premier groupement: initialisation des états des j neurones d'entrée dans la mémoire d'état des moyens de traitement de la première couche, - dans le premier groupement: détermination pour chaque couche de l'état de chaque neu- rone de sortie i à partir des états des neurones d'entrée j, les états de neurones de sortie d'un moyen de traite- ment devenant les états de neurones d'entrée du moyen de traitement suivant, - dans l'automate de traitement: comparaison de l'état obtenu et de l'état désiré pour chaque neurone de sortie i de la dernière couche et dé- termination de l'erreur bi entre ces deux états, - dans le second groupement: introduction des erreurs i dans la mémoire d'états des moyens de traitement de la dernière couche, - dans le second groupement: rétropropagation de l'erreur en allant des états de sor- tie de la dernière couche vers les états d'entrée de la première couche, en effectuant dans chaque moyen de trai- tement la détermination de l'état de chaque neurone de sortie j à partir des états des neurones d'entrée i, et multiplication dans l'automate de traitement de cet état de sortie par la valeur que prend la fonction dérivée de la fonction inverse non linéaire au point Vj qui est l'état du neurone d'entrée j du moyen de traitement cor- respondant du premier groupement, - dans l'automate de traitement: à partir des nouvelles valeurs de l'erreur contenues dans la mémoire d'états des moyens de traitement de la k+1 k première couche, détermination d'incréments Ai et Dj à appliquer simultanément aux coefficients synaptiques Cij et Tij, - dans le premier groupement: mise à jour des coefficients synaptiques Cij tel que: k k k+1 k Cij(nouveau) = Cij(ancien) + Ai.Vj - dans le second groupement: mise à jour des coefficients synaptiques Tji simultané- ment avec la mise à jour précédente tel que k k k k+1 Tji(nouveau) = Tji(ancien) + Dj.6i. Etant donné que l'étape de mise à jour se fait d'un bloc si- multanément sur les deux groupements, que l'initialisation et l'incrémentation de Cjii et Tii sont identiques, on est assuré qu'à chaque étape de résolution ou de rétropropagatlon les deux sous-ensembles utilisent les mêmes coefficients k k synaptiques. C'est encore valable si les Clj et T]i sont bornés pourvu que la règle aux bornes (saturation, modulo ou réflexion) soit la même sur les deux réseaux. L'invention sera mieux comprise à l'aide des figures suivantes données à titre d'exemples non limitatifs qui représentent: Figure 1: un schéma général d'un système de réseau de neurones mettant en oeuvre le procédé selon l'invention, Figures 2A, 2B: deux schémas indiquant la manière de réaliser les calculs respectivement en phase de résolu- tion et en phase de rétropropagation du gradient Figure 3: un schéma d'un moyen de traitement pour la structure de réseau de neurones selon l'invention. La figure 1 représente une structure de réseau de neurones munie de deux groupements de traitement 11, 12 et d'un automate de traitement 10. Le groupement de traitement 11 effectue la phase de résolution et le groupement de traitement 12 met en oeuvre la rétropropagation du gradient. Le groupement 11 contient des moyens de traitement 131, 132, 133 reliés en série et placés entre K=4 couches de neurones (k=1, 2, 3, 4). Ces moyens de traitement stockent respectivement les coefficients synaptiques 1 2 3 C.t *,C.., C. 1i' i2' 1j Le groupement 12 contient des moyens de traite- ment 134, 135 reliés en série qui opèrent entre les couches k=4 et k=2. Ils stockent respectivement les coefficients synaptiques T3.et T2. ]1 31' Le groupement 11 reçoit de l'automate central des états d'entrée Vj qui sont introduits dans le premier moyen de traitement 131, les états de sortie du premier moyen 131 vont en entrée du second moyen 132. Lors de la phase de réso- lution, il apparait en sortie des trois moyens de traitement k des états calculés Vi qui sont délivrés à l'automate central 10. Ce dernier compare les états obtenus Vi en sortie du der- nier moyen 133 avec les états désirés du modèle présenté en entrée et l'écart observé se traduit par une erreur 6i propre à chaque neurone de sortie i de la couche 4. L'automate cen tral 10 introduit cette erreur 6i dans le moyen de traitement 134 du second groupement. Les résultats obtenus N4 Ei T4i' i sur la couche 3 sont fournis à l'automate central (connexion 14) qui les multiplie respectivement par: fi[f-l(Vl)]. J Ces produits constituent les 6? qui sont introduits en entrée 1=1 J du moyen 135. Celui-ci calcule ensuite: qu'il délivre à l'automate central 10 qui détermine les 62. Lorsqu'il y a un plus grand nombre de couches que dans cet exemple limité, les opérations s'effectuent de cette manière pour toutes les couches. L'automate central 10 détermine alors les incréments 2 k+l.k+1 e k k à i.6 e D =. Vi et= n. qui sont introduits dans les moyens de traitement du premier groupement 11 tel que: Le groupement 131 reçoit Ai Le groupement 132 reçoit Ai 25. Le groupement 133 reçoit Ai et du second groupement 12 tel que: Le groupement 134 reçoit Dj 30. Le groupement 135 reçoit D.j pour effectuer la mise à jour des coefficients synaptiques k k C et T. Cette mise à jour s'opère en parallèle sur j ij 31 dans le premier groupement qui effectue la résolution et s'opère en parallèle sur i dans le deuxième groupement qui effectue la rétropropagation. La figure 2A indique comment les données sont traitées dans le premier groupement au cours de l'étape de résolution. La figure 2B indique comment les données sont traitées dans le deuxième groupement au cours de l'étape de rétropropagation du gradient. Sur la figure 2A est représentée une partie du calcul qui est effectué entre la couche 2 et la couche 3 dans le moyen de traitement 132 pour déterminer l'état du neurone de sortie i=3 de la couche k=3. 2 2 Les coefficients synaptiques de la couche 2 sont C31, C32, 2 2 2 2 C33, C34 et le calcul opéré est j C3j.Vj. Ce calcul se j= I déroule de la même manière pour tous les neurones de toutes les couches en allant de la couche k=1 vers la couche k=4. Sur la même figure est représenté l'incrément 3 3 A3= q.63 qui sert à la mise à jour simultanée des coefficients synaptiques C2 C3j' La figure 2B représente une partie du calcul pour la rétropropagation du gradient qui se déroule de la couche k=4 vers la couche k=3 dans le moyen de traitement 134. Les 4 4 4 erreurs 61 62, 63 sont multipliées respectivement par les coefficients synaptiques T231,i T3 T23 pour fournir pour le neurone j=2 le résultat 3 3 4 z=1 T2i 6i 1= 1 2i i Ce calcul se déroule de la même manière pour tous les neurones de toutes les couches à l'exception de la couche k=1 dont le résultat est inopérant sur le résultat final. Sur la même 3 3 figure est représenté l'incrément D2= n.V2 qui sert à la mise à jour simultanée des coefficient synaptiques T2. T2i. La figure 3 représente un moyen de traitement 13 permettant d'effectuer la phase de résolution ainsi que la phase d'apprentissage y compris la détermination et la mise à jour des coefficients synaptiques. Une mémoire 30 stocke les coefficients synaptiques. Un registre d'état 31 reçoit les états de neurones d'entrée j soit de l'automate central 10 soit de l'extérieur. Une unité de calcul 32 reçoit les coefficients synaptiques Cij (bus 38) et les états Vj et opère les calculs E Cij.Vj. L'unité de calcul peut comprendre également des moyens pour appliquer une fonction non-linéaire à la somme précédente. Les résultats sont de nouveaux aux états de neurones i stockés dans le registre 33. Les éléments précédents font partie de la structure habituelle d'un réseau de neurones. Selon l'invention on ajoute des multiplieurs 341... 34N (avec N=Nk) qui multiplient un k+1i incrément Aki,1 qui peut être stocké dans un registre 35, par un vecteur Sj qui peut être soit stocké dans un registre 36 en provenance de l'automate externe soit être constitué par les états Vj du registre 31. Le résultat de chaque multiplication sert à corriger les coefficients synaptiques Cij à l'aide d'additionneurs 371... 37N qui sont reliés à la mémoire 30 par un bus bidirectionnel 38. Le registre 36 est supprimé lorsque les données Sj sont les vecteurs Vj qui sont stockés dans le registre 31. Le registre 36 sert lorsque les données Sj proviennent de l'automate central.Les groupements 11 et 12 de la figure 1 utilisent les mêmes moyens de traitement 13 qui viennent d'être décrits mais les données qui y sont traitées sont différentes. Dans le groupement 11 les registres 35 re- çoivent les incréments Ai qui sont multipliés par des états de neurones venant soit du registre 36 soit directement du regis- tre 31. Dans le groupement 12 les registres 35 reçoivent les incréments Dj qui sont multipliés par les erreurs 6i stockées dans les registres 36 de chaque moyen de traitement 13. Ainsi les moyens de réactualisation compren- nent:: - N opérateurs de calcul qui déterminent les produits Ai.Vj. (respectivement Dj. i), - N additionneurs qui calculent les nouveaux coefficients sy- naptiques qui sont réactualisés dans la mémoire à l'aide d'un bus bidirectionnel. Les étapes de résolution peuvent être mises en oeuvre dans le groupement 11 selon un parallélisme différent. Dans ces cas la mémoire 30 est adressable à la fois en lignes et en colonne. Ainsi la détermination de l'état de chaque neu- rone de sortie i à partir des états des neurones d'entrée j peut s'effectuer en opérant un traitement local effectué en parallèle sur tous les neurones d'entrée j dont les synapses convergent vers le neurone de sortie i. De même la détermination de l'état de chaque neu- rone de sortie i à partir des états des neurones d'entrée j peut s'effectuer en opérant un traitement en parallèle sur tous les neurones de sortie i dont les synapses partent du neurone d'entrée j. De même la détermination de l'état de chaque neu- rone de sortie i à partir des états des neurones d'entrée j peut s'effectuer en opérant un traitement local effectué en parallèle sur tous les neurones d'entrée j dont les synapses convergent vers le neurone de sortie i et sur tous les neuro- nes de sortie i dont les synapses partent du neurone d'entrée j. Un parallélisme analogue peut être mise en oeuvre dans le second groupement. Pour cela la détermination de chaque erreur de sortie 6i à partir des erreurs d'entrée 6j peut s'effec- tuer en opérant un traitement local effectué en parallèle sur tous les neurones contenant les erreurs d'entrée 6] dont les synapses convergent vers le neurone contenant l'erreur de sor- tie 6i. De même la détermination de chaque erreur de sor- tie bi à partir des erreurs d'entrée 6j peut s'effectuer en opérant un traitement en parallèle sur tous les neurones contenant les erreurs de sortie i dont les synapses partent du neurone contenant l'erreur d'entrée 6j. De même la détermination de chaque erreur de sor- tie i à partir des erreurs d'entrée j peut s'effectuer en opérant un traitement local effectué en parallèle sur tous les neurones contenant les erreurs d'entrée j dont les sy- napses convergent vers le neurone contenant l'erreur de sortie i et sur tous les neurones contenant les erreurs de sortie i dont les synapses partent du neurone contenant l'erreur d'entrée 6j. Revendications: 1. Procédé de rétropropagation du gradient mis en oeuvre dans une structure de réseau de neurones en couches mu- ni d'un automate de traitement et de moyens de traitement, ces derniers comprenant: - des moyens de résolution pour déterminer les états de neuro- nes de sortie i à partir des états de neurones d'entrée j au cours de phases de résolution, - des moyens de réactualisation de coefficients synaptiques Cij au cours de phases d'apprentissage, le procédé mettant en oeuvre deux groupements de moyens de traitement au cours: - d'étapes de résolution opérées dans le premier groupement - et d'étapes d'apprentissage mettant en oeuvre l'algorithme de rétropropagation du gradient: - avec comparaison, dans l'automate de traitement, de l'état obtenu et de l'état désiré pour chaque neurone de sortie i de la dernière couche après l'étape de résolu- tion puis détermination de l'erreur 6i entre ces deux états, - rétropropagation de l'erreur Ii dans le second groupe- ment, mise à jour des coefficients synaptiques simultané- - ment dans les deux groupements, caractérisé en ce que les erreurs finales i propagées dans le second groupement à l'issue de l'étape de rétropropagation du gradient et respectivement les états d'entrée Vj du premier groupement sont traités par l'automate de traitement pour dé- terminer respectivement des incréments Ai et Dj qui sont transmis respectivement au premier groupement et au deuxième groupement pour corriger simultanément et mettre à jour en pa- rallèle respectivement la matrice de coefficients synaptiques Cij chargée dans le premier groupement et la matrice de coefficients synaptiques Tji transposée de la matrice Cij (avec Tij=Cij) chargée dans le deuxième groupement, ceci étant effectué pour chaque couche dans le premier groupement pour un neurone i en parallèle sur l'indice j tel que: Cij (nouveau) = Cij (ancien) + Ai.Vj et pour chaque couche dans le second groupement pcur un neuro- ne j en parallèle sur l'indice i tel que: Tji (nouveau) = Tji (ancien) + Dj.6i o Ai est un incrément, relatif à chaque neurone d'indice i, incrément qui est lié aux états des neurones du second groupe- ment constitués par les erreurs Ii, o Dj est un incrément relatif à chaque neurone d'indice j, incrément qui est lié aux états Vj des neurones du premier groupement, o Vj sont les composantes d'un vecteur de correction qui sont les états des neurones d'entrée j du premier groupement, et o 6i sont les composantes d'un vecteur de correction qui dépend des états des neurones d'entrée du deuxième groupement. 2. Procédé selon la revendication 1, caractérisé en ce que dans chaque moyen de traitement du premier groupement, la détermination de l'état de chaque neurone de sortie i à partir des états des neurones d'entrée j s'effectue en opérant un traitement local effectué en parallèle sur tous les neuro- nes d'entrée j dont les synapses convergent vers le neurone de sortie i. 3. Procédé selon la revendication 1, caractérisé en ce que pour chaque moyen de traitement du premier groupement, la détermination de l'état de chaque neurone de sortie i à partir des états des neurones d'entrée j s'effectue en opérant un traitement en parallèle sur tous les neurones de sortie i dont les synapses partent du neurone d'entrée j. 4. Procédé selon la revendication 1, caractérisé en ce que pour chaque moyen de traitement du premier groupement, la détermination de l'état de chaque neurone de sortie i à partir des états des neurones d'entrée j s'effectue en opérant un traitement local effectué en parallèle sur tous les neuro- nes d'entrée j dont les synapses convergent vers le neurone de sortie i et sur tous les neurones de sortie i dont les synapses partent du neurone d'entrée j. 5. Procédé selon une des revendications 1 à 4, ca- ractérisé en ce que dans chaque moyen de traitement du second groupement, la détermination de chaque erreur de sortie 6i à partir des erreurs d'entrée ôj s'effectue en opérant un traitement local effectué en parallèle sur tous les neurones contenant les erreurs d'entrée ôj dont les synapses conver- gent vers le neurone contenant l'erreur de sortie bi. 6. Procédé selon une des revendications 1 à 4, ca- ractérisé en ce que pour chaque moyen de traitement du second groupement, la détermination de chaque erreur de sortie 6i à partir des erreurs d'entrée 6j s'effectue en opérant un traitement en parallèle sur tous les neurones contenant les erreurs de sortie Si dont les synapses partent du neurone contenant l'erreur d'entrée j. 7. Procédé selon une des revendications 1 à 4, ca- ractérisé en ce que pour chaque moyen de traitement du second groupement, la détermination de chaque erreur de sortie i à partir des erreurs d'entrée j s'effectue en opérant un traitement local effectué en parallèle sur tous les neurones contenant les erreurs d'entrée ôj dont les synapses conver- gent vers le neurone contenant l'erreur de sortie 6i et sur tous les neurones contenant les erreurs de sortie 6i dont les synapses partent du neurone contenant l'erreur d'entrée j. 8. Structure de réseau de neurones munie d'un auto- mate de traitement et de deux groupements de moyens de traite- ment destinés à opérer sur des réseaux en couches: - le premier groupement effectuant des phases de résolution à partir d'états de neurones j d'entrée et d'une matrice de coefficients synaptiques Cij, - et le second groupement mettant en oeuvre l'algorithme de rétropropagation du gradient à partir d'erreurs calculées et d'une matrice de coefficients synaptiques Tji = Cij, les deux groupements disposant de moyens de réactualisation des coefficients synaptiques au cours de phases d'apprentissage caractérisée en ce que les moyens de réactualisation des coef- ficients synaptiques calculent puis mettent à jour en parallè- le les coefficients synaptiques Cij et Tji stockés respec- tivement dans les deux groupements à partir d'incréments Ai et Dj qui leur sont respectivement transmis par l'automate de traitement, tel que les opérations de réactualisation sont ef- fectuées dans le premier groupement pour un neurone i en pa- rallèle sur l'indice j tel que Cij(nouveau) = Cij(ancien) + Ai.Vj et dans le second groupement pour un neurone j en parallèle sur l'indice i tel que: Tji(nouveau) = Tji(ancien) + Dj.6i o Ai est un incrément, relatif à chaque neurone d'indice i, incrément qui est lié aux états des neurones du second groupe- ment constituées par les erreurs 6i, o Dj est un incrément relatif à chaque neurone d'indice j, incrément qui est lié aux états des neurones du premier grou- pement, o Vj sont les composantes d'un vecteur de correction qui sont les états des neurones d'entrée j du premier groupement, o ai sont les composantes d'un vecteur de correction qui dé- pend des états des neurones d'entrée du deuxième groupement. 9. Structure selon la revendication 8, caractérisée en ce que les moyens de réactualisation comprennnent: - N opérateurs de calcul qui déterminent les produits Ai.Vj (respectivement Dj. i), - N additionneurs qui calculent les nouveaux coefficients sy- naptiques qui sont réactualisés dans la mémoire à l'aide d'un bus bidirectionnel. Abrégé "PROCEDE DE RETROPROPAGATION DU GRADIENT ET STRUCTURE DE RE- SEAU DE NEURONES" Procédé de rétropropagation du gradient mis en oeuvre dans une structure de réseau de neurones. Pour cela un premier groupement (11) de moyens de traite- ment (131, 132, 133) effectue des phases de résolution et un deuxième groupement (12) de moyens de traitement (134, 135) analogues effectue des phases d'apprentissage en faisant ré- tropropager des erreurs calculées dans un automate de traite- ment central (10). La matrice de coefficients synaptiques Cij du premier groupement et la matrice transposée Tji du deuxième groupement sont remises à jour simultanément. Cette réactuali- sation des coefficients synaptiques peut être effectuée à l'aide de multiplieurs (341 à 34N), et d'additionneurs (371 à 37N). Référence: figure 1.