Brevet FR2716279A1 — publié le 19950818

La présente invention est relative aux réseaux neuronaux et, plus particulièrement, à un réseau neuronal chaotique récurrent et à un algorithme d'apprentissage pour celui-ci. Récemment, des progrès notables ont été réalisés grâce à diverses recherches sur les réseaux neuronaux. Ces recherches comprennent des études d'un modèle de réseau neuronal ayant une connexion récurrente, ou des signaux d'entrée et de sortie variant dans le temps peuvent être traités. Par ailleurs, un algorithme de rétro-propagation dans le temps (BPTT) est largement utilisé pour convertir le réseau neuronal récurrent en réseau multicouche d'anticipation pour l'apprentissage, et est ainsi nommé (rétro-propagation) du fait du processus d'apprentissage inversé qui est employé. Dans ce cas, un modèle à temps discrets du réseau neuronal récurrent est déployé dans l'espace pour réaliser le réseau multicouche d'anticipation. Dans l'algorithme BPTT précité, le nombre de calculs est égal au carré du nombre de cellules. Une valeur de trajectoire mise à jour doit être temporairement mémorisée à mesure que les dynamiques d'un réseau sont calculées dans le temps (depuis l'instant "O" jusqu'à l'instant "T"), puis l'erreur doit faire l'objet d'un calcul inversé (depuis l'instant "T" jusqu'à l'instant "0"). Il a été proposé, comme algorithme d'apprentissage d'un réseau neuronal récurrent supprimant les inconvénients ci-dessus lors du calcul, un algorithme d'apprentissage à temps finis, o le réseau neuronal est mis en fonctionnement après la fixation d'un poids de connexion pendant un laps de temps prédéterminé, ce qui permet de réduire la majeure partie des erreurs du système dans un laps de temps donné. Le réseau neuronal récurrent est classé en fonction de ce que le poids de connexion est considéré comme une fonction variant dans le temps ou comme une valeur invariante dans le temps, constante pendant un laps de temps prédéterminé du fonctionnement du réseau. Ici, l'algorithme d'apprentissage à temps finis est la seconde valeur (invariante dans le temps) pour limiter l'erreur au terme du laps de temps. Un réseau neuronal est constitué de N neurones répondant aux équations dynamiques suivantes. YiYi(t) = -Yi(t)+Wijxj(t)+ai(t) ... (1) Xi(t) = fi[Yi(t)] ... (2) Ici, i est un nombre naturel compris entre 1 et N; Yi(t) est le signal de sortie du "i"ième neurone; fi est la fonction de sortie d'un neurone; Yi est une constante de retard; et Wij est un poids de connexion du "j"ième neurone, qui est une valeur invariante dans le temps. Par ailleurs, le réseau a un signal de polarisation a(t) fourni de l'extérieur à l'instant t, en tant que fonction variant dans le temps. La Figure 1 représente le modèle de réseau neuronal récurrent selon la technique antérieure. Dans ce cas, le réseau fonctionne pendant un laps de temps donné en fonction d'un état initial prédéterminé et d'un signal d'entrée fourni de l'extérieur. Pendant le fonctionnement du réseau, le poids de connexion entre les neurones est fixe et l'erreur est cumulée dans le temps. La fonction d'apprentissage d'un réseau est définie comme l'erreur totale du réseau et est calculée de la manière suivante pendant un laps de temps prédéterminé. T2 1 E(W) Z - [Xi(tIW)-Qi(t)]2. (3) =T2 T1 iEv 2 Ici, Xi(tlW) est le signal de sortie du "'"ième neurone d'un réseau à l'instant t, pour une matrice W de poids de connexion fixes qui est calculée à partir des équations (1) et (2); et Qi(t) est un signal d'apprentissage variant dans le temps. Dans ce cas, on utilise comme règle de correction de poids un procédé selon la pente de descente la plus forte, et la valeur de correction de poids de connexion calculée en introduisant un multiplicateur de Lagrange Li(t) est la suivante: fE (W) ] Awij = - ( W i 1J w....(4) T2 = -1q dtLi(tiW)Yj(tlW) T1 Ici, n est une constante positive. Ce procédé a été adopté pour la reconnaissance de nombres manuscrits de façon que les données séquentielles dans le temps puissent être reconnues et estimées. Les recherches sur les ordinateurs neuronaux pour imiter la structure d'un réseau neuronal cérébral et le mécanisme de traitement d'informations de celui-ci ont commencé par un modèle neuronal mathématique fondé sur les caractéristiques numériques d'une impulsion de tension active. Récemment, cependant, l'intérêt pour les caractéristiques analogiques d'un neurone a progressivement augmenté. Ainsi, le comportement extraordinairement dynamique d'un système nerveux cérébral présente une caractéristique de réponse, appelée "chaos" qui ne peut pas être décrite par le modèle neuronal classique. Par conséquent, dans un modèle de neurone à chaos récemment proposé, des caractéristiques analogiques non linéaires du cerveau sont mises en valeur. Ce modèle effectue une correction analogique de la caractéristique de réponse de façon que la description qualitative d'une caractéristique de réponse par chaos soit possible. Le modèle de neurone à chaos par rapport à un signal d'entrée est exprimé sous la forme: t X(t+l) = f A(t)-a Z Krgx(t-r) - ... (5) [ r=o o X(t) est le signal de sortie d'un neurone à l'instant t et correspond à la valeur maximale d'une impulsion neuronale (0 En supposant une sommation dans le temps et l'espace, o une valeur précédente est additionnée avec la valeur instantanée et est atténuée dans le temps (ici, la constante d'atténuation est désignée par k), de même que pour la constante réfractaire, les caractéristiques d'entrée et de sortie d'un neurone peuvent être exprimées par l'équation (6) ci- dessous. Mt N t Xi(t+)=f Vij EkrAj(t-r)+ -Wij. Z krh[Xj(t-r)] j=o r= j =l 3r=o Xi(t+l)=f[j ViJrokrAj(tr+11r t a r KrXi(t-r) - oi (6) r=o Ici, Xi(t+l) est le signal de sortie du "i"ième neurone à l'instant t+l; Vij est un coefficient de connexion de synapse depuis la "j"ième entree de l'extérieur jusqu'au "i"ième neurone; Aj(t) est la valeur de la "j"ième entrée de l'extérieur à l'instant t, Wij est un coefficient de connexion de synapse de l'entrée à réinjection depuis le "j"ième neurone jusqu'au "i"ième neurone; et 0 est la valeur de seuil du "i"ième neurone. Ici, les dynamiques à temps discrets d'un neurone chaotique sont exprimées par l'équation différen- tielle simple ci-dessous. N Yi(t+l) = kYi(t)+ Z W.ijh[f(Yi(t)]-af[Yi(t)]+ai(t) ...(7) z =1 1 Xi(t+l) = f[Yi(t+l)] ...(8) M ai(t) = Z VijAj(t)-oi(l-k) ... (9) j=l Le réseau neuronal exprimé par les équations (7); (8) et (9) est appelé réseau neuronal chaotique. Lorsque le réseau neuronal chaotique est employé dans un modèle de mémoire associative, le réseau n'est pas amené à converger d'une manière stable vers un seul modèle de mémoire qui est le plus proche d'un signal d'entrée instantané et il oscille d'une manière dynamique entre divers modèles de mémoire en fonction des valeurs des paramètres. A la suite de la proposition d'un modèle de réseau neuronal chaotique, on a procédé à l'analyse du signal d'entrée constant indépendamment du temps, en appliquant le modèle à un dispositif de mémoire d'opéra- tions. Cependant, jusqu'à présent, aucune publication n'a été faite à propos d'un réseau neuronal chaotique employant des signaux d'entrée et de sortie variant dans le temps. Afin d'examiner la possibilité de l'apprentissage d'un réseau neuronal chaotique utilisant ces signaux d'entrée et de sortie variant dans le temps et l'application de celui- ci, le réseau neuronal récurrent chaotique est constitué de neurones chaotiques et il est proposé un algorithme d'apprentissage à temps finis amélioré en corrigeant d'une manière appropriée l'algorithme d'apprentissage à temps finis pour un réseau neuronal récurrent général. Par ailleurs, les effets des paramètres réfractaires du réseau neuronal chaotique sur l'apprentissage du réseau neuronal récurrent chaotique selon le présent procédé vont être examinés. Cependant, comme l'algorithme d'apprentissage à temps finis proposé est une sorte de réseau neuronal récurrent inversé, les mêmes problèmes que ceux présentés par le réseau multineuronal utilisant le procédé inversé apparaissent lorsqu'on met en oeuvre le procédé. Les problèmes sont des minima locaux et un long temps d'apprentissage. La Figure 2 est une courbe représentant l'erreur totale par rapport à l'itération d'apprentissage du réseau neuronal récurrent représenté sur la Figure 1. On peut voir sur cette figure que lorsque le nombre d'itérations augmente, l'erreur cumulée n'est pas fortement corrigée et sa pente est relativement forte à mesure qu'elle s'approche du signal d'apprentissage. Pour surmonter ce problème, la présente invention adopte un réseau neuronal chaotique. Le réseau neuronal chaotique est issu d'un modèle de neurone à temps discrets. Le réseau neuronal chaotique présente à la fois une réponse périodique (qui ne peut pas être réalisée par le modèle de neurone selon la technique antérieure) et une réponse chaotique. La présente invention vise à réaliser un réseau neuronal récurrent chaotique dans lequel un neurone chaotique est adopté pour le neurone d'un réseau neuronal récurrent classique. La présente invention vise également à réaliser un algorithme d'apprentissage pour le réseau récurrent chaotique, dans lequel le temps d'apprentissage soit réduit et les possibilités d'apprentissage soient améliorées. Pour atteindre le premier objectif de la présente invention, il est proposé un réseau neuronal récurrent chaotique comprenant N réseaux neuronaux chaotiques pour recevoir un signal extérieur d'entrée et les signaux de sortie de N-1 réseaux neuronaux chaotiques parmi les N réseaux neuronaux chaotiques et pour effectuer une opération conformément à l'équation dynamique ci- dessous: YiYi(t+l) = E wijzi(t) + kYi(t) - aXi(t) jEIuE Xi(t) = fi[Yi(t)] dans laquelle Wij est un coefficient de connexion de synapse pour le signal d'entrée à réaction depuis le "j"ième neurone jusqu'au "i"ième neurone, Xi(t) est le signal de sortie du "i"ième neurone à l'instant t, et yi, a et k sont respectivement une constante de retard, un paramètre non négatif et une constante réfractaire d'atténuation dans le temps, et dans laquelle Zi(t) représente Xi(t) lorsque i appartient au groupe I de neurones et représente ai(t) lorsque i appartient au groupe E de signaux extérieurs d'entrée. Pour atteindre le second objectif précité de la présente invention, il est proposé un algorithme d'apprentissage pour le réseau neuronal récurrent chaotique selon la présente invention, comprenant les étapes consistant à: (a) initialiser un état initial Xi(0) et des poids de connexion à l'aide d'une valeur aléatoire; (b) faire fonctionner les réseaux pendant un laps de temps "T" selon l'équation dynamique o l'état initial donné est Xi(0) et le signal extérieur d'entrée est ai(t); (c) effectuer un calcul inversé d'un multiplicateur de Lagrange dans la condition aux limites Li(TIW)=0 et le signal d'apprentissage donné Qi(t) =0 à partir de l'instant t, conformément à l'équation ci-dessous Li(t-1)= E Lj(t)Wjif'[Yi(t)]+[Xi(t)-Qi(t)]f'[Yi(t)]+kLi(t)- jeI aLi(t)f' [Yi(t)] dans laquelle Xi(t) est la valeur calculée lors de l'étape (b); et (d) additionner les erreurs totales au terme des étapes (b) et (c) pour tous les signaux d'entrée, et mettre fin à l'apprentissage si l'erreur est inférieure à une limite prédéterminee, et autrement en corrigeant le poids conformément à l'équation de correction de poids ci-dessous T Aw = - Li(t)Zj (t) t=o et en répétant les étapes (b) à (d). Les objectifs et avantages précités de la présente invention apparaîtront plus clairement grâce à la description détaillée d'une forme préférée de réalisation de celle-ci, faite en référence aux dessins annexés, sur lesquels: la Figure 1 représente un modèle de réseau neuronal récurrent selon la technique antérieure; la Figure 2 est une courbe présentant une erreur cumulée par rapport aux itérations d'apprentissage du réseau neuronal récurrent représenté sur la Figure 1; la Figure 3 est un modèle de réseau neuronal récurrent chaotique selon la présente invention; et la Figure 4 est une courbe présentant l'erreur cumulée par rapport aux itérations d'apprentissage du réseau neuronal récurrent dans le cas ou l'algorithme d'apprentissage selon la présente invention est appliqué au modèle de la Figure 3. Le réseau neuronal récurrent chaotique, représenté sur la Figure 3, selon la présente invention est constitué par N réseaux neuronaux chaotiques conformes aux équations dynamiques suivantes. yiYi(t) = Yi(t)+ Z WijZj(t)+kYi(t) -aXi(t) ... (10) jIuE Xi(t) = fi[Yi(t)] . (11) Le présent réseau est constitué par n signaux de sortie représentés par Y(t) et par m signaux extérieurs d'entrée a(t), qui sont appliqués aux réseaux à l'instant t...DTD: Selon la présente invention, les deux signaux ci-dessus sont combinés et exprimés par un symbole Z(t). Lorsque le préfixe "i" appartient au groupe I de neurones constituant le réseau, Zi représente le signal de sortie du réseau et, lorsque le préfixe "i" appartient au groupe e constituant un signal extérieur d'entrée du réseau, Zi représente le signal extérieur d'entrée. Ainsi, 0Xi(t) if ieIx Zt) Xi= ... (12) ai(t) if iCI Dans la présente forme de réalisation, le réseau fonctionne pendant un laps de temps donné selon un état initial prédéterminé et un signal extérieur d'entrée, laps de temps durant lequel le poids de connexion entre les neurones est fixe et l'erreur est cumulée dans le temps, comme dans le cas du modèle de réseau neuronal récurrent chaotique selon la technique antérieure de la Figure 1. Par ailleurs, la fonction d'apprentissage du réseau est définie comme l'erreur totale du réseau calculée par F T2 1 E(W(v)) = [Xi(tW)-Qi(t) (13) J T1 iV 2 o Xi(tlW) représente le signal de sortie du "i"ième neurone du réseau à l'instant t, et Qi(t) représente le signal d'apprentissage donné, variant dans le temps. Le procédé précité utilisant la pente descendante la plus forte est utilisé comme règle de correction de poids, et la valeur de correction de poids de connexion est calculée par E (W) Awii = -q I... (14) J W..j 1l o q est une constante positive. Pour calculer l'équation (14), en supposant que l'équation (15) représente les variations d'une erreur d'apprentissage en fonction des variations d'un poids, sous la forme bE(W) = E(W+8W) - E(W) ... (15) comme Xi (t) et Yi(t) sont conformes aux équations dynamiques (10) et (11), l'erreur E(W) d'apprentissage peut être exprimée par l'équation ci-dessous. r2 1 E(W) = | 1 [Xi(tlW)-Qi(t)]2- JT1 2 ieI 1 Li(tlW) [(YiYi(tlW)+(l-k)Yi(IW)1 wijZj(tlW)+aXi(tlW)] ieI juE (16) Si on introduit un multiplicateur de Lagrange Li(t) conforme à l'équation (17), la valeur de modification de l'erreur d'apprentissage est exprimée sous la forme de l'équation (18). N yiLi(t) = (l-k)Li(tlW) - LjWijf' [Yi(tlW)] - j bik(Xi-Qi)f'[Yi(tIW)]+Li(tIW)af'[Yi(tlW)] ...(17) N N bE(W) = Z Li(TlIW)YibYi(TlIW)-l Li(T21W)yibYi(T21W) + i=l i=1 0T2 'T2dt.S Li(T1W)Zj(t1W)âWij Tl 1i,3 Le premier terme est éliminé de l'équation (18) par l'équation (19) ci-dessous de l'état initial fixe. Par ailleurs, si le multiplicateur de Lagrange Li(t) est conforme à une condition aux limites de l'équation (20) ci- dessous, le second terme est éliminé. Ainsi, bYi(TlIW) = 0...(19) Li(T21W) = 0... (20) Enfin, le procédé de correction du poids de connexion est représenté sous la forme de l'équation ci- dessous. T2 AWij - dtLi(TIW)Zj(TIW) ... (21) L'ensemble de l'algorithme d'apprentissage se présente de la manière suivante. Lors d'une première étape, l'état initial Xi(0) et le poids de connexion sont initialisés sous la forme d'une valeur aléatoire. Ensuite, lors d'une seconde étape, le réseau fonctionne pendant un laps de temps "T" dans l'état initial donné Xi(0) et selon le signal extérieur d'entrée ai(t), conformément à l'équation dynamique ci-dessous. yi(t+l) = X WijZi(t)+kYi(t) -aXi(t) jEIuE 30... (22) Xi(t) = fi[Yi(t)] Lors d'une troisième étape, le multiplicateur de Lagrange Li est obtenu d'une manière inverse à partir de l'instant t par l'équation (20) aux conditions limites et à l'aide du signal d'apprentissage donné Q1(t) conformément à l'équation (18). Ici, Xi(t) est une valeur calculée lors de la seconde étape. Li(t-l)= Y Lj(t)Wjif'[Yi(t)]+[Xi(t)-Qi(t)]f'[Yi(t)] jeI (23) + kLi(t)aLi(t)f'[Yi(t)] Lors d'une quatrième étape, la somme de l'erreur totale est calculée après que les opérations des seconde et troisième étapes ont été effectuées pour tous les signaux d'entrée. Si l'erreur est inférieure à une limite constante, l'apprentissage est terminé. Par ailleurs, après la correction du poids conformément à l'équation de correction de poids ci-dessous, les opérations sont répétées à partir de la seconde étape. T Awij = - Li (t)..Zj. (24) t=o La Figure 4 est une courbe présentant l'erreur cumulée par rapport au nombre d'itérations d'apprentissage du réseau neuronal récurrent dans le cas ou l'algorithme d'apprentissage selon la présente invention est appliqué au réseau selon la Figure 3. on peut voir ici que la valeur d'erreur finale est fortement réduite par rapport à celle présentée sur la Figure 2, même si l'itération d'apprentissage n'augmente pas beaucoup. Sur la courbe de la Figure 4, la valeur de k est 0,9 et la valeur de a est 0,4. Par conséquent, l'algorithme d'apprentissage du réseau neuronal récurrent chaotique selon la présente invention peut donner de bons résultats avec un temps d'apprentissage plus court que celui nécessaire dans le réseau neuronal récurrent. REVENDICATIONS 1. Réseau neuronal récurrent chaotique, caracté- risé en ce qu'il comporte N réseaux neuronaux chaotiques pour recevoir un signal extérieur d'entrée et les signaux de sortie de N-1 réseaux neuronaux chaotiques parmi lesdits N réseaux neuronaux chaotiques et effectuant une opération conformément aux équations dynamiques ci- dessous: yiYi(t+l) = E WijZi(t) + kYi(t) aXi(t) jEIuE Xi(t) = fi[Yi(t)] o Wij est un coefficient de connexion de synapse du signal d'entrée a réaction depuis le "j"ième neurone jusqu'au "i"ième neurone, Xi(t) est le signal de sortie du "i"ième neurone à l'instant t, et i, a et k sont respectivement une constante de retard, un paramètre non négatif et une constante réfractaire d'atténuation dans le temps, et o Zi(t) représente Xi(t) lorsque i appartient au groupe I de neurones et représente ai(t) lorsque i appartient au groupe E de signaux extérieurs d'entrée. 2. Algorithme d'apprentissage pour un réseau neuronal récurrent chaotique selon la revendication 1, caractérisé en ce qu'il comprend les étapes consistant à: (a) initialiser un état initial Xi(O) et des poids de connexion à l'aide d'une valeur aléatoire; (b) faire fonctionner les réseaux pendant un laps de temps "T" selon l'équation dynamique o l'état initial est Xi(0) et le signal extérieur d'entrée est ai(t); (c) calculer de manière inverse un multiplicateur de Lagrange pour une condition aux limites Li(TIW)=0 et un signal d'apprentissage Qi(t)=0 à partir de l'instant t, selon l'équation ci-dessous Li(t-1)= Z Lj(t)Wjif'[Yi(t)]+[Xi(t)-Qi(t)]f'[Yi(t)]+kLi(t)- jeI -aLi(t)f' [Yi(t)] o Xi(t) est la valeur calculée lors de ladite étape (b) ; et (d) additionner des erreurs totales au terme desdites étapes (b) et (c) pour tous les signaux d'entrée, et mettre fin à l'apprentissage si l'erreur est inférieure à une limite prédéterminée et, autrement, corriger le poids conformément à l'équation de correction de poids ci-dessous T AWij = - Z Li(t)Zj(t) t=o et répéter lesdites étapes (b) à (d).