Brevet FR2727539A1 — publié le 19960531

PROCEDE D'INITIALISATION D'UN RESEAU NEUROMAL. L'invention se situe dans le domaine des réseaux de neurones et concerne plus particulièrement le problème de l'initialisation de ces réseaux avant apprentissage. Les réseaux de neurones, tels que le "PERCEPTRON MULTICOUCHE" sont constitués d'un ensemble d'opérateurs neuronaux disposés en plusieurs couches interconnectées. Les données à traiter sont appliquées aux entrées des opérateurs neuronaux de la première couche et le traitement s'effectue à travers les couches successives, le résultat étant disponible en sortie du ou des opérateurs de la dernière couche. La fonction réalisée par le réseau est déterminée par le poids des interconnexions reliant les sorties des opérateurs d'une couche aux entrées de ceux de la couche suivante. Ces poids sont des coefficients associés aux entrées des opérateurs et sont modifiables par un mécanisme d'apprentissage utilisant un algorithme prévu pour minimiser l'erreur entre le ou les signaux de sortie et des signaux de référence lorsqu'on applique à l'entrée du réseau des valeurs d'apprentissage associées aux signaux de référence. L'algorithme d'apprentissage le plus connu est celui de la rétropropagation du gradient applicable aux signaux à une seule composante ou l'algorithme correspondant généralisé dans le domaine complexe. Pour plus de détails, on pourra se référer à l'article : "The Complex Backpropagation Algorithm", par H. LEUNG et S. HAYKIN, IEEE TRANSACTIONS ON SIGNAL PROCESSING, Vol. 39, n09, Septembre 1991. L'apprentissage du réseau est effectué apres avoir initialisé les valeurs des coefficients des opérateurs. Pour cela, on prend généralement des valeurs aléatoires proches de zéro. Cette façon d'initialiser le réseau est satisfaisante à la condition toutefois que l'apprentissage qui suit soit effectué en mode adaptatif, c'est-à-dire au moyen de signaux de référence parfaitement connus. Si on cherche par contre à réaliser un apprentissage en mode auto-adaptatif, c'est-à-dire en utilisant comme signal de référence une estimation par un organe de décision du signal d'entrée à partir du signal de sortie, on est confronté à des problèmes de convergence. En effet, l'initialisation des poids décrite précédemment génère des petites valeurs et, en mode adaptatif, le signal d'erreur est grand au debut et force les coefficients à grandir pour rapidement permettre au signal de sortie de se rapprocher du signal de référence connu.Par contre, en mode auto-adaptatif, la valeur estimée du signal d'entrée fournie par l'organe de décision donnera presque toujours la valeur zéro et le réseau évoluera peu ou pas du tout. Aussi, dans le but de remédier au problème précédent, l'invention a pour objet un procédé d'initialisation d'un réseau d'opérateurs neuronaux, ledit réseau comportant une pluralité d'opérateurs d'entrée recevant respectivement des échantillons successifs d'un signal d'entrée et au moins un opérateur de sortie fournissant un signal de sortie, chaque opérateur étant associé à des coefficients ajustables au cours de l'exécution d'un algorithme d'apprentissage prévu pour minimiser l'erreur entre un signal de référence associé à un signal d'entrée déterminé et le signal de sortie résultant de l'application à l'entrée du réseau des échantillons dudit signal d'entrée déterminé, ledit procédé étant caractérisé en ce qu'il consiste - à attribuer des valeurs aléatoires aux coefficients des opérateurs du réseau puis - à exécuter ledit algorithme d'apprentissage en appliquant comme signal d'entrée déterminé un signal d'initialisation variable en fonction du temps et en prenant comme signal de référence associé ledit signal d'entrée. Ainsi, après l'exécution du procédé décrit ci-dessus, le réseau se trouve dans un état lui conférant une fonction de transfert égale à l'unité. I1 sera alors possible d'effectuer ensuite un apprentissage aussi bien adaptatif qu'auto-adaptatif en ayant une probabilité maximale de converger rapidement. Le signal d'initialisation peut être un signal aléatoire ou pseudo-aléatoire. Ce signal peut être aussi un signal externe quelconque, par exemple le signal reçu dans le cas d'un récepteur. Selon encore un autre aspect, le signal d'initialisation est appliqué tant que ladite erreur n'est pas stabilisée. Selon un mode de réalisation particulier, l'algorithme d'apprentissage est l'algorithme de rétropropagation du gradient. Le procédé selon l'invention pourra être appliqué à un réseau constitué d'opérateurs neuronaux complexes et servira avantageusement à initialiser un réseau utilisé comme égaliseur auto-adaptatif d'un récepteur faisant partie d'un système de transmission de données, telles que des données numériques multiniveau. Le procédé pourra enfin être appliqué à un système de transmission de données comportant un émetteur et au moins un récepteur, ledit récepteur comprenant un réseau d'opérateurs neuronaux utilisé comme égaliseur auto-adaptatif, ledit émetteur comportant un réseau d'opérateurs neuronaux identique à celui utilisé dans ledit récepteur, caractérisé en ce que ledit procédé d'initialisation est seulement effectué sur le réseau de l'émetteur en vue de déterminer les valeurs des coefficients des opérateurs du réseau et d'appliquer ensuite ces valeurs aux operateurs du réseau du récepteur. Cette dernière disposition présente l'avantage d'éviter l'exécution du procédé d'initialisation pour chaque récepteur du système de transmission. D'autres aspects et détails de mise en oeuvre du procédé selon l'invention apparaîtront dans la suite de la description. La figure unique représente un réseau d'opérateurs neuronaux adapté au procédé selon l'invention. La figure montre à titre d'exemple non limitatif un réseau du type "PERCEPTRON MULTICOUCHE" adapté au procédé selon l'invention. Une couche d'entrée Ce est formée d'une pluralité d'opérateurs d'entrée recevant respectivement les échantillons successifs E(1), E(2), E(k), ..., E(n) d'un signal d'entrée échantillonné E(iT). Les sorties des opérateurs d'entrée sont reliées aux entrées des opérateurs d'au moins une couche intermédiaire avale Ci par un réseau d'interconnexion IC1. De même, les sorties des opérateurs de la dernière couche intermédiaire sont reliées aux entrées des opérateurs de sortie OPs de la couche de sortie Cs par un autre réseau d'interconnexion IC2. L'un des opérateurs de sortie OPs fournit le signal de sortie S(k). Le réseau est associé à une unité de commande CU recevant des échantillons du signal d'entrée E(iT), par exemple en étant reliée à l'entrée E(k) d'un des opérateurs d'entrée de la couche Ce. L'unité CU est reliée d'autre part à la sortie de l'opérateur de sortie OPs. L'unité de commande CU comprend des moyens de comparaison COMP pour calculer la différence dS entre un signal de référence Sr et le signal de sortie S(k). Le signal de référence Sr est fourni par des moyens de sélection SW3 recevant d'une part l'échantillon E(k) éventuellement retardé par un circuit à retard DT et d'autre part un signal d'estimation Se fourni par des moyens de décision DEC à partir du signal du sortie S(k). Les moyens de sélection SW3 sont commandés par une commande d'initialisation INIT.Les moyens de retard DT sont dimensionnés de façon à tenir compte si nécessaire du retard entre l'application des signaux d'entrée et l'apparition du signal de sortie correspondant. L'unité de commande CU est prévue pour fournir aux opérateurs du réseau les valeurs de leurs coefficients calculés par un algorithme RPG de minimisation de l'erreur dS. L'algorithme sera par exemple celui de rétropropagation du gradient réel ou complexe selon le type de signaux traités et d'opérateurs. Des moyens de sélection SW1, SW2 permettent d'appliquer comme signal d'entrée E(iT) soit un signal d'initialisation I(iT) fourni par un générateur G, soit un signal reçu So(t). Les moyens de sélection SW1, SW2 sont commandés par la commande INIT. Dans l'exemple décrit, le réseau est supposé être réalisé au moyen de circuits numériques. Aussi, dans le cas où le signal So (t) est un signal analogique continu, il conviendra de prévoir comme représenté des moyens d'échantillonnage et de conversion analogique-numérique A/N en amont de l'entrée du réseau. Le réseau fonctionne de la façon suivante. Pour initialiser le réseau, la commande INIT est active et les moyens de sélection SW3 sont positionnés pour appliquer le signal E(k) à l'entrée des moyens de comparaison COMP. De même, les moyens de sélection SW1 sont positionnés pour appliquer à l'entrée du réseau les signaux issus du générateur G. Le générateur G est alors activé pour fournir une suite de signaux I(it) aléatoires ou pseudo-aléatoires. L'unité de commande CU exécute alors l'algorithme RPG ayant pour effet d'ajuster les coefficients des opérateurs de façon à minimiser l'erreur quadratique moyenne entre les valeurs prises par l'échantillon E(k) et celles du signal de sortie correspondant S(k). L'exécution de l'algorithme RPG pourra prendre fin lorsque l'erreur quadratique est stabilisée.A ce stade, le réseau se trouve dans un état transparent, c'est-à-dire équivalent à une fonction de transfert unitaire. On peut noter que lorsque le réseau est placé dans un récepteur, le générateur G et les moyens de sélection SW2 pourraient être supprimés si on utilise le signal reçu So(t) comme signal d'initialisation. Pour placer le réseau en mode auto-adaptatif, la commande INIT est désactivée. Le signal de référence Sr est alors fourni par les moyens de décision DEC et le signal d'entrée E(iT) devient le signal reçu à traiter So(t). L'exécution de l'algorithme RPG a alors pour effet d'ajuster les coefficients des opérateurs de façon à minimiser l'erreur quadratique moyenne entre les valeurs du signal de sortie S(k) et celles du signal estimé Se. Bien entendu, le procédé peut être appliqué à de nombreuses variantes de réalisation. Ainsi, on pourra utiliser des opérateurs analogiques ou une structure de réseau autre que celle du perception multicouche. De même, les signaux à traiter peuvent être de divers types tels que les signaux duobinaires ou MAQ. REVENDICATIONS 1. Procédé d'initialisation d'un réseau d'opérateurs neuronaux, ledit réseau comportant une pluralité d'opérateurs d'entrée (Ce) recevant respectivement des échantillons (E(1))-(E(n)) successifs d'un signal d'entrée (E(iT)) et au moins un opérateur de sortie (OPs) fournissant un signal de sortie (S(k)), chaque opérateur étant associé à des coefficients ajustables au cours de l'exécution d'un algorithme d'apprentissage (RPG) prévu pour minimiser l'erreur (dS) entre un signal de référence (Sr) associé à un signal d'entrée (E(iT)) déterminé et le signal de sortie (S(k)) résultant de l'application à l'entrée du réseau des échantillons (E(l) ) -(E(n)) dudit signal d'entrée (E(iT)) déterminé, ledit procédé étant caractérisé en ce qu'il consiste - a attribuer des valeurs aléatoires aux coefficients des opérateurs du réseau puis - à exécuter ledit algorithme d'apprentissage (RPG) en appliquant comme signal d'entrée (E(iT)) déterminé un signal d'initialisation (I(iT)) variable en fonction du temps et en prenant comme signal de référence (Sr) associé ledit signal d'entrée (E(iT)). 2. Procédé selon la revendication 1, caractérisé en ce que ledit signal d'initialisation (I(iT)) est un signal aléatoire ou pseudo-aleatoire. 3. Procédé selon la revendication 1 ou 2, caractérisé en ce que ledit signal d'initialisation (I(iT)) est appliqué tant que ladite erreur (dS) n'est pas stabilisée. 4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que ledit algorithme d'apprentissage est l'algorithme de rétropropagation du gradient. 5. Application du procédé selon l'une des revendications 1 à 4 à un réseau constitué d'opérateurs neuronaux complexes. 6. Application du procédé selon l'une des revendications 1 à 4 pour initialiser un réseau d'opérateurs neuronaux utilisé comme égaliseur autoadaptatif d'un récepteur faisant partie d'un système de transmission de données. 7. Application selon la revendication 6, caractérisée en ce que ledit signal d'initialisation (I(iT)) est le signal reçu par ledit récepteur. 8. Application selon l'une des revendications 6 ou 7, caractérisée en ce que lesdites données sont des données numériques multiniveau. 9. Application du procédé selon l'une des revendications 1 à 4 à un système de transmission de données comportant un émetteur et au moins un récepteur, ledit récepteur comprenant un réseau d'opérateurs neuronaux utilisé comme égaliseur autoadaptatif, ledit émetteur comportant un réseau d'opérateurs neuronaux identiques à celui utilisé dans ledit récepteur, caractérisée en ce que ledit procédé d'initialisation est seulement effectué sur le réseau de l'émetteur en vue de déterminer les valeurs des coefficients des opérateurs du réseau et d'appliquer ensuite ces valeurs aux opérateurs du réseau du récepteur.