Brevet FR2724027A1 — publié le 19960301

OPERATEUR NEURONAL L'invention se situe dans le domaine des réseaux de neurones et concerne un type particulier d'opérateur neuronal utilisable dans ces réseaux. Comme exemple de structure de réseau, on peut citer le "PERCEPTRON MULTICOUCHE" qui est constitué d'un ensemble d'opérateurs neuronaux disposés en plusieurs couches interconnectées. Les données à traiter sont appliquées à l'entrée de la première couche et le traitement s'effectue à travers les couches successives, le résultat étant disponible en sortie des opérateurs de la dernière couche. La fonction réalisée par un tel réseau est déterminée par le poids des interconnexions reliant les sorties des opérateurs d'une couche aux entrées de ceux de la couche suivante. Ces poids sont des coefficients modifiables par un mécanisme d'apprentissage défini par un algorithme tel que l'algorithme de rétropropagation du gradient. Les opérateurs neuronaux peuvent être de type analogique ou numérique et sont généralement prévus pour effectuer la somme des produits des signaux d'entrée par les coefficients, cette somme étant suivie d'une opération de seuillage. Le signal de sortie fourni par l'opérateur définit son activité qui peut être interprétée comme une mesure de la conformité des signaux reçus à un état de référence défini après apprentissage par l'ensemble des coefficients. Des études plus récentes ont fait apparaître l'intérêt de généraliser les opérateurs neuronaux dans le domaine complexe de façon à pouvoir traiter des signaux à deux composantes. Ces deux composantes sont alors interprétées comme les parties réelle et imaginaire d'un signal complexe et les opérateurs complexes effectuent une somme de produits de coefficients complexes par des signaux d'entrée complexes. L'apprentissage peut s'effectuer grâce à un algorithme de rétropropagation du gradient adapté au domaine complexe. Pour plus de détail, on pourra se référer à l'article : "The Complex Backpropagation Algorithm", par H. LEUNG et S. HAYKIN, IEEE TRANSACTIONS ON SIGNAL PROCESSING, Vol. 39, n09, Septembre 1991. Jusqu'à présent, les réseaux de neurones ont été surtout appliqués à l'analyse d'image et de son, à la reconnaissance des formes et à la robotique. Des recherches plus récentes dans le domaine de la transmission de signaux numériques, par exemple pour la télévision, ont conduit à essayer d'appliquer la technique des réseaux de neurones pour réaliser des égaliseurs non linéaires utilisables dans les récepteurs. Dans cette application, on prend comme signaux d'entrée du réseau une suite d'échantillons successifs (généralement sous forme numérique) du signal reçu.Puis, par une méthode d'apprentissage telle que la rétropropagation du gradient, on ajuste les coefficients des opérateurs du réseau de façon par exemple à obtenir des niveaux d'excitation déterminés d'un ou de plusieurs opérateurs de la couche de sortie en réponse à des configurations déterminées des signaux d'entrée. Toutefois, les premiers essais visant à traiter les signaux de type multiniveau, tels les signaux duobinaires ou les modulations MAQ, se sont montrés décevant si on compare les résultats obtenus avec ceux des filtres numériques classiquement utilisés en égalisation. Une étude plus approfondie montre en effet que les fonctions d'activation des opérateurs neuronaux classiques ne sont pas adaptées aux signaux ayant plus de deux niveaux car, dans ce cas, seuls les niveaux extrêmes du signal présentent une stabilité accrue par rapport à celle des niveaux intermédiaires. Aussi, dans le but de remédier à cet inconvénient, l'invention a pour objet un opérateur neuronal comportant - une pluralité d'entrées prévues pour recevoir des signaux d'entrée correspondants, chaque entrée étant associée à un coefficient, - des moyens pour calculer une somme de produits obtenus chacun en multipliant respectivement un des signaux d'entrée par le coefficient associé, - des moyens pour réaliser une fonction réelle d'une variable réelle et pour appliquer ladite fonction à ladite somme de produits, ledit opérateur étant caractérisé en ce que ladite fonction est une fonction monotone, dérivable, possédant une borne inférieure et une borne supérieure et en ce que sa dérivée présente une pluralité de valeurs minimales correspondant à des paliers de la fonction lorsque la variable est égale à des valeurs particulières, ci-après appelées valeurs de seuil, au moins un desdits paliers étant compris entre lesdites bornes inférieure et supérieure. Avantageusement, la fonction est choisie pour que les valeurs maximales que sa dérivée prend entre deux valeurs de seuil successives soient égales à une valeur déterminée. Cette dernière disposition a pour effet que la pente moyenne de la fonction entre deux valeurs de seuil successives est sensiblement constante et indépendante de ces valeurs de seuil. Le choix des paliers et des valeurs de seuil correspondantes est naturellement fonction du type de modulation utilisé. Les paliers et les valeurs de seuil peuvent être irrégulièrement répartis sur les plages de variations de la fonction et de la variable, par exemple dans le cas d'une modulation MDP. Par contre, pour les modulations duobinaires ou MAQ, elles devront être régulièrement réparties. Pour faciliter la réalisation des opérateurs et l'exécution de l'algorithme d'apprentissage, il est souhaitable que la fonction puisse être exprimée selon une expression analytique. Aussi, selon un autre aspect de l'invention, la fonction est obtenue à partir d'une fonction de base monotone, dérivable et bornée, selon l'équation f(x) = z Rj fO [(x - Xj)/rj + K], où - fO est la fonction de base, - N étant un nombre de paliers supérieur à 2, la somme v s'étend pour tout j entier compris entre 1 et N-l, - x est la variable, - Xj est une valeur de seuil, - R. et rj sont des facteurs d'échelle, - K est une constante. L'invention concerne également un opérateur neuronal pouvant être utilisé dans le domaine complexe. Plus précisément, l'invention a aussi pour objet un opérateur neuronal comportant - une pluralité d'entrées prévues pour recevoir des signaux d'entrée complexes correspondants, chaque entrée étant associée à un coefficient complexe, - des moyens pour calculer une somme de produits obtenus chacun en multipliant respectivement un des signaux d'entrée complexes par le coefficient complexe associé, - des moyens pour réaliser une fonction complexe d'une variable complexe et pour appliquer ladite fonction à ladite somme de produits, ledit opérateur étant caractérisé en ce que le module de ladite fonction est une fonction possédant une borne inférieure et une borne supérieure, monotone et dérivable par rapport à la partie réelle et à la partie imaginaire de la variable complexe et en ce que la dérivée dudit module par rapport à la partie réelle et imaginaire de la variable présente une pluralité de valeurs minimales correspondant à des paliers dudit module lorsque la variable complexe est égale à des valeurs particulières, ci-après appelées valeurs de seuil, au moins un desdits paliers étant différent de ladite borne supérieure. Comme pour la fonction réelle, la fonction complexe sera avantageusement obtenue à partir d'une fonction de base dont le module est une fonction bornée, monotone et dérivable par rapport à la partie réelle et à la partie imaginaire de la variable complexe, selon l'équation F(z) = z Rj.Fo [(z - zj)/rj + K], où - Fo est la fonction de base, - N étant un nombre de paliers supérieur à 2, la somme z s'étend pour tout j entier compris entre 1 et N-l, - z est la variable complexe, - Zj est une valeur de seuil, - R. et rj sont des facteurs d'échelle réels, - K est une constante. D'autres aspects et avantages de l'invention apparaîtront dans la suite de la description en référence aux figures. - La figure 1 représente le schéma fonctionnel d'un opérateur neuronal conforme à l'invention. - Les figures 2 et 3 sont des représentations graphiques d'une fonction de base et de sa dérivée pouvant être utilisées pour mettre en oeuvre l'invention. - La figure 4 est une représentation graphique de la transformée par homothétie de la fonction de base. - La figure 5 est la représentation graphique de la dérivée de la fonction représentée à la figure 4. - Les figures 6 à 10 montrent quelques exemples de fonction conformes à l'invention. - La figure 11 représente une constellation de symboles dans le cas d'une modulation MAQ. - La figure 12 représente un réseau de neurones utilisant des opérateurs neuronaux complexes conformes à l'invention et appliqué à l'égalisation dans le cas d'une modulation MAQ. La figure 1 représente un opérateur neuronal selon l'invention. I1 comporte une pluralité d'entrées recevant les signaux d'entrée el, e2, ..., em, ..., en. Ces signaux sont respectivement appliqués aux premières entrées de multiplieurs P1, P2, ..., Pm, ..., Pn dont les secondes entrées reçoivent les valeurs des coefficients wl, w2, ..., wm, ..., wn. Les sorties des multiplieurs sont ensuite sommées dans un additionneur A fournissant en sortie une valeur de la variable x à laquelle est appliquée la fonction f conforme à l'invention. Comme cela apparaît sur la figure, la fonction f est monotone, dérivable, bornée et ses dérivées présentent une pluralité de valeurs minimales correspondant à des paliers de la fonction. Ce schéma est également valable dans le cas d'un opérateur complexe, à la différence près que les multiplieurs et l'additionneur réalisent des opérations complexes et la fonction f doit être remplacée par une fonction F complexe d'une variable complexe z issue de l'additionneur. La fonction f est avantageusement obtenue à partir d'une fonction de base fO telle que représentée à la figure 2. On peut constater que cette fonction de base est monotone, bornée et dérivable, sa dérivée ayant l'allure représentée à la figure 3. Dans le cas général, la fonction f pourra être obtenue à partir de la fonction de base fO selon l'équation f(x) = z Rj-fo [(x - Xj)/rj + K], où - fO est la fonction de base, - N étant un nombre de paliers supérieur à 2, la somme z s'étend pour tout j entier compris entre 1 et N-l, - x est la variable, - j est une des valeurs de seuil, avec j également compris entre 1 et N-l, - R. et rj sont des facteurs d'échelle, - K est une constante, dépendant du choix de l'origine de la fonction de base. Bien entendu, la fonction f ne sera définie qu'à une constante près permettant de fixer l'origine de la fonction. Comme fonction de base fO ayant les propriétés imposées, on peut utiliser la fonction sigmoïde définie par fo(x) = (1 - e ax)/(1 + où le paramètre a permet de fixer la raideur de la pente. Un cas particulier est celui où la fonction à réaliser et la fonction de base sont normalisées et symétriques par rapport à l'origine comme représenté à la figure 2. Dans ce cas, on a K = -1 et R1 + R2 + ... + Rj + ... + RNl = 1. Un autre cas intéressant est celui où la pente moyenne de la fonction entre deux valeurs de seuil successives est indépendante de ces valeurs de seuil. On obtiendra ce résultat en effectuant la somme de fonctions homothétiques de la fonction de base. Comme on peut le vérifier sur les figures 4 et 5, la fonction homothétique de la fonction fO dans le rapport r a une dérivée f r' ayant la même valeur maximale PM et la valeur moyenne de cette dérivée fr' sur l'intervalle -r, +r est égale à la valeur moyenne de fO' sur l'intervalle -1, +1. Pour revenir à l'expression précédente de la fonction f en fonction de la fonction de base fO, la condition de pente moyenne constante sera satisfaite si l'on choisit Rj = ru. Les figures 6 et 7 représentent respectivement la fonction f et sa dérivée f' applicables aux signaux duobinaires. En supposant la fonction de base fO et la fonction f normalisées et centrées en leur point de symétrie, on a la relation f(x) = [f0(2x+l)+f0(2x-l)]/2 Les figures 8 et 9 représentent un autre exemple de fonction f et de sa dérivée f' dans le cas où les paliers et les valeurs de seuil sont irrégulièrement espacés sur leurs plages de variation respectives. La figure 10 représente enfin la fonction f applicable à une modulation MAQ16 dont la constellation idéale est représentée à la figure 11. Dans ce cas, la fonction f est définie par f(x) = [f0(3x+2)+f0(3x)+f0(3x-2)]/3 Cette fonction f pourra être utilisée pour traiter séparément les composantes en phase X et en quadrature Y des symboles MAQ. Toutefois, pour ce type de modulation, il est préférable de considérer les composantes X et Y comme les parties réelle et imaginaire d'un signal complexe et de traiter ce signal au moyen d'opérateurs complexes. On définit alors une fonction complexe F d'une variable complexe z, où z = X+iY. La fonction F sera telle que son module soit une fonction monotone, possédant une borne inférieure et une borne supérieure, dérivable par rapport à X et à Y.De plus, la dérivée de ce module par rapport à X ou à Y devra présenter une pluralité de valeurs minimales lorsque la variable complexe coïncide avec les points de la constellation. On pourra prendre par exemple Fo(z) = z/(c + Izl/r), où - z est la variable complexe, - lzl est le module de z, - c et r sont des constantes réelles permettant d'ajuster l'allure de la fonction (pente, valeur maximale). On pourra bien entendu envisager d'autres fonctions complexes dont le module a les propriétés indiquées et dont la phase sera par exemple une fonction linéaire ou monotone de la phase de la variable z. La figure 12 représente à titre d'exemple d'application un égaliseur pour signaux MAQ réalisé au moyen d'un réseau de neurones utilisant des opérateurs complexes conformes à l'invention. Le réseau comporte une couche d'entrée Ce reliée à au moins une couche intermédiaire Ci par l'intermédiaire d'un réseau d'interconnexion IC1. De même, la dernière couche intermédiaire Ci est reliée à une couche de sortie Cs par l'intermédiaire d'un autre réseau d'interconnexion IC2. La couche de sortie Cs qui peut être constituée d'un seul opérateur neuronal fournit en sortie les composantes filtrées Xs, Ys du signal reçu SO. La couche d'entrée Ce reçoit une pluralité d'échantillons successifs z(l), z(2), .... z(k) du signal reçu SO après démodulation, filtrage et conversion analogique-numérique. De façon classique, les coefficients complexes des opérateurs sont ajustés au cours d'une phase d'apprentissage visant à imposer aux composantes de sortie Xs, Ys des niveaux conformes à la modulation MAQ. REVENDICATIONS 1. Opérateur neuronal comportant - une pluralité d'entrées prévues pour recevoir des signaux d'entrée (el-en) correspondants, chaque entrée étant associée à un coefficient (wl-wn), - des moyens (P1-PN, A) pour calculer une somme de produits obtenus chacun en multipliant respectivement un des signaux d'entrée (el-en) par le coefficient associé (wl-wn), - des moyens pour réaliser une fonction réelle (f) d'une variable réelle (x) et pour appliquer ladite fonction (f) à ladite somme de produits, ledit opérateur étant caractérisé en ce que ladite fonction (f) est une fonction monotone, dérivable, possédant une borne inférieure et une borne supérieure et en ce que sa dérivée (f') présente une pluralité de valeurs minimales correspondant à des paliers de la fonction (f) lorsque la variable (x) est égale à des valeurs particulières (Xl-XN~l), ci-après appelées valeurs de seuil, au moins un desdits paliers étant compris entre lesdites bornes inférieure et supérieure. 2. Opérateur neuronal selon la revendication 1, caractérisé en ce que ladite fonction (f) est choisie pour que les valeurs maximales que sa dérivée (f') prend entre deux valeurs de seuil successives (X1-XN~l) soient égales à une valeur déterminée (PM). 3. Opérateur neuronal selon l'une des revendications 1 à 2, caractérisé en ce que lesdits paliers sont régulièrement répartis sur la plage de variation de la fonction (f) et en ce que lesdites valeurs de seuil (X1-XN-1) sont régulièrement réparties sur la plage de variation de la variable (x). 4. Opérateur neuronal selon l'une des revendications 1 à 3, caractérisé en ce que ladite fonction (f) est obtenue à partir d'une fonction de base (fO) monotone, dérivable et bornée, selon l'équation f(x) = z R. [(x - Xj)/rj + K], où - fO est la fonction de base, - N étant un nombre de paliers supérieur à 2, la somme Ç s'étend pour tout j entier compris entre 1 et N-l, - x est la variable, - Xj est une valeur de seuil, - Rj et rj sont des facteurs d'échelle, - K est une constante. 5. Opérateur neuronal selon la revendication 4, caractérisé en ce que ladite fonction de base (fO) est une fonction sigmoïde. 6. Opérateur neuronal comportant - une pluralité d'entrées prévues pour recevoir des signaux d'entrée complexes (el-en) correspondants, chaque entrée étant associée à un coefficient complexe (wl-wn), - des moyens (P1-PN, A) pour calculer une somme de produits obtenus chacun en multipliant respectivement un des signaux d'entrée complexes (el-en) par le coefficient complexe associé (wl-wn), - des moyens pour réaliser une fonction complexe (F) d'une variable complexe (z) et pour appliquer ladite fonction (F) à ladite somme de produits, ledit opérateur étant caractérisé en ce que le module de ladite fonction (F) est une fonction possédant une borne inférieure et une borne supérieure, monotone et dérivable par rapport à la partie réelle et à la partie imaginaire de la variable complexe (z) et en ce que la dérivée dudit module par rapport à la partie réelle ou imaginaire de la variable (z) présente une pluralité de valeurs minimales correspondant à des paliers dudit module lorsque la variable complexe (z) est égale à des valeurs particulières (Z1'ZN~1), ci-après appelées valeurs de seuil, au moins un desdits paliers étant différent de ladite borne supérieure. 7. Opérateur neuronal selon la revendication 6, caractérisé en ce que ladite fonction (F) est obtenue à partir d'une fonction complexe de base (Fg) dont le module est une fonction bornée, monotone et dérivable par rapport à la partie réelle et à la partie imaginaire de la variable complexe (z), selon l'équation F(z) = z Rj.Fo [(z - Zj)/rj + K], où - Fo est la fonction de base, - N étant un nombre de paliers supérieur à 2, la somme z s'étend pour tout j entier compris entre 1 et N-1, - z est la variable complexe, - Zj est une valeur de seuil, - R. et rj sont des facteurs d'échelle réels, - K est une constante. 8. Opérateur neuronal selon la revendication 7, caractérisé en ce que ladite fonction complexe de base (F0) vérifie l'équation Fo(z) = z/(c + Izl/r), où - z est la variable complexe, - |z| lzl est le module de z, - c et r sont des constantes réelles.