Étude des réseaux de neurones récurrents pour étiquetage de séquences (A study of Recurrent Neural Networks for Sequence Labelling) (2016)

Abstract: Dans cet article nous étudions plusieurs types de réseaux neuronaux récurrents (RNN) pour l’étiquetage de séquences. Nous proposons deux nouvelles variantes de RNN et nous les comparons aux variantes plus classiques de type Jordan et Elman. Nous expliquons en détails quels sont les avantages de nos nouvelles variantes par rapport aux autres RNN. Nous évaluons tous les modèles, les nouvelles variantes ainsi que les RNN existants, sur deux tâches de compréhension de la parole : ATIS et MEDIA. Les résultats montrent que nos nouvelles variantes de RNN sont plus efficaces que les autres.

## introduction les réseaux de neurones récurrents (rnn) @xcite sont des modèles capables de prendre en compte un contexte dans leur fonction de décision. ils sont pour cela particulièrement adaptés à plusieurs tâches de traitement automatique des langues (tal), notamment celles qui consistent à prédire une information séquentielle @xcite @xcite @xcite . la plupart des modèles probabilistes utilisés pour ce type de tâches (même les tout premiers, historiquement) sont aussi capables d'utiliser un contexte dans leur fonction de décision. dans le cas des rnn, l'information contextuelle est donnée par une connexion en boucle. cette connexion permet de prendre en compte à l'étape courante une ou plusieurs informations prédites dans une étape précédente. cette architecture semble d'autant plus efficace dans les réseaux neuronaux qu'elle peut se combiner avec la puissance des représentations distributionnelles (dites aussi "plongements" ou embeddings en anglais). dans la littérature sur les réseaux neuronaux récurrents pour le tal, deux types principaux d'architecture ont été proposés, appelés aussi rnn simples : les rnn d'elman @xcite et ceux de jordan @xcite . la différence entre ces deux modèles réside simplement dans la connexion qui donne son caractère récurrent au réseau de neurones : dans les rnn d'elman, la boucle se situe au actes de la conférence conjointe jep-taln-recital 2016, volume 2 : taln niveau de la couche cachée, alors qu'elle se trouve entre la couche de sortie et la couche cachée dans les rnn de jordan. dans ce dernier cas, elle permet d'utiliser à l'étape courante les étiquettes prédites pour des positions précédentes d'une séquence. ces dernières années, ces deux types de rnn ont eu beaucoup de succès, notamment pour créer des modèles de langues @xcite , ou pour certaines tâches d'étiquetage de séquences @xcite @xcite . l'intuition à la base de cet article est que les plongements peuvent permettre une modélisation plus fine et efficace non seulement des mots, mais également des étiquettes et de leurs dépendances, qui sont cruciales dans les tâches d'étiquetage de séquence. dans cet article, nous définissons deux nouvelles variantes de rnn favorisant cette modélisation. dans la première, la connexion récurrente relie la couche de sortie et la couche d'entrée. cette variante redonne donc en entrée du réseau les étiquettes prédites aux étapes précédentes du traitement d'une séquence, en plus de l'entrée habituelle constituée d'un ou plusieurs mots. d'après notre intuition et grâce à l'utilisation de plongements sur les étiquettes, cette variante modélise de façon plus efficace les dépendances entre étiquettes. la seconde variante envisagée est une hybridation de la première avec les réseaux d'elman. un schéma général des réseaux d'elman, de jordan et de la variante principale proposée ici est montré dans la figure 1 . dans cette figure, w sont les mots, y les étiquettes, et e, h, o et r sont les paramètres du modèle. ils seront décrits en détails dans la prochaine section. mais, avant cela, nous allons justifier l'intérêt de notre proposition en expliquant en quoi la modification (apparemment simple) introduite par cette nouvelle variante offre plusieurs avantages par rapport aux architectures plus classiques d'elman et de jordan @xcite . un autre avantage de cette nouvelle variante est lié aux plongements des unités de sortie. en effet, la première couche du réseau est une table de "look-up" qui sert à transformer la représentation "one-hot" 1 très creuse des unités en entrée en représentation distributionnelle. puisque, dans notre nouvelle variante, la sortie est re-donnée en entrée au réseau, le changement de représentation (de creuse à distributionnelle) vaut pour les mots aussi bien que pour les étiquettes. les représentations distributionnelles des étiquettes peuvent donc être pré-apprises, comme elles le sont déjà pour les mots. les plongements de mots fournis par word2vec ont déjà largement montré leur intérêt syntaxique et sémantique pour diverses applications @xcite . un troisième avantage est le fait que les représentations distributionnelles d'étiquettes transmettent dans le réseau une "quantité information" plus grande que celle transmise par les connexions récurrentes des réseaux d'elman et de jordan. dans le réseau d'elman, la connexion récurrente est une boucle dans la couche cachée, elle n'affecte donc pas la couche d'entrée dans la phase de propagation en avant. de plus, dans ce réseau, on n'utilise pas explicitement l'information donnée par la couche de sortie. dans le réseau de jordan, en revanche, on utilise la sortie en la re-donnant en entrée à la couche cachée. cependant, la représentation de la sortie dans un tel réseau est soit une distribution de probabilités sur les étiquettes, soit une représentation creuse "one-hot" de l'étiquette prédite. il est clair que la représentation "one-hot" ne transmet pas beaucoup d'information au réseau. la distribution de probabilités devrait en fournir plus, puisqu'elle représente une décision "smooth" (lissée). cependant, d'après nos expériences, cette distribution est très biaisée en faveur d'une ou d'un petit nombre d'étiquettes, ne fournissant donc en fin de compte pas beaucoup plus d'information qu'une représentation creuse "one-hot". ce biais est déjà évoqué dans @xcite , où les auteurs montrent que le réseau de jordan est plus performant quand il est appris sur les représentations creuses des étiquettes de référence que sur les représentations creuses des étiquettes prédites et sur les distributions de probabilités prédites. la différence entre le rnn de jordan et notre variante est un point clef de notre proposition, une comparaison plus détaillée est donnée plus loin. un dernier avantage de la connexion récurrente entre la couche de sortie et celle d'entrée est la robustesse qu'elle apporte. les représentations distributionnelles des étiquettes rendent le modèle plus robuste vis-à-vis des erreurs de prédiction qui peuvent survenir pendant le traitement d'une séquence. le modèle de jordan, avec des représentations creuses ou des distributions de probabilités biaisées de la sortie, est plus vulnérable à la propagation des erreurs. dans cet article, tous les rnn sont étudiés dans leur version "en avant" (forward par la suite), "en arrière" (backward) et bidirectionnelle @xcite . nous avons utilisé notre propre implémentation des réseaux d'elman et de jordan, afin que la comparaison avec nos variantes soit directe et plus fiable. nous évaluons tous les modèles sur deux tâches différentes de compréhension de la parole @xcite : atis @xcite , qui peuvent toutes les deux être ramenées à un étiquetage de séquences. atis est relativement simple et ne nécessite pas une modélisation poussée des dépendances entre étiquettes. media est une tâche plus difficile pour laquelle la capacité d'un modèle à prendre en compte les dépendances entre étiquettes est cruciale. le reste de l'article est organisé comme suit. dans la section suivante, nous décrivons en détails les réseaux neuronaux récurrents, partant des modèles classiques d'elman et de jordan pour arriver à nos deux variantes. la section 3 est consacrée à la présentation des corpus sur lesquels nous évaluons les modèles, aux paramétrages choisis et aux résultats obtenus. la section 4 conclut la présentation.